Perception Characteristics Distance: Measuring Stability and Robustness of Perception System in Dynamic Conditions under a Certain Decision Rule

Diese Arbeit stellt die neue Metrik „Perception Characteristics Distance" (PCD) vor, die die Unsicherheit von Wahrnehmungsalgorithmen berücksichtigt, und validiert sie mithilfe des neu erstellten SensorRainFall-Datensatzes unter verschiedenen Wetter- und Lichtbedingungen, um die Stabilität und Robustheit autonomer Fahrsysteme besser zu bewerten als herkömmliche Kennzahlen.

Das Wesentliche

Das große Problem: Der unsichere Blick in die Ferne

Stellen Sie sich vor, Sie fahren mit einem Auto, das sich selbst steuern kann (ein autonomes Fahrzeug). Damit es sicher ist, muss es die Welt um sich herum perfekt sehen – genau wie Sie, wenn Sie Auto fahren. Aber hier liegt das Problem: Die „Augen" des Computers (Kameras, Radar, Laser) sind nicht immer zu 100 % verlässlich.

Besonders weit weg wird es unklar. Ein Objekt, das nah ist, sieht der Computer ganz sicher. Aber je weiter weg es ist, desto mehr zittert das Bild in seinem Kopf. Es ist, als würde man durch eine neblige Brille schauen: Man sieht etwas, aber ist es ein Stein oder ein Hund? Ist es 50 Meter weg oder 60?

Bisher haben Forscher gemessen, wie gut diese Computer sehen, indem sie einfach gezählt haben: „Wie viele Objekte hat er richtig erkannt?" Das ist wie ein Lehrer, der nur zählt, wie viele Aufgaben ein Schüler richtig gelöst hat, aber nicht beachtet, wann der Schüler anfängt, Fehler zu machen.

Die neue Lösung: PCD (Die „Sicherheits-Distanz")

Die Autoren dieses Papers haben eine neue Art der Messung erfunden, die sie PCD (Perception Characteristics Distance) nennen.

Stellen Sie sich vor, Sie sind ein Kapitän auf einem Schiff.

• Die alte Methode: Sie zählen einfach, wie viele Fische Sie im Netz haben.
• Die neue Methode (PCD): Sie fragen sich: „Bis zu welcher Entfernung kann ich garantiert sehen, dass da ein Fisch ist, bevor ich blind werde?"

Die PCD ist also wie eine Sicherheitsgrenze. Sie sagt dem Auto: „Hey, ab hier (z. B. 40 Meter) wird dein Blick unsicher. Ab hier darfst du nicht mehr schnell fahren, weil du nicht mehr sicher bist, ob da ein Hindernis ist."

Das Besondere an dieser neuen Methode ist, dass sie nicht nur schaut, ob das Auto etwas sieht, sondern wie sicher es sich dabei fühlt. Sie misst das „Zittern" der Unsicherheit.

Das Experiment: Der künstliche Regen

Um das zu testen, haben die Forscher ein eigenes Szenario gebaut, das sie SensorRainFall nennen.

Stellen Sie sich eine riesige, geschlossene Teststraße vor (die „Virginia Smart Road"), auf der sie das Wetter komplett kontrollieren können. Sie haben ein Auto mit Kameras und Sensoren gefahren und dabei vier verschiedene Szenarien durchgespielt:

1. Heller Tag.
2. Regen am Tag.
3. Regen in der Nacht.
4. Regen in der Nacht mit Straßenlaternen.

Dabei haben sie ein rotes Auto und eine Puppe (als Fußgänger) vor das fahrende Auto gestellt. Die Frage war: „Wie weit weg können die Sensoren diese Objekte noch sicher erkennen, wenn es regnet und dunkel ist?"

Was haben sie herausgefunden?

Die Forscher haben verschiedene künstliche Intelligenzen (die „Gehirne" der Autos) getestet. Das Ergebnis war spannend:

1. Die alten Messlatten lügen: Herkömmliche Methoden sagten oft: „Das System ist super!" weil es viele Objekte in der Nähe erkannt hat. Aber die neue PCD-Methode zeigte: „Achtung! Sobald es regnet oder es dunkel wird, bricht die Zuverlässigkeit schon nach 20 Metern zusammen, obwohl die alten Messwerte noch gut aussahen."
2. Einige Systeme sind robuster: Manche KI-Modelle (wie GLIP oder Mask2Former) blieben auch im Regen und in der Nacht stabil und konnten weiter weg sehen. Andere (wie YOLOX) wurden im Regen schnell unsicher.
3. Die „Sicherheits-Blase": Mit der PCD können die Ingenieure jetzt eine unsichtbare „Sicherheits-Blase" um das Auto ziehen. Innerhalb dieser Blase kann das Auto sicher fahren. Sobald ein Objekt außerhalb dieser Blase liegt, weiß das Auto: „Ich bin mir nicht sicher, ich bremse lieber ab."

Warum ist das wichtig?

Stellen Sie sich vor, Sie fahren bei starkem Regen. Ihr menschliches Gehirn sagt: „Ich sehe den Vordermann nur noch undeutlich, also halte ich Abstand." Die PCD gibt dem Computer genau dieses Gefühl.

Anstatt zu hoffen, dass das Auto alles sieht, sagt die PCD: „Hier ist die Grenze deiner Zuverlässigkeit." Das macht autonomes Fahren viel sicherer, weil das Auto weiß, wann es aufhören muss, sich auf seine „Augen" zu verlassen, und vorsichtig werden muss.

Zusammengefasst: Die Forscher haben eine neue Art von „Regelwerk" erfunden, das nicht nur zählt, was das Auto sieht, sondern misst, wie weit es sicher sehen kann. Und sie haben einen künstlichen Regenwald gebaut, um zu beweisen, dass dieses neue Regelwerk in schlechtem Wetter viel wichtiger ist als die alten Methoden.

Technische Zusammenfassung

1. Problemstellung

Autonome Fahrsysteme (ADS) und fortschrittliche Fahrerassistenzsysteme (ADAS) hängen von einer präzisen Wahrnehmung über verschiedene Distanzen und Fahrbedingungen ab. Die Ausgabe von KI-basierten Wahrnehmungsalgorithmen (z. B. Objekterkennung) ist jedoch stochastisch (zufallsbasiert) und unterliegt Schwankungen, insbesondere bei großen Entfernungen oder schwierigen Wetterbedingungen.

Das Hauptproblem besteht darin, dass herkömmliche Evaluierungsmetriken wie Average Precision (AP), Intersection-over-Union (IoU) oder der F1-Score statische, bildbasierte Bewertungen darstellen. Diese Metriken:

• Ignorieren die zeitliche und räumliche Kontinuität des realen Fahrens.
• Erfassen nicht die stochastische Natur der Algorithmen-Ausgaben.
• Geben keine Auskunft darüber, wie sich die Zuverlässigkeit der Erkennung mit zunehmender Distanz verschlechtert.
• Übersehen, dass die Entscheidungssicherheit (z. B. für Bremsmanöver) oft von einem stabilen Schwellenwert abhängt, der bei großen Distanzen aufgrund von Schwankungen im Konfidenz-Score nicht mehr konsistent erreicht wird.

2. Methodik

Die Autoren schlagen einen neuen Ansatz vor, der Unsicherheit und Distanzabhängigkeit direkt in die Metrik integriert.

A. Der SensorRainFall-Datensatz

Um die Metrik zu validieren, wurde ein neuer, hochkontrollierter Datensatz namens SensorRainFall erstellt.

• Quelle: Virginia Smart Roads (eine Teststrecke mit simulierbarem Wetter).
• Bedingungen: Vier Szenarien (Klarer Tag, Regen bei Tag, Regen bei Nacht, Regen bei Nacht mit Straßenbeleuchtung). Der Regen wurde kontrolliert mit 64 mm/h simuliert.
• Objekte: Ein rotes Limousinen-Auto und ein Dummy-Fußgänger.
• Sensoren: Kamera, Radar und LiDAR.
• Annotation: Ground-Truth-Bounding-Boxes, Instanz-Segmentierungsmasken und präzise Distanzmessungen (4m bis 250m).

B. Perception Characteristics Distance (PCD)

Die PCD ist eine neue Metrik, die die maximale Distanz definiert, innerhalb derer ein Wahrnehmungssystem zuverlässige Detektionen liefert.

• Definition: Die PCD ist die maximale Distanz $x_i$, bei der die Wahrscheinlichkeit, dass ein Qualitätsmaß $y_i$ einen Schwellenwert $y_{thres}$ überschreitet, größer als ein probabilistischer Schwellenwert $p_{thres}$ ist.
• Qualitätsmaß ($y_i$): Kombination aus IoU und Konfidenz-Score ($IoU \times Confidence$). Dies erfasst sowohl die räumliche Genauigkeit als auch die Vorhersagesicherheit.
• Statistische Modellierung:
  1. Varianz-Änderungspunkte: Mithilfe von Spline-Regression und Hypothesentests werden Punkte in der Distanzreihe identifiziert, an denen sich die Varianz der $IoU \times Confidence$-Werte signifikant ändert.
  2. Segmentierung: Die Daten werden in Segmente unterteilt, in denen die Varianz als konstant angenommen wird.
  3. Berechnung: Innerhalb dieser Segmente wird angenommen, dass die Werte normalverteilt sind ($\mu_i, \sigma_i$). Die PCD wird als der Punkt berechnet, an dem die Wahrscheinlichkeit $P(Y_i > y_{thres})$ unter den Schwellenwert $p_{thres}$ fällt.

C. Average PCD (aPCD)

Da die PCD von den gewählten Schwellenwerten ($y_{thres}$ und $p_{thres}$) abhängt, wird der Average PCD (aPCD) als aggregierte Metrik eingeführt.

• Analog zum AUC (Area Under the Curve) bei ROC-Kurven berechnet der aPCD das Volumen unter der PCD-Oberfläche über einen Bereich verschiedener Schwellenwert-Kombinationen.
• Dies ermöglicht einen umfassenden Vergleich der Gesamtleistung eines Systems unabhängig von spezifischen, willkürlich gewählten Schwellenwerten.

3. Wichtige Beiträge

1. Neue Metrik (PCD/aPCD): Einführung einer metrik, die die Distanzabhängigkeit der Zuverlässigkeit und die stochastische Variabilität von Wahrnehmungssystemen quantifiziert. Sie füllt die Lücke zwischen statischen Genauigkeitsmetriken und der realen Notwendigkeit stabiler Entscheidungen.
2. SensorRainFall-Datensatz: Bereitstellung des ersten öffentlich verfügbaren, hochkontrollierten Datensatzes, der speziell für die Evaluierung von ADS/ADAS unter verschiedenen Wetter- und Lichtbedingungen (insbesondere Regen) entwickelt wurde.
3. Methodik zur Varianz-Änderung: Anwendung statistischer Verfahren (Spline-Regression, Hypothesentests) zur robusten Identifizierung von Distanzbereichen, in denen die Systemleistung instabil wird.
4. Benchmarking: Umfassende Evaluierung von 10 State-of-the-Art-Modellen (5 Objektdetektoren, 5 Instanzsegmentierungsmodelle) auf dem neuen Datensatz.

4. Ergebnisse

Die Experimente mit Modellen wie YOLOX, Grounding DINO, Mask2Former, GLIP und anderen zeigten folgende Erkenntnisse:

• Diskrepanz zu traditionellen Metriken: Modelle, die bei klassischen Metriken (AP50:95, F1) gut abschneiden, können bei der aPCD schlecht performen und umgekehrt.
  • Beispiel: GLIP erreichte bei der Objekterkennung im Regen nachts die höchste aPCD (37,3 m), obwohl DyHead höhere AP-Werte hatte. Die Analyse zeigte, dass GLIP stabilere Ausgaben über die Distanz hinweg lieferte und weniger „Ausfall-Schwänze" (plötzliches Versagen bei großen Distanzen) aufwies.
  • Beispiel: Mask2Former erzielte die höchste aPCD bei der Segmentierung von Fußgängern bei klarem Tag, obwohl ConvNeXt-V2 höhere AP-Werte hatte. Mask2Former zeigte geringere Varianz und einen langsameren Leistungsabfall.
• Einfluss der Umweltbedingungen: Die aPCD zeigt deutlich, wie stark sich Regen und Dunkelheit auf die sichere Erkennungsdistanz auswirken. Während AP-Werte oft nur leicht sinken, bricht die aPCD unter extremen Bedingungen (z. B. Regen bei Nacht) drastisch ein, was die tatsächliche Gefährdung für ADS besser widerspiegelt.
• Sicherheitshülle (Safety Envelope): Die PCD ermöglicht es, eine „Sicherheits-Hülle" zu definieren, innerhalb derer das System mit einer bestimmten Wahrscheinlichkeit zuverlässig funktioniert. Diese Hülle schrumpft bei schlechteren Bedingungen, was für die Sicherheitsarchitektur von ADS entscheidend ist.

5. Bedeutung und Fazit

Das Paper zeigt, dass traditionelle Metriken für die Bewertung der Robustheit von autonomen Fahrsystemen unzureichend sind, da sie die Unsicherheit und Distanzabhängigkeit ignorieren.

• Für die Forschung: Der aPCD bietet einen kontextbewussten, probabilistischen Ansatz, der die Stabilität von Modellen über die Distanz hinweg besser bewertet.
• Für die Praxis: Die Metrik hilft Ingenieuren, die „Sicherheitsgrenze" eines Sensorsystems zu bestimmen. Je nach Anwendung (z. B. Notbremsung vs. Spurhaltung) können die Schwellenwerte ($p_{thres}, y_{thres}$) angepasst werden, um entweder eine frühe Detektion (niedrige Schwelle) oder hohe Zuverlässigkeit (hohe Schwelle) zu priorisieren.
• Gesellschaftliche Relevanz: Durch die Einführung von Unsicherheitsbewusstsein in die Evaluierung trägt die PCD dazu bei, sicherere und robustere autonome Systeme zu entwickeln, die auch unter dynamischen und widrigen Bedingungen verlässlich funktionieren.

Der Datensatz und der Evaluierungscode sind öffentlich verfügbar, um die Weiterentwicklung und Vergleichbarkeit in der Forschung zu fördern.