Perception Characteristics Distance: Measuring Stability and Robustness of Perception System in Dynamic Conditions under a Certain Decision Rule

Dit artikel introduceert de Perception Characteristics Distance (PCD), een nieuwe metriek die de stochastische onzekerheid van perceptiesystemen in dynamische omstandigheden meet, en valideert deze met het SensorRainFall-dataset om robuustere beoordelingen van autonoom rijden mogelijk te maken dan traditionele methoden.

De kern

De "Zichtbaarheids-meter" voor zelfrijdende auto's: Een simpel verhaal over vertrouwen en regen

Stel je voor dat je een zelfrijdende auto hebt. Deze auto heeft "ogen" (camera's, radar, LiDAR) en een "brein" (kunstmatige intelligentie) dat moet beslissen: Is dat een mens? Is dat een auto? Hoe ver weg is het?

Tot nu toe keken onderzoekers naar hoe goed deze auto's werkten met oude meetlatjes, zoals: "Hoe vaak raakt de auto de vorm van het object?" of "Hoe vaak is het object correct?" Maar dit is alsof je een schutter beoordeelt alleen op basis van of hij de schijf raakt, zonder te kijken of hij wel op 10 meter of op 100 meter stond.

In dit paper introduceren de auteurs een nieuwe manier om te meten, genaamd PCD (Perception Characteristics Distance). Laten we dit uitleggen met een paar simpele metaforen.

1. Het probleem: De "Wazige Bril" op afstand

Stel je voor dat je door een wazige bril kijkt.

• Dichtbij: Je ziet een hond heel scherp. Je bent 100% zeker dat het een hond is.
• Ver weg: De hond wordt kleiner en waziger. Je denkt: "Is dat een hond of een boomstam?" Je bent niet meer zeker.

Huidige meetmethoden zeggen vaak: "De auto heeft de hond gezien!" (Ja/Nee). Maar ze zeggen niet: "De auto ziet de hond duidelijk tot 50 meter, maar daarna begint hij te twijfelen."

In het echt is die twijfel gevaarlijk. Als de auto twijfelt op 70 meter, moet hij misschien al remmen. Als hij denkt dat hij zeker is, maar het is een fout, kan er een ongeluk gebeuren.

2. De oplossing: De "Zekerheids-meter" (PCD)

De auteurs bedachten de PCD. Dit is niet zomaar een afstand, maar een betrouwbaarheids-grens.

• De Metafoor: Denk aan een lantaarnpaal op een donkere, regenachtige nacht. Hoe verder je van de paal afloopt, hoe donkerder het wordt.
  • De PCD is het punt waarop het te donker wordt om nog veilig te zien wat er gebeurt.
  • Het meet niet alleen of je iets ziet, maar hoe zeker je bent op die afstand.
  • Als het regent (slechte weersomstandigheden), wordt die "zekerheids-grens" veel korter. De auto moet dan veel eerder remmen dan op een zonnige dag.

De PCD berekent dit door te kijken naar twee dingen tegelijk:

1. Hoe goed zit de doos om het object? (Is het een scherp beeld?)
2. Hoe zeker is de computer? (Zegt de AI: "Ik weet het zeker" of "Ik gok het maar"?).

Als de computer twijfelt (lage zekerheid) of het beeld wazig is, stopt de PCD. Dat is het moment waarop de auto moet zeggen: "Ik kan hier niet meer veilig op vertrouwen."

3. De nieuwe "Regen-Testbaan" (SensorRainFall Dataset)

Om dit te testen, maakten de auteurs een heel speciaal dataset, genaamd SensorRainFall.

• De Metafoor: Stel je voor dat je een auto wilt testen op regen. Je kunt niet wachten tot het toevallig regent, want dan is het niet eerlijk (soms regent het zachtjes, soms stortbuien).
• Wat deden ze? Ze gingen naar de "Virginia Smart Road", een testbaan waar ze kunstmatige regen kunnen maken! Ze lieten het auto's rijden onder perfecte, gecontroleerde omstandigheden:
  • Zonnig en droog.
  • Regenen overdag.
  • Regenen 's nachts.
  • Regenen 's nachts met straatverlichting.

Ze hadden een rode auto en een pop (als voetganger) op de weg staan. Ze namen duizenden foto's en maten precies hoe ver weg de auto's de pop en de auto nog betrouwbaar zagen.

4. Wat leerden ze?

Toen ze de beste AI-modellen (zoals YOLOX, Mask R-CNN, etc.) testten, zagen ze iets interessants:

• Oude meetlatjes (zoals AP of F1-score) zeiden vaak: "Deze AI is geweldig!"
• De nieuwe PCD-methode zei: "Wacht even, die AI ziet de pop wel, maar op 30 meter begint hij te twijfelen. Op een regenachtige nacht is die afstand zelfs maar 5 meter!"

De les: Een auto die "goed" scoort op oude testen, kan in de regen plotseling blind worden. De PCD laat zien waar die blindheid begint.

5. Waarom is dit belangrijk voor jou?

Stel je voor dat je in een zelfrijdende taxi zit.

• Zonder PCD: De taxi denkt dat hij alles ziet en rijdt hard, zelfs als het stormt.
• Met PCD: De taxi weet precies: "O, het regent en het is donker. Mijn 'zekerheids-grens' is nu 20 meter. Ik moet mijn snelheid aanpassen en extra voorzichtig zijn."

De auteurs zeggen: "We hebben een nieuwe meetlat en een nieuwe testbaan gemaakt. Hiermee kunnen we zelfrijdende auto's veiliger maken, omdat we weten waar hun 'zekerheid' ophoudt."

Kort samengevat:
Dit paper introduceert een slimme nieuwe manier om te meten hoe ver een zelfrijdende auto veilig kan "zien" voordat hij begint te twijfelen, vooral in slecht weer. Het is alsof we een thermometer hebben voor het vertrouwen van de auto, zodat we weten wanneer we moeten remmen.

Technische samenvatting

Titel: Perception Characteristics Distance (PCD): Het meten van stabiliteit en robuustheid van perceptiesystemen in dynamische omstandigheden

1. Het Probleem

De veiligheid van autonome voertuigsystemen (ADS) en geavanceerde bestuurdersassistentiesystemen (ADAS) is afhankelijk van nauwkeurige waarneming (perceptie) over verschillende afstanden en rijomstandigheden.

• Stochasticiteit: De output van AI-perceptie-algoritmen is stochastisch (willekeurig), wat grote gevolgen heeft voor besluitvorming en veiligheidsresultaten, zoals de schatting van de botsingstijd (Time-to-Collision).
• Beperkingen van huidige metrics: Bestaande evaluatiemetrics, zoals Average Precision (AP), Intersection-over-Union (IoU) en de F1-score, zijn gebaseerd op statische, frame-voor-frame beoordelingen. Ze negeren de ruimtelijke en temporele continuïteit die inherent is aan het echte rijden.
• Het "Drempel"-probleem: In de praktijk gebruiken voertuigbesturingslogica's vaak vaste drempelwaarden voor detectie (bijv. een object wordt gedetecteerd als de betrouwbaarheidsscore > 0,4 is). Omdat de betrouwbaarheidsscore op grote afstand sterk fluctueert, leidt een vaste drempel tot inconsistente beslissingen. Huidige metrics kunnen deze afstand-afhankelijke variabiliteit en de onzekerheid in de detectie niet adequaat weergeven.

2. Methodologie

De auteurs introduceren een nieuwe evaluatiemetric genaamd Perception Characteristics Distance (PCD) en een bijbehorende dataset.

A. Perception Characteristics Distance (PCD)
PCD is gedefinieerd als de maximale afstand ($x_i$) waarop de kans dat de perceptie-uitvoer ($y_i$) een vooraf bepaalde kwaliteitsdrempel ($y_{thres}$) overschrijdt, groter is dan een waarschijnlijkheidsdrempel ($p_{thres}$).

• Input: De metric combineert ruimtelijke nauwkeurigheid (IoU) en voorspellingszekerheid (confidence score) tot een gezamenlijke maat: $y_i = \text{IoU} \times \text{confidence}$.
• Statistische modellering:
  1. Variantie-veranderingspunten: Het algoritme identificeert punten in de afstandsserie waar de variantie van de $y_i$-waarden significant verandert (gebruikmakend van gesegmenteerde regressie met splines). Dit verdeelt de data in segmenten met verschillende statistische eigenschappen.
  2. Waarschijnlijkheidsberekening: Binnen elk segment wordt aangenomen dat de scores normaal verdeeld zijn ($N(\mu_i, \sigma_i^2)$). De PCD wordt berekend als de maximale afstand waarbij $P(y_i > y_{thres}) > p_{thres}$.
• Gemiddelde PCD (aPCD): Om een systemische prestatie te geven over een reeks drempelwaarden, wordt het volume onder het PCD-oppervlak berekend over verschillende combinaties van $y_{thres}$ en $p_{thres}$. Dit resulteert in de aPCD, vergelijkbaar met hoe AUC (Area Under Curve) classifierprestaties samenvat.

B. De SensorRainFall Dataset
Om PCD empirisch te valideren, hebben de auteurs de SensorRainFall dataset ontwikkeld.

• Locatie: Virginia Smart Roads, een faciliteit die gecontroleerde weersomstandigheden kan simuleren.
• Omstandigheden: Data is verzameld onder vier condities: helder daglicht, regen overdag, regen 's nachts, en regen 's nachts met straatverlichting. De regenintensiteit was gecontroleerd op 64 mm/u.
• Sensoren: Camera, radar en LiDAR.
• Doelobjecten: Een rode sedan en een dummy-pedestrian (met een plastic poncho om regenbeschadiging te voorkomen, wat ook de zichtbaarheid verbeterde).
• Anotaties: Ground-truth bounding boxes, instance segmentation masks en precieze afstandsmetingen voor objecten op afstanden van 4m tot 250m.

3. Belangrijkste Resultaten

De auteurs hebben 16 experimenten uitgevoerd met 10 state-of-the-art modellen (5 objectdetectie, 5 instance segmentation) op de SensorRainFall dataset.

• Aanvulling op traditionele metrics: Modellen die hoge scores behalen op traditionele metrics (zoals AP50:95), hebben niet per se de beste PCD.
  • Voorbeeld: In regenachtige nachtelijke omstandigheden behaalde GLIP de hoogste aPCD (37,3m), terwijl DyHead de hoogste AP50:95 had. Figuur 5 toont aan dat GLIP stabielere output heeft met minder variantie op grote afstand en een korter "fail-tail" (afstand waar detectie volledig faalt) dan DyHead.
  • Voorbeeld: Mask2Former had de hoogste aPCD bij instance segmentation van voetgangers, terwijl ConvNeXt-V2 hogere AP-scores had. Mask2Former bleek echter voorspelbaarder en minder fluctuerend op korte afstand.
• Invloed van omstandigheden: PCD toont duidelijk aan hoe prestaties verslechteren bij slechte weersomstandigheden. Bijvoorbeeld, bij regen overdag is de PCD aanzienlijk korter dan bij helder daglicht voor hetzelfde model.
• Veiligheidsomhulsel (Safety Envelope): PCD stelt ontwikkelaars in staat om een "veiligheidsomhulsel" te definiëren. Door de drempels ($p_{thres}, y_{thres}$) aan te passen, kan men bepalen hoe ver een systeem betrouwbaar kan detecteren voor specifieke taken (bijv. lage drempels voor vroegtijdige waarschuwing bij kwetsbare weggebruikers, hoge drempels voor precisie manoeuvres).

4. Bijdragen

1. Nieuwe Metric (PCD/aPCD): Een probabilistische metric die de onzekerheid en de afstand-afhankelijke stabiliteit van perceptiesystemen kwantificeert, in plaats van alleen statische nauwkeurigheid.
2. SensorRainFall Dataset: Een uniek, publiek beschikbaar dataset met gecontroleerde regen- en lichtomstandigheden, specifiek ontworpen voor het evalueren van perceptierobuustheid.
3. Inzicht in Stochasticiteit: Het paper demonstreert dat traditionele metrics de fluctuaties in detectiebetrouwbaarheid op grote afstand missen, wat cruciaal is voor de veilige werking van ADS.

5. Betekenis en Impact

• Veiligheid: PCD biedt een meer realistische maatstaf voor de operationele veiligheid van autonome systemen. Het helpt bij het begrijpen van wanneer een systeem "onbetrouwbaar" wordt, wat essentieel is voor het ontwerpen van veilige overnamestrategieën (fallback) of remacties.
• Ontwikkeling: Het stelt onderzoekers en ingenieurs in staat om modellen te selecteren die niet alleen accuraat zijn, maar ook robuust en stabiel onder dynamische omstandigheden.
• Toekomst: De auteurs pleiten voor het gebruik van PCD als een standaardmetric voor ADS/ADAS-evaluatie, vooral in scenario's waar de gevolgen van een misdetectie (zoals het niet zien van een voetganger) catastrofaal zijn.

Conclusie:
Dit paper verschuift de focus van "hoe vaak detecteert het model?" naar "hoe ver en hoe betrouwbaar detecteert het model?". Door de PCD-metric en de SensorRainFall dataset te introduceren, bieden de auteurs een krachtig instrument om de stabiliteit van autonome voertuigen in de echte wereld, met al zijn onzekerheden en weersinvloeden, beter te beoordelen.