Technische Samenvatting: ScenePilot

Probleemstelling

Veiligheidskritieke scenario's zijn essentieel voor het evalueren van systemen voor autonoom rijden (AV), maar komen uiterst zeldzaam voor in logs van natuurlijk rijgedrag, wat noodzaakt tot stresstesten op basis van simulatie. Bestaande methoden voor scenario-generatie behandelen omringende agenten doorgaans als tegenstanders die zijn getraind om botsingen te veroorzaken. Deze benaderingen lijden echter aan twee primaire beperkingen:

1. Fysische Ongeldigheid: Methoden die niet expliciet de fysieke grenzen van voertuig-weginteracties modelleren, genereren vaak "visueel extreme" maar fysisch onoplosbare crashes (bijvoorbeeld waarbij oneindige deceleratie vereist is). Deze fouten testen numerieke robuustheid in plaats van echte tekortkomingen in de autonomie-stack aan het licht te brengen.
2. Overmatige Aanhankelijkheid aan Enkele Beperkingen:
   • Fysiek-beperkte methoden beperken agenten tot fysisch realiseerbaar gedrag, maar zakken vaak samen tot extreme randverstorende manoeuvres nabij de fysieke grenzen, waardoor het bredere regime van interacties wordt gemist dat fysisch oplosbaar is maar toch AV-fouten veroorzaakt.
   • Beleid-beperkte methoden sturen de generatie naar de capaciteitsgrens van een specifieke controller. Hoewel dit bruikbaar is voor het diagnosticeren van die specifieke stack, verankert het de generatie aan een controller-afhankelijke grens en faalt het om aan te tonen hoe dicht de AV opereert bij de fundamentele fysieke grenzen van de omgeving.

Het artikel betoogt dat het meest informatieve regime de "grensband" is: scenario's die in principe fysisch oplosbaar zijn (er bestaan toelaatbare dynamieken om een botsing te voorkomen) maar die toch leiden tot het falen van de ingezette autonomie-stack vanwege diens specifieke beperkingen.

Methodologie: ScenePilot

ScenePilot is een haalbaarheidsgeleid, randgedreven kader dat is ontworpen om deze grensband aan te pakken. Het formuleert scenario-generatie als een beperkt multi-objectief Markov-besluitproces (MDP) met behulp van Versterkingsleren (RL).

1. Dual-Signaal Formulering

Het kader ontkoppelt fysische haalbaarheid van AV-beleidscapaciteit met behulp van twee signalen per stap:

• Fysische Haalbaarheidsscore ($\sigma$): Afgeleid van een fysisch-grensvariant van het Responsibility-Sensitive Safety (RSS)-model. In tegenstelling tot standaard RSS, dat conservatieve reactietijden omvat, berekent deze variant de theoretische remafstand op basis van maximale haalbare deceleratie.
  • $\sigma \geq 0$: Het frame is fysisch haalbaar (een botsing is vermijdbaar via toelaatbaar remmen/sturen).
  • $\sigma < 0$: Het frame is fysisch onhaalbaar (een botsing is onvermijdbaar).
  • De score aggregeert longitudinale en laterale marges, rekening houdend met voertuiggeometrie en tijd tot botsing (TTC), om te bepalen of orthogonale manoeuvres een botsing kunnen voorkomen.
• AV-Risicopredictor ($\Phi$): Een online-geleerd, lichtgewicht criticusnetwerk dat het directe veiligheidsrisico van het eigen voertuig schat. Het wordt getraind via potentieelgebaseerde beloningsvorming om een dichte, differentieerbare signaal van botsingswaarschijnlijkheid te leveren, onafhankelijk van het beleid van een specifieke controller.

2. Beperkte Multi-Objectief Optimalisatie

Het doel is om het AV-risico ($J_\phi$) te maximaliseren terwijl fysische haalbaarheid wordt behouden ($J_\sigma \geq \epsilon$). Het doel wordt als volgt geformuleerd:
$$\max_{\pi} J_\phi(\pi) \quad \text{s.t.} \quad J_\sigma(\pi) \geq \epsilon$$
waarbij $\epsilon$ een regelvariabele is die de haalbaarheidsdrempel doorloopt.

3. Belangrijke Mechanismen

• Stap-niveau Haalbaarheidsbewust Schermen: Om te voorkomen dat het beleid afwijkt naar fysisch onhaalbare gebieden of nabijgelegen grensovertredingen negeert, introduceren de auteurs een schermmasker. Als een haalbaarheidsovertreding aanwezig is of dreigt ($h_t > 0$), prioriteert de beleidswijziging het haalbaarheidsvoordeel ($A_\sigma$); anders optimaliseert het voor risico ($A_\phi$). Dit zorgt ervoor dat de agent dicht bij de grens blijft zonder samen te vallen in onhaalbare artefacten.
• Doorlopen van Haalbaarheidsdrempels: Het systeem hanteert een Gaussisch gevormd schema voor $\epsilon$, beginnend nabij de fysieke limiet en het vergroten van de marge geleidelijk. Dit stelt de agent in staat om een spectrum van de grensband te verkennen in plaats van samen te vallen in een enkele smalle set extreme manoeuvres.

Belangrijkste Bijdragen

1. Grensband-formulering: Een nieuwe formulering die fysische haalbaarheid ontkoppelt van AV-beleidscapaciteit, met als expliciet doel het regime waar interacties fysisch oplosbaar maar beleidsongerealiseerbaar zijn.
2. Beperkte Adversariële Generator: Een multi-objectief RL-kader dat een fysisch-afgeleide score ($\sigma$) koppelt aan een online-geleerde risicopredictor ($\Phi$), gebruikmakend van stap-niveau scherming en drempel-doorlopen om samples te concentreren in de nabij-grenzen haalbare band.
3. Empirische Validatie: Aantonen dat ScenePilot scenario's genereert met hogere botsingspercentages terwijl fysische geldigheid behouden blijft, en dat adversariële fijnafstelling op deze scenario's consistent de downstream-robustheid verbetert.

Experimentele Resultaten

Experimenten werden uitgevoerd op de SafeBench-benchmark binnen de CARLA-simulator.

• Veiligheidskritikaliteit: In vergelijking met state-of-the-art baselines (waaronder Learning-to-Collide, AdvSim, ChatScene en SCENGE) behaalde ScenePilot het hoogste gemiddelde botsingspercentage (CR) van 0,893 en het laagste Totale Score (OS) van 0,476 over acht basisverkeersscenario's.
• Overdraagbaarheid: De gegenereerde scenario's bleven effectief over heterogene AV-stacks, waaronder CARLA Autopilot, AIM-BEV, TransFuser, BehaviorAgent en diverse diepe RL-controllers (SAC, PPO, TD3). ScenePilot verhoogde het gemiddelde CR van 0,380 (baseline KING) naar 0,490 op het scenario "Onbeschermde Linksafslag".
• Fysische Geldigheid: Analyse toonde aan dat ScenePilot aanzienlijk minder fysisch ongeldige frames produceerde in vergelijking met ChatScene, wat bevestigt dat zijn fouten niet afhankelijk zijn van fysisch onmogelijk gedrag.
• Downstream Nut: Adversariële fijnafstelling van een eigen beleid met behulp van door ScenePilot gegenereerde scenario's verlaagde het downstream botsingspercentage van 0,854 (voorgetraind) naar 0,072, wat beter presteerde dan fijnafstelling met scenario's van andere generators.
• Dekking: De methode dekte een breder deel van de "fysisch haalbare maar AV-onhaalbare" gap-band (gemeten door Gap Coverage Score) in vergelijking met baselines, en vermijdt het instorten in te milde of te extreme regimes.

Betekenis en Claims

Het artikel beweert dat ScenePilot een strikter evaluatiehulpmiddel biedt voor autonoom rijden door competentie-gaten te isoleren—fouten die voortkomen uit beperkingen van de huidige autonomie-stack in plaats van onvermijdbare fysieke beperkingen. Door zich te richten op de "grensband", genereert de methode scenario's die:

• Informatief zijn: Ze onthullen echte algoritmische zwaktes in plaats van numerieke randgevallen.
• Actiegericht zijn: Ze bieden gerichte trainingsdata die de robuustheid van ingezette systemen verbetert.
• Generaliseerbaar zijn: Ze blijven uitdagend over diverse controller-architecturen.

De auteurs positioneren dit werk als een stap naar systematische veiligheidsborging die voorbij gaat aan eenvoudige foutmaximalisatie om de genuanceerde ruimte tussen fysieke mogelijkheid en algoritmische capaciteit te verkennen.