SaFeR: Safety-Critical Scenario Generation for Autonomous Driving Test via Feasibility-Constrained Token Resampling

Dit paper introduceert SaFeR, een methode voor het genereren van veiligheidskritieke scenario's voor autonoom rijden die door middel van token-resampling binnen een haalbaarheidsgebied een optimale balans bereikt tussen adversarische effectiviteit, fysieke haalbaarheid en gedragsrealisme.

De kern

SaFeR: De "Stress-test" voor Zelfrijdende Auto's die niet te gek wordt

Stel je voor dat je een nieuwe, slimme zelfrijdende auto wilt testen. Je wilt weten of hij veilig is, maar je kunt niet wachten tot hij in het echt een ongeluk veroorzaakt. Dus moet je hem in een virtuele wereld testen met gevaarlijke situaties: een auto die plotseling voor je uitstapt, een fietser die uit het niets komt, of een drukke kruising.

Het probleem is dat bestaande methoden vaak vastlopen in een dilemma:

1. Ze maken situaties te veilig (saai, geen risico).
2. Ze maken situaties te gevaarlijk (onmogelijk om te vermijden, alsof de auto tegen een muur rijdt).
3. Ze maken situaties onrealistisch (auto's die door de lucht vliegen of plotseling van richting veranderen alsof ze op wieltjes staan).

De auteurs van dit papier hebben SaFeR bedacht. Het is een slimme manier om gevaarlijke, maar mogelijke en realistische ongelukken te simuleren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Gedragsspiegel" (Realisme)

Eerst leert SaFeR hoe echte mensen rijden. Ze gebruiken een enorm aantal video's van echt verkeer (zoals een digitale schoolmeester).

• De Analogie: Stel je voor dat je een acteur hebt die een rol moet spelen. Als je zegt "speel een boze man", kan hij gaan schreeuwen en springen. Maar SaFeR zegt: "Speel een boze man, maar blijf binnen de wetten van de natuur en gedraag je als een mens."
• De Techniek: Ze gebruiken een speciaal brein (een AI-model) dat niet alleen kijkt naar de auto's, maar ook naar de weg en de tijd. Ze hebben een trucje bedacht (de "Differential Attention") die ruis filtert. Het is alsof je in een drukke kroeg staat: je kunt niet naar iedereen luisteren, dus SaFeR helpt je om alleen te focussen op de persoon met wie je praat, en negeert de rest van het geklets.

2. De "Onmogelijke Muur" (Haalbaarheid)

Dit is het belangrijkste deel. Vaak maken computers situaties die in theorie onmogelijk zijn om te vermijden.

• De Analogie: Stel je voor dat je een test doet voor je rijbewijs. De examinator plaatst een muur direct voor je auto en zegt: "Rij er niet tegenaan." Als je dat niet kunt, is de test onzin. SaFeR bouwt een onzichtbare muur (de Largest Feasible Region of LFR).
• Hoe het werkt: SaFeR weet precies hoe ver een auto kan remmen en sturen. Als een gegenereerde situatie betekent dat de auto nooit kan stoppen, dan gooit SaFeR die situatie in de prullenbak. Het zorgt ervoor dat de situatie uitdagend is, maar oplosbaar. Het is een gevaarlijke rit, maar geen doodlopende weg.

3. De "Slimme Dilemma" (Token Resampling)

SaFeR bouwt de gevaarlijke situatie stap voor stap op, woord voor woord (of in dit geval: stap voor stap).

• De Analogie: Stel je voor dat je een verhaal schrijft over een gevaarlijke rit. Je wilt dat de andere auto gevaarlijk rijdt, maar je wilt niet dat hij een onmogelijke beweging maakt.
  • Stap 1 (Vertrouwde Zone): SaFeR kijkt eerst naar de "meest menselijke" opties. Wat zou een normale, maar iets onvoorzichtige bestuurder doen? (Bijvoorbeeld: iets te snel in de bocht).
  • Stap 2 (De Gevaarlijke Keuze): Vanuit die normale opties, kiest SaFeR de ene optie die het meest gevaarlijk is, maar die nog steeds binnen de "onzichtbare muur" valt.
  • Het is alsof je een speler in een computerspel bent die probeert je te verslaan, maar die niet mag valsspelen of de regels van de fysica mag breken.

Waarom is dit belangrijk?

Vroeger waren tests voor zelfrijdende auto's ofwel saai (geen ongelukken) ofwel onzin (onmogelijke ongelukken). SaFeR is de gouden middenweg.

• Voor de fabrikant: Ze kunnen nu duizenden gevaarlijke situaties testen zonder dat de auto echt iets kapot maakt.
• Voor de veiligheid: Ze weten zeker dat als de auto deze tests haalt, hij ook echt veilig is in het echte leven, omdat de situaties realistisch én oplosbaar waren.

Kort samengevat:
SaFeR is als een zeer strenge, maar eerlijke rijinstructeur. Hij gooit je in de meest vervelende verkeerssituaties die je kunt bedenken, maar hij zorgt ervoor dat je altijd nog een kans hebt om te redden. Als je faalt, is het omdat jij (de auto) het niet goed deed, niet omdat de test onmogelijk was.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SaFeR: Safety-Critical Scenario Generation for Autonomous Driving Test via Feasibility-Constrained Token Resampling", vertaald en samengevat in het Nederlands.

Probleemstelling

De veilige implementatie van autonome voertuigsystemen (ADS) vereist rigoureuze tests, maar real-world testen is beperkt door kosten, efficiëntie en veiligheidsrisico's. Simulatie is daarom essentieel, maar er bestaat een fundamenteel conflict bij het genereren van veilige, kritieke scenario's:

1. Adversariële Kritikaliteit: Scenario's moeten gevaarlijk genoeg zijn om botsingen of kritieke situaties te veroorzaken.
2. Fysieke Haalbaarheid: De scenario's moeten theoretisch oplosbaar zijn door een bekwaam autonoom systeem (geen onvermijdbare botsingen).
3. Gedragsrealisme: De bewegingen van achtergrondvoertuigen moeten menselijk en natuurlijk lijken.

Bestaande methoden slagen er vaak niet in deze drie doelen in evenwicht te brengen. Of ze genereren onrealistische, fysiek onmogelijke botsingen (te agressief), of ze zijn te conservatief en genereren geen uitdagende scenario's.

Methodologie: SaFeR

SaFeR (Safety-critical scenario generation for autonomous driving test via Feasibility-Constrained Token Resampling) lost dit op door scenario-generatie te formuleren als een discreet volgende-token voorspellingsprobleem. De architectuur bestaat uit twee hoofdcomponenten:

1. Realisme Prior Modeling (NTP)

• Tokenisatie: Continu bewegingsdata (versnelling en gijsnelheid) wordt omgezet in een discreet vocabularium van "bewegingstokens".
• Transformer-model: Een Next-Token Prediction (NTP) model, gebaseerd op Transformers, leert de natuurlijke verdeling van menselijk rijgedrag uit grote datasets (zoals Waymo Open Motion Dataset).
• Multi-Head Differential Attention (MDA): Een kerninnovatie om "attentie-ruis" in dichte verkeerssituaties te filteren. In plaats van standaard attention-mechanismen die irrelevantie achtergrondagenten onnodig gewicht geven, gebruikt MDA een paar parallelle softmax-functies. Hierdoor wordt de globale ruis dynamisch afgetrokken van de primaire attention-scores, waardoor het model zich scherper richt op cruciale interacties tussen voertuigen en de kaart.

2. Haalbaarheids-geconstrueerde Token Resampling

Om kritieke scenario's te genereren zonder onmogelijke botsingen, past SaFeR een tweestapsstrategie toe binnen het door het realisme-model gegenereerde "vertrouwensgebied" (Trust Region):

• Stage 1: Trust Region Constructie: Het zoekgebied wordt beperkt tot de top-$n$ meest waarschijnlijke tokens die door het realisme-model worden voorspeld. Dit garandeert dat het gegenereerde gedrag menselijk en natuurlijk blijft.
• Stage 2: LFR-geleide Resampling: Binnen dit gebied wordt gezocht naar een token dat de kritikaliteit maximaliseert, maar onderworpen is aan een Haalbaarheidsbeperking gebaseerd op de Grootste Haalbare Regio (LFR - Largest Feasible Region).
  • De LFR wordt benaderd via offline versterking leren (Reinforcement Learning) met behulp van een Hamilton-Jacobi Reachability analyse.
  • Een neurale netwerk waarde-functie ($V_h$) voorspelt of een staat theoretisch veilig is (binnen LFR) of leidt tot een onvermijdbare botsing (buiten LFR).
  • De resampling-strategie minimaliseert de afstand tot het ego-voertuig (om kritikaliteit te verhogen) zolang de staat binnen de LFR blijft. Als een token de LFR schendt, wordt het zwaar bestraft.

Belangrijkste Bijdragen

1. SaFeR Framework: Een unificatie van een hoogwaardig realisme-prior en een haalbaarheidsbewust adversariële resampling-strategie, wat de klassieke trade-off tussen kritikaliteit en haalbaarheid doorbreekt.
2. Multi-Head Differential Attention (MDA): Een nieuw mechanisme dat ruis filtert en complexe ruimtelijk-temporele interacties nauwkeuriger modelleert dan standaard Transformers.
3. LFR-Constraint via Offline RL: Een methode om de theoretische grens van vermijdbare botsingen te leren en te gebruiken als harde constraint, waardoor het genereren van "verkeerde" (onvermijdbare) botsingen wordt voorkomen.

Resultaten

De methode is getest op de Waymo Open Motion Dataset (WOMD) en nuPlan in een gesloten-lus simulatieomgeving (Waymax).

• Realisme: SaFeR presteert beter dan state-of-the-art baselines (zoals Diffusion-modellen, QCNet, SMART) op de "Realism Meta-metric", met name op interactie- en kaartgebaseerde metrics dankzij de MDA.
• Kritikaliteit vs. Oplosbaarheid:
  • Oplossingspercentage (Solution Rate - SR): SaFeR behaalt het hoogste percentage (86.5% op WOMD), wat aangeeft dat de gegenereerde scenario's uitdagend zijn maar door een autonoom systeem opgelost kunnen worden.
  • Botsingspercentage (Collision Rate - CR): Hoewel SaFeR een hoge CR heeft (76.1%), is dit in balans met de SR. Andere methoden zoals ADV-BMT hebben een hogere CR, maar een veel lagere SR, wat betekent dat ze voornamelijk onoplosbare botsingen genereren.
• Kinematische Realisme: SaFeR toont de laagste Jensen-Shannon-divergentie voor snelheid en versnelling, wat aantoont dat de adversariële acties nog steeds sterk lijken op natuurlijk rijgedrag.
• Ablatie Studies: Verwijdering van de LFR-constraint leidt tot een drastische daling in SR (meer onoplosbare botsingen). Verwijdering van MDA leidt tot een daling in realisme en oplosbaarheid, wat de noodzaak van beide componenten bevestigt.

Betekenis en Conclusie

SaFeR biedt een robuuste oplossing voor het genereren van veilige, kritieke testscenario's voor autonome voertuigen. Door token-niveau haalbaarheidsbeperkingen te integreren, zorgt het ervoor dat testsystemen worden geëvalueerd op hun vermogen om complexe, menselijke interacties te hanteren, zonder dat ze worden getest op fysiek onmogelijke situaties. Dit verbetert de betrouwbaarheid van veiligheidsverificatie en versnelt de veilige uitrol van autonome rijtechnologie.