Technische Samenvatting: ReactSim-Bench

1. Probleemstelling

In simulaties voor autonoom rijden (AD) zijn behavior world models cruciaal voor het genereren van realistische toekomstige gedragingen van omringend verkeer. Hoewel bestaande benchmarks (bijv. Waymo Open Sim Agents Challenge - WOSAC) de realisme van deze modellen evalueren door te meten hoe nauw gesimuleerde trajecten overeenkomen met opgenomen rijlogs, falen zij in het beoordelen van de reactieve capaciteit.

Huidige evaluatieprotocollen koppelen de besturing van het Autonome Voertuig (AV) en de omringende agenten doorgaans binnen de simulator. De simulator voorspelt beide, met als doel de afstand tot het opgenomen traject te minimaliseren. Deze opzet test niet of de omringende agenten redelijk kunnen reageren wanneer het AV anders handelt dan de opgenomen log — een scenario dat veel voorkomt in closed-loop testen en reinforcement learning, waarbij het planning-beleid van het AV kan afwijken van de expert-demonstratie. Zonder reactieve capaciteit kunnen simulaties interacties wanneer het AV onverwachte acties onderneemt niet accuraat modelleren, wat leidt tot een kloof tussen simulatie en real-world implementatie.

2. Methodologie

2.1 ReactSim-Bench Protocol

De kerninnovatie van dit werk is het Reactive Simulation Protocol, dat de besturing van het AV en de omringende agenten ontkoppelt:

• Ontkoppelde Besturing: Het AV wordt behandeld als een onafhankelijke input voor de simulatie. Het traject is vastgelegd op een "afwijkend" pad dat verschilt van de originele log.
• Agent Reactie: Het behavior world model (de simulator) is alleen verantwoordelijk voor het genereren van de toekomstige toestanden van de omringende agenten ($S'_{agents}$) op basis van de kaart, historische toestanden en het gerealiseerde afwijkende AV-traject ($S'_{AV}$).
• Doelstelling: De simulator moet de meest realistische, veilige en regelconforme reacties genereren van de omringende agenten op het nieuwe AV-gedrag, in plaats van simpelweg de log af te spelen.

2.2 Dataverzameling Pipeline

Om deze capaciteit te evalueren, hebben de auteurs een dataset van 2.636 testscenario's geconstrueerd met behulp van de nuPlan dataset. De pipeline omvat:

1. Scenario Pre-selectie: Het identificeren van scenario's met potentiële interacties tussen AV en agenten.
2. Kandidaat Generatie: Het gebruik van een vooraf getrainde multimodale planner (Diffusion Planner) om kandidaat AV-trajecten te genereren die afwijken van de log.
3. Filtering: Het toepassen van regels om trajecten te verwijderen die kinematisch onhaalbaar zijn, de rijbaan verlaten, of onvoldoende "reactieve druk" veroorzaken (d.w.z. ze creëren geen situatie waarin het afspelen van de log zou leiden tot een botsing of bijna-botsing).
4. Handmatige Verificatie: Menselijke verificatie om te waarborgen dat de afwijkende trajecten geldig zijn en de noodzakelijke conflicten induceren.

Afwijkings Taxonomie: De verzamelde afwijkende AV-gedragingen worden gecategoriseerd in drie typen op basis van de bron van de afwijking:

• Directioneel: Andere draairichting of rijstrookverbinder.
• Lateraal: Verschuiving in laterale positie (bijv. rijstrookwissel) terwijl de richting vergelijkbaar blijft.
• Longitudinaal: Verschillend snelheidsprofiel (sneller, langzamer, stoppen) langs een vergelijkbaar ruimtelijk pad.

2.3 Evaluatiemetrieken

De benchmark evalueert veiligheid en haalbaarheid aan de hand van zes metrieken:

1. Agent-AV Botsingen: Gemiddeld aantal botsingen waarbij de omringende agent de schuld heeft.
2. Agent-AV Risicovolle TTC: Gemiddeld aantal agenten betrokken bij een Time-to-Collision (TTC) < 0,5s met het AV.
3. Agent-Agent Botsingspercentage: Fractie van agenten die botsen met andere agenten.
4. Off-road Percentage: Fractie van tijdstippen waarop voertuigen de rijbaan verlaten.
5. Rijrichting Overtredingspercentage: Fractie van voertuigen die tegen de verkeersrichting in rijden.
6. Kinematische Onhaalbaarheid: Rates van onhaalbare acceleratie en stuurkromming.

3. Belangrijkste Bijdragen

1. ReactSim-Bench: De eerste benchmark die specif으로 is ontworpen om de reactieve capaciteit van behavior world simulatiemodellen te evalueren, waarbij gemeten wordt hoe goed ze omgaan met AV-gedragingen die afwijken van opgenomen logs.
2. Data Pipeline: Een systematische pipeline voor het verzamelen en verifiëren van afwijkende AV-gedragingen die realistische reactieve druk op omringende agenten uitoefenen terwijl de kinematische haalbaarheid behouden blijft.
3. Systematische Evaluatie: Een uitgebreide evaluatie van State-of-the-Art (SOTA) modellen over drie architecturale paradigma's:
   • Transformer-gebaseerd: MTR.
   • Diffusion-gebaseerd: VBD, CTG.
   • Next-Token-Prediction (NTP) gebaseerd: SMART, CATK, TrajTok.
4. Analyse van Replan Frequentie: Een onderzoek naar hoe de frequentie van herplanning (het bijwerken van de simulatie op basis van gerealiseerde AV-toestanden) de reactieve prestaties beïnvloedt.

4. Experimentele Resultaten

De auteurs hebben de bovengenoemde modellen geëvalueerd op de 2.636 testscenario's. Belangrijkste bevindingen zijn:

• Reactieve Capaciteit Bestaat maar Varieert: Alle geleerde modellen presteren significant beter dan eenvoudige "Log Replay" wat betreft botsingsvermijding en veiligheidsmetrieken, wat aangeeft dat huidige modellen over enige inherente reactieve capaciteit beschikken.
• Realisme $\neq$ Reactiviteit: Hoge prestaties in realisme-benchmarks (bijv. lage ADE, hoge kinematische waarschijnlijkheid in WOSAC) garanderenen geen goede reactieve prestaties. Zo vertoonde MTR (Transformer-gebaseerd) slechtere realisme-metrieken dan CTG (Diffusion-gebaseerd), maar bereikte aanzienlijk lagere botsingenaantallen onder het reactieve protocol. Omgekeerd verbeterde CATK het realisme ten opzichte van SMART, maar vertoonde iets slechtere reactieve metrieken.
• Beperkingen van Imitation Learning: Modellen die zwaar leunen op het fitten van opgenomen trajecten (zoals NTP-gebaseerde modellen) worden geconfronteerd met een out-of-distribution (OOD) uitdaging wanneer het AV afwijkt. Hoewel ze de log goed fitten, neemt hun aantal botsingen merkbaar toe wanneer het AV-gedrag verandert, wat suggereert dat het simpelweg fitten van de log onvoldoende is voor robuuste reactieve simulatie.
• Impact van Replan Frequentie: Het verhogen van de herplanningsfrequentie (bijv. van 1 Hz naar hogere rates) verbetert over het algemeen de reactieve capaciteit. Dit stelt de simulator in staat om het gerealiseerde AV-gedrag vaker te observeren en de reacties van agenten dienovereenkomstig aan te passen. Dit staat in contrast met realisme-benchmarks (zoals WOSAC), waar een hoge herplanningsfrequentie de prestaties kan verslechteren door cumulatieve fouten in een gekoppelde besturingssetting.

5. Betekenis en Claims

Het artikel claimt dat ReactSim-Bench een noodzakelijk en praktisch referentiepunt biedt voor de ontwikkeling van toekomstige autonome rijsimulatoren. Door de focus te verleggen van "log-gelijkenis" naar "reactieve capaciteit", adresseert deze benchmark een kritieke kloof in huidige evaluatieprotocollen.

De auteurs benadrukken dat hoewel realisme belangrijk is, het niet alle aspecten van modelprestaties kan vertegenwoordigen. Een simulator moet in staat zijn om de distributieverschuiving te verwerken die wordt veroorzaakt door een AV die anders handelt dan de expert-log. De benchmark en de bijbehorende analyse van herplanningsstrategieën bieden inzichten voor het ontwerpen van robuustere behavior world modellen die interacties in dynamische, closed-loop omgevingen veilig en realistisch kunnen simuleren. Het werk moedigt toekomstige studies aan om zich te richten op reactieve gedragssimulatie in plaats van enkel op de nauwkeurigheid van trajectvoorspelling.