Scenario Generation for Testing of Autonomous Driving Systems Using Real-World Failure Records

Technische Samenvatting: Scenario-generatie voor het testen van autonome rij-systemen met behulp van real-world foutrapportages

Probleemstelling
De primaire uitdaging die wordt aangepakt, is de inefficiëntie en starheid van huidige testmethoden voor Autonomous Driving Systems (ADS). Bestaande benaderingen leunen zwaar op statische, handmatig ontworpen scenario-templates (bijv. Euro NCAP-protocollen) of simulatiegebaseerde zoekopdrachten die uitgaan van vaste scenario-representaties en zich richten op het optimaliseren van numerieke parameters binnen die templates. Deze methoden slagen er vaak niet in om de rijke, contextuele nuances van real-world fouten te vangen die aanwezig zijn in historische ongevalsgegevens, zoals specifieke wegtypen, werkzones of complexe interactiedynamiek. Bovendien is er een gebrek aan een principieel kader om scenario-definities direct af te leiden uit natuurlijke taal-ongevalsverslagen en deze aan te passen voor systeemspecifieke simulatietests.

Methodologie
De auteurs stellen een geautomatiseerde, modulaire scenario-generatiepijplijn voor die historische ADS-crashgegevens (specifiek NHTSA-data) gebruikt om diverse testsuites te construeren. De aanpak integreert categorische gegevens en natuurlijke taal-narratieven via een driestaps LLM-pijplijn:

1. Meta-variabele Extractie: Het systeem identificeert categorische kenmerken uit crashrecords (bijv. Wegtype, Beweging vóór de crash van het eigen voertuig en de crashpartner, Aanwezigheid van een werkzone) om hoogwaardige scenario-templates te definiëren.
2. LLM-gebaseerde Scenario-generatie: De pijplijn maakt gebruik van drie opeenvolgende LLM-agenten:
   • Paraphrasing Agent: Verwerkt ruwe crash-narratieven om irrelevante details (bijv. locatie, tijd, letselrapporten) te filteren en behoudt alleen de topologische en contextuele details die nodig zijn voor reconstructie. Het filtert ook scenario's die incompatibel zijn met de doel-simulator (bijv. achteruitrijbotsingen veroorzaakt door niet-ego nalatigheid die niet gereproduceerd kunnen worden door de specifieke ego-policy die getest wordt) en genereert plausibele alternatieve narratieven.
   • Scenario Generation Agent: Neemt het geparafraseerde narratief en de gedefinieerde meta-variabele template en genereert een specifiek scenario-instance ($z_s$). Dit omvat het coderen van specifieke parameters zoals agent-trajecten, snelheden en kaarttypen die compatibel zijn met de simulator (in dit geval Metadrive).
   • Fine-Tuning Agent: Verfijnt het gegenereerde scenario op basis van prestatie-metrieken (bijv. minimale afstand) verzameld tijdens traject-rollouts. Deze stap past iteratief numerieke parameters aan om het systeem te belasten (stress-testen), waarbij de veiligheidsmarges potentieel worden verkleind om foutmodi te onthullen.
3. Diversiteit via Clustering: Om een brede dekking te garanderen binnen een beperkt testbudget, clusteren de auteurs de historische crashrecords met behulp van k-means. De clustering-kenmerken omvatten one-hot encoded meta-variabelen en 6-dimensionale vector-embeddings van de narratieven (gegenereerd via all-MiniLM-L6-v2). Per cluster wordt één scenario gegenereerd om een onderscheidende foutmodus te vertegenwoordigen.

Belangrijkste Bijdragen

• Geautomatiseerde Pijplijn: De auteurs presenteren een nieuwe procedure die de overgang van real-world crashrapporten naar simulatie-klare scenario's automatiseert, waarbij gebruik wordt gemaakt van zowel categorische kenmerken als natuurlijke taal-narratieven.
• Systeemspecifieke Adaptatie: De methode introduceert een modulaire LLM-gebaseerde aanpak om historische records aan te passen aan specifieke systeembeperkingen en policies, waarmee men verder gaat dan statisch template-ontwerp.
• Validatiekader: De aanpak wordt gevalideerd door een testsuite te genereren voor een IDM-policy op de Metadrive-simulator met behulp van 2021 NHTSA ADS-crashrecords.

Experimentele Resultaten
De auteurs evalueerden de pijplijn met behulp van 2021 NHTSA-data, wat resulteerde in 20 onderscheidende scenario-clusters.

• Nauwkeurigheid: 17 van de 20 gegenereerde scenario's kwamen exact overeen met de beoogde meta-variabele templates. De drie mismatches betroffen kleine fouten in de bewegingsrichting van de crashpartner of de aanwezigheid van een werkzone, wat de auteurs opmerkt als zaken die verder geoptimaliseerd kunnen worden via de fine-tuning agent.
• Diversiteit en Stress-testen: De clustering slaagde erin 11 van de 14 scenario-templates te vangen die natuurlijk aanwezig waren in de gefilterde historische data. Het fine-tuning proces verminderde de minimale afstand tussen voertuigen aanzienlijk in 14 van de 16 scenario's die aanpassing vereisten, waardoor effectief "bijna-botsing"- of botsingsscenario's werden gecreëerd.
• Systeeminzichten: De gegenereerde tests onthulden specifieke gedragskenmerken van de IDM-policy:
  • De policy voorkwam succesvol frontale botsingen, maar vertoonde ongewenste oscillerende bewegingen en vroegtijdige remacties bij het ontwijken van rechtuit bewegende voertuigen.
  • De policy was minder reactief op kleine obstakels (bijv. pionnen in werkzones) vergeleken met grote voertuigen, wat leidde tot botsingen in werkzone-scenario's.
  • Scenario's met laterale beweging resulteerden in zijdelingse botsingen, wat specifieke foutmodi benadrukte die niet altijd door standaard templates worden gevangen.

Betekenis en Claims
Het artikel claimt dat de aanpak een fundamentele manier biedt om de kloof tussen ongestructureerde real-world foutgegevens en gestructureerde simulatietests te overbruggen. Door gebruik te maken van historische records, vermindert de methode de handmatige inspanning die vereist is voor het ontwerpen van scenario-templates en zorgt het ervoor dat testen zowel veelvoorkomende als ongebruikelijke foutcondities dekt. De auteurs benadrukken dat hun gegenereerde scenario's compatibel zijn met bestaande low-level testmethoden (zoals Bayesian Optimization of MCMC sampling), wat verdere iteratie op numerieke parameters mogelijk maakt. Het werk demonstreert dat LLM's effectief natuurlijke taal-beschrijvingen van fouten kunnen transformeren naar uitvoerbare, systeemspecifieke testgevallen, waardoor kwetsbaarheden van het systeem worden blootgelegd binnen een beperkt testbudget (20 scenario's).

Beperkingen en Toekomstig Werk
De auteurs erkennen beperkingen, waaronder het gebrek aan een uniforme definitie voor "coverage" (dekking) in testen, wat het nastreven van diverse generatie bemoeilijkt. Ze merken ook op dat het vastleggen van een specifieke policy de mogelijkheid beperkt om de bewegingen van het ego-voertuig in alle gewenste scenario's volledig te repliceren. Toekomstige onderzoeksrichtingen omvatten het uitbreiden van de pijplijn om visuele condities te genereren voor vision-gebaseerde policies en het gebruik van LLM's om synthetische fout-narratieven te creëren wanneer real-world data ontbreekt.