Scenario Generation for Testing of Autonomous Driving Systems Using Real-World Failure Records

Sintesi Tecnica: Generazione di Scenari per il Test di Sistemi di Guida Autonoma Utilizzando Registri di Guasto del Mondo Reale

Definizione del Problema
La sfida principale affrontata è l'inefficienza e la rigidità degli attuali metodi di test per i Sistemi di Guida Autonoma (ADS). Gli approcci esistenti si affidano pesantemente a modelli di scenario statici e progettati manualmente (ad esempio, i protocolli Euro NCAP) o a ricerche basate sulla simulazione che presuppongono rappresentazioni di scenario fisse e si concentrano sull'ottimizzazione dei parametri numerici all'interno di tali modelli. Questi metodi spesso non riescono a catturare le ricche sfumature contestuali dei guasti del mondo reale presenti nei dati storici sugli incidenti, come tipi di strada specifici, zone di lavoro o dinamiche di interazione complesse. Inoltre, manca un framework rigoroso per estrarre definizioni di scenario direttamente dalle narrazioni testuali degli incidenti e adattarle per il testing di sistema specifico tramite simulazione.

Metodologia
Gli autori propongono una pipeline automatizzata e modulare per la generazione di scenari che sfrutta i registri storici degli incidenti degli ADS (nello specifico, i dati NHTSA) per costruire suite di test diversificate. L'approccio integra dati categorici e narrazioni in linguaggio naturale attraverso una pipeline a tre stadi basata su Large Language Models (LLM):

1. Estrazione delle Meta-Variabili: Il sistema identifica le caratteristiche categoriche dai registri degli incidenti (ad esempio, Tipo di Strada, Movimento pre-incidente del Veicolo Proprio e del Partner di Scontro, Presenza di Zona di Lavoro) per definire modelli di scenario di alto livello.
2. Generazione di Scenari basata su LLM: La pipeline impiega tre agenti LLM sequenziali:
   • Agente di Parafrasi: Elabora le narrazioni grezze degli incidenti per filtrare i dettagli irrilevanti (ad esempio, posizione, tempo, rapporti sulle lesioni) e mantiene solo i dettagli topologici e contestuali necessari per la ricostruzione. Filtra inoltre gli scenari incompatibili con il simulatore target (ad esempio, collisioni posteriori causate da negligenza non-ego che non possono essere replicate dalla specifica policy ego oggetto di test) e genera narrazioni alternative plausibili.
   • Agente di Generazione dello Scenario: Prende la narrazione parafrasata e il modello di meta-variabili definito per generare un'istanza di scenario specifico ($z_s$). Ciò include la codifica di parametri specifici come traiettorie degli agenti, velocità e tipi di mappa compatibili con il simulatore (in questo caso, Metadrive).
   • Agente di Fine-Tuning: Affina lo scenario generato sulla base delle metriche di prestazione (ad esempio, gap minimo) raccolte durante i rollout delle traiettorie. Questo passaggio regola iterativamente i parametri numerici per sottoporre il sistema a stress-test, potenzialmente riducendo i margini di sicurezza per rivelare modalità di guasto.
3. Diversità tramite Clustering: Per garantire una copertura ampia entro un budget di testing limitato, gli autori raggruppano i registri storici degli incidenti tramite k-means. Le caratteristiche del clustering includono meta-variabili codificate one-hot ed embedding vettoriali a 6 dimensioni delle narrazioni (generati tramite all-MiniLM-L6-v2). Viene generato un singolo scenario per ogni cluster per rappresentare distinte modalità di guasto.

Contributi Chiave

• Pipeline Automatizzata: Gli autori presentano una procedura innovativa che automatizza la transizione dai rapporti di incidenti del mondo reale a scenari pronti per la simulazione, utilizzando sia caratteristiche categoriche che narrazioni in linguaggio naturale.
• Adattamento Specifico al Sistema: Il metodo introduce un approccio modulare basato su LLM per adattare i record storici ai vincoli specifici del sistema e delle policy, andando oltre la progettazione di modelli statici.
• Framework di Validazione: L'approccio è validato generando una suite di test per una policy IDM sul simulatore Metadrive utilizzando i dati degli incidenti ADS NHTSA del 2021.

Risultati Sperimentali
Gli autori hanno valutato la pipeline utilizzando i dati NHTSA 2021, ottenendo 20 cluster di scenari distinti.

• Accuratezza: 17 su 20 scenari generati corrispondevano perfettamente ai modelli di meta-variabili previsti. I tre disallineamenti riguardavano errori minori nella direzione del movimento del partner di scontro o nella presenza di zone di lavoro, che gli autori notano poter essere ulteriormente ottimizzati tramite l'agente di fine-tuning.
• Diversità e Stress Testing: Il clustering ha catturato con successo 11 dei 14 modelli di scenario naturalmente presenti nei dati storici filtrati. Il processo di fine-tuning ha ridotto significamente il gap minimo tra i veicoli in 14 degli 16 scenari che richiedevano un aggiustamento, creando efficacemente scenari di "quasi collisione" o collisione effettiva.
• Approfondimenti sul Sistema: I test generati hanno rivelato specifiche caratteristiche comportamentali della policy IDM:
  • La policy ha evitato con successo collisioni frontali, ma ha mostrato movimenti oscillatori indesiderati e frenate anticipate nel tentativo di evitare veicoli che procedevano rettilineamente.
  • La policy era meno reattiva agli ostacoli piccoli (ad esempio, coni nelle zone di lavoro) rispetto ai veicoli grandi, portando a collisioni negli scenari di zona di lavoro.
  • Gli scenari di moto laterale hanno causato collisioni laterali, evidenziando modalità di guasto specifiche non sempre catturate dai modelli standard.

Significatività e Rivendicazioni
Il documento sostiene che il proprio approccio fornisce un modo rigoroso per colmare il divario tra i dati di guasto non strutturati del mondo reale e il testing di simulazione strutturato. Utilizzando i record storici, il metodo riduce l'impegno manuale richiesto per la progettazione dei modelli di scenario e garantisce che il testing copra sia le condizioni di guasto comuni che quelle insolite. Gli autori sottolineano che i loro scenari generati sono compatibili con i metodi di testing di basso livello esistenti (come l'Ottimizzazione Bayesiana o il campionamento MCMC), consentendo ulteriori iterazioni sui parametri numerici. Il lavoro dimosta che gli LLM possono trasformare efficacementamente le descrizioni testuali dei guasti in casi di test eseguibili e specifici per il sistema, rivelando le vulnerabilità del sistema entro un budget di testing limitato (20 scenari).

Limitazioni e Lavori Futuri
Gli autori riconoscono alcune limitazioni, tra cui la mancanza di una definizione unificata di "copertura" nel testing, il che complica la ricerca di una generazione diversificata. Notano inoltre che fissare una specifica policy limita la capacità di replicare completamente i movimenti del veicolo ego in tutti i desiderati scenari. Le direzioni future includono l'estensione della pipeline per generare condizioni visive per policy basate sulla visione e l'uso di LLM per creare narrazioni di guasto sintetiche laddove manchino dati reali.