The Role of Road Features and Vehicle Dynamics in Cost-Effective Autonomous Vehicles Safety Testing: Insights from Instance Space Analysis

Titolo del Paper

Il ruolo delle caratteristiche stradali e della dinamica veicolare nei test di sicurezza economici per veicoli autonomi: approfondimenti dall'analisi dello spazio delle istanze.

1. Il Problema

Il testing basato su simulazione è un'alternativa efficiente in termini di costi rispetto ai test su strada per i Veicoli Autonomi (AV), ma la generazione di casi di test critici per la sicurezza rimane una sfida a causa dello spazio di ricerca vastissimo.
La letteratura esistente ha studiato separatamente due categorie di caratteristiche dei scenari di test:

• Caratteristiche Statiche: Fattori invarianti come la geometria della strada, la struttura delle corsie, le curve e la segnaletica.
• Caratteristiche Dinamiche: Comportamenti del veicolo e variabili esterne come velocità, angolo di sterzata, accelerazione, condizioni meteorologiche e stato dei sensori.

Il gap critico identificato è la mancanza di studi sistematici che analizzino come queste due categorie interagiscano tra loro per influenzare gli esiti dei test (es. incidenti o uscite dalla corsia). Le dipendenze reciproche tra la geometria della strada e il comportamento dinamico del veicolo sono spesso trascurate, limitando l'efficacia dei framework di testing attuali. Inoltre, la definizione dello spazio di ricerca basato su tutte le interazioni possibili rende l'esplorazione completa impraticabile in termini di tempo e risorse.

2. Metodologia

Lo studio propone un approccio integrato basato sull'Analisi dello Spazio delle Istanze (Instance Space Analysis - ISA) per valutare simultaneamente caratteristiche statiche e dinamiche, identificare le influenze chiave sulla sicurezza e prevedere gli esiti dei test senza eseguirli.

Il processo di ricerca si articola in quattro fasi principali:

1. Estrazione dei Dati:

   • Utilizzo del dataset SensoDat, contenente oltre 32.000 casi di test eseguiti nel simulatore BeamNG.tech.
   • Selezione di un sottoinsieme bilanciato di 6.122 casi di test (efficaci e inefficaci) generati da tre tecniche diverse: Frenetic, FreneticV e AmbieGen.
   • Definizione dell'efficacia: un caso è "efficace" se provoca un incidente Out-of-Bound (OOB) (uscita dalla corsia), altrimenti è "inefficace".
   • Estrazione di 19 caratteristiche statiche (tramite strumento SDC-Scissor) e 181 caratteristiche dinamiche (dati dei sensori e stati interni del veicolo).

2. Analisi dello Spazio delle Istanze (ISA):

   • Mappatura dei casi di test da uno spazio di caratteristiche n-dimensionale a uno spazio 2D.
   • Utilizzo di algoritmi di clustering (k-means) e selezione delle caratteristiche basata sulla correlazione con l'esito del test (soglia $\rho \ge 0.3$).
   • Applicazione del metodo PILOT (Projecting Instances with Linearly Observable Trends) per proiettare le istanze in 2D, massimizzando la separazione tra casi efficaci e inefficaci e preservando le relazioni topologiche.

3. Identificazione delle Caratteristiche Impattanti:

   • Selezione di un sottoinsieme di caratteristiche che meglio spiegano gli esiti osservati e separano le classi nel progetto 2D.

4. Predizione degli Esiti (Machine Learning):

   • Addestramento di 5 classificatori ML (Random Forest, Decision Tree, KNN, MLP, Naive Bayes) su tre configurazioni diverse:
     1. Solo caratteristiche statiche.
     2. Solo caratteristiche dinamiche.
     3. Combinazione di entrambe.
   • Valutazione delle prestazioni su un set di test tenuto da parte (20% dei dati) utilizzando Precision, Recall e F1-score.

3. Contributi Chiave

1. Framework Unificato: Introduzione di un approccio integrato che analizza simultaneamente caratteristiche statiche (strada) e dinamiche (veicolo), superando la tradizionale separazione tra i due domini.
2. Identificazione delle Interdipendenze: Dimostrazione empirica di come le caratteristiche statiche (es. curvatura della strada) influenzino direttamente il comportamento dinamico del veicolo (es. aggiustamenti dello sterzo), creando scenari critici.
3. Predizione Efficiente: Sviluppo di modelli predittivi che permettono di identificare i casi di test critici prima dell'esecuzione della simulazione, ottimizzando il processo di regression testing.
4. Riduzione dei Costi: Capacità di generare set di test efficaci utilizzando un sottoinsieme ridotto di caratteristiche, riducendo tempi e risorse computazionali.

4. Risultati

• Risposta alla RQ1 (Caratteristiche Chiave): L'ISA ha identificato 16 caratteristiche fondamentali (10 dinamiche, 6 statiche).
  • Statiche: Diversità della strada, angoli massimi/minimi/standard, distanza totale.
  • Dinamiche: Deviazione standard dello sterzo, valore minimo di sterzo, input massimo di sterzo, altitudine massima, deviazione standard dell'attivazione del controllo elettronico di stabilità (ESC).
• Risposta alla RQ2 (Interazione Strada-Veicolo): È emerso che le caratteristiche statiche guidano quelle dinamiche. Ad esempio, strade con curve brusche dopo tratti rettilinei (alta variabilità angolare) costringono il veicolo a sterzate rapide e brusche, attivando frequentemente l'ESC e causando sbilanciamenti (variazioni di altitudine), portando all'incidente OOB.
• Risposta alla RQ3 (Predizione ML):
  • I modelli addestrati sulla combinazione di caratteristiche statiche e dinamiche hanno superato significativamente quelli addestrati su un singolo tipo.
  • Il modello Random Forest (RF) con tutte le caratteristiche ha raggiunto le prestazioni migliori: Precision 0.958, Recall 0.915, F1-score 0.936.
  • I modelli basati solo su caratteristiche dinamiche hanno ottenuto un F1-score di circa 0.78, mentre quelli basati solo su caratteristiche statiche circa 0.89. La combinazione ha dimostrato un vantaggio chiaro.

5. Significato e Implicazioni

Questo studio sottolinea l'importanza cruciale di integrare fattori statici e dinamici nello sviluppo e nella valutazione dei sistemi di guida autonoma.

• Efficienza nel Testing: La capacità di prevedere l'esito di un test senza eseguirlo permette di prioritizzare gli scenari più rischiosi, rendendo il regression testing molto più efficiente.
• Diagnosi dei Guasti: Identificando quali componenti interni (es. sistema di sterzo, ESC) vengono attivati in scenari specifici guidati dalla geometria stradale, gli ingegneri possono focalizzare il debugging su componenti specifici.
• Generalizzabilità: Sebbene lo studio si concentri su incidenti OOB, la metodologia è adattabile ad altre metriche di sicurezza (es. collisioni, distanza di sicurezza) e ad altri ambienti di simulazione.

In conclusione, l'approccio proposto trasforma l'analisi dei dati di test da un processo reattivo a uno proattivo, consentendo la creazione di framework di testing più robusti, mirati ed economici per i veicoli autonomi.