Riepilogo Tecnico: Ensemble di Simulatori per il Test di Sistemi di Guida Autonoma Affidabili

1. Definizione del Problema

Il testing basato su scenari utilizzando simulatori di guida è il metodo standard per validare i sistemi di assistenza alla guida avanzata (ADAS) e ridurre la necessità di costosi test su strada in campo reale. Tuttavia, ricerche esistenti indicano che i risultati dell'esecuzione dei test sono spesso inconsistenti. Queste inconsistenze derivano da due fonti primarie:

1. Flakiness del Test (Instabilità): Comportamento non deterministico in cui lo stesso scenario di test produce esiti pass/fail differenti anche all'interno dello stesso simulatore, spesso a causa di incertezze temporali, di sincronizzazione o ambientali.
2. Disaccordo tra Simulatori: Diversi simulatori (ad esempio, BeamNG, Udacity, Donkey) possono produrre esiti divergenti per lo stesso input di test a causa di differenze nei motori fisici, nel rendering o nei dettagli di implementazione.

Gli approcci attuali per mitigare questi problemi sono limitati. Alcuni scartano i test "flaky", mentre altri, come il framework "Digital Siblings" (DSS), eseguono campagne di generazione di test indipendenti su diversi simulatori e uniscono i risultati come fase di post-processing. Questo accorpamento post-hoc è inefficiente perché l'algoritmo di ricerca evolve i casi di test sulla base del feedback di un singolo simulatore, rischiando di sprecare risorse su fallimenti specifici del simulatore (non validi) prima che vengano filtrati.

Il problema centrale affrontato è la mancanza di una metodologia di testing in grado di identificare fallimenti simulator-agnostici (fallimenti validi che rappresentano difetti reali nell'ADAS) direttamente durante il processo di ricerca, piuttosto che dopo di esso, mantenendo al contempo l'efficienza.

2. Metodologia: MultiSim

Gli autori propongono MultiSim, un nuovo approccio di testing basato sulla ricerca (SBST) che tratta molteplici simulatori come un ensemble durante il processo di generazione dei test.

2.1 Formulazione dell'Ottimizzazione Multi-Obiettivo

MultiSim riformula il problema di testing come un problema di ottimizzazione multi-obiettivo (MOO). Invece di valutare un input di test in un singolo simulatore, il sistema lo valuta attraverso un ensemble di simulatori simultaneamente. Il vettore di fitness per un input di test $x$ è definito come:
$$F(x) = (f_1(x), \dots, f_j(x), f_d(x), f_a(x, A))$$
Dove:

• $f_k(x)$: Il valore di fitness (ad esempio, errore di cross-track) ottenuto dal simulatore $S_k$.
• $f_d(x)$: La distanza media tra i valori di fitness di tutti i simulatori. Minimizzare questo termine spinge la ricerca verso scenari in cui i simulatori concordano.
• $f_a(x, A)$: La distanza dell'attuale input di test dai test precedentemente trovati in un archivio $A$. Massimizzare questo termine garantisce la diversità nello spazio di ricerca.

Minimizzando i valori di fitness (che indicano un fallimento) e la distanza tra i simulatori, l'algoritmo dà priorità ai fallimenti simulator-agnostici — scenari in cui l'ADAS fallisce coerentemente in diversi ambienti di simulazione.

2.2 Rappresentazione e Operatori di Test

• Rappresentazione: Gli scenari stradali sono modellati utilizzando punti di controllo interpolati tramite spline di Catmull–Rom. Lo spazio di ricerca è parametrizzato da angoli e lunghezze dei segmenti.
• Operatori Genetici: L'approccio impiega standard operatori genetici (selezione, crossover, mutazione) adattati per la geometria stradale. Il crossover scambia segmenti stradali tra le strade genitrici, mentre la mutazione altera casualmente gli angoli o le lunghezze dei segmenti. Le strade non valide (ad esempio, quelle che intersecano i confini della mappa) vengono rigenerate.
• Funzione Oracle: Un test è considerato un fallimento se l'errore massimo di cross-track (XTE) supera una soglia prestabilita (ad esempio, 2,2 metri), indicando che il veicolo è uscito dalla propria corsia.

2.3 Strategia di Validazione

Per confermare che i fallimenti identificati siano realmente simulator-agnostici, gli autori impiegano una fase di validazione:

1. Mappatura delle Caratteristiche: I test falliti generati vengono mappati in uno spazio di caratteristiche definito dalla curvatura stradale e dal numero di curve.
2. Riesecuzione: I test falliti vengono rieseguiti più volte (per tenere conto della flakiness) su simulatori non utilizzati durante la fase di ricerca.
3. Sogliatura: Un test è classificato come un "fallimento valido" solo se fallisce costantemente (ad esempio, tasso di fallimento del 100%) attraverso tutti i simulatori di validazione.

2.4 Potenziamento tramite Modello Surrogato (RQ3)

Per migliorare l'efficienza, gli autori propongono un potenziamento utilizzando un modello surrogato (un classificatore di machine learning). Questo modello predice se un candidato input di test comporterà un disaccordo tra i simulatori. Se la probabilità predetta di disaccordo supera una soglia, il candidato viene scartato prima di eseguire l'esecuzione completa e costosa della simulazione. Ciò consente alla ricerca di concentrarsi sulle regioni ad alto valore dello spazio di input.

3. Studio Empirico e Risultati

Lo studio ha valutato MultiSim rispetto a SingleSim (testing con singolo simulatore) e DSS (Digital Siblings) utilizzando tre modelli ADAS di mantenimento della corsia di complessità crescente:

• DAVE-2: Una rete neurale convoluzionale (CNN).
• ViT: Un'architettura basata su Vision Transformer.
• TCP: Una rete ibrida di politica di controllo della traiettoria.

Gli esperimenti hanno utilizzato tre simulatori: BeamNG, Udacity e Donkey, testati in varie combinazioni (BD, BU, UD).

3.1 Efficacia (RQ1)

• Tasso di Fallimento Valido: MultiSim ha raggiunto un tasso medio di fallimento valido del 70%, superando DSS (65%) e SingleSim (47%).
• Performance delle Configurazioni: La configurazione BD (BeamNG + Donkey) ha prodotto i tassi di validità più elevati per DAVE-2 (99%) e ViT (98%). La configurazione BU (BeamNG + Udacity) ha performato meglio per TCP (80%).
• Significatività Statistica: I test rank-sum di Wilcoxon hanno confermato che MultiSim supera significativamente SingleSim e DSS nella generazione di fallimenti validi, con ampi effetti di grandezza nella maggior parte dei confronti.

3.2 Efficienza (RQ2)

• Budget di Ricerca: MultiSim ha dimostrato un'efficienza comparabile a SingleSim, richiedendo un budget di ricerca simile per trovare il primo fallimento valido.
• Confronto con DSS: MultiSim ha generalmente mostrato una migliore efficienza rispetto a DSS, in particolare nella configurazione BD, dove ha trovato fallimenti validi più velocemente dell'approccio DSS post-elaborato.

3.3 Predizione e Modelli Surrogati (RQ3)

• Performance del Classificatore: Un classificatore Random Forest ha ottenuto le migliori prestazioni nel predire i disaccordi tra simulatori (F-1 score di 74–83%, AUC di 0.81–0.89).
• Impatto: L'integrazione del modello surrogato (BD-P) ha aumentato il numero di fallimenti validi di circa il 38% in media e ha ridotto la variabilità nel budget di ricerca necessario per trovare il primo fallimento valido. Ha bypassato con successo le simulazioni a basso valore senza sacrificare la scoperta di guasti validi.

4. Contributi Chiave

1. Approccio MultiSim: Un nuovo framework di testing basato sulla ricerca che integra molteplici simulatori direttamente nel ciclo di ottimizzazione, trattando l'accordo tra i simulatori come un obiettivo di prima classe per identificare fallimenti simulator-agnostici.
2. Validazione Empirica: Uno studio esteso che dimostra come MultiSim superi sia il testing con singolo simulatore che lo stato dell'arte del framework DSS in termini di tasso di fallimenti validi identificati.
3. Integrazione del Surrogato: Una dimostrazione del fatto che i predittori di machine learning possono essere utilizzati per filtrare i disaccordi tra simulatori durante la ricerca, migliorando sia l'efficacia che l'efficienza.
4. Replicabilità Aperta: Gli autori forniscono il codice sorgente, i dati sperimentali e l'approccio di generazione dei test per incoraggiare la ricerca aperta.

5. Significato e Rivendicazioni

L'articolo sostiene che combinare un ensemble di simulatori durante la ricerca sia un approccio promettente per l'automazione della cross-replicazione nel testing ADAS. La significatività risiede nello spostamento del paradigma dalla validazione post-hoc dei risultati dei simulator alla costruzione del consenso in-process.

• Affidabilità: Dando priorità agli scenari in cui i simulatori concordano, MultiSim riduce il rischio di identificare fallimenti che sono artefatti dell'implementazione di un particolare simulatore (fallimenti dipendenti dal simulatore).
• Efficienza: L'approccio evita l'inefficienza di generare e poi scartare fallimenti specifici del simulatore, un problema comune nei metodi di post-elaborazione come DSS.
• Generalizzabilità: Sebbene lo studio si concentri sul mantenimento della corsia, gli autori notano che l'architettura modulare (basata su OpenSBT) e il concetto di accoppiamento dei simulatori possono essere generalizzati ad altre funzioni ADAS (ad esempio, frenata d'emergenza) e livelli di autonomia più elevati, a condizione che si stabiliscano rappresentazioni di scenario coerenti.

Gli autori rimangono modesti riguardo all'ambito, riconoscendo che la coppia ottimale di simulatori dipende dal Sistema Sotto Test (SUT) specifico e dai suoi modi di guasto dominanti (ad esempio, legati al controllo o alla percezione). Notano inoltre che, sebbene l'approccio mitighi i sintomi del disaccordo tra simulatori, non risolve intrinsecamente le cause profonde delle discrepanze, che richiederebbero un'ispezione più profonda del codice del simulatore.