Riepilogo Tecnico: CoCoMagic per il Test Metamorfico Differenziale di Sistemi Autonomi

1. Enunciato del Problema

I Sistemi Autonomi (AS), in particolare i Sistemi di Guida Autonoma (ADS), subiscono frequenti aggiornamenti iterativi che comportano il riaddestramento dei modelli, l'ottimizzazione degli iperparametri e modifiche architetturali. Questi aggiornamenti rischiano di introdurre degradazioni comportamentali non intenzionali o violazioni della sicurezza assenti nelle versioni precedenti. La verifica di questi sistemi incontra tre sfide principali:

1. Il Problema dell'Oracolo: In ambienti complessi e aperti, definire un output atteso di verità fondamentale per ogni scenario è spesso non fattibile.
2. Realismo degli Scenari: I casi limite costruiti artificialmente possono esporre debolezze, ma spesso mancano di rilevanza pratica. I fallimenti in scenari che assomigliano alle condizioni operative del mondo reale sono più critici per la valutazione della sicurezza.
3. Interpretabilità: Quando vengono rilevate differenze comportamentali tra le versioni, gli sviluppatori spesso mancano di informazioni attuabili sulle cause radice (ad esempio, fattori ambientali specifici o interazioni) che guidano queste divergenze.

I metodi esistenti di test basati sulla ricerca spesso faticano con l'efficienza computazionale negli spazi ad alta dimensionalità e non riescono a confrontare sistematicamente le versioni per isolare le degradazioni indotte dagli aggiornamenti. Inoltre, il Test Differenziale (DT) standard identifica le differenze di output ma non può valutare le implicazioni sulla sicurezza senza un oracolo di test, mentre il Test Metamorfico (MT) standard affronta il problema dell'oracolo ma potrebbe non indirizzare in modo efficiente le divergenze specifiche della versione.

2. Metodologia: CoCoMagic

Gli autori propongono CoCoMagic (Cooperative Co-evolutionary differential and Metamorphic Automated Generator for Interpretable Cases), un framework che integra il Test Differenziale, il Test Metamorfico e gli Algoritmi Co-evolutivi Cooperativi (CCEA) con un livello di interpretabilità.

2.1 Framework Principale

CoCoMagic formula la generazione dei casi di test come un problema di ricerca vincolata per trovare coppie di scenari sorgente ($s$) e perturbazioni metamorfiche ($q$) che massimizzano la differenza nelle violazioni della Relazione Metamorfica (MR) tra una versione di riferimento ($V_{ref}$) e una versione di test ($V_{test}$).

• Test Differenziale (DT): Confronta gli output di due versioni AS sotto input identici per rilevare divergenze comportamentali.
• Test Metamorfico (MT): Affronta il problema dell'oracolo definendo MR—relazioni tra input e relazioni di output attese (ad esempio, "se appare un pedone, la velocità dovrebbe diminuire"). Le violazioni si verificano quando la relazione di output non si mantiene.
• Algoritmo Co-evolutivo Cooperativo (CCEA): Lo spazio di ricerca è decomposto in due popolazioni co-evolutive:
  1. Scenari Sorgente ($P_s$): Rappresentano le condizioni operative iniziali.
  2. Perturbazioni ($P_q$): Rappresentano trasformazioni derivate dalle MR (ad esempio, aggiungere un pedone, cambiare il meteo).
     Gli individui di entrambe le popolazioni collaborano per formare soluzioni complete (coppie scenario-perturbazione). L'idoneità di un individuo è determinata dalla sua migliore collaborazione con i membri della popolazione opposta.

2.2 Meccanismi Chiave

• Funzione di Adattamento: L'obiettivo è massimizzare la differenza assoluta nell'entità delle violazioni MR tra $V_{ref}$ e $V_{test}$:
  $$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$$
  dove $E$ quantifica l'entità della violazione MR.
• Ricerca Vincolata e Realismo: Per garantire che i casi di test generati siano praticamente rilevanti, la ricerca è vincolata da un insieme di scenari di esecuzione ($S$) raccolti da esecuzioni reali del sistema. Una metrica di dissimilarità penalizza le soluzioni che si discostano significativamente da questi scenari realistici, guidando la ricerca verso condizioni operativamente plausibili.
• Inizializzazione a Runtime (RI): La popolazione iniziale è seminata con scenari campionati dall'insieme di scenari di esecuzione $S$, piuttosto che con una generazione casuale, per accelerare la convergenza verso modalità di fallimento realistiche.
• Interpretabilità (Analisi delle Cause Radice): Dopo la generazione, gli autori impiegano l'algoritmo RuleFit. RuleFit addestra un modello sui casi di test identificati per estrarre regole leggibili dall'uomo (ad esempio, "SE velocità > 70 km/h E nebbia, ALLORA la violazione aumenta"). Questo spiega perché le versioni divergono, collegando attributi specifici dello scenario alle differenze comportamentali osservate.

3. Contributi Chiave

1. Nuovo Metodo di Test: L'introduzione di CoCoMagic, che combina in modo unico MT e DT all'interno di un framework co-evolutivo cooperativo per indirizzare specificamente le divergenze comportamentali tra le versioni AS.
2. Ricerca Guidata dal Realismo: L'integrazione di vincoli e strategie di inizializzazione a runtime per garantire che i casi di test generati riflettano le condizioni operative del mondo reale, affrontando il "divario di realismo" nei test automatizzati.
3. Integrazione dell'Interpretabilità: L'inclusione di un livello di analisi basato su RuleFit che trasforma i risultati dei test ad alta dimensionalità in regole attuabili e leggibili dall'uomo per il debug e la valutazione della sicurezza.
4. Validazione Empirica: Una valutazione completa su un ADS di livello industriale (InterFuser) all'interno del simulatore Carla, che dimostra la superiorità rispetto ai metodi di ricerca di base.

4. Risultati Sperimentali

Gli autori hanno valutato CoCoMagic contro Ricerca Casuale (RS) e un Algoritmo Genetico Standard (SGA) utilizzando l'ADS InterFuser nel simulatore Carla.

• Efficacia (RQ1): CoCoMagic ha identificato un numero significativamente maggiore di casi di test distinti che rivelano violazioni MR rispetto alle linee di base. Ha raggiunto un'idoneità media (gravità della discrepanza) 53% superiore all'SGA e 40% superiore alla RS.
• Efficienza (RQ2): CoCoMagic ha scoperto soluzioni distinte più rapidamente, ottenendo un miglioramento del 126% nell'Area Sotto la Curva (AUC) rispetto all'SGA e del 169% rispetto alla RS. Ha anche ridotto il tempo di esecuzione di circa il 17% rispetto alle linee di base, in parte perché ha generato meno scenari invalidi (che causano il crash del simulatore).
• Impatto dei Vincoli e dell'Inizializzazione (RQ3):
  • L'applicazione di vincoli e dell'Inizializzazione a Runtime (RI) ha migliorato significativamente la Distanza Media di Esecuzione (AED), rendendo i casi di test ~50% più simili agli scenari di esecuzione del mondo reale.
  • Tuttavia, questo focus sul realismo ha comportato un compromesso: una riduzione del numero totale di soluzioni distinte trovate (fino a una riduzione di circa il 34% con RI e vincoli combinati) e una leggera diminuzione della gravità dei casi limite più estremi trovati.
• Interpretabilità (RQ4):
  • Accuratezza: RuleFit ha raggiunto un'accuratezza paragonabile a modelli black-box complessi (Random Forest e GBDT) producendo al contempo un insieme compatto di regole (~29 regole contro migliaia di percorsi in GBDT).
  • Validazione Esperta: Gli esperti industriali hanno valutato le regole generate come altamente comprensibili (punteggio medio 4,0/5,0) e utili per la prioritizzazione delle condizioni di test (punteggio medio 3,8/5,0).

5. Significato e Affermazioni

Il documento afferma che CoCoMagic offre un approccio efficiente, efficace e interpretabile per il test differenziale di sistemi autonomi in evoluzione. Il suo significato risiede in:

• Colmare il Divario dell'Oracolo: Utilizzando le MR, convalida le proprietà di sicurezza senza la necessità di output di verità fondamentale.
• Test Consapevole della Versione: A differenza dei metodi precedenti che testano una singola versione, CoCoMagic ottimizza esplicitamente per le differenze tra le versioni, supportando direttamente il test di regressione e la validazione degli aggiornamenti.
• Informazioni Attuabili: Il componente di interpretabilità va oltre la semplice segnalazione dei fallimenti per spiegare le condizioni specifiche (ad esempio, meteo, velocità, vicinanza degli oggetti) che causano un aggiornamento a degradare le prestazioni, supportando così un debug mirato.
• Applicabilità Pratica: L'uso di vincoli garantisce che lo sforzo di test si concentri su scenari probabili nel deployment, aumentando il valore pratico del processo di test per sistemi critici per la sicurezza.

Gli autori mantengono una posizione modesta, riconoscendo che, sebbene il loro metodo migliori realismo ed efficienza, esiste un compromesso intrinseco tra l'esplorare l'intera ampiezza dello spazio di ricerca (trovando casi limite rari e gravi) e il concentrarsi su scenari realistici e operativamente fondati. Posizionano CoCoMagic come uno strumento per supportare, piuttosto che sostituire, il giudizio umano nella valutazione della sicurezza.