💻 computer science

Real-Time Evaluation of Autonomous Systems under Adversarial Attacks

Questo lavoro presenta un framework offline per valutare la robustezza avversariale di politiche di guida autonoma addestrate su dati reali di intersezioni, dimostrando che le scelte architetturali e le rappresentazioni dello stato influenzano criticamente la stabilità contro attacchi basati sul gradiente nonostante una precisione nominale comparabile.

Autori originali: Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

Pubblicato 2026-05-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a guidare un'auto attraverso un incrocio cittadino affollato. Di solito, gli ingegneri testano questi robot in un videogioco (simulazione) perché è sicuro ed economico. Ma questo articolo sostiene che i videogiochi sono troppo perfetti. Trascurano i glitch disordinati del mondo reale—come segnali GPS scadenti, segnaletica stradale confusa o dati leggermente errati—che si verificano quando un'auto reale è effettivamente sulla strada.

Gli autori hanno creato un "test di stress" per le auto a guida autonoma utilizzando dati reali raccolti da una vera Audi Q8 in Germania. Non hanno solo verificato se l'auto guida bene; hanno controllato se l'auto si rompe quando qualcuno cerca di ingannarla.

Ecco la suddivisione del loro esperimento utilizzando semplici analogie:

1. I Tre "Studenti" (I Modelli)

I ricercatori hanno addestrato tre diversi tipi di "studenti" AI per imparare a guidare attraverso gli incroci. Hanno tutti studiato lo stesso identico libro di testo (i dati del mondo reale), ma hanno utilizzato stili di apprendimento diversi:

Lo Studente Semplice (MLP): Questo modello è come uno studente che memorizza le regole in modo semplice e lineare. Guarda la situazione attuale e indovina la prossima mossa.
Lo Studente Focalizzato (Transformer): Questo modello è come uno studente che usa un evidenziatore per prestare attenzione a dettagli specifici (come "quell'auto rossa è vicina" o "la corsia sta curvando"). Scompone la strada in piccoli "token" o pezzi per comprendere meglio l'immagine complessiva.
Il Cercatore di Ricompense (GAIL/IRL): Questo modello non si limita a copiare l'insegnante; cerca di capire perché l'insegnante ha compiuto quelle mosse. Gioca a un gioco in cui cerca di ingannare un giudice facendogli credere che sia il pilota esperto.

2. Il "Trucco Magico" (Attacchi Avversari)

Una volta addestrati gli studenti, i ricercatori hanno cercato di ingannarli. Non hanno modificato la strada o l'auto; hanno modificato i dati che l'auto stava leggendo.

Pensala così: immagina di guidare e qualcuno incolla un adesivo minuscolo, quasi invisibile, sul tuo cruscotto che distorce leggermente il tachimetro o la tua visione della corsia. Per te, sembra normale, ma il computer dell'auto vede una realtà completamente diversa.

Il Trucco "Un Click" (FGSM): Una rapida, singola spinta ai dati per vedere se l'auto si confonde.
Il Trucco "Insistente" (PGD): Una serie lenta e ripetuta di spinte, che aggiusta costantemente il trucco per trovare il punto debole esatto nel cervello dell'auto.

3. I Risultati: "Voti Elevati" vs. "Sopravvivenza nel Mondo Reale"

Ecco la scoperta scioccante: Tutti e tre gli studenti hanno ottenuto voti eccellenti al loro esame finale (guida pulita). Hanno tutti previsto il percorso perfettamente quando la strada era normale.

Tuttavia, quando è stato applicato il "trucco magico" (l'attacco avversario):

Hanno fallito tutti spettacolarmente. Anche se erano intelligenti, un minuscolo cambiamento invisibile nei dati ha causato loro di deviare selvaggiamente dal percorso.
Il trucco "Insistente" è stato il peggiore. Mentre il trucco "Un Click" faceva deviare leggermente l'auto, il trucco "Insistente" ha causato una deviazione dell'auto fino a 8 metri (circa 26 piedi). È come guidare dritti in una corsia diversa o completamente fuori strada.
Modelli più intelligenti non hanno salvato la situazione. Lo "Studente Focalizzato" (Transformer) e il "Cercatore di Ricompense" (GAIL) erano vulnerabili esattamente quanto lo "Studente Semplice". Essere più complessi o avere uno stile di apprendimento "più intelligente" non li ha resi immuni al trucco.

4. Il Problema "Liscio ma Sbagliato"

L'articolo evidenzia un dettaglio inquietante su come queste auto hanno fallito. Quando ingannate, l'auto non si muoveva semplicemente in modo casuale. Spesso generava un percorso che sembrava liscio e fisicamente possibile (come un'auto reale che svolta), ma era semanticamente errato.

Analogia: Immagina un conducente che gira dolcemente il volante per guidare attraverso un muro di mattoni perché il "muro" è stato ingannato facendolo sembrare una "corsia". Il movimento è fluido, ma il risultato è un incidente.

La Conclusione

Il punto principale è che non puoi fidarti di un'auto a guida autonoma solo perché guida bene in condizioni normali.

L'articolo dimostra che:

La simulazione non è sufficiente: Devi testare su dati reali per trovare queste debolezze.
L'accuratezza non è sicurezza: Un'auto può essere accurata al 99% nella guida normale ma sicura al 0% quando qualcuno cerca di ingannarla.
La complessità non equivale alla sicurezza: Rendere l'AI "più intelligente" o più complessa non la rende automaticamente più difficile da ingannare.

I ricercatori hanno creato un nuovo framework di "test di stress" per aiutare gli ingegneri a trovare queste crepe nascoste prima di mettere le auto sulla strada. Hanno scoperto che attualmente, nessuno dei metodi standard è davvero sicuro contro questi trucchi digitali e dobbiamo costruire difese specifiche per fermarli.

Riepilogo Tecnico: Valutazione in Tempo Reale di Sistemi Autonomi sotto Attacchi Avversari

Enunciato del Problema

Sebbene i test avversari siano diventati standard nella simulazione per la guida autonoma, le valutazioni puramente virtuali non riescono a catturare le incoerenze strutturali, i vincoli di supervisione e gli effetti della rappresentazione dello stato intrinseci ai dati del mondo reale. Questi fattori plasmano fondamentalmente la robustezza delle politiche, ma sono spesso astratti nella simulazione. Inoltre, sebbene le vulnerabilità di robustezza nell'apprendimento per rinforzo siano state analizzate, le valutazioni controllate su dataset strutturati di traiettorie del mondo reale rimangono limitate. Gli attacchi fisici esistenti spesso prendono di mira le pipeline di percezione a monte (ad esempio, telecamere, LiDAR), mentre questo lavoro affronta la vulnerabilità del vettore di stato a bassa dimensionalità stesso, assumendo che il livello di percezione sia stato aggirato o compromesso.

Metodologia

Quadro Sperimentale

Gli autori propongono un framework offline per l'apprendimento di traiettorie e la valutazione della robustezza avversaria basato su dati reali di guida agli incroci. La valutazione viene condotta in modalità open-loop su un veicolo di prova Audi Q8 in scala reale equipaggiato con una pila di sensori multipli (LiDAR, telecamere, GNSS/IMU) e un framework software basato su Autoware. Le politiche addestrate eseguono inferenza in tempo reale su dati veicolari live ma non influenzano il controllo del veicolo, garantendo la sicurezza e consentendo al contempo una valutazione realistica della robustezza in condizioni reali di rilevamento e sincronizzazione.

Costruzione dei Dati e dello Stato

Lo studio utilizza il dataset UrbanIng-V2X, focalizzandosi sull'apprendimento di traiettorie per un singolo veicolo ego su tre scenari distinti di incrocio a Ingolstadt, Germania.

Rappresentazione dello Stato ( $s_t$ ): Viene costruito un vettore strutturato a 97 dimensioni per ogni timestamp, comprendente:
- Dinamica ego (4D): Velocità, accelerazione, velocità di imbardata e assetto.
- Geometria relativa alla corsia (3D): Spostamento laterale, errore di assetto e curvatura.
- Oggetti circostanti (80D): Caratteristiche per i $K=10$ partecipanti al traffico più vicini (posizione, velocità, dimensioni, classe, distanza).
- Maschera di validità (10D): Indicatori binari per la presenza di oggetti.
Obiettivo: Una traiettoria futura di 20 passi ( $\tau_t$ ) che rappresenta $(\Delta x, \Delta y, \Delta \psi, v)$ .

Modelli Valutati

Tre paradigmi di apprendimento di traiettorie sono confrontati sotto contratti identici di stato e supervisione:

BC-MLP: Un Perceptron Multistrato (MLP) feedforward (due strati nascosti, 512 unità) che esegue il Cloning Comportamentale.
BC-Transformer: Un modello basato su Transformer che utilizza la tokenizzazione degli oggetti (ego, corsia e 10 token di oggetto) con un token di classificazione per l'aggregazione globale.
IRL-GAIL: Un approccio di Apprendimento per Rinforzo Inverso formulato come un gioco minimax di Imitazione Generativa Avversaria (GAIL), dove la rete della politica condivide l'architettura BC-MLP.

Protocollo di Attacco Avversario

La robustezza al momento dell'inferenza viene valutata applicando perturbazioni basate sul gradiente al vettore di stato strutturato $s_t$ utilizzando:

FGSM (Metodo del Segno del Gradiente Rapido): Perturbazione a singolo passo.
PGD (Discesa del Gradiente Proiettata): Perturbazione iterativa a 10 passi.
Vincoli: Le perturbazioni sono limitate da un budget $\ell_\infty$ ( $\epsilon = 0.05$ ) applicato a tutte le dimensioni dello stato senza normalizzazione per caratteristica.
Metriche: L'Errore di Spostamento Medio (ADE) e l'Errore di Spostamento Finale (FDE) sono calcolati rispetto alle traiettorie ground-truth.

Contributi Chiave

Pipeline Offline Reale: Istituzione di una pipeline strutturata offline per l'apprendimento di traiettorie basata su dati reali di incrocio, superando i test avversari puramente simulati.
Confronto Controllato dei Paradigmi: Un confronto sistematico di BC (MLP), BC (Transformer) e IRL in stile GAIL offline sotto rappresentazioni di stato e contratti di supervisione identici.
Valutazione Sistematica della Robustezza: Una matrice di valutazione strutturata che varia la famiglia di modelli, il tipo di attacco (Pulito, FGSM, PGD) e lo scenario di incrocio (3 attraversamenti), coprendo condizioni diurne e notturne.
Analisi Empirica della Robustezza: Dimostrazione che una comparabile accuratezza nominale della traiettoria può nascondere profili di robustezza avversaria sostanzialmente diversi.

Risultati

Prestazioni Nominali

In condizioni pulite (non avversarie), tutti i modelli hanno raggiunto bassi errori di previsione, con valori ADE e FDE costantemente inferiori a 0,08 su tutti gli incroci. Ciò conferma che le differenze osservate sotto attacco non sono dovute a underfitting o limitazioni della capacità architetturale, ma piuttosto alla sensibilità delle mappature input-output apprese.

Degradazione Avversaria

Attacchi FGSM: Hanno causato una degradazione significativa, aumentando l'ADE di circa 1,0–1,5 metri e l'FDE di 1,8–2,9 metri. BC-MLP e BC-Transformer hanno mostrato una vulnerabilità comparabile, suggerendo che una maggiore espressività architetturale (meccanismi di attenzione) non riduce intrinsecamente la suscettibilità agli attacchi gradiente a singolo passo.
Attacchi PGD: Hanno prodotto errori sostanzialmente più grandi. Il degrado dell'FDE ha spesso superato 5,0 metri, raggiungendo quasi 8,0 metri in incroci complessi.
- BC-MLP ha mostrato la degradazione più ampia, in particolare negli scenari ad alta curvatura, indicando sensibilità all'amplificazione iterativa.
- BC-Transformer ha mostrato miglioramenti modesti in alcune configurazioni ma è rimasto complessivamente altamente vulnerabile.
- IRL-GAIL non ha dimostrato vantaggi di robustezza coerenti; in diversi casi, il suo degrado è stato comparabile o peggiore rispetto ai modelli basati su BC.

Modalità di Fallimento

L'analisi qualitativa (Fig. 3) ha rivelato che le traiettorie perturbate avversariamente spesso rimangono cinematicamente lisce ma sono semanticamente errate, violando l'aderenza alla corsia o le regole degli incroci. Gli errori tendevano ad accumularsi sull'orizzonte di previsione, portando a grandi errori di spostamento terminale (alto $\Delta$ FDE rispetto a $\Delta$ ADE).

Significato e Affermazioni

Il documento afferma che l'accuratezza nominale della previsione della traiettoria non è indicativa della robustezza avversaria. Lo studio stabilisce che:

I Bias Induttivi Architetturali Contano: La progettazione della struttura dello stato e le scelte architetturali influenzano criticamente la stabilità avversaria, portando a profili di robustezza marcatamente diversi nonostante prestazioni pulite simili.
Gli Obiettivi di Addestramento Non Garantiscono la Robustezza: Gli obiettivi di imitazione avversaria (GAIL) e l'aumento della complessità del modello non conferiscono intrinsecamente robustezza al momento dell'inferenza contro le perturbazioni dello stato.
Necessità di Valutazione Consapevole dello Scenario: La robustezza è determinata congiuntamente dall'architettura del modello e dalla geometria locale dello stato (ad esempio, curvatura, traffico di immissione), rendendo necessaria una valutazione consapevole dello scenario piuttosto che metriche aggregate sole.

Il framework proposto funge da benchmark scalabile e riproducibile per lo studio dell'apprendimento offline di traiettorie e della robustezza avversaria in contesti reali di guida autonoma, evidenziando il divario tra accuratezza in condizioni pulite e comportamento rilevante per la sicurezza sotto attacco.