Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction

Questo lavoro dimostra che l'uso della regolarizzazione casuale (randomized smoothing) costituisce una difesa efficace, semplice ed economica per migliorare la robustezza dei modelli di previsione delle traiettorie contro gli attacchi avversari, senza comprometterne l'accuratezza in condizioni normali.

L'essenziale

Immagina di guidare un'auto a guida autonoma. Il "cervello" di questa auto deve prevedere cosa faranno gli altri veicoli: se il camioncino rosso girerà a sinistra, se la bicicletta rallenterà o se il pedone attraverserà la strada. Questa capacità di prevedere le traiettorie è fondamentale per la sicurezza.

Tuttavia, gli scienziati hanno scoperto che questi sistemi intelligenti hanno un punto debole: sono vulnerabili a dei "trucchi" invisibili.

Ecco una spiegazione semplice di cosa fa questo studio, usando delle metafore quotidiane.

1. Il Problema: Il "Trucco" dell'Inganno

Immagina di avere un amico molto bravo a indovinare dove andrai dopo aver visto i tuoi ultimi passi. Se cammini normalmente, lui ti indovinerà perfettamente.

Ora, immagina che un "cattivo" (un attaccante) ti metta delle scarpe con tacchi invisibili o ti spinga leggermente di lato in modo che tu sembri camminare in modo strano, anche se in realtà stai solo cercando di andare dritto.

• L'attacco: Il "cattivo" modifica leggermente la tua posizione passata (i dati che l'auto vede) in modo che il cervello dell'auto pensi che tu stia per fare qualcosa di pericoloso (come investire qualcuno), mentre in realtà non lo farai.
• Il risultato: L'auto, ingannata da questi piccoli cambiamenti, prende decisioni sbagliate, frenando di colpo o sterzando nel modo sbagliato.

2. La Soluzione: Il "Filtro Nebbia" (Randomized Smoothing)

Gli autori del paper hanno provato una tecnica chiamata Randomized Smoothing (Smussatura Randomizzata). Come funziona?

Immagina di dover descrivere un oggetto visto attraverso una nebbia fitta.

• Senza la tecnica: Se guardi l'oggetto una sola volta attraverso la nebbia, potresti vedere un dettaglio falso (un'ombra che sembra un mostro) e spaventarti.
• Con la tecnica: Invece di guardare l'oggetto una sola volta, guardi lo stesso oggetto 20 volte diverse, ognuna con una nebbia leggermente diversa (un po' più alta, un po' più bassa, un po' più a destra). Poi, invece di basarti su una sola visione, fai la media di tutte queste 20 visioni.

Il risultato?
Le "ombre" strane create dal "cattivo" (l'attacco) vengono perse nella nebbia e cancellate dalla media. L'immagine finale che ottieni è quella vera e propria dell'oggetto, pulita e sicura.

Nel contesto dell'auto:

1. L'auto prende la posizione dell'altro veicolo.
2. Aggiunge un po' di "rumore" casuale (come se ci fosse un po' di nebbia) a quella posizione, creando 20 versioni leggermente diverse.
3. Fa 20 previsioni diverse basate su queste versioni.
4. Prende la media di tutte le previsioni.

3. Cosa hanno scoperto?

Gli scienziati hanno testato questa tecnica su due modelli di intelligenza artificiale diversi e su due tipi di dati (uno simulato e uno reale). Ecco i risultati principali:

• Funziona davvero: Quando qualcuno prova a ingannare l'auto con i suoi "trucchi", l'uso di questo "filtro nebbia" impedisce all'auto di farsi prendere in giro. Le previsioni rimangono accurate anche sotto attacco.
• Non rovina le cose normali: La cosa più bella è che, quando non c'è nessun "cattivo" che prova a ingannare l'auto (situazione normale), questa tecnica non rende l'auto meno precisa. Anzi, in alcuni casi, l'ha resa persino più brava! È come se il filtro nebbia aiutasse l'auto a ignorare i piccoli errori di misura e a concentrarsi sul quadro generale.
• È economico: Non serve addestrare un nuovo cervello da zero. È come aggiungere un semplice filtro alla lente della macchina fotografica: costa poco e funziona subito.

In sintesi

Questo studio ci dice che possiamo rendere le auto a guida autonoma molto più robuste contro gli hacker o i "trickster" della strada. Invece di fidarsi ciecamente di un singolo dato preciso (che potrebbe essere manipolato), l'auto impara a guardare la situazione da più angolazioni casuali e a fare una media.

È come dire: "Non mi fido di quello che vedo in un solo istante, guardo la scena da diverse prospettive casuali e decido in base alla media." In questo modo, anche se qualcuno prova a ingannare il sistema, il sistema rimane calmo, sicuro e preciso.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction", tradotta e strutturata in italiano.

Titolo

Valutazione dello Randomized Smoothing come difesa contro gli attacchi avversariali nella previsione delle traiettorie.

1. Il Problema

La previsione accurata e robusta delle traiettorie è fondamentale per la guida autonoma sicura ed efficiente. Tuttavia, recenti studi hanno dimostrato che anche i modelli di previsione all'avanguardia (SOTA) sono altamente vulnerabili a attacchi avversariali.

• Vulnerabilità: Piccole perturbazioni intenzionali negli input (le traiettorie passate osservate) possono ingannare il modello, portandolo a fare previsioni future errate. Questo è particolarmente critico in scenari reali dove un agente "avversario" potrebbe manipolare il proprio comportamento per confondere il sistema di guida autonoma.
• Limiti delle difese attuali: Sebbene la generazione di attacchi sia stata studiata a fondo, le contromisure efficaci per la previsione delle traiettorie sono scarse. Le difese esistenti sono spesso limitate o non sistematiche.
• Gap nella ricerca: Lo Randomized Smoothing è stato dimostrato efficace in altri domini (visione artificiale, NLP), ma non è stato ancora applicato alla previsione delle traiettorie.

2. Metodologia

Gli autori propongono l'adattamento della tecnica di Randomized Smoothing (levigatura randomizzata) ai modelli di previsione delle traiettorie. L'obiettivo è migliorare la robustezza senza dover riaddestrare il modello base.

Concetto di Base

Invece di fornire al modello la traiettoria osservata "pura" (che potrebbe essere stata perturbata), il metodo:

1. Aggiunge rumore gaussiano casuale ($\epsilon$) all'input.
2. Esegue il modello su $N$ versioni diverse di questo input perturbato.
3. Calcola la previsione finale come la media delle $N$ previsioni ottenute.
   Matematicamente, se $f$ è il modello base, il modello levigato $g$ è definito come:
   $$g(x) = \mathbb{E}_{\epsilon}[f(x + \epsilon)]$$
   In pratica, questo viene approssimato campionando $N$ volte il rumore.

Due Strategie di Applicazione

Gli autori propongono due approcci specifici per applicare il rumore:

1. Levigatura basata sulla Posizione (Position-based):
   • Il rumore viene aggiunto direttamente alle coordinate di posizione ($p$) degli stati degli agenti.
   • Il rumore è applicato solo ai blocchi diagonali associati alla posizione nella matrice di covarianza.
2. Levigatura basata sul Controllo (Control-based):
   • Si assume l'esistenza di un modello dinamico che lega posizione/velocità agli input di controllo ($u$, es. accelerazione, sterzata).
   • Il rumore viene aggiunto agli input di controllo ($u$) invece che alla posizione diretta.
   • Vantaggio teorico: Questo approccio genera traiettorie che sono più probabili essere dinamicamente fattibili (evitando svolte impossibili o accelerazioni irrealistiche), preservando meglio le proprietà fisiche del modello se questo si basa su tali vincoli.

3. Configurazione Sperimentale

• Dataset: L-GAP (simulatore, scenario di svolta a sinistra) e rounD (dati reali da rotatorie tedesche).
• Modelli Base: Due modelli SOTA: Trajectron++ e ADAPT.
• Attacchi: Vengono generati attacchi avversariali "white-box" vincolati cinematicamente (usando la discesa del gradiente proiettata) per massimizzare l'errore di previsione mantenendo il comportamento dell'agente realistico.
• Metriche: Average Displacement Error (ADE) per valutare la precisione.
• Variabili:
  • Limite di perturbazione ($d_{max}$): 0.25m, 0.5m, 1m.
  • Deviazione standard del rumore ($\sigma$): 0.25m, 0.5m, 1m.
  • Strategie di addestramento: Eval only (levigatura solo in fase di test) vs Train & Eval (levigatura anche durante l'addestramento).

4. Risultati Chiave

I risultati, presentati attraverso diverse tabelle comparative, mostrano:

• Miglioramento della Robustezza: L'uso dello Randomized Smoothing migliora costantemente le prestazioni (riduzione dell'ADE) in tutti gli scenari di attacco ($d_{max} > 0$) per entrambi i modelli e su entrambi i dataset.
• Nessun Danno in Scenari Benigni: Contrariamente ad altri domini dove la levigatura può degradare le prestazioni nominali, qui i modelli levigati mantengono un'accuratezza comparabile (e talvolta leggermente migliore) sui dati non perturbati ($d_{max} = 0$). Questo suggerisce che la tecnica agisce anche come una forma di regolarizzazione contro l'overfitting.
• Riduzione della Sensibilità all'Attacco: Lo smoothing riduce la correlazione tra la magnitudine dell'attacco ($d_{max}$) e l'errore risultante. Anche con attacchi forti, l'errore non cresce drasticamente come nei modelli base.
• Dipendenza dal Modello:
  • Per Trajectron++, l'approccio basato sulla posizione (con $\sigma=0.25m$) tende a funzionare meglio.
  • Per ADAPT, l'approccio basato sul controllo (con $\sigma=0.25m$) è generalmente superiore.
• Efficienza: La tecnica non richiede il riaddestramento del modello base per essere efficace (l'approccio Eval only funziona bene), rendendola computazionalmente economica.

5. Contributi e Significato

• Prima Applicazione: Questo lavoro introduce per la prima volta lo Randomized Smoothing nel contesto della previsione delle traiettorie per veicoli autonomi.
• Difesa Pratica: Dimostra che è possibile mitigare efficacemente gli attacchi avversariali con una tecnica semplice, a basso costo computazionale e senza modificare l'architettura del modello sottostante.
• Implicazioni per la Sicurezza: Fornisce un metodo per aumentare la sicurezza dei sistemi di guida autonoma, rendendoli meno suscettibili a manipolazioni esterne che potrebbero causare incidenti.
• Direzioni Future: Il paper suggerisce di esplorare garanzie di robustezza certificata (basate su teoremi esistenti per la regressione) e di investigare se la varianza delle previsioni levigate possa servire come proxy affidabile per l'incertezza del modello, utile per la pianificazione del movimento.

In conclusione, gli autori concludono che lo Randomized Smoothing è uno strumento promettente e pratico per migliorare la resilienza dei sistemi di previsione delle traiettorie, offrendo un compromesso favorevole tra robustezza agli attacchi e accuratezza in condizioni normali.