CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova generazione di sistemi decisionali che impara ad agire immaginando il futuro. A differenza dei programmi più vecchi che si limitano a reagire all'immagine che vedono in questo preciso istante, questi agenti avanzati costruiscono un modello mentale interno del loro ambiente. Essi prendono una sequenza di input visivi, come un flusso video da una telecamera, e li comprimono in uno stato nascosto e astratto che ricorda ciò che è accaduto e predice ciò che accadrà dopo. Questo stato interno permette loro di pianificare diversi passi in avanti, proprio come un conducente umano che anticipa una curva sulla strada prima di raggiungerla. Man mano che questi sistemi passano dai videogiochi alla robotica del mondo reale e ai compiti critici per la sicurezza, comprendere come interromperli è diventato una questione vitale. Se un agente si affida a un flusso continuo di predizioni interne, un piccolo glitch momentaneo nel feed della telecamera conta qualcosa, o la memoria dell'agente lo smussa? Questo è il puzzle centrale che i ricercatori stanno ora cercando di risolvere.

Un team di scienziati ha scoperto che il modo per rompere questi agenti con "modello del mondo" non è attaccare ogni singolo fotogramma del video con rumore casuale, ma trovare una direzione specifica e nascosta nei dati visivi a cui il cervello dell'agente stesso è più sensibile. In uno studio focalizzato su agenti addestrati a camminare, giocare a ping-pong e sopravvivere in ambienti aperti, i ricercatori hanno scoperto che questi sistemi sono sorprendentemente fragili quando attaccati in un modo molto specifico. Hanno sviluppato un metodo chiamato CIVA, che sta per Critic-Induced Value-Subspace Attacks (Attacchi al Sottospazio del Valore Indotti dal Critico). L'idea centrale è che questi agenti hanno un "contabile" integrato che stima costantemente quanto sarà buono il loro futuro. Studiando come questo contabile reagisce a piccoli cambiamenti, i ricercatori hanno scoperto che il modo più efficace per abbassare il punteggio dell'agente è spingere i dati visivi lungo un percorso molto stretto e a bassa dimensionalità. Questo percorso non è casuale; è un insieme specifico di direzioni nello spazio dell'immagine che la logica interna dell'agente ha rivelato essere critiche per il suo processo decisionale.

I ricercatori hanno testato questo approccio contro un agente sofisticato noto come DreamerV3, che è stato addestrato per eseguire compiti complessi come camminare su due gambe o giocare a una partita di Pong. Hanno impostato uno scenario in cui un attaccante poteva solo modificare l'immagine corrente vista dall'agente, con un limite rigoroso su quanto i pixel potessero essere modificati per garantire che la perturbazione rimanesse invisibile all'occhio umano. I tentativi precedenti di hackerare tali sistemi spesso trattavano ogni fotogramma video come un bersaglio indipendente, aggiungendo rumore a ogni immagine della sequenza. Tuttavia, i ricercatori hanno scoperto che questo approccio fallisce contro gli agenti con modello del mondo. Poiché l'agente ricorda i fotogrammi passati e li fonde nel suo stato interno, gli isolati scoppi di rumore vengono diluiti e dimenticati. La memoria dell'agente agisce come un filtro, diluendo l'impatto degli attacchi casuali fotogramma per fotogramma.

Per superare questo, i ricercatori hanno prima eseguito una serie di esperimenti offline in cui hanno sondato il "contabile" interno dell'agente per vedere quali piccoli cambiamenti nell'immagine causassero il calo maggiore nel punteggio futuro previsto. Hanno raccolto migliaia di questi cambiamenti efficaci e hanno utilizzato una tecnica matematica per trovare il filo comune tra di essi. Hanno scoperto che tutti i cambiamenti più dannosi erano concentrati in un sottospazio minuscolo e a bassa dimensionalità. Immaginate una vasta stanza multidimensionale dove ogni possibile modo di cambiare un'immagine è una direzione diversa; i ricercatori hanno scoperto che la debolezza dell'agente non era distribuita in tutta la stanza, ma era in realtà confinata in un unico, stretto corridoio al suo interno. Una volta identificato questo corridoio, hanno smesso di cercare in tutta la stanza. Inveve, hanno limitato i loro attacchi muovendosi solo all'interno di quel percorso stretto.

Nella fase finale del loro metodo, i ricercatori hanno applicato questa scoperta in tempo reale. Mentre l'agente giocava, l'attaccante calcolava la mossa migliore all'interno di quel corridoio stretto e poi smussava i cambiamenti nel tempo. Questa smussatura era fondamentale. Ha garantito che la perturbazione non vibrasse o sfarfallasse da un fotogramma all'altro, il che sarebbe stato facilmente notabile e computazionalmente costoso. Mantenendo l'attacco costante e allineato con la logica interna dell'agente, i ricercatori sono stati in grado di trarre costantemente l'agente a prendere decisioni errate. I risultati sono stati impressionanti. Nel compito di camminata, le prestazioni dell'agente sono diminuite di oltre il 26 percento, un tasso di fallimento significativamente maggiore di qualsiasi altro metodo testato. Nel gioco di Pong, il calo è stato ancora più drammatico, con il punteggio dell'agente che è sceso di quasi l'86 percento.

Forse più importante, i ricercatori hanno dimostrato che il loro metodo non era solo efficace, ma anche efficiente e sottile. Poiché l'attacco era confinato in un piccolo numero di direzioni, richiedeva molta meno potenza di calcolo rispetto ai metodi precedenti che cercavano di calcolare i cambiamenti per ogni singolo pixel in ogni fotogramma. I cambiamenti visivi rimanevano così sottili da essere quasi indistinguibili dal video originale per un osservatore umano, eppure hanno completamente deviato la capacità dell'agente di funzionare. Lo studio ha anche escluso l'idea che rendere l'attacco semplicemente fluido o utilizzare schemi casuali fosse sufficiente. Quando hanno provato a usare un insieme di direzioni casuali invece di quella trovata dal contabile dell'agente stesso, l'attacco è fallito quasi completamente. Ciò ha confermato che la chiave del successo non era solo la matematica dell'attacco, ma il fatto che fosse su misura per la specifica struttura interna dell'agente vittima.

I risultati suggeriscono che il modo in cui pensiamo di attaccare i sistemi intelligenti deve cambiare. Per gli agenti che si affidano alla memoria e ai modelli interni, le vulnerabilità più pericolose non risiedono nelle singole immagini che vedono, ma nei modi specifici in cui tali immagini vengono elaborate nel tempo. I ricercatori hanno dimostrato che, ascoltando i segnali interni dell'agente, si può trovare una scorciatoia per il suo fallimento. Questo non significa che questi sistemi siano rotti, ma piuttosto che la loro forza — l'uso di uno stato interno continuo per prendere decisioni — crea anche un punto di debolezza unico e stretto. Man mano che queste tecnologie si avvicinano all'impiego nel mondo reale, comprendere questa geometria del fallimento sarà essenziale per costruire difese in grado di proteggerle da tali interruzioni mirate e intelligenti. Il lavoro serve come un chiaro promemoria: nel mondo dell'intelligenza artificiale, gli attacchi più efficaci sono spesso quelli che comprendono la mente della macchina meglio di quanto la macchina comprenda se stessa.