⚡ electrical engineering

Trajectory-Level Redirection Attacks on Vision-Language-Action Models

Questo articolo introduce e formalizza il "command-preserving trajectory redirection", un nuovo attacco ai modelli Vision-Language-Action (VLA) in cui perturbazioni del prompt quasi innocue, scoperte tramite un metodo di ricerca on-policy, reindirizzano con successo l'esecuzione fisica di un robot verso un esito specificato dall'attaccante pur mantenendo l'apparenza del compito originale previsto.

Autori originali: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik

Pubblicato 2026-06-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente. Gli dai un semplice comando vocale, come: "Per favore, metti la ciotola sul fornello". Poiché questo robot utilizza un nuovo tipo di IA chiamata modello Vision-Language-Action (VLA), non si limita ad ascoltare il comando una volta; continua ad "ascoltare" quella stessa frase ripetutamente mentre muove il braccio, afferra la ciotola e la solleva. Utilizza la frase come una costante guida per decidere cosa fare dopo.

Questo articolo rivela una debolezza spaventosa ma affascinante nel modo in cui questi robot pensano. I ricercatori hanno trovato un modo per trarre in inganno il robot affinché faccia qualcosa di completamente diverso — come mettere la ciotola su un piatto invece che sul fornello — cambiando solo una o due piccole lettere nella tua frase, senza che il robot (o un essere umano) si accorga di nulla.

Ecco una scomposizione della loro scoperta utilizzando semplici analogie:

1. L'attacco della "Bussola Rotta"

Di solito, quando pensiamo di hackerare un robot, immaginiamo qualcuno che urla un comando totalmente nuovo come: "Lancia la ciotola fuori dalla finestra!" o "Ignorami!".

Ma questo articolo dimostra che gli attacchi più pericolosi sono molto più subdoli. È come dare a un escursionista una mappa dove qualcuno ha cambiato solo una lettera nel nome di un punto di riferimento.

Comando originale: "Metti la ciotola sul fornello."
Comando truccato: "Metti la ciotola sul fornelllo." (Nota: l'esempio originale usa "staove" per "stove", mantenendo l'analogia del typo).

Per un essere umano, "staove" è ovviamente un errore per "stove". Ma per il robot, quel piccolo errore agisce come una bussola rotta. Poiché il robot controlla questa frase ad ogni singolo passaggio del suo movimento, quel piccolo errore lo devia lentamente dalla rotta. Nel momento in cui il robot raggiunge la fine del compito, è stato guidato interamente verso il piatto, non verso il fornello.

2. L'effetto "Camera dell'Eco"

L'articolo spiega che questi robot sono unici perché operano in un ciclo chiuso.

Passaggio 1: Dici "staove".
Passaggio 2: Il robot muove la mano in modo leggermente diverso a causa di quel refuso.
Passaggio 3: Il robot scatta una nuova foto del mondo.
Passaggio 4: Il robot guarda la foto e la frase "staove" di nuovo per decidere il movimento successivo.

I ricercatori hanno scoperto che, poiché il robot continua a rileggere il refuso, l'errore minuscolo viene amplificato. È come un gioco del "Telefono Senza Fili" dove il messaggio viene distorto, ma al contrario: una piccola distorsione nel messaggio causa una massiccia distorsione nel mondo fisico. Il robot finisce per fare esattamente ciò che l'attaccante voleva (mettere la ciotola sul piatto) pur pensando di seguire la tua istruzione originale.

3. Il "Fantasma nella Macchina"

I ricercatori chiamano questo "Command-Preserving Trajectory Redirection" (Ridirezione della traiettoria preservando il comando). Questo è un modo elaborato per dire: Il robot pensa di fare ciò che hai chiesto, ma in realtà sta facendo ciò che l'hacker vuole.

Hanno testato questo fenomeno su molti diversi "cervelli" robotici (modelli di IA) e hanno scoperto che quasi tutti erano vulnerabili. Potevi cambiare "fornello" in "fornelllo", "forn3llo" o "forn.llo", e il robot avrebbe comunque fallito il compito originale e avuto successo nell'obiettivo segreto dell'hacker.

4. Come hanno trovato il trucco

Per trovare questi piccoli refusi, i ricercatori non hanno proceduto per tentativi. Hanno costruito un "motore di ricerca" per istruzioni malvage.

Hanno lasciato che il robot provasse migliaia di leggermente diversi refusi.
Hanno osservato quali refusi facevano muovere il robot verso l'obiettivo "cattivo" (il piatto) pur sembrando ancora orientato verso l'obiettivo "buono" (il fornello).
Hanno scoperto che bastava cambiare circa 3 o 4 caratteri dall'intera frase per rompere il robot.

5. Il test nel mondo reale

Questo non era solo una simulazione al computer. I ricercatori hanno testato questo fenomeno su un vero braccio robotico in un vero laboratorio.

Hanno detto al vero robot di mettere un blocco in un cassetto.
Hanno cambiato il comando con un refuso quasi identico.
Il vero robot, invece di mettere il blocco nel cassetto, lo ha messo sopra il cassetto o in una ciotola, esattamente come l' "hacker" aveva intenzionato.

6. Perché le soluzioni semplici non funzionano

L'articolo ha anche testato se fosse possibile semplicemente "pulire" il testo prima che il robot lo legga.

Correggere spazi o punteggiatura? Il robot è stato truccato lo stesso.
Correggere gli errori di ortografia? Il robot è stato truccato lo stesso.

I ricercatori hanno scoperto che, per fermare davvero questo fenomeno, non possiamo limitarci a correggere i refusi. Abbiamo bisogno di un sistema che verifichi il significato del comando rispetto a una lista rigorosa di compiti consentiti. Se il comando non corrisponde perfettamente a un compito noto e sicuro, il robot dovrebbe rifiutarsi di muoversi, invece di cercare di indovinare cosa intendessi.

In sintesi

Questo articolo avverte che, man mano che diamo ai robot più libertà di comprendere il linguaggio naturale, diamo loro anche un nuovo modo per essere ingannati. Un piccolo, quasi invisibile refuso in una frase può agire come un telecomando, dirottando l'intero percorso fisico di un robot senza che nessuno se ne accorga finché non è troppo tardi. La soluzione non è solo una migliore ortografia; è costruire un "guardiano della sicurezza" che assicuri che il robot stia effettivamente svolgendo il lavoro giusto, e non un lavoro che sembra quello giusto.

Sintesi Tecnica: Attacchi di Redirezione della Traiettoria a Livello di Comando su Modelli Vision-Language-Action

Definizione del Problema

I modelli Vision-Language-Action (VLA) consentono ai robot di eseguire compiti di manipolazione direttamente da istruzioni in linguaggio naturale, mappando testo e osservazioni della telecamera in azioni. Una preoccupazione critica per la sicurezza sorge dal fatto che l'istruzione linguistica agisce come un segnale di condizionamento persistente nel sistema di controllo a ciclo chiuso; esso viene riutilizzato ad ogni fase di replanificazione. Mentre la ricerca avversaria esistente sui VLA si è concentrata sul provocare azioni mirate a basso livello o sul rendere tali azioni persistenti attraverso immagini mutevoli, questi approcci non controllano necessariamente l'esito fisico finale del robot.

Questo articolo identifica una modalità di fallimento più forte: la Redirezione della Traiettoria con Preservazione del Comando. Il problema è definito come la ricerca di un singolo prompt testuale, emesso una sola volta all'inizio dell'episodio, che:

Preservi il comando: Rimanga testualmente vicino all'istruzione benigna (ad es., "metti la ciotola sulla stufa"), sia leggibile e non contenga un esplicito compito target o linguaggio di correzione.
Rediriga la traiettoria: Nonostante appaia benigno, il prompt causa l'esecuzione da parte della policy VLA congelata di una sequenza di azioni che risulta in un esito fisico diverso e specificato dall'avversario (ad es., posare la ciotola su un piatto invece che sulla stufa).

La sfida principale è che le osservazioni rilevanti per la policy non sono fisse; esse sono indotte dalle azioni intraprese sotto il candidato prompt. Pertanto, ottimizzare un prompt basandosi su un set statico di osservazioni pre-raccolte fallisce perché la distribuzione degli stati cambia al variare del comportamento del robot.

Metodologia

Gli autori propongono un algoritmo di Ricerca di Prompt On-Policy Teacher-Matching per scoprire tali prompt di redirezione. Il metodo tratta l'attacco come un problema di ottimizzazione a livello di traiettoria piuttosto che come una perturbazione statica dell'input.

1. Modello di Minaccia e Vincoli

L'avversario controlla solo l'istruzione testuale $\tau$ prima dell'inizio dell'episodio. Il prompt deve soddisfare l'insieme dei vincoli di Preservazione del Comando $T_{cp}(\tau_b, \Gamma_e)$ , che include:

Piccola variazione testuale: Distanza di edit dei caratteri limitata ( $C_{text} \le \epsilon$ ) rispetto al prompt benigno $\tau_b$ .
Validità: Il prompt deve essere un'istruzione in linguaggio naturale leggibile.
Assenza di Leakage: Il prompt non deve contenere parole o frasi dal lessico target dell'attaccante $\Gamma_e$ (ad es., "piatto" in un compito relativo alla "stufa") o linguaggio di override/correzione.
Preservazione: Il prompt deve rimanere interpretabile come il comando benigno dopo normalizzazione e correzione ortografica.

2. Algoritmo di Ricerca On-Policy

La ricerca affina iterativamente i candidati prompt utilizzando il seguente ciclo:

Etichette Teacher: Il VLA congelato viene interrogato sotto il prompt benigno ( $\tau_b$ ) e un prompt target diretto ( $\tau_t$ , usato solo per la costruzione) per generare "teacher" action chunks ( $A_b$ e $A_t$ ) per gli stati osservati.
Generazione dei Candidati: Nuovi prompt vengono generati tramite mutazioni a livello di carattere (sostituzioni, inserimenti, scambi, errori di battitura) e perturbazioni a livello di token di candidati ad alto punteggio.
Filtraggio dei Vincoli: I candidati vengono filtrati per garantire che rispettino i vincoli di preservazione del comando.
Scoring: I candidati sono valutati in base a una loss di margine target-vs-benign. L'algoritmo cerca prompt le cui azioni siano più vicine al teacher target ( $A_t$ ) rispetto al teacher benigno ( $A_b$ ) allo stesso stato, minimizzando al contempo il costo testuale.
Aggregazione On-Policy: Fondamentalmente, la ricerca aggrega i dati dagli stati indotti dai candidati prompt correnti (rollout), non solo dalla traiettoria benigna iniziale. Ciò imita l'algoritmo DAgger nell'apprendimento per imitazione, garantendo che la ricerca tenga conto dello shift della distribuzione sequenziale causato dalla perturbazione.
Selezione del Rollout: I migliori candidati sono valutati in rollout a ciclo chiuso. Il miglior prompt viene selezionato in base a un punteggio che premia il raggiungimento del target, il fallimento del benchmark e la minimizzazione della perturbazione testuale.
Minimizzazione: Una volta trovato un prompt efficace, un processo di minimizzazione greedy rimuove le modifiche non necessarie per trovare la perturbazione più breve.

Contributi Chiave

Formalizzazione della Redirezione della Traiettoria con Preservazione del Comando: Il documento definisce matematicamente un modello di minaccia in cui un singolo prompt, quasi benigno, reindirizza un VLA congelato verso un obiettivo fisico specificato dall'avversario senza istruzioni esplicite sul target.
Ricerca di Prompt On-Policy: Introduzione di un metodo di ricerca che utilizza rollout a ciclo chiuso per scoprire le perturbazioni, affrontando il limite degli attacchi su osservazioni fisse che non tengono conto degli shift nella distribuzione degli stati.
Valutazione Esaustiva: Il metodo è valutato su nove diverse architetture VLA (inclusi OpenVLA, $\pi0.5$ , Octo, SmolVLA, GR00T-N1) che spaziano tra design a token discreti, flow-matching, diffusion e action-as-text, sia in simulazione (LIBERO) che su hardware reale (braccio SO-100).
Analisi delle Difese: Un'analisi delle difese di pre-processing (normalizzazione degli spazi bianchi, correzione ortografica, canonicalizzazione) dimostra che la pulizia superficiale è insufficiente e che è necessaria una normalizzazione a livello di comando.

Risultati

Alti Tassi di Successo: Gli attacchi hanno raggiunto tassi di successo (ASR) superiori al 90% su sette delle nove architetture VLA valutate. Ad esempio, $\pi0.5$ ha avuto un ASR del 97,5% e MolmoAct del 93,4%.
Perturbazioni Minime: Gli attacchi riusciti hanno richiesto variazioni testuali molto piccole, con una distanza mediana di edit dei caratteri di soli 3,4 (ad es., cambiare "stove" in "staove").
Validazione sull'Hardware: La vulnerabilità persiste sull'hardware reale. Gli esperimenti sul braccio SO-100 hanno mostrato che perturbazioni quasi benigne causano il collasso del tasso di successo originale del compito (ad es., scendendo da ~90% a quasi 0%) mentre reindirizzano con successo il robot verso il target dell'attaccante.
Analisi Causale: Il tracciamento causale ha rivelato che l'effetto dell'attacco è concentrato nella rappresentazione della destinazione. Perturbare la parola destinazione (ad es., "stove") crea stati nascosti che guidano l'action head verso il comportamento alternativo, mentre perturbare altre parole (ad es., "put") ha scarso effetto.
Efficacia delle Difese: Difese leggere come la normalizzazione degli spazi bianchi o la rimozione della punteggiatura non sono riuscite a fermare gli attacchi. La correzione ortografica ha ridotto i tassi di successo ma non era robusta. Solo la canonicalizzazione verso il task più vicino (mappatura dei prompt a un insieme finito di comandi validati) ha ridotto significativamente il successo dell'attacco, sebbene ciò rischi di ridurre l'usabilità per le istruzioni a vocabolario aperto.

Significato e Rivendicazioni

Il documento sostiene di esporre una fondamentale vulnerabilità della traiettoria a livello di comando nell'ancoraggio delle istruzioni nei VLA. Gli autori sostengono che un testo che appare preservare il comando inteso può comunque concedere un avversario il controllo sul risultato fisico finale del robot.

La significatività risiede nel dimostrare che:

La persistenza non basta: Rendere un'azione persistente attraverso le immagini non è sufficiente per controllare l'esito finale; l'intera traiettoria a ciclo chiuso deve essere reindirizzata.
La valutazione statica è fallace: Valutare i prompt su osservazioni fisse è inadeguato perché il prompt controlla la futura distribuzione degli stati.
La robustezza richiede cambiamenti strutturali: La pulizia testuale superficiale è insufficiente. Un dispiegamento robusto richiede di trattare l'ancoraggio del linguaggio come parte del sistema di controllo a ciclo chiuso, rendendo potenzialmente necessari strati di normalizzazione del comando che mappino gli input rumorosi a un insieme validato di compiti prima della generazione dell'azione.

Gli autori rimangono modesti riguardo all'ambito, notando che la loro valutazione si concentra su compiti di manipolazione in ambienti specifici (LIBERO e SO-100) e che la ricerca assume l'accesso alle query, il che potrebbe sovrastimare le capacità dell'attaccante in implementazioni completamente protette. Il lavoro futuro suggerito riguarda lo sviluppo di difese certificate per la preservazione dei prompt.