💻 computer science

Not What You Asked For: Typographic Attacks in Household Robot Manipulation

Questo documento dimostra che gli attacchi tipografici ai robot domestici che utilizzano modelli visione-linguaggio possono eludere il giudizio visivo provocando fallimenti manipolativi con conseguenze fisiche, raggiungendo un tasso di successo del 67,8% in un ambiente simulato avvelenando la mappa semantica del robot e portando alla presa e al trasporto errati degli oggetti.

Autori originali: Ali Iranmanesh, Peng Liu

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ali Iranmanesh, Peng Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un robot domestico come un assistente utile ma leggermente ingenuo. Ha due modi principali per comprendere il mondo:

I suoi Occhi (Visione): Guarda un oggetto e dice: "Quello sembra una tazza da caffè".
Il suo Cervello (Linguaggio): Ascolta il tuo comando: "Per favore, portami la tazza da caffè", e associa le parole a ciò che vede.

Nei robot moderni, questi due sistemi sono incollati insieme in un unico "cervello" (chiamato Modello Visione-Linguaggio). Questo è ottimo perché il robot può comprendere migliaia di cose nuove senza bisogno di essere riprogrammato. Tuttavia, l'articolo sostiene che questa colla crea una pericolosa falla.

Il Trucco dell'"Adesivo Magico"

I ricercatori hanno scoperto che se si incolla un foglio di carta con le parole "TAZZA DA CAFFÈ" stampate sopra su un oggetto completamente diverso — come un tostapane, una scarpa o una lampada — il cervello del robot si confonde.

Poiché le parti "linguaggio" e "visione" del robot sono così strettamente collegate, il robot smette di guardare la forma e il colore dell'oggetto. Invece, inizia a leggere il testo prima e guardare dopo. Vede le parole "TAZZA DA CAFFÈ" e decide immediatamente: "Ah, questo deve essere la tazza da caffè", ignorando completamente il fatto che in realtà sia un tostapane.

L'Effetto Domino: Da un'occhiata a una presa

Ciò che rende questo pericoloso non è solo che il robot pensi che il tostapane sia una tazza. È ciò che succede dopo.

La Mappa Avvelenata: Il robot non commette solo un errore rapido; scrive questo errore nella sua mappa mentale 3D permanente della stanza. È come se il robot scrivesse "Questo è una tazza" su un post-it e lo attaccasse al tostapane nella sua memoria.
La Fiducia Cieca: Anche se il robot si allontana e torna indietro, o se l'adesivo è nascosto alla vista, continua a fidarsi della sua mappa mentale. Pensa: "So che c'è una tazza proprio lì", perché l'aveva scritta in precedenza.
Il Fallimento Cinetico: Il robot quindi si avvicina fisicamente, afferra il tostapane e cerca di passartelo o di metterlo in un portabicchieri.

L'articolo definisce questo un "Fallimento Cinetico". Non è solo un errore software in cui il robot dice la cosa sbagliata; è un'azione fisica in cui il robot si impegna per l'oggetto sbagliato e lo porta in giro per la casa.

L'Esperimento: Come l'hanno Testato

I ricercatori non potevano testare questo su robot reali in case reali (sarebbe troppo costoso e rischioso), quindi hanno utilizzato una simulazione di videogioco altamente realistica chiamata Habitat.

La Configurazione: Hanno preso un robot che era già bravo a trovare e raccogliere oggetti.
L'Attacco: Hanno posizionato un adesivo stampato con il nome dell'oggetto target (ad esempio, "TAZZA") su un oggetto casuale e vicino (un distrattore).
Il Risultato: Su 59 scenari di test specifici in cui il robot era già capace di svolgere il compito, l'adesivo ha ingannato il robot nel 67,8% dei casi.

Nei casi di maggior successo, il robot non ha solo afferrato la cosa sbagliata; ha navigato con successo verso l'oggetto sbagliato, lo ha raccolto, lo ha trasportato attraverso la stanza e ha cercato di posizionarlo nel punto corretto. Il robot era completamente "impegnato" nell'errore.

Perché Questo Importa (Secondo l'Articolo)

L'articolo evidenzia che ricerche precedenti hanno esaminato come gli adesivi ingannino i robot per navigare verso il posto sbagliato (come un drone che vola verso il tetto sbagliato). Ma questa è la prima volta che qualcuno dimostra che gli adesivi possono ingannare un robot per afferrare e spostare fisicamente l'oggetto sbagliato.

Il pericolo è che la "memoria" del robot (la mappa 3D) mantenga vivo il veleno. Anche se rimuovi l'adesivo, il robot potrebbe ancora cercare di raccogliere l'oggetto sbagliato perché la sua mappa interna è corrotta.

La Soluzione Proposta

Gli autori suggeriscono che non possiamo semplicemente correggere gli "occhi" del robot per ignorare il testo. Invece, dobbiamo cambiare il modo in cui il robot utilizza la sua memoria. Propongono tre controlli di sicurezza:

Doppio Controllo: Non fidarsi di una singola occhiata. Far sì che il robot guardi l'oggetto da diverse angolazioni prima di scriverlo nella sua memoria permanente.
Individuare il Testo: Avere un sistema secondario che dica: "Aspetta, c'è un adesivo su questo oggetto. Non fidarti ancora dell'etichetta".
Controllo Finale: Proprio prima che il robot afferra effettivamente l'oggetto, far sì che lo guardi un'ultima volta per assicurarsi che non sia stato ingannato.

In sintesi: Un foglio di carta con delle parole sopra può ingannare un robot intelligente facendogli pensare che un tostapane sia una tazza, e il robot porterà felicemente quel tostapane sul tuo piano di cucina. L'articolo dimostra che questo è un rischio fisico reale per i futuri robot domestici.

Riepilogo Tecnico: Attacchi Tipografici nella Manipolazione di Robot Domestici

Enunciato del Problema
Gli agenti di IA incarnata a vocabolario aperto, in particolare quelli che utilizzano Modelli Visione-Linguaggio (VLM) come CLIP, si affidano a uno spazio di embedding condiviso per allineare le caratteristiche visive e linguistiche. Sebbene ciò consenta flessibilità nell'identificare migliaia di categorie di oggetti senza riaddestramento, introduce una vulnerabilità strutturale agli attacchi tipografici. In questi attacchi, il testo stampato in una scena fisica sovrascrive semanticamente il giudizio visivo del modello, causando la classificazione errata di un oggetto da parte dell'agente basandosi sul testo piuttosto che sul suo aspetto.

Mentre ricerche precedenti (ad esempio SCAM, CHAI) hanno quantificato questa minaccia in benchmark 2D statici e compiti di navigazione di alto livello (droni, veicoli terrestri), l'impatto sulla manipolazione di robot domestici rimane inesaminato. Gli agenti di manipolazione differiscono criticamente dagli agenti di navigazione: una classificazione errata non è semplicemente una decisione sbagliata su dove andare, ma una decisione sbagliata su cosa afferrare. In una pipeline di manipolazione modulare, un errore percettivo viene scritto in una mappa semantica 3D persistente e propagato attraverso l'intero ciclo Sense-Plan-Act. Ciò risulta in un fallimento cinetico: l'agente afferra fisicamente e trasporta l'oggetto sbagliato verso un recipiente target, alterando irreversibilmente lo stato del mondo all'interno dell'episodio.

Metodologia
Gli autori valutano questa minaccia utilizzando l'ambiente di simulazione Habitat e il benchmark HomeRobot. Per affrontare le sfide specifiche della valutazione degli attacchi sugli agenti di manipolazione, gli autori introducono un'architettura di percezione disaccoppiata:

Modulo OvmmPerception Modificato: L'agente HomeRobot standard utilizza DETIC sia per le proposte spaziali che per l'etichettatura semantica. DETIC non è vulnerabile agli attacchi tipografici. Gli autori mantengono DETIC per il grounding geometrico (bounding box, maschere, profondità) ma introducono un encoder CLIP congelato come meccanismo di sovrascrittura parallelo e gateato da soglia per la classificazione finale dell'oggetto.
Meccanismo di Attacco: Un avversario posiziona un adesivo fisico recante il nome dell'oggetto target (ad esempio, "tazza") su un oggetto distrattore lungo il percorso di navigazione dell'agente. Se l'adesivo entra in un ritaglio di bounding box DETIC e il punteggio di similarità testo-immagine CLIP supera una soglia ( $\theta = 0.28$ ), CLIP sovrascrive l'etichetta di DETIC.
Persistenza: L'etichetta classificata erroneamente viene scritta in una Mappa Voxel Semantica 3D. Questa mappa funge da cache spaziale; una volta avvelenata, l'agente continua a navigare verso e ad afferrare il target avversario anche dopo che l'adesivo è uscito dal campo visivo.
Pool di Valutazione: Da un set di validazione di 1.199 episodi, gli autori isolano 59 episodi attribuibili. Questi sono episodi in cui l'agente non attaccato ha avuto successo completo o è fallito solo nel passaggio finale di posizionamento. Questo filtraggio garantisce che qualsiasi deviazione osservata durante l'attacco sia inequivocabilmente causata dalla perturbazione tipografica piuttosto che da limitazioni preesistenti dell'agente.

Contributi Chiave

Identificazione di una Nuova Superficie di Attacco: Il documento formalizza la manipolazione di robot domestici come un dominio inesaminato per gli attacchi tipografici, distinguendolo dalla navigazione attraverso la propagazione degli errori nelle azioni di afferramento fisico.
Architettura di Riferimento: Gli autori istanziano una pila di manipolazione a vocabolario aperto rappresentativa che rispecchia i sistemi distribuiti (ad esempio EmbCLIP, TidyBot) isolando la fase di allineamento visione-linguaggio per consentire una valutazione controllata dei fallimenti cinetici a valle.
Fallimento Cinetico Quantificato: Il lavoro stabilisce che la classificazione errata tipografica porta a "fallimenti cinetici" in cui il robot consegna fisicamente l'oggetto sbagliato, un modo di fallimento non catturato nei precedenti benchmark 2D o solo di navigazione.
Valutazione Controllata: Lo studio fornisce la prima valutazione controllata di come i difetti percettivi confermati si propagano attraverso una pipeline di manipolazione full-stack in condizioni fisiche non controllate (angoli di vista non ottimizzati, occlusione).

Risultati
La valutazione è stata condotta su 59 episodi attribuibili senza ottimizzazione percettiva degli adesivi:

Tasso di Successo dell'Attacco (ASR): L'attacco ha raggiunto un ASR complessivo del 67,8% (40/59 episodi).
- Tra gli episodi completamente riusciti ( $E^*_f$ ), l'ASR è stato del 70,0% (7/10).
- Tra gli episodi parzialmente riusciti ( $E^*_p$ ), l'ASR è stato del 67,3% (33/49).
Meccanismo: Nel 92,5% degli attacchi riusciti, l'agente ha afferrato direttamente l'adesivo. Nel 7,5%, l'agente ha afferrato un oggetto davanti all'adesivo perché l'adesivo era visibile sullo sfondo del ritaglio DETIC, innescando un fallimento di classificazione dello sfondo.
Persistenza: Nel 100% degli attacchi riusciti, l'agente ha eseguito l'afferramento basandosi sulle coordinate memorizzate nella mappa voxel 3D avvelenata, tornando spesso al target dopo aver vagato per la scena, confermando che una singola scrittura avvelenata aggira i successivi margini di sicurezza.
Modi di Fallimento: L'attacco ha spostato la distribuzione dei fallimenti. Mentre l'agente non attaccato falliva principalmente durante la navigazione dell'oggetto (71,7%), i fallimenti indotti dall'attacco erano concentrati nella fase Place. L'attacco ha portato a due esiti distinti:
- Consegna Dirottata: L'agente ha completato con successo l'intero ciclo, afferrando e posizionando l'oggetto sbagliato (7 casi).
- Trasporto Malizioso: L'agente ha afferrato l'oggetto sbagliato e lo ha trasportato al recipiente, fallendo solo nel passaggio finale di posizionamento (33 casi).

Significato e Affermazioni
Il documento afferma di stabilire che la classificazione errata tipografica è una minaccia reale, misurabile e fisicamente consequenziale per la sicurezza delle pipeline di manipolazione modulare. Il significato risiede nel dimostrare che un avversario fisico a basse risorse (che richiede solo una stampante e un breve accesso) può avvelenare la memoria spaziale dell'agente per guidare fallimenti cinetici.

Gli autori sottolineano che questa vulnerabilità è strutturale al paradigma di embedding congiunto visione-linguaggio (che interessa CLIP e successori come SigLIP). Sostengono che, sebbene le difese a livello di encoder (ad esempio Dyslexify, Defense-Prefix) possano ridurre i tassi di classificazione errata, non affrontano la condizione architetturale in cui una singola voce avvelenata in una mappa persistente impegna l'agente a un'azione sbagliata. Di conseguenza, il documento sostiene mitigazioni architetturali che trattano gli output dei classificatori VLA come input non attendibili, richiedendo una validazione multi-stadio (ad esempio, conferma multi-vista, re-interrogazione al momento dell'afferramento) prima dell'impegno cinetico.