🤖 AI

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

Questo articolo introduce la Semantic-Aware Universal Perturbation (SAUP), un nuovo attacco che sfrutta una singola perturbazione avversaria per dirottare i modelli linguistici multimodali stateless agendo come un router semantico che indirizza input diversificati verso target definiti dall'attaccante, raggiungendo un tasso di successo del 66% su molteplici target su modelli rappresentativi.

Autori originali: Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

Pubblicato 2026-06-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un'auto robotica o un braccio robotico molto intelligente e autonomo. Queste macchine usano un "cervello" chiamato Modello Linguistico di Grandi Dimensioni Multimodale (MLLM) per guardare il mondo e decidere cosa fare dopo.

Ecco il problema: questi robot spesso lavorano in modalità "stateless" (senza stato). Ciò significa che non ricordano cosa è successo cinque secondi fa. Guardano solo l'immagine attuale e l'istruzione attuale, prendono una decisione istantanea e poi dimenticano tutto. È come un conducente che soffre di amnesia ogni volta che sbatte le palpebre; conosce solo ciò che vede in questo momento.

Il documento "Semantic Router" rivela un nuovo, spaventoso modo per hackerare questi robot usando un singolo, minuscolo, invisibile adesivo (una perturbazione avversaria).

L'analogia dello "Sticker Magico"

Pensa al cervello del robot come a un poliziotto del traffico molto severo.

Situazione normale: Il poliziotto guarda l'immagine di una rotatoria e dice: "Fermati". Il poliziotto guarda l'immagine di una rotonda e dice: "Vai".
L'attacco: Un hacker posiziona un minuscolo, quasi invisibile "Sticker Magico" sulla lente della telecamera del robot. Questo adesivo non si limita a far vedere le cose nel modo sbagliato al robot; agisce come un Semantic Router (un termine elegante per indicare un interruttore intelligente).

Questo adesivo ha un superpotere: può leggere il contesto dell'immagine e scattare un interruttore per inviare il robot verso una destinazione completamente diversa e pericolosa.

Scenario A: Il robot vede una rotatoria. L'adesivo percepisce questo e dice al robot: "Gira a sinistra". (Comportamento normale).
Scenario B: Il robot vede un incrocio. L'adesivo percepisce questo diverso contesto e istantaneamente cambia l'istruzione in: "Gira a destra" (o anche "Guidare verso un dirupo").

La parte spaventosa? L'hacker deve solo incollare un solo adesivo. Quel singolo adesivo funziona su ogni immagine che il robot vede, ma cambia idea in base a ciò che il robot sta effettivamente guardando. È come un telecomando che cambia la funzione dei suoi tasti a seconda della stanza in cui ti trovi.

Come hanno fatto? (Il trucco "Geometrico")

I ricercatori non hanno tirato a indovinare; hanno guardato dentro il "cervello" del robot (lo spazio matematico in cui vengono elaborate le immagini) per capire come costruire questo adesivo. Hanno scoperto due trucchi principali:

Lo "Shift Dominante" (La grande spinta): L'adesivo spinge il cervello del robot lontano dal suo normale percorso di pensiero sicuro. Forza il robot in una "zona di confusione" dove le regole sono diverse.
La "Deflessione Semantica" (Il leggero tocco): Una volta che il robot si trova in quella zona di confusione, l'adesivo usa le piccole differenze tra le immagini (come la differenza tra un "camion" e una "montagna") per guidare delicatamente il robot verso specifici comandi pericolosi pre-programmati.

Per far funzionare tutto questo, hanno inventato una nuova ricetta matematica chiamata SORT. Pensa a SORT come a uno chef maestro che sa esattamente quanto sale (rumore) aggiungere a una zuppa (l'immagine) affinché sappia di "pollo" se guardi un pollo, ma sappia di "veleno" se guardi una torta.

I Risultati: Quanto è grave?

I ricercatori hanno testato questo approccio su tre diversi tipi di cervelli robotici (chiamati LLaVA, Qwen e InternVL) usando due tipi di dati di test:

Immagini semplici (come un gatto vs un cane).
Compiti di guida e robotica nel mondo reale (come un'auto che si avvicina a un segnale di stop o un braccio robotico che prende una tazza).

Le scoperte sono state sconcertanti:

Un adesivo, molti obiettivi: Potevano far guidare un robot verso 5 diversi esiti pericolosi a seconda della scena.
Tasso di successo elevato: Su uno dei modelli (Qwen), un singolo adesivo ha ingannato con successo il robot il 66% delle volte attraverso 5 diversi obiettivi.
Controllo fine: Anche quando le scene erano molto simili (come un'auto in autostrada rispetto a un'auto su un marciapiede), l'adesivo poteva distinguere la differenza e impartire il comando pericoloso corretto.
Istruzioni lunghe: Potevano persino far dire al robot frasi lunghe e specifiche (come "Elimina tutti i file") in base a ciò che vedeva, non solo parole brevi.

Il succo della questione

Questo documento dimostra che è possibile "dirottare" il processo decisionale di un robot con un unico trucco universale. Il robot non ha bisogno di essere hackerato ogni volta che si muove; l'hacker deve solo piazzare un unico "Semantic Router" adesivo. Una volta lì, il robot seguirà felicmente le istruzioni dell'hacker, passando tra diversi comandi pericolosi in base interamente a ciò che ha davanti a sé.

Il documento conclude che questa è una vulnerabilità fondamentale nel modo in cui questi sistemi di IA funzionano attualmente, specialmente quando prendono decisioni senza ricordare il passato.

Riepilogo Tecnico: Semantic Router: Sulla fattibilità del dirottamento di MLLM tramite una singola perturbazione avversaria

1. Definizione del problema: Hijacking semantico-consapevole

Questo articolo investiga una nuova minaccia per i Modelli Linguistici Multimodali Grandi (MLLM), definita Hijacking Semantico-Consapevole (Semantic-Aware Hijacking). Mentre gli MLLM sono sempre più impiegati in sistemi stateless (ad esempio, guida autonoma, robotica) dove elaborano singoli fotogrammi senza trattenere il contesto storico, questo lavoro esplora la fattibilità di compromettere una sequenza di queste decisioni atomiche utilizzando una singola perturbazione avversaria universale.

A differenza delle tradizionali Perturbazioni Avversarie Universali (UAP) che mappano input diversi verso un singolo target, o del rumore non mirato che degrada generalmente le prestazioni, la minaccia proposta riguarda una Perturbazione Universale Semantico-Consapevole (SAUP). Una SAUP agisce come un "router semantico", percependo attivamente la semantica visiva di un fotogramma di input e indirizzandolo verso un target distinto, definito dall'attaccante, basandosi esclusivamente sul contenuto di quell'input. Ad esempio, in uno scenario di guida autonoma, una singola perturbazione potrebbe costringere il modello a emettere l'output "gira a destra" quando rileva un incrocio, ma "fermati" quando rileva una rotatoria, guidando cumulativamente un agente verso una destinazione malevola.

La sfida principale risiede nei vincoli geometrici dello spazio latente: la perturbazione deve simultaneamente allontanare tutti gli input dalle loro varietà naturali (Dominant Shift) e preservare/amplificare sottili differenze semantiche per deviarli verso target specifici e distinti (Semantic Deflection).

2. Metodologia: SORT e Framework Teorico

Analisi Teorica

Gli autori formalizzano il modello di minaccia in un setting white-box, analizzando le proprietà geometriche dello spazio latente dell'MLLM. Decompongono la risposta dell'encoder visivo a un input perturbato $x + \delta$ in due componenti tramite un'espansione di Taylor del primo ordine:

Dominant Shift ( $\mu_\delta$ ): La perturbazione $\delta$ crea uno spostamento dominante $\phi(\delta)$ , muovendo il cluster di input in uno spazio avversario dove i confini decisionali sono densi.
Semantic Deflection ( $\nu_c$ ): La perturbazione sfrutta la matrice Jacobiana $J_\delta$ per estrarre differenze semantiche intrinseche dall'input $x(c)$ , deviando le feature verso specifici embedding target proxy.

Gli autori derivano un limite teorico (Teorema 3.4) stabilendo che una mappatura di successo richiede che la capacità di espansione della perturbazione (norma spettrale della Jacobiana) superi il rapporto tra la distanza tra gli embedding target e la distanza tra gli embedding di input. Ciò evidenzia la difficoltà di attaccare la semantica fine dove le distanze tra gli input sono piccole.

L'algoritmo SORT

Per superare queste sfide di ottimizzazione, il documento propone la strategia di ottimizzazione Semantic-ORienTed (SORT), che consiste in due componenti chiave:

Ottimizzazione dello Spazio Normalizzato (NSO): Invece di ottimizzare direttamente nello spazio dei pixel $[0, 1]$ , che porta a gradienti instabili e minimi locali, SORT introduce un cambio di variabili in uno spazio normalizzato e non vincolato. Questo stabilizza il panorama dell'ottimizzazione e garantisce step size coerenti.
Ottimizzazione della Separazione Semantica (SSO): Per massimizzare esplicitamente la potenza di deviazione, gli autori introducono una perdita basata sul margine ( $L_{Margin}$ ) insieme alla standard cross-entropy loss. Questa funzione di perdita forza le feature perturbate di diverse classi semantiche a separarsi nello spazio di output, assicurando che si allineino con i rispettivi embedding target proxy piuttosto che collassare in un singolo cluster.

Dataset: RIST

Per valutare l'hijacking semantico fine, gli autori introducono RIST (Real Image Sequence Trajectories). A differenza dei benchmark di classificazione standard, RIST consiste in sequenze di fotogrammi da video continui (scenari AutoDriving e RoboTasking). Presenta categorie semantiche fini (ad esempio, tipi specifici di incroci o stati di manipolazione robotica) dove gli input all'interno di una categoria sono visivamente simili ma richiedono azioni distinte e contestualizzate.

3. Risultati Chiave

Gli autori hanno condotto esperimenti estesi su tre MLLM rappresentativi: LLaVA-1.5, Qwen2.5-VL e InternVL3, attraverso due dataset (ImageNet per la semantica grossolana e RIST per la semantica fine).

Fattibilità del Routing Semantico: Gli esperimenti dimostrano che una singola SAUP può dirottare con successo molteplici decisioni stateless. Sul modello Qwen, una singola perturbazione ha ottenuto un Attack Success Rate (ASK) del 66% su cinque target distinti utilizzando un singolo fotogramma.
Controllo Fine-Grained: Sul dataset RIST, le SAUP hanno raggiunto un ASR medio del 72% nello scenario RoboTasking (2 target) e del 62% nello scenario AutoDriving (5 target), provando la capacità di distinguere sottili variazioni semantiche (ad esempio, diverse condizioni stradali) per innescare comandi specifici come "accelera" o "sterza".
Generazione di Testi Lunghi: L'attacco si estende al controllo della generazione di testi lunghi. Con 2 target, le SAUP hanno mantenuto un ASR dell'83% anche quando i target consistevano in 10 parole. Con 5 target, hanno ottenuto un ASR del 54% per target di 4 parole.
Capacità di Informazione: Lo studio identifica un limite di "capacità di informazione". All'aumentare del numero di target, l'ASR diminuisce, in particolare per le perturbazioni con vincoli spaziali limitati (es. patch d'angolo rispetto a frame completi). Il vincolo di Frame (7.056 pixel) ha mantenuto tassi di successo più elevati rispetto al vincolo di Corner (1.600 pixel) all'aumentare del numero di target, suggerendo un collo di bottiglia nell'codificare molteplici confini decisionali entro un budget di pixel limitato.
Studi di Ablazione: Rimuovere NSO ha causato un calo catastrofico delle prestazioni (calo medio dell'ASR del 49,5%), confermando la sua necessità per la stabilità dell'ottimizzazione. Rimuovere SSO ha portato a prestazioni inferiori negli scenari multi-target, evidenziando il suo ruolo nella separazione dei cluster semantici.

4. Significato e Rivendicazioni

Il documento sostiene di dimostrare la fattibilità fondamentale del dirottamento delle decisioni di MLLM stateless tramite una singola perturbazione che agisce come router semantico. La significatività di questo lavoro risiede in:

Nuovo Modello di Minaccia: Va oltre la semplice classificazione errata o l'hijacking a target singolo verso un attacco universale "many-to-many", dove una singola perturbazione instrada dinamicamente gli input verso diversi target malevoli basandosi sul contesto visivo.
Intuizione Geometrica: Fornisce una comprensione teorica ed empirica dei meccanismi di "Dominant Shift" e "Semantic Deflection" nello spazio latente, offrendo un framework rigoroso per comprendere come le perturbazioni universali possano codificare mappature complesse.
Implicazioni nel Mondo Reale: Sebbene lo studio sia condotto in un ambiente digitale white-box, gli autori sostengono che questa vulnerabilità pone rischi significativi per gli agenti stateless in guida autonoma e robotica. Suggeriscono che un attaccante potrebbe inserire una SAUP creata in una pubblicità web o in un ambiente visivo per costringere un agente a una catena di decisioni malevole (ad esempio, caricare dati privati seguito dall'esecuzione di un comando "invia").

Gli autori mantengono una posizione modesta riguardo al deployment fisico, riconoscendo che la robustezza ai fattori fisici (luce, sfocatura da movimento) e ai setting black-box rimane una sfida significativa che richiede ricerche future. Tuttavia, pongono che la dimostrata fattibilità digitale serve come punto di partenza critico per comprendere e mitigare l'hijacking semantico in ambienti agentici complessi.