💻 computer science

REALM: A Unified Red-Teaming Benchmark for Physical-World VLMs

Questo articolo introduce REALM, il primo benchmark di red-teaming unificato per i modelli visione-linguaggio nel mondo fisico, che standardizza la valutazione di diversi metodi di attacco e difesa attraverso una pipeline di generazione di target condivisa e fisicamente fondata per affrontare la frammentazione nelle attuali valutazioni di sicurezza.

Autori originali: Yifei Zhao, Qian Lou, Mengxin Zheng

Pubblicato 2026-06-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yifei Zhao, Qian Lou, Mengxin Zheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito un assistente robotico super intelligente che può vedere il mondo e parlarne. Vuoi che questo robot guidi auto, raccolga oggetti o aiuti le persone nelle loro case. Ma prima di lasciarlo libero nel mondo reale, devi assicurarti che non venga raggirato per fare qualcosa di pericoloso, come causare un incidente stradale o afferrare lo strumento sbagliato.

Questo articolo introduce REALM, un nuovo "stress test" progettato specificamente per vedere quanto facilmente questi cervelli robotici possano essere ingannati quando si occupano di compiti fisici nel mondo reale.

Ecco una ripartizione di ciò che fa l'articolo, utilizzando analogie semplici:

1. Il Problema: Il Test del "Chatbot" vs. Il Test del "Mondo Reale"

Immagina di avere una guardia giurata (l'IA).

Vecchi Test (Benchmark dei Chatbot): Questi test chiedono alla guardia: "Puoi dire qualcosa di cattivo o illegale?". Se la guardia risponde "No, non lo farò", supera il test. Questo è come testare una guardia sul fatto che rispetti le regole della conversazione.
Il Vero Problema: Nel mondo fisico, il pericolo non riguarda solo il dire brutte parole. Si tratta di fare la cosa sbagliata. Se un robot che guida un'auto vede un segnale di stop con un piccolo adesivo sopra, potrebbe pensare che sia un segnale di precedenza e continuare a guidare. I vecchi test non avevano colto questo. Cercavano "brutte parole", non "brutte azioni".

REALM è il nuovo test che chiede: "Se inganno i tuoi occhi o le tue istruzioni, commetterai un errore fisico?"

2. La Soluzione: Una "Palestra" Unificata per l'IA

Prima di questo articolo, ogni ricercatore aveva la propria palestra diversa, i propri pesi diversi e le proprie regole diverse. Era impossibile confrontare chi fosse effettivamente più forte.

La Palestra REALM: Gli autori hanno costruito una palestra gigante e standardizzata. Hanno raccolto 12 modi diversi per ingannare l'IA (attacchi), 3 modi per proteggere l'IA (difese) e 13 diversi modelli di IA da testare.
L'Allenatore "Agentico": Una delle parti più difficili del test è decidere quale errore cercare. Se mostri l'immagine di un'auto, l'IA dovrebbe pensare che sia una bicicletta? Dovrebbe pensare che l'auto stia guidando all'indietro?
- L'articolo ha creato un "Coach IA" speciale (una pipeline agentica). Questo Coach guarda ogni singola scena e inventa un errore specifico e realistico da far commettere all'IA. Per esempio, in una scena di guida, il Coach potrebbe decidere: "Oggi l'IA deve pensare che la luce rossa sia verde". Ciò garantisce che ogni IA sia testata contro lo stesso identico "trucco", rendendo il confronto equo.

3. Gli Esperimenti: Cosa è Successo?

I ricercatori hanno eseguito questi test su 13 diversi modelli di IA (alcuni piccoli, altri enormi) e hanno scoperto alcune cose sorprendenti:

Il trucco del "Nota sulla parete" è il migliore: Il modo più efficace per mandare in tilt questi robot non è stato manipolare i pixel dell'immagine (come aggiungere rumore invisibile). È stato cambiare le istruzioni testuali o mettere un cartello falso nell'immagine.
- Analogia: È più facile ingannare un robot sussurrandogli "Ignora il segnale di stop" all'orecchio (iniezione di testo) piuttosto che dipingendo un minuscolo punto invisibile sul segnale di stop (perturbazione visiva).
Il trucco "One-Shot": Alcuni attacchi richiedono che l'hacker provi centinaia di volte, modificando leggermente l'immagine ogni volta per vedere cosa funziona. I ricercatori hanno scoperto che alcuni attacchi "one-shot" (un solo tentativo) funzionano quasi quanto quelli che tentano centinaia di volte. Ciò significa che gli hacker non hanno bisogno di essere pazienti per rompere questi sistemi.
Più grande non significa necessariamente più sicuro: Potresti pensare che un'IA gigante e super costosa (100 miliardi di parametri) sia più difficile da ingannare rispetto a una piccola. L'articolo ha scoperto che la dimensione non conta molto. Un'IA enorme è stata facilmente ingannata quanto una piccola, se il trucco era quello giusto.
L'addestramento specializzato non aiuta: Alcune IA sono state addestrate specificamente per essere brave nella fisica e nel ragionamento. Immagineresti che sarebbero più intelligenti e difficili da ingannare. Eppure, erano vulnerabili quanto le altre.

4. Le Difese: Possiamo Fermare i Trucchi?

I ricercatori hanno anche provato tre diversi "scudi" per proteggere l'IA:

Scudo Testuale: Uno scudo era eccellente nel fermare i trucchi testuali del tipo "sussurro".
Scudo Visivo: Un altro scudo era discreto nel fermare i trucchi d'immagine del tipo "punto invisibile".
Il Problema: Nessuno scudo singolo fermava tutto. Se usavi uno scudo testuale, i trucchi d'immagine funzionavano ancora. Se usavi uno scudo visivo, i trucchi di testo funzionavano ancora. Hai bisogno di un sistema di difesa a più livelli.

Riassunto

REALM è il primo modo standardizzato per controllare se i robot IA sono sicuri nel mondo reale. Ha scoperto che:

I trucchi testuali sono attualmente il pericolo maggiore.
I modelli grandi non sono automaticamente sicuri.
L'addestramento specializzato non li rende immuni all'essere ingannati.
Abbiamo bisogno di difese migliori e multilivello per mantenere al sicuro la nostra IA fisica.

L'articolo conclude che non possiamo limitarci a testare se l'IA dice "brutte parole"; dobbiamo testare se compie "brutte mosse" nel mondo fisico.

Riepilogo Tecnico: REALM – Un Benchmark Unificato di Red-Teaming per i VLM nel Mondo Fisico

1. Definizione del Problema

I modelli vision-language (VLM) sono sempre più impiegati come backbone di percezione-ragionamento per l'intelligenza incarnata (embodied intelligence) in sistemi fisici critici per la sicurezza, come veicoli autonomi e manipolatori robotici. In questi contesti, errori di percezione o di ragionamento possono portare ad azioni fisiche insicure. Sebbene esistano numerosi metodi di red-teaming per sondare le vulnerabilità dei VLM, l'attuale panorama di valutazione è frammentato. I benchmark esistenti si concentrano principalmente sulla sicurezza dei chatbot (es. jailbreaking, generazione di contenuti tossici) e mancano di protocolli standardizzati per i fallimenti funzionali radicati nel mondo fisico.

Le sfide attuali includono:

Frammentazione della Valutazione: Diversi dataset, metriche e modelli di minaccia impediscono il confronto diretto dell'efficacia degli attacchi.
Obiettivi Disallineati: I benchmark per chatbot misurano i tassi di rifiuto o la tossicità, mentre i VLM nel mondo fisico richiedono la valutazione di errori di predizione dell'azione, completamento del compito e ragionamento spaziale.
Mancanza di Protocolli Unificati: I benchmark esistenti per il mondo fisico (es. PhysBench, PAI-Bench) valutano le prestazioni "clean", ma non forniscono protocolli di red-teaming unificati con obiettivi di attacco condivisi tra diversi metodi.

2. Metodologia: Il Framework REALM

Gli autori introducono REALM (Red-teaming Benchmark for Physical-World VLMs), il primo benchmark unificato progettato per valutare la robustezza avversaria in contesti del mondo fisico sotto un modello di minaccia black-box pratico.

2.1 Struttura del Benchmark

REALM organizza la valutazione lungo tre assi:

Domini Fisici: Sette domini che includono Guida, Manipolazione, Presa (Grasping), Fisica, Assistenza egocentrica, Diagnostica e Question Answering a livello di scena.
Famiglie di Task: Percezione, Predizione, Ragionamento, Valutazione e Pianificazione.
Modalità di Fallimento: Errori di output radicati nel mondo fisico, come errori di predizione dell'azione, errori di successo del compito, errori di ragionamento spaziale ed errori di pianificazione incarnata.

Il dataset comprende 832 casi di test derivati da benchmark esistenti di AI fisica, estesi a 9.984 casi di test avversari attraverso 12 metodi di red-teaming e 13 VLM vittima.

2.2 Pipeline di Generazione Target Agente-centrica

Un'innovazione centrale di REALM è la pipeline di generazione target agente-centrica, che affronta la difficoltà di definire obiettivi di attacco fissi per compiti fisici specifici per ogni scena.

Processo: Data un'immagine sorgente, una domanda e una risposta ground-truth, un agente VLM di ragionamento analizza la scena per identificare una modalità di fallimento plausibile (es. interpretare erroneamente una manovra di un veicolo).
Output: La pipeline genera una risposta target ( $a^{tar}_i$ ) e un'immagine target ( $I^{tar}_i$ ) che istanzia visivamente la mispercezione intenzionale.
Utilità: Questi target condivisi permettono a diversi metodi di red-teaming (perturbazioni visive, prompt injection, ecc.) di essere valutati contro gli stessi obiettivi avversari specifici per lo scenario, garantendo un confronto equo.

2.3 Modello di Minaccia e Valutazione

Modello di Minaccia: Un ambiente black-box realistico. Né il metodo di attacco né quello di difesa hanno accesso ai parametri, ai gradienti o agli stati interni del modello vittima.
Generazione dell'Attacco: Gli esempi avversari vengono generati offline utilizzando modelli surrogati o generatori esterni e trasferiti al modello vittima per una valutazione one-shot.
Metriche: La metrica primaria è l'Attack Success Rate (ASR), definito come il tasso in cui un input avversario causa la produzione da parte del VLM di una risposta errata che riflette un errore fisico rilevante per il compito. Viene riportata anche l'accuratezza "clean" per il confronto basale.

2.4 Componenti Valutati

Modelli Vittima: 13 VLM (da 7B a oltre 100B di parametri), inclusi modelli proprietari (Gemini-3-Flash, GPT-4.1-Mini) e famiglie open-source (Qwen3.5, Qwen3-VL, Cosmos-Reason).
Metodi di Red-Teaming: 12 metodi che coprono:
- Perturbazioni Visive: Basate su gradiente (FOA, M-Attack, V-Attack), Co-ottimizzazione (Chain-of-Attack) e basate su diffusione (AdvDiffVLM).
- Vincoli Fisici: PhysPatch (patch localizzate).
- Generativi/Editing: AdvEDM, ImageMix.
- Injection: Tipografica (FigStep), Prompt (PromptInject) e Single-pass (AnyAttack).
Difese: 3 difese di pre-processing agnostiche rispetto al modello: PAD (rimozione patch), FreqPure (purificazione della frequenza) e BlueSuffix (purificazione di testo/immagine).

3. Risultati Chiave

3.1 Efficacia dell'Attacco

Iniezione di Testo e Tipografica: Questi attacchi inducono il maggior numero di fallimenti. PromptInject ha ottenuto l'ASR medio più alto (64,8%), seguito da FigStep (49,4%). Ciò indica che i VLM rimangono altamente vulnerabili alla manipolazione dei canali di testo e delle istruzioni ausiliarie.
Perturbazioni Visive: Tra gli attacchi visivi, Chain-of-Attack (CoA), che co-ottimizza le perturbazioni con didascalie rigenerate dinamicamente, ha prodotto il trasferimento più forte (54,6% ASR), superando gli attacchi standard basati su gradiente. Ciò suggerisce che la co-ottimizzazione multimodale sfrutta meglio l'allineamento cross-modale rispetto all'ottimizzazione basata solo sulle feature visive.
Efficienza: AnyAttack, un metodo single-pass, ha raggiunto un ASR del 49,9%, avvicinandosi alle prestazioni dei metodi iterativi (come FOA al 48,1%) a un costo computazionale significativamente inferiore.
Vincoli Fisici: Le perturbazioni spazialmente ristrette (PhysPatch) hanno mostrato una trasferibilità inferiore (33,0% ASR) rispetto alle perturbazioni a immagine intera, indicando che i vincoli di plausibilità fisica rendono più difficile il trasferimento black-box.

3.2 Vulnerabilità del Modello

Scala vs. Robustezza: L'aumento della scala del modello (es. Qwen3.5 da 9B a 122B) migliora l'accuratezza "clean", ma non garantisce la robustezza avversaria. L'ASR per attacchi specifici (es. PromptInject) è rimasto quasi invariato o addirittura è aumentato con la scala.
Specializzazione del Dominio: I modelli post-addestrati per il ragionamento fisico (Cosmos-Reason) non hanno mostrato una robustezza superiore; anzi, hanno mostrato un'alta vulnerabilità, con Cosmos-Reason2-8B che raggiunge il 76,8% di ASR sotto PromptInject.
Proprietari vs. Open Source: I modelli proprietari (Gemini, GPT) hanno dimostrato livelli di vulnerabilità comparabili ai modelli open-source con simile accuratezza "clean", suggerendo che il deployment closed-source non assicura intrinsecamente la robustezza.
Varianza del Dominio: La vulnerabilità varia significativamente per dominio. I task di Manipolazione e Guida hanno mostrato l'ASR mediano più alto, mentre la Scene QA ha mostito il più basso.

3.3 Analisi delle Difese

Specificità del Canale: Le difese sono altamente specifiche per canale. BlueSuffix (purificazione del testo) ha ridotto significativamente l'ASR di PromptInject del 21,7% in media. FreqPure (filtraggio della frequenza) ha ridotto gli attacchi basati su gradiente (FOA) del 5,8%.
Limitazioni: Nessuna singola difesa di pre-processing si è generalizzata su tutti i paradigmi di attacco. Ad esempio, le difese visive (PAD, FreqPure) non sono riuscite a mitigare gli attacchi di iniezione di testo, e nessuna delle difese ha influenzato FigStep.

4. Significato e Contributi

L'articolo afferma che REALM fornisce il primo framework unificato per confrontare i metodi di red-teaming nei VLM del mondo fisico. La sua importanza risiede in:

Benchmark Unificato: Integrazione di 12 metodi di attacco, 3 difese e 13 VLM sotto un protocollo condiviso, consentendo il confronto diretto di efficacia e copertura.
Generazione Target Agente-centrica: Risoluzione del problema dell'allineamento degli obiettivi specifici per scenario, permettendo di valutare diversi attacchi contro modalità di fallimento fisicamente fondate e coerenti con lo scenario.
Approfondimenti Empirici: Stabilire che le vulnerabilità del canale di testo sono attualmente il punto di fallimento più critico, che la co-ottimizzazione multimodale potenzia il trasferimento visivo e che la scala del modello da sola è insufficiente per la robustezza.

Gli autori concludono che il lavoro futuro deve andare oltre la sicurezza dei contenuti orientata ai chatbot per sviluppare benchmark e difese dedicati alla robustezza funzionale nei compiti fisici radicati.