🤖 machine learning

Visual Token Compression Enhances Robustness of MLLMs

Questo articolo propone un metodo di pruning dei token visivi che migliora la robustezza dei Modelli Linguistici Multimodali di Grandi Dimensioni contro gli attacchi di jailbreak e le allucinazioni, identificando e rimuovendo i token visivi disallineati o fuori distribuzione, riducendo simultaneamente i costi di inferenza.

Autori originali: Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Pubblicato 2026-07-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un mondo in cui i computer non si limitano a leggere parole, ma riescono anche a "vedere" le immagini, combinandole per rispondere a domande, raccontare storie o risolvere problemi. Questi sono chiamati Modelli Linguistici Multimodali Grandi (MLLM). Pensali come studenti super intelligenti che hanno letto ogni libro della biblioteca e possono anche guardare una foto per capirne il contesto. Tuttavia, proprio come ogni studente, possono confondersi. A volte, se mostri loro un'immagine complicata o fai una domanda subdola, potrebbero essere ingannati nel dire qualcosa di pericoloso (un "jailbreak") o inventare fatti che sembrano reali ma sono completamente errati (un'allucinazione).

Per capire perché questo accade, dobbiamo osservare come questi modelli elaborano le informazioni. Prendono un'immagine, la frammentano in minuscoli pezzi digitali chiamati "token visivi" e li mescolano con i token del testo. Il problema è che gli "occhi" e le "orecchie" del computer non sempre parlano perfettamente la stessa lingua. A volte, un token visivo è così fuori posto o confuso che agisce come il rumore statico in un segnale radio. Questo rumore può sbilanciare il modello, rendendolo vulnerabile agli attacchi o causando l'invenzione di informazioni false. Gli scienziati sanno da tempo che pulire questo rumore aiuta, ma di solito pensavano che servisse solo a rendere il computer più veloce, non più sicuro.

Questo articolo introduce un trucco molto intelligente chiamato Compressione dei Token Visivi, nello specifico un metodo chiamato OOD-VTP (Pruning dei Token Visivi Out-of-Distribution). I ricercatori hanno scoperto che identificando e rimuovendo i token visivi "strani" — quelli che non si adattano bene al testo — il modello diventa molto più resistente agli attacchi e meno propenso a mentire. È come un buttafuori in un club che caccia via gli ospiti molesti che non appartengono al locale, lasciando la festa sicura e ordinata. Lo studio dimostra che non è solo una teoria: quando hanno testato il metodo su sette diversi benchmark popolari, il modello è diventato significativamente più difficile da ingannare e più accurato, pur funzionando più velocemente.

La storia della stanza rumorosa

Immagina di essere in una stanza gigante e rumorosa dove un gruppo di amici (il testo) sta cercando di avere una conversazione seria. Improvvisamente, un gruppo di estranei (i token visivi) irrompe nella stanza. La maggior parte degli estranei è utile; portano snack e indicano cose nella stanza che corrispondono alla conversazione. Ma alcuni sono dei burloni. Indossano maschere, urlano sciocchezze o tengono in mano cartelli con scritte che non hanno senso rispetto a ciò che i tuoi amici stanno dicendo.

Nel mondo dell'IA, questi burloni sono i token visivi disallineati. Poiché la visione e il linguaggio del computer non sono perfettamente sincronizzati, questi token agiscono come input Out-of-Distribution (OOD). In parole povere, sono "fuori posto". Quando l'IA cerca di elaborarli, si confonde. Questa confusione è ciò che permette agli hacker di effettuare un "jailbreak" sull'IA (ingannandola affinché ignori le sue regole di sicurezza) o causa le "allucinazioni" (inventare fatti).

La strategia del buttafuori

Gli autori di questo articolo hanno capito che i metodi precedenti cercavano di velocizzare l'IA eliminando token casuali o solo quelli che sembravano "ridondanti" (come cacciare via le persone più silenziose). Ma hanno scoperto che questo non rendeva l'IA più sicura. Anzi, a volte peggiorava le cose!

Il loro nuovo metodo, OOD-VTP, agisce come un buttafuori super intelligente. Ecco come funziona:

Misurare la distanza: Il buttafuori controlla ogni singolo token visivo (ogni pezzo dell'immagine) e chiede: "Quanto è lontano questa persona dalla conversazione?". Misurano la distanza tra il token visivo e lo "spazio delle caratteristiche del linguaggio" (il gruppo di token del testo).
Identificare i burloni: I token che sono più lontani dal testo — quelli totalmente fuori sincrono — vengono segnalati come token OOD. Sono proprio questi quelli che creano problemi.
Il tempismo perfetto: I ricercatori hanno scoperto che non si possono cacciare le persone in qualsiasi momento. Ci sono specifici "livelli di pruning robusto" (pensa a questi come momenti specifici della conversazione) in cui rimuovere i cattivi token funziona meglio. Se li rimuovi troppo presto o troppo tardi, non serve a nulla. Ma se lo fai al momento giusto (come nel livello 13 o 17 nei loro test), l'IA diventa improvvisamente molto più robusta.

I risultati: Più sicuri, più intelligenti e più veloci

Il team ha testato questa strategia del buttafuori su due popolari modelli di IA: LLaVA-OneVision e Qwen-2.5-VL. Hanno utilizzato sette diversi benchmark per vedere quanto funzionasse bene.

Fermare i Jailbreak: Quando hanno cercato di ingannare l'IA per farle fare cose cattive (come spiegare come costruire una bomba o inserire un malware), il metodo OOD-VTP è stato un grande successo. In media, ha migliorato la capacità del modello di dire "No, non lo farò" del 13,29%. Per il modello Qwen-2.5-VL in particolare, il "Tasso di rifiuto della risposta" (quanto spesso blocca una richiesta scorretta) è passato dal 20,38% al 33,67%.
Fermare le Allucinazioni: Il metodo ha aiutato anche l'IA a smettere di inventare fatti. Sul HallusionBench, l'accuratezza è migliorata dell'8,00% per il modello Qwen.
Velocità: Come bonus, poiché hanno rimosso alcuni dei token, l'IA è diventata più veloce. Ha elaborato meno token (scendendo da 16.128 a 10.512) e ha utilizzato meno potenza di calcolo (i TFlops sono scesi da 4,29 a 2,78), rendendola più efficiente senza perdere la sua intelligenza.

Cosa non hanno fatto (e cosa hanno escluso)

È importante notare cosa questo articolo non ha fatto. Non hanno riaddestrato l'IA da zero. Non hanno aggiunto nuove regole di sicurezza o cambiato i pesi del "cervello" del modello. Hanno semplicemente effettuato il pruning (taglio) dei cattivi token visivi durante il processo.

Hanno anche escluso esplicitamente l'idea che qualsiasi pruning dei token renda un'IA più sicura. Infatti, hanno dimostrato che se si effettua il pruning dei token sbagliati — specificamente quelli ben allineati e utili — l'IA diventa meno sicura. Hanno testato questo caso eliminando i token con la "distanza minore" (quelli buoni), e le prestazioni di sicurezza del modello sono crollate. Questo prova che non si tratta solo di tagliare le cose, ma di tagliare via il rumore specifico che causa problemi.

In sintesi

Questo articolo suggerisce che la chiave per rendere l'IA multimodale più sicura potrebbe essere semplice quanto pulire il rumore visivo. Identificando e rimuovendo i token visivi che non si adattano al testo, il modello diventa più stabile, meno propenso a essere ingannato e meno propenso a inventare fatti. È una soluzione "plug-and-play", il che significa che può essere aggiunta ai modelli esistenti senza richiedere una ristrutturazione massiccia. Sebbene l'articolo mostri che questi risultati sono misurati e coerenti attraverso molteplici test, rimane un metodo che migliora la robustezza piuttosto che una bacchetta magica che risolve ogni problema di sicurezza nel mondo. Ma per un adolescente curioso (o uno sviluppatore di IA attento alla sicurezza), è un modo affascinante per vedere come un po' di pruning possa fare una grande differenza nel mantenere i nostri amici digitali al sicuro.

Sintesi Tecnica: La compressione dei token visivi migliora la robustezza degli MLLM

Problema

I Modelli Linguistici Multimodali (MLLM) affrontano sfide significative in termini di sicurezza e affidabilità, specificamente la vulnerabilità agli attacchi di jailbreak e la generazione di allucinazioni. Sebbene i Large Language Models (LLM) addestrati su dati testuali dimostrino spesso meccanismi di sicurezza robusti, l'introduzione di modalità visive negli MLLM può eludere tali protezioni. Gli autori ipotizzano che questa vulnerabilità derivi da un disallineamento delle rappresentazioni tra le modalità visiva e linguistica. Nello specifico, i token visivi che non sono perfettamente allineati con lo spazio delle caratteristiche del linguaggio agiscono come input Out-of-Distribution (OOD). Questi token OOD interrompono le rappresentazioni interne del modello, portando a output imprevedibili, jailbreak riusciti e risposte fattualmente errate (allucinazioni).

Le strategie di difesa esistenti, come l'instruction tuning, il Reinforcement Learning from Human Feedback (RLHF) o il prompt engineering, spesso comportano costi computazionali elevati o soffrono di una limitata generalizzazione contro avversari sconosciuti. Inoltre, i metodi standard di pruning dei token visivi, progettati principalmente per ridurre i costi di inferenza rimuovendo i token "ridondanti", raramente migliorano la robustezza del modello. Ciò suggerisce che ridondanza e stato OOD non siano sinonimi; eliminare i token sbagliati può effettivamente degradare la sicurezza.

Metodologia: OOD-VTP

Il documento propone l'Out-of-Distribution Visual Token Pruning (OOD-VTP), un metodo training-free, plug-and-play, progettato per migliorare la robustezza rimuovendo selettivamente i token visivi disallineati. I componenti principali del metodo sono:

Misurazione della distanza dei token visivi:
Il metodo quantifica l'"OOD-ness" di un token visivo misurando la sua distanza dallo spazio delle caratteristiche testuali.
- Rappresentazione dello spazio delle caratteristiche: Lo spazio delle caratteristiche testuali ( $T$ ) è rappresentato dall'ultimo $p\%$ dei token testuali (ad es., l'ultimo 50%). Questi token vengono scelti perché, attraverso i meccanismi di attenzione causale, hanno integrato le informazioni semanticamente più informative e visivamente ancorate dai token precedenti.
- Metrica di distanza: Per ogni token visivo $v^k_j$ al livello $k$ , la distanza dallo spazio testuale è definita come la distanza minima da qualsiasi token nel sottoinsieme testuale selezionato $S_k$ . La metrica di distanza $D(\cdot, \cdot)$ è istanziata come la media negativa del punteggio di attenzione attraverso tutte le teste di attenzione nell'LLM. Una distanza maggiore indica un maggiore disallineamento (maggiore probabilità OOD).
Livelli di Robust-Pruning:
Gli autori identificano che non tutti i livelli sono ugualmente efficaci per il pruning. Definiscono i livelli di robust-pruning come specifici livelli intermedi in cui il pruning dei token OOD produce il massimo guadagno in termini di sicurezza.
- L'analisi empirica rivela che il pruning in livelli specifici (ad es., i livelli 13–17 in Qwen-2.5-VL) migliora significativamente la robustezza, mentre il pruning in altri livelli offre benefici limitati o degrada le prestazioni.
- Il livello ottimale e il rapporto di pruning sono determinati tramite una ricerca a griglia (grid search) su un set di validazione, sebbene il documento noti che un livello fisso unificato (ad es., il Livello 14) può ottenere risultati solidi su molteplici benchmark senza necessità di tuning per singolo benchmark.
Strategia di Pruning:
Al livello di robust-pruning identificato, il top $r\%$ dei token visivi con le distanze maggiori (ovvero, i più disallineati/OOD) viene rimosso (pruned). Questo processo può essere applicato iterativamente attraverso più livelli.

Contributi Chiave

Nuova Intuizione: Il documento è il primo a dimostrare che la compressione dei token visivi può migliorare sostanzialmente la robustezza degli MLLM sia contro gli attacchi di jailbreak che contro le allucinazioni, sfidando l'idea che la compressione serva esclusivamente all'efficienza.
Metodo OOD-VTP: Gli autori introducono una tecnica di pruning specifica che mira ai token visivi disallineati con lo spazio delle caratteristiche del linguaggio, utilizzando una metrica di distanza basata sui punteggi di attenzione e identificando specifici "livelli di robust-pruning".
Validazione Completa: Il metodo è validato su sette diversi benchmark, mostrando significativi guadagni di robustezza pur mantenendo forti prestazioni sui task generali.
Complementarità: L'approccio si dimostra complementare alle strategie di sicurezza esistenti (ad es., AdaShield), aumentando ulteriormente la sicurezza quando combinato.

Risultati Sperimentali

Gli autori hanno valutato OOD-VTP sui modelli LLaVA-OneVision e Qwen-2.5-VL su sette benchmark:

Difesa dal Jailbreak:
- Su SafeBench, HADES e MM-SafetyBench, OOD-VTP ha ottenuto un miglioramento medio del 13,29% nel tasso di rifiuto della risposta (Refuse-to-Answer Rate - RAR) rispetto al baseline vanilla di Qwen-2.5-VL.
- Nello specifico, su Qwen-2.5-VL, il RAR medio è migliorato dal 20,38% (Vanilla) al 33,67%, e il tasso di output innocuo (Harmless Output Rate - HOR) è salito al 50,09%, superando altri metodi di compressione (FastV, PDrop, ecc.) che hanno mostrato impatti trascurabili o negativi sulla sicurezza.
- Quando combinato con AdaShield, il RAR su SafeBench ha raggiunto il 93,80%.
- Il metodo ha inoltre dimostrato robustezza contro attacchi alle immagini basati su perturbazioni (PGD).
Mitigazione delle Allucinazioni:
- Su HallusionBench, OOD-VTP ha migliorato l'accuratezza dell'8,00% (dal 59,73% al 67,99% sul miglior livello) per Qwen-2.5-VL.
- Su COCO2014, ha ridotto la metrica CHAIR (che indica meno allucinazioni) allo 0,59% per Qwen-2.5-VL, superando il baseline vanilla.
Prestazioni Generali ed Efficienza:
- Benchmark Generali: OOD-VTP mantiene o migliora leggermente le prestazioni su dataset generali come MME (punteggi di percezione e cognizione) rispetto al modello vanilla.
- Efficienza: Il metodo ha ridotto il costo computazionale (TFlops) e aumentato i Token Per Second (TPS) rispetto al modello vanilla e ad altri baseline di compressione come FastV.
- Trade-off: Un lieve calo delle prestazioni è stato osservato su OCRBench, attribuito alla perdita di informazioni d'immagine a grana fine dovuta al pruning dei token, che gli autori ritengono un compromesso ragionevole per i sostanziali guadagni in termini di sicurezza.

Significato e Rivendicazioni

Il documento sostiene che OOD-VTP offra una direzione nuova, efficiente ed efficace per rendere sicuri gli MLLM. Affrontando la causa radice delle vulnerabilità — ovvero i token visivi disallineati che agiscono come input OOD — il metodo migliora la robustezza del modello senza richiedere costosi ri-addestramenti o tuning di allineamento.

Gli autori sottolineano che:

La robustezza è altamente sensibile a quali token vengono rimossi; eliminare i token ben allineati distrugge la sicurezza, mentre eliminare i token OOD la migliora.
La robustezza è anche sensibile a dove (in quale livello) avviene il pruning, rendendo necessaria l'identificazione dei livelli di robust-pruning.
Il metodo funge da modulo "plug-and-play" che può essere integrato con le difese di sicurezza esistenti per creare un sistema più robusto, bilanciando sicurezza, efficienza e utilità generale.