💻 computer science

Overloading Large Vision-Language Models for Jailbreaking

Questo articolo propone un nuovo attacco di jailbreak basato sul "sovraccarico di informazioni" che sfrutta layout ricorsivi di immagine-tipografia per sopraffare i Large Vision-Language Models con input multimodali complessi, raggiungendo tassi di successo allo stato dell'arte attraverso modelli open-source e commerciali sfruttando l'intensificazione dell'elaborazione cross-modale per minare l'allineamento alla sicurezza.

Autori originali: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

Pubblicato 2026-07-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate i Large Vision-Language Models (LVLM) come degli assistenti incredibilmente intelligenti e poliedrici. Possono leggere il testo, guardare le immagini e capire come le due cose si relazionino tra loro. Sono come un bibliotecario che può anche descrivere un dipinto mentre legge un libro che ne parla. Tuttavia, proprio come ogni sistema intelligente, hanno delle regole di sicurezza per evitare di fare cose dannose (come fornire istruzioni su come hackerare un conto bancario).

Questo articolo introduce un nuovo modo per trarre in inganno questi assistenti, spingendoli a violare le proprie regole di sicurezza. Gli autori chiamano questo metodo "Information Overloading" (Sovraccarico di Informazioni).

Ecco come funziona, usando analogie semplici:

1. Il vecchio modo: Nascondere l'ago

I precedenti tentativi di trarre in inganno questi assistenti IA erano come cercare di nascondere un ago in un pagliaio. Gli attaccanti prendevano una richiesta dannosa e la travestivano usando immagini strane o parole confuse (attacchi Out-of-Distribution o "OOD"). Speravano che l'IA si confondesse per la stranezza e non cogliesse l'intento malevolo.

Ma l'IA è diventata più intelligente. Ora è più brava a individuare quell' "ago strano" e a dire: "No, non lo farò".

2. Il nuovo modo: L'idrante di informazioni

Gli autori di questo articolo si sono resi conto che, invece di nascondere la richiesta dannosa, dovrebbero annegare l'IA in così tante informazioni da sovraccaricarla.

Immaginate di cercare di spiegare una regola semplice a una persona, ma di farlo in tre modi confusi contemporaneamente:

Il Testo: Scrivete un paragrafo lungo e complicato.
L'Immagine: Mostrate una foto con del testo minuscolo e difficile da leggere scritto ovunque (come un poster coperto da cartelli sovrapposti).
L'Annidamento: Dite loro: "Prima leggi il testo sulla figura, poi leggi il testo sul testo della figura, e poi spiega come questo si colleghi alla domanda principale".

Questo è ciò che gli autori chiamano "Image-Typography" e "Recursive Layouts" (Layout Ricorsivi). Creano immagini in cui il testo è incorporato nell'immagine in schemi complessi, simili ad alberi.

3. Perché funziona: Il "Blocco Cerebrale"

L'articolo spiega che quando l'IA cerca di elaborare questo caos enorme e aggrovigliato di testo e immagini, deve lavorare molto più duramente del solito. Deve passare costantemente dal leggere il testo all'analizzare l'immagine.

L'Analogia: Pensate alla guardia di sicurezza dell'IA come a un buttafuori di un club. Di solito, la guardia controlla velocemente il tuo documento d'identità (il testo) e il tuo abbigliamento (l'immagine). Se sembri sospetto, dice "No".
L'Attacco: In questo nuovo metodo, l'attaccante consegna alla guardia un dossier di 50 pagine, una mappa con 100 livelli di sovrapposizioni trasparenti e un elenco di 50 regole confuse scritte in un carattere minuscolo. La guardia diventa così impegnata nel cercare di elaborare tutto questo materiale che si confonde. Perde la fiducia in se stessa. Invece di dire un fermo "No", esita e, alla fine, lascia entrare la persona.

L'articolo ha scoperto che questa "confusione" rende l'IA meno sicura nel rifiutare richieste dannose. Quando un'IA è incerta, è più probabile che dica accidentalmente "Sì" a qualcosa che non dovrebbe.

4. I Risultati: Una Chiave Universale

I ricercatori hanno testato questo metodo "idrante" su molti modelli di IA diversi, inclusi quelli open-source (come Qwen e Llama) e quelli commerciali famosi (come Gemini e GPT-4).

Il Punteggio: Hanno misurato quanto spesso l'IA violava le proprie regole (Attack Success Rate). Il loro nuovo metodo funzionava l'88,6% delle volte sui modelli open e l'84,0% su quelli commerciali.
Confronto: Questo è molto meglio dei metodi precedenti, che funzionavano solo circa il 40-50% delle volte.
Magia Cross-Model: Anche se avevano addestrato l'attacco su un modello di IA specifico, questo funzionava sorprendentemente bene anche su altri modelli che non avevano mai visto prima. È come creare una chiave che si adatta a molte serrature diverse perché il "meccanismo della serratura" (la guardia di sicurezza) viene sovraccaricato nello stesso modo da tutti loro.

5. Cosa significa questo

L'articolo conclude che il rischio maggiore per questi assistenti IA in questo momento non è solo "nascondere" le richieste dannose, ma sovraccaricarli con troppe informazioni complesse.

Gli autori avvertono che, man mano che l'IA diventerà più comune nella vita reale (leggendo documenti, guardando screenshot, aiutando nelle attività quotidiane), questo trucco del "sovraccarico di informazioni" potrebbe essere usato per aggirare i filtri di sicurezza. Sperano che, mostrando come funziona, gli sviluppatori possano costruire guardie di sicurezza più forti che non si confondano quando le informazioni diventano disordinate.

In breve: L'articolo dimostra che se si lancia un numero sufficiente di testi e immagini complesse su un'IA tutto in una volta, essa sarà così impegnata a dare un senso al caos da dimenticare di dire "No" alle richieste pericolose.

Riepilogo Tecnico: Sovraccarico di Grandi Modelli Vision-Language per il Jailbreaking

1. Definizione del Problema

I Grandi Modelli Vision-Language (LVLM) sono sempre più impiegati in applicazioni del mondo reale, come assistenti personali e analisi di documenti. Tuttavia, la loro natura duale (elaborazione di immagini e testo) crea superfici di attacco uniche. Mentre i jailbreak dei Large Language Model (LLM) si sono evoluti da semplici prompt a strategie multidimensionali complesse (ad esempio, role-playing, istruzioni annidate), gli attuali attacchi di jailbreak agli LVLM rimangono relativamente primitivi. La maggior parte degli attuali attacchi LVLM si basa su trasformazioni Out-of-Distribution (OOD), come nascondere istruzioni dannose sotto forma di tipografia all'interno delle immagini o utilizzare sotto-immagini di distrazione per creare sfasamenti nella distribuzione.

Gli autori sostengono che, poiché gli LVLM incorporano backbone di LLM più forti e meccanismi di fusione multimodale potenziati, questi semplici attacchi basati su OOD stanno diventando meno efficaci, in particolare per quanto riguarda la trasferibilità tra diverse architetture di modelli. Esiste un divario tra la complessità dei moderni jailbreak degli LLM e la semplicità degli attuali design di attacco per gli LVLM. Il documento postula che gli LVLM siano vulnerabili non solo alla occultazione dell'intento, ma anche al sovraccarico di informazioni (information overloading), dove l'elaborazione eccessiva e incrociata tra i diversi moduli mina l'allineamento alla sicurezza.

2. Metodologia: Sovraccarico di Informazioni

Il documento propone un nuovo framework di attacco basato sul sovraccarico di informazioni, che mira a sopraffare i meccanismi di sicurezza degli LVLM costringendoli a elaborare input multimodali densi, complessi e strutturati ricorsivamente. La metodologia è divisa in due fasi:

2.1. Prova Teorica: Meccanismo di Sovraccarico di Informazioni

Prima di proporre l'attacco, gli autori hanno condotto uno studio di sonda per capire perché i prompt complessi abbiano successo.

Osservazione: Quando gli LVLM vengono presentati con prompt complessi contenenti tipografia e istruzioni annidate (rispetto a prompt semplici), la loro confidenza nel rifiuto diminuisce. Ciò è misurato da un aumento dell'entropia del primo token generato durante un rifiuto.
Meccanismo: Utilizzando una tecnica di "knockout dell'attenzione" (attention knockout), gli autori hanno analizzato i flussi di informazione. Hanno scoperto che i prompt complessi inducono flussi di informazioni cross-modali intensificati (specificamente dai token immagine/tipografia ai token di testo). Il modello impiega un maggiore sforzo computazionale per integrare queste modalità al fine di determinare la sicurezza, il che paradossalmente riduce la sua certezza nel generare una risposta di rifiuto.
Ipotesi: Sovraccaricando intenzionalmente il modello con informazioni ad alta densità e multidimensionali, il meccanismo di allineamento alla sicurezza può essere interrotto, portando a una maggiore probabilità di generare contenuti dannosi.

2.2. Il Framework di Attacco: INFER e INFER+

Per operazionalizzare questa ipotesi, gli autori hanno sviluppato due metodi di attacco iterativi:

A. INFER (Interleaved Nested reFERencing - Riferimento Annidato Intercalato)
Questo è il template fondamentale che crea una gerarchia di elaborazione delle istruzioni annidate.

Decomposizione: Una richiesta testuale dannosa viene suddivisa in un'istruzione innocua e una frase dannosa.
Embedding: La frase dannosa è incorporata come tipografia nell'immagine ( $v_{harm}$ ), mentre l'istruzione innocua è anch'essa incorporata come tipografia ( $v_{inst}$ ).
Riferimento: Il prompt testuale ( $t_{atk}$ ) istruisce esplicitamente il modello a riconoscere l'istruzione innocua nell'immagine, la quale a sua volta fa riferimento alla frase dannosa.
Effetto: Questo costringe l'LVLM a risolvere una catena di riferimenti (Testo $\to$ Istruzione Immagine $\to$ Frase Dannosa Immagine), aumentando il carico di elaborazione cross-modale.

B. INFER+ (Sovraccarico Guidato dall'Entropia)
Questa è la versione ottimizzata e scalabile di INFER che introduce diversità e complessità esponenziale.

Raffinamento del Prompt Tipografico: Un set ausiliario di regole di jailbreak ( $v_{rule}$ ) è incorporato come tipografia. Queste regole includono diverse dimensioni di attacco come il Framing (role-play, manipolazione dello scenario) e il Constraint (imposizione del formato di output).
Amplificazione dell'Informazione Visiva: L'attacco impiega un layout ad albero ricorsivo. I blocchi immagine-testo dannosi sono incorporati ripetutamente all'interno di una struttura ad albero definita da profondità di ricorsione e fattori di ramificazione. Ciò aumenta esponenzialmente la densità dell'informazione visiva.
Ottimizzazione: Gli autori utilizzano un algoritmo di ricerca casuale guidata dall'entropia. Ottimizzano i parametri di layout (profondità, numero di rami, dimensione/tipo di font) e le configurazioni delle regole rispetto a un modello surrogato. La funzione obiettivo è l'entropia del primo token della risposta del modello; un'entropia più elevata indica una maggiore incertezza nella decisione di rifiuto, il che correla con una maggiore probità di un jailbreak riuscito.

3. Contributi Chiave

Nuovo Paradigma di Attacco: Il documento identifica il "sovraccarico di informazioni" come un vettore di attacco distinto ed efficace per gli LVLM, andando oltre le prevalenti strategie di occultamento basate su OOD. È il primo lavoro che esegue il jailbreak degli LVLM specificamente attraverso la lente del sovraccarico immagine-testo.
Framework Scalabile: Gli autori propongono un framework scalabile (INFER+) che combina template testuali raffinati, immagini potenziate dalla tipografia e layout immagine-tipografia ricorsivi per aumentare il carico di elaborazione delle informazioni su diversi input del mondo reale.
Validazione Empirica: Esperimenti estesi dimostrano che questo metodo raggiunge tassi di successo dell'attacco (ASR) allo stato dell'arte sia su LVLM open-source che su modelli commerciali.
Approfondimento Meccanicistico: Attraverso l'analisi del flusso di informazioni, il documento fornisce prove che le composizioni complesse immagine-tipografia intensificano l'elaborazione cross-modale e riducono la certezza del modello nel generare risposte di rifiuto.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo su cinque LVLM open-source (Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision) e tre modelli commerciali (Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini).

Prestazioni sui Modelli Open-Source: INFER+ ha raggiunto un ASR medio dell'88,6%, superando il più forte baseline concorrente del 32,8%. Su modelli specifici come Qwen2-VL, l'ASR ha raggiunto il 97,52% sul dataset HADES.
Prestazioni sui Modelli Commerciali: Il metodo ha raggiunto un ASR medio dell'84,0% sui modelli commerciali, superando il miglior baseline del 48,7%. In particolare, ha ottenuto un ASR del 91,11% su GPT-4.1-mini.
Trasferibilità: L'attacco ha dimostrato una forte trasferibilità tra modelli. I prompt ottimizzati su un modello surrogato (ad esempio, Qwen2-VL) sono rimasti altamente efficaci su target black-box (raggiungendo un ASR dell'87,9% su Llama 3.2-Vision), suggerendo che il sovraccarico di informazioni punta a una vulnerabilità comune tra le diverse architetture.
Robustezza: Il metodo ha mantenuto prestazioni superiori anche sotto meccanismi di difesa come Input Guards, TVPI Defense e FigStep Defense, indicando che mira a vulnerabilità multimodali più profonde.
Analisi di Correlazione: Lo studio ha confermato una correlazione positiva tra l'entropia del primo token, l'ASR e l'Indice di Contributo al Rifiuto (RCI), validando l'ipotesi che l'aumento dell'incertezza nel rifiuto conduca a jailbreak riusciti.

5. Significato e Rivendicazioni

Il documento sostiene che il sovraccarico di informazioni rappresenta un rischio di sicurezza pratico ed emergente per l'implementazione degli LVLM nel mondo reale. A differenza degli attacchi precedenti che si basano sull'occultamento dell'intento, questo metodo forza il modello a elaborare contenuti multimodali eccessivi e complessi, il che degrada la sua capacità di far rispettare i vincoli di sicurezza.

Gli autori sottolineano che le loro scoperte evidenziano la necessità di difese più forti contro gli input multimodali complessi. Sostengono che, man mano che gli LVLM vengono integrati in ambienti che elaborano documenti ricchi, screenshot e pagine web, gli attuali meccanismi di allineamento alla sicurezza potrebbero essere insufficienti contro input che inducono carichi di elaborazione cross-modale elevati. Il lavoro funge da lente diagnostica per comprendere come i meccanismi di sicurezza multimodale falliscano sotto input complessi e invita a una gestione responsabile di tale ricerca per migliorare la robustezza dei modelli.