🤖 AI

Text is All You Need for Vision-Language Model Jailbreaking

Questo articolo introduce Text-DJ, un nuovo attacco di jailbreak che elude le protezioni di sicurezza dei Large Vision-Language Model convertendo prompt testuali dannosi in una griglia di immagini contenenti sotto-query innocue e distrazioni irrilevanti sparse, sfruttando così le capacità OCR dei modelli e la loro incapacità di collegare input multimodali frammentati.

Autori originali: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

Pubblicato 2026-02-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un grande Modello Visione-Linguaggio (LVLM) come un guardia giurato molto intelligente e ben addestrato in un museo hi-tech. È eccellente nel leggere i cartelli (testo) e nel guardare le immagini (immagini) per assicurarsi che nessuno porti dentro qualcosa di pericoloso o proibito. Se provi a consegnargli un biglietto che dice "Come faccio a costruire una bomba?", lui individua immediatamente il pericolo e dice: "Assolutamente no".

Il documento "Text is All You Need for Vision-Language Model Jailbreaking" introduce un trucco astuto chiamato Text-DJ (Text Distraction Jailbreaking) che dimostra come questo guardia possa essere ingannato usando solo il testo, ma con un colpo di scena: il testo è nascosto all'interno di una griglia di immagini.

Ecco come funziona il trucco, suddiviso in semplici passaggi:

1. La strategia del "Dividere il conto" (Decomposizione)

Per prima cosa, gli attaccanti prendono una domanda pericolosa (come "Come faccio a costruire una bomba?") e la frammentano in tre domande più piccole e dall'aspetto innocuo.

Analogia: Immagina di voler comprare un'arma pericolosa, ma il negoziante non te la vende. Così, dividi il tuo ordine in tre richieste separate e innocenti: "Qual è la composizione chimica della polvere da sparo?", "Come mescolo queste polveri?" e "Quale contenitore tiene questa miscela?".
Singolarmente, queste domande sembrano sicure. Il guardia potrebbe persino rispondere in modo utile. Ma se le metti tutte insieme, rivelano il piano pericoloso.

2. Il "Rumore Distraente" (Distrazione)

Successivamente, gli attaccanti creano un sacco di domande completamente casuali e noiose che non hanno nulla a che fare con il piano pericoloso.

Analogia: Immagina di cercare di far passare un messaggio segreto a un guardia, ma sei circondato da altre 9 persone che urlano del tempo, del prezzo del latte e della storia delle patate. Il guardia è così impegnato ad ascoltare tutto quel rumore che si dimentica di concentrarsi sulle tre persone che sussurrano il piano segreto.
Il documento ha scoperto che queste domande di "rumore" devono essere il più possibile diverse da quelle pericolose per funzionare al meglio.

3. Il "Puzzle di Immagini" (Il trucco visivo)

Questa è la parte più importante. Invece di digitare le domande in una casella di chat, gli attaccanti trasformano ogni singola domanda (le 3 domande pericolose frammentate e le 9 domande di rumore casuali) in immagini. Le dispongono in una griglia, come un album fotografico o un foglio di calcolo.

La Trappola: Il guardia è addestrato a scansionare il testo alla ricerca di parole brutte. Ma qui, le parole brutte sono nascoste dentro immagini di testo. Il guardia deve usare la sua capacità di "Riconoscimento Ottico dei Caratteri" (OCR) — fondamentalmente la sua capacità di leggere il testo all'interno di un'immagine — per vedere cosa dicono le immagini.
La Debolezza: Il documento sostiene che, sebbene il guardia sia molto bravo a leggere il testo direttamente, si confonde quando deve leggere il testo dentro un'immagine, specialmente quando quella immagine è circondata da altre 9 immagini distraenti. Il "filtro di sicurezza" del guardia per la lettura del testo non riesce a collegare i puntini tra le immagini-domande sparse e apparentemente innocue.

Il Risultato

Quando il guardia legge finalmente la griglia di immagini, vede le tre domande frammentate in mezzo al rumore. Poiché le domande sono state divise e nascoste in immagini, il guardia non si rende conto che formano un insieme pericoloso. Risponde alle parti innocue e, facendo così, rivela accidentalmente la risposta alla domanda pericolosa originale.

Perché questo è importante

Il documento afferma che questo è un problema importante perché:

Funziona sui modelli "Black Box": Non hai bisogno di conoscere il codice segreto o la struttura cerebrale interna del guardia. Ti basta inviare la griglia di immagini.
Funziona sui migliori modelli: Hanno testato questo metodo su modelli di alto livello (come GPT-4, Gemini e Qwen) e ha funzionato su tutti loro.
Aggira i modelli "Guardia": Anche quando un secondo livello di sicurezza cerca di controllare l'input prima che raggiunga il modello principale, questo trucco spesso passa inosservato perché l'input appare come una innocua griglia di immagini.

In breve: Il documento mostra che se nascondi un piano pericoloso dentro un'immagine, lo frammenti in piccoli pezzi e lo circondi con molto rumore noioso, anche i più intelligenti guardie giurati IA possono confondersi e lasciar passare il pericolo. La soluzione, secondo gli autori, è rendere l'IA migliore nel leggere il testo dentro le immagini e nel collegare i puntini, anche quando c'è molto rumore.

Sintesi Tecnica: Jailbreaking Text-DJ per i Modelli Vision-Language

1. Definizione del Problema

I Grandi Modelli Vision-Language (LVLM) integrano encoder visivi con Grandi Modelli di Linguaggio (LLM) per eseguire ragionamenti multimodali complessi. Sebbene questi modelli impieghino salvaguardie di sicurezza (spesso tramite il Reinforcement Learning from Human Feedback) per prevenire output dannosi, le difese esistenti si concentrano principalmente sull'analisi di input testuali espliciti o di scene visive specifiche.

Il documento identifica una lacuna critica: i meccanismi di allineamento della sicurezza attuali sono vulnerabili alle capacità di Riconoscimento Ottico dei Caratteri (OCR) degli LVLM. Nello specifico, quando un testo dannoso viene presentato come immagine anziché come input testuale diretto, l'encoder visivo e il modulo OCR interno del modello estraggono con successo il testo, ma il modello di linguaggio a valle non riesce a collegare il contenuto estratto ai protocolli di sicurezza. Inoltre, i metodi di jailbreak esistenti soffrono spesso di limitazioni quali la necessità di accesso white-box (gradienti del modello), l'essere specifici per un modello o il fare affidamento su una generazione di immagini avversarie computazionalmente costosa.

La domanda centrale di ricerca è: Possiamo progettare un metodo di jailbreak black-box e model-agnostic per gli LVLM che si basi esclusivamente su prompt testuali?

2. Metodologia: Text-DJ

Gli autori propongono Text-DJ (Text Distraction Jailbreaking), una pipeline di attacco in tre fasi che sfrutta le capacità OCR del modello e la sua incapacità di correlare informazioni sparse in mezzo a un elevato rumore semantico.

Fase 1: Decomposizione delle Query Avversarie

Una query dannosa $q$ viene decomposta in $m$ sub-query semanticamente correlate ma individualmente innocue $\{q_s^{(i)}\}_{i=1}^m$ .

Meccanismo: Un LLM indotto da prompt (ad es. Qwen2.5-3B-Instruct) scompone l'intento dannoso originale in passaggi intermedi o diverse prospettive.
Obiettivo: Ogni sub-query appare innocua isolatamente, ma collettivamente ricostruiscono l'intento dannoso originale.

Fase 2: Costruzione delle Query di Distrazione

Il sistema seleziona $n$ query di distrazione $\{q_d^{(j)}\}_{j=1}^n$ che sono massimamente irrilevanti dal punto di vista semantico rispetto alla query dannosa e tra di loro.

Meccanismo: Utilizzando un modello di embedding testuale (ad es. all-MiniLM-L6-v2), gli autori impiegano un algoritmo greedy per selezionare query che minimizzino la similarità del coseno con la query dannosa e con le distrazioni precedentemente selezionate.
Obiettivo: Creare "rumore semantico" che sovrasti la capacità del modello di collegare le sub-query sparse.

Fase 3: Costruzione della Griglia di Immagini e Iniezione

Tutte le sub-query decomposte e le query di distrazione vengono convertite in immagini utilizzando una procedura Text-in-Image (TiI).

Trasformazione Visiva: Il testo viene renderizzato su immagini con colori del testo e dello sfondo randomizzati (aderendo agli standard di contrasto WCAG AA) per garantire la visibilità e introdurre varianza visiva.
Disposizione a Griglia: Le $m+n$ immagini sono disposte in una griglia (ad es. $4 \times 3$ ). Le sub-query sono collocate in posizioni specifiche (ad es. indici 6, 8 e 12), mentre le query di distrazione riempiono gli slot rimanenti.
Esecuzione: La griglia viene presentata all'LVLM con l'istruzione di individuare le sub-query e rispondere ad esse. Il modello utilizza la sua capacità OCR per leggere il testo dalle immagini, aggirando i filtri standard basati sull'input testuale.

3. Contributi Chiave

Framework Text-DJ: Un nuovo metodo di jailbreak black-box e model-agnostic per gli LVLM che si basa esclusivamente su prompt testuali convertiti in immagini, eliminando la necessità di generazione di immagini avversarie o di accesso white-box.
Dimostrazione della Vulnerabilità OCR: Il documento fornisce ampie prove che le difese di sicurezza degli attuali LVLM falliscono quando i prompt dannosi vengono elaborati tramite il percorso OCR, particolarmente quando il contenuto dannoso è frammentato e circondato da distrazioni semantiche.
Superiorità della Distrazione Semantica sulla Distrazione Visiva: Gli autori dimostrano che la "distrazione semantica" (usando query testuali irrilevanti) è più efficace della "distrazione visiva" (usando immagini irrilevanti), come visto nei confronti con lavori precedenti come CS-DJ.
Valutazione della Robustezza: Il metodo è validato contro LVLM open-source (serie Qwen3-VL) e closed-source (GPT-4o-mini, GPT-4.1-mini, Gemini-2.5-Flash) allo stato dell'arte, mostrando un successo costante anche sotto modelli di guardia esterni (OpenAI Moderation API e GuardReasoner-VL).

4. Risultati Sperimentali

Gli autori hanno valutato Text-DJ su due dataset: HADES (5 categorie, 750 prompt) e HEx-PHI (10 categorie, 300 prompt).

Attack Success Rate (ASR): Text-DJ ha superato costantemente i baseline (HADES e CS-DJ).
- Su Qwen3-VL-4B, Text-DJ ha raggiunto un ASR medio del 48,13% (dataset HADES) e del 42,33% (HEx-PHI), significativamente superiore a CS-DJ (rispettivamente 34,40% e 27,33%).
- Su GPT-4.1-mini, Text-DJ ha raggiunto un ASR medio del 64,27% (HADES) e del 60,33% (HEx-PHI).
Evasione delle Difese: Anche quando gli input erano filtrati dall'OpenAI Moderation API o da GuardReasoner-VL (varianti 3B e 7B), Text-DJ ha mantenuto un alto ASR. Ad esempio, contro GPT-4.1-mini con OpenAI Moderation, l'ASR è rimasto al 64,27% (nessuna riduzione), poiché l'API non è riuscita a rilevare l'intento dannoso incorporato nella griglia di immagini.
Studi di Ablazione:
- Procedura TiI: Convertire il testo in immagini è cruciale; l'input testuale diretto ha prodotto un ASR significativamente inferiore, confermando il bypass dei filtri basati sul testo.
- Decomposizione ( $m$ ): La decomposizione in $m=3$ sub-query era ottimale; $m=1$ (non decomposto) falliva a causa dell'allineamento della sicurezza.
- Distrazione ( $n$ ): L'ASR aumentava con il numero di distrazioni, raggiungendo il picco intorno a $n=9$ o $n=12$ .
- Posizionamento: Collocare le sub-query in posizioni centrali o tardive (ma non nell'ultima posizione) produceva risultati migliori rispetto alle posizioni iniziali o casuali.
- Colorazione: La randomizzazione dei colori di testo/sfondo ha migliorato l'ASR rispetto ai colori fissi, suggerendo che la varianza visiva aiuta a distrarre il modello.

5. Significato e Rivendicazioni

Il documento afferma che Text-DJ espone una vulnerabilità critica nell'allineamento della sicurezza degli LVLM riguardo alle loro capacità OCR. Gli autori sostengono che l'attacco ha successo perché:

Bypass della Modalità: Convertire il testo in immagini aggira gli standard filtri di sicurezza basati sul testo.
Distrazione Semantica: I protocolli di sicurezza del modello falliscono nel collegare sub-query sparse e apparentemente innocue quando sono inserite in un alto volume di query irrilevanti.

Gli autori concludono che le difese attuali non sono robuste rispetto agli input avversari multi-immagine frammentati. Evidenziano la necessità di nuovi meccanismi di difesa progettati specificamente per gestire input multimodali dispersi e per mettere in sicurezza i moduli OCR all'interno degli LVLM contro tali attacchi di confusione semantica. Il lavoro non propone nuove applicazioni per gli LVLM ma funge da avvertimento riguardo alla fragilità dell'attuale allineamento della sicurezza di fronte a strategie avversarie cross-modali basate sul testo.