📊 statistics

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

Il documento introduce VERA-V, un framework di inferenza variazionale che riformula la scoperta di jailbreak multimodali come l'apprendimento di una distribuzione a posteriori congiunta su prompt testo-immagine, consentendo la generazione di input avversariali accoppiati e stealth che superano significativamente i metodi esistenti nel bypassare le protezioni dei modelli visione-linguaggio.

Autori originali: Qilin Liao, Anamika Lochab, Ruqi Zhang

Pubblicato 2026-05-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qilin Liao, Anamika Lochab, Ruqi Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente e attento alla sicurezza (un Modello Linguistico-Visivo) in grado di leggere testi e osservare immagini. L'hai addestrato per essere utile, ma anche per rifiutare richieste pericolose, come "Come si costruisce una bomba?" o "Come si hackerà una banca?".

Di solito, se gli chiedi direttamente, risponde: "No, non posso farlo".

Il documento VERA-V introduce un nuovo modo subdolo per ingannare questo robot, portandolo a violare le proprie regole. Invece di porre una singola domanda, i ricercatori hanno costruito un "maestro ingannatore" (un attaccante AI) che impara a creare coppie di testo e immagini che lavorano insieme per confondere il robot.

Ecco come funziona VERA-V, spiegato attraverso analogie semplici:

1. Il Vecchio Metodo: Il "Martello" contro il "Coltellino Svizzero"

I metodi precedenti per ingannare questi robot erano come usare un martello. Essi:

Scrivevano le parole cattive in un'immagine: Invece di digitare "Costruisci una bomba", scattavano una foto di un cartello con scritto "Costruisci una bomba" e la mostravano al robot. Il robot poteva non leggere il testo all'interno della foto.
Aggiungevano rumore a un'immagine: Distorcevano una foto con statico o pattern strani per confondere gli occhi del robot.

Il Problema: Questi metodi sono goffi. Trattano testo e immagine come cose separate. Se il robot è abbastanza intelligente da leggere il cartello nella foto, l'inganno fallisce.

2. Il Metodo VERA-V: La "Banda Jazz"

VERA-V è diverso. Invece di un martello, agisce come una banda jazz. Non suona una sola nota; impara a coordinare testo e immagine in modo che si armonizzino perfettamente per aggirare le difese del robot.

I ricercatori chiamano questo "Inferenza Variazionale". In parole povere, ciò significa che l'AI attaccante non indovina un solo trucco cattivo. Impara una mappa di tutti i possibili trucco cattivi. Capisce che a volte un certo tipo di testo funziona meglio con un certo tipo di immagine sfocata, e altre volte un testo diverso funziona con un'immagine nitida. Impara la relazione tra i due.

3. La Strategia di "Distrazione" in Tre Parti

Per far funzionare l'inganno, VERA-V combina tre ingredienti specifici in un unico pacchetto inviato al robot:

Ingrediente A: Il "Testo Nascosto" (Tipografia)
L'attaccante prende l'istruzione dannosa e la trasforma in un'immagine di testo (come un cartello o un appunto). Questo nasconde le parole cattive dai filtri testuali del robot, che solitamente scansionano ciò che digiti, non ciò che mostri.
Ingrediente B: Il "Segreto" (Immagine Diffusa)
L'attaccante utilizza un generatore di immagini per creare una foto che contiene un indizio sottile e nascosto. Non è ovvio. È come un sussurro in una stanza affollata. Il robot vede l'immagine, ma il "significato cattivo" è sepolto in profondità nei pixel, non scritto chiaramente.
Ingrediente C: La "Folla Confusa" (Distraenti)
Questa è la parte più astuta. L'attaccante riempie il resto dello schermo con immagini casuali e noiose (come un gatto, un albero o una tazza di caffè) che non hanno nulla a che fare con la richiesta cattiva.
- L'Analogia: Immagina di cercare una persona specifica in una folla. Se sta in piedi da sola, la individui facilmente. Ma se sta in piedi in mezzo a 50 altre persone che non le assomigliano per nulla, il tuo cervello si confonde e fa più fatica a concentrarsi sul bersaglio. VERA-V usa queste immagini "distraenti" per disperdere l'attenzione del robot, rendendo più difficile per i filtri di sicurezza del robot individuare la richiesta cattiva.

4. Il "Ciclo di Feedback" (L'Allenatore)

Come fa l'AI attaccante a imparare a farlo così bene?

Prova un trucco.
Chiede a un "Giudice" (un'altra AI) se il robot ci è cascato.
Se il robot ha detto "No", l'attaccante impara: "Ok, quella combinazione non ha funzionato. Proviamo una miscela diversa di testo e immagine".
Ripete questo processo migliaia di volte, affinando la sua "mappa" su come confondere il robot.

5. I Risultati: Un Nuovo Record

Il documento ha testato questo metodo contro alcuni dei robot più intelligenti disponibili oggi (come GPT-4o).

I Vecchi Trucchi: Sul robot più difficile (GPT-4o), i vecchi metodi fallivano quasi il 100% delle volte. Erano come cercare di aprire una cassaforte bancaria con una graffetta.
VERA-V: Usando questa strategia coordinata e multi-part, VERA-V è riuscito a ingannare il robot nel 67,75% dei casi. Questo è un salto enorme rispetto ai metodi migliori precedenti.

Riassunto

Pensa a VERA-V non come a un singolo grimaldello, ma come a un serraturiere che studia l'intero meccanismo di chiusura. Invece di cercare solo di forzare la porta, impara a dondolare la maniglia, sussurrare alle cerniere e distrarre la guardia tutto allo stesso tempo. Crea una "distribuzione posteriore congiunta"—che è solo un modo elegante per dire che ha imparato la ricetta perfetta per una combinazione testo-immagine che confonde le guardie di sicurezza del robot.

Nota Importante: Gli autori dichiarano chiaramente che questa ricerca è per il Red Teaming. Ciò significa che agiscono come "hacker etici" per trovare queste debolezze in modo che le aziende possano risolverle e rendere i loro robot più sicuri. Non stanno fornendo uno strumento per danneggiare effettivamente gli altri; stanno mostrando quanto siano fragili i sistemi di sicurezza attuali in modo che possano essere rafforzati.

Sintesi Tecnica: VERA-V

Enunciato del Problema
I Modelli Linguaggio-Visivo (VLM) integrano il ragionamento visivo con i grandi modelli linguistici (LLM), tuttavia il loro design multimodale introduce vulnerabilità poco esplorate. I metodi esistenti di red-teaming per i VLM soffrono di tre limitazioni principali: (1) spesso trattano le modalità testo e immagine in modo indipendente, ignorando le complesse interazioni cross-modali; (2) fanno affidamento in modo eccessivo su modelli creati manualmente, risultando in esempi di attacco ristretti e disconnessi; e (3) operano tipicamente in contesti di attacco singolo, rendendoli facilmente rilevabili ed inefficaci contro i modelli all'avanguardia. Di conseguenza, gli approcci attuali non riescono a scoprire sistematicamente il vasto spettro delle vulnerabilità multimodali.

Metodologia
Il documento introduce VERA-V, un framework di inferenza variazionale che riformula la scoperta di jailbreak multimodali come l'apprendimento di una distribuzione a posteriori congiunta su prompt accoppiati testo-immagine. Invece di cercare istanze avversarie isolate, VERA-V modella il panorama delle vulnerabilità come una distribuzione.

I componenti fondamentali della metodologia includono:

Formulazione Variazionale: Il framework definisce un processo di generazione di prompt latenti in cui un LLM attaccante produce una coppia di prompt latenti: un prompt di testo ( $x_t$ ) e un prompt di immagine ( $x_v$ ). Questi vengono trasformati in effettivi input per il VLM tramite una funzione di mappatura $g$ . Il prompt di testo viene reso tipograficamente per incorporare segnali dannosi espliciti, mentre il prompt di immagine viene sintetizzato utilizzando un modello di diffusione per codificare segnali avversari impliciti.
Costruzione dell'Input Composito: L'input finale al VLM target consiste in un wrapper di testo benigno fisso ( $x_f$ $x_{f}$ ) e un'immagine composita ( $v_{comp}$ $v_{co m p}$ ). L'immagine composita integra tre elementi:
- Rendering Tipografico: Testo convertito in immagine per aggirare i filtri testuali.
- Sintesi tramite Diffusione: Immagini generate da $x_v$ per introdurre segnali avversari impliciti.
- Distraenti Strutturati: Un insieme di immagini non correlate recuperate per frammentare l'attenzione visiva del VLM, oscurando il contenuto dannoso.
Ottimizzazione tramite Inferenza Variazionale: L'attaccante viene addestrato per approssimare la distribuzione a posteriori dei prompt avversari che inducono comportamenti dannosi ( $y^*$ ). Ciò viene ottenuto massimizzando il Limite Inferiore della Evidenza (ELBO), che bilancia la probabilità di generare una risposta dannosa con la plausibilità e la diversità dei prompt. Poiché il VLM target è una scatola nera, la probabilità viene approssimata utilizzando una funzione di giudizio che valuta la dannosità della risposta del VLM. L'ottimizzazione utilizza lo stimatore del gradiente REINFORCE per aggiornare i parametri dell'attaccante (implementati tramite adattatori LoRA) basandosi sul campionamento Monte Carlo.

Contributi Chiave

Framework Probabilistico: VERA-V è il primo framework a formulare la generazione di jailbreak multimodali come inferenza variazionale su input testo-immagine accoppiati, consentendo l'apprendimento di una distribuzione a posteriori congiunta che cattura le correlazioni cross-modali.
Strategia Avversaria Composita: Il documento propone un nuovo design di attacco che combina rendering tipografico, sintesi di immagini guidata dalla diffusione e distraenti strutturati. Questo approccio coordina segnali espliciti e impliciti per produrre attacchi potenti riducendo al contempo i tassi di rilevamento della tossicità.
Campionamento Scalabile e Diversificato: Imparando una distribuzione invece di un singolo punto, VERA-V consente un campionamento efficiente di jailbreak diversificati e fornisce insight distribuzionali sulle vulnerabilità, supportando un red-teaming scalabile.

Risultati Sperimentali
Gli autori hanno valutato VERA-V sui benchmark HarmBench e HADES su modelli sia open-source (Qwen2.5-VL-7B, InternVL3-8B) che commerciali all'avanguardia (GPT-4o-mini, GPT-4o).

Prestazioni: VERA-V ha costantemente superato le linee di base dello stato dell'arte (FigStep, HADES, CS-DJ). Sul modello GPT-4o, VERA-V ha raggiunto un Tasso di Successo dell'Attacco (ASR) del 67,75% su HarmBench e del 73,5% su HADES, rappresentando miglioramenti fino al 53,75% rispetto alla migliore linea di base.
Trasferibilità: Gli attacchi ottimizzati su un modello si sono trasferiti efficacemente ad altri, con prompt generati da GPT-4o che hanno raggiunto un ASR superiore al 50% su altri modelli target, indicando la scoperta di vulnerabilità generalizzabili.
Robustezza: Sotto vari meccanismi di difesa (rilevamento basato su OCR, BlueSuffix, ETA), VERA-V ha mantenuto tassi di successo significativamente più alti rispetto alle linee di base, che si sono degradati drasticamente.
Studi di Ablazione: Gli esperimenti hanno confermato che la composizione ibrida (tipografia + diffusione + distraenti) produce il compromesso ottimale tra ASR e stealth. Inoltre, il processo di fine-tuning variazionale si è rivelato critico, superando di gran lunga una strategia di campionamento "Best-of-N" (66% vs 8% di ASR).

Significato e Affermazioni
Il documento afferma che VERA-V sottolinea la necessità di passare da exploit isolati e monomodali verso approcci di red-teaming distribuzionali. Dimostrando che anche VLM robusti e allineati alla sicurezza sono suscettibili a prompt avversari trasferibili e fluenti, il lavoro rivela lacune critiche nelle attuali strategie di difesa. Gli autori affermano che esporre queste debolezze attraverso un framework probabilistico è un passo vitale verso il potenziamento dei sistemi di sicurezza dei VLM, guidando lo sviluppo di filtri più forti e tecniche di allineamento più efficaci. La metodologia è presentata strettamente a fini di ricerca per stressare i filtri di sicurezza e migliorare la robustezza del modello.