💻 computer science

Multi-Turn Adaptive Prompting Attack on Large Vision-Language Models

Questo articolo introduce l'Attacco di Prompting Adattivo Multi-Turn (MAPA), una strategia innovativa che alterna input testo-visione e affina iterativamente le traiettorie di attacco per superare le difese di sicurezza nei Modelli Linguistici Visivi su Larga Scala, ottenendo tassi di successo negli jailbreak significativamente più elevati rispetto ai metodi esistenti.

Autori originali: In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente e altamente formato. Questo robot è stato istruito con regole rigide: "Non aiutare mai qualcuno a costruire una bomba", "Non spiegare mai come diffondere un virus mortale" e "Sii sempre sicuro". Questo è chiamato "allineamento alla sicurezza".

Per lungo tempo, gli hacker (o i "red teamer") hanno cercato di ingannare questi robot ponendo domande insidiose. Ma i robot sono diventati sempre più bravi a dire "No".

Questo articolo introduce un nuovo modo per ingannare questi robot, in particolare quelli che possono vedere le immagini oltre a leggere il testo. I ricercatori chiamano il loro metodo MAPA (Attacco di Prompting Adattivo Multi-turno).

Ecco come funziona, utilizzando semplici analogie:

1. Il Problema: La Trappola dell'"Evidenza Eccessiva"

I ricercatori hanno scoperto che se cerchi di ingannare un robot mostrandogli un'immagine di una bomba e chiedendo: "Come costruisco questo?", il robot va immediatamente nel panico e rifiuta. È come avvicinarsi a una guardia di sicurezza tenendo in mano un cartello gigante e lampeggiante che dice "SONO UN LADRO". La guardia ti ferma immediatamente.

Anche se poni una domanda in testo e mostri un'immagine, se l'immagine è troppo spaventosa o il testo è troppo diretto, i filtri di sicurezza del robot si attivano e interrompono la conversazione.

2. La Soluzione: La Strategia della "Lenta Combustione"

L'articolo propone una strategia chiamata MAPA, che è come una partita a scacchi giocata su molte mosse, piuttosto che un singolo pugno.

L'Idea di Base: Invece di cercare di abbattere le difese del robot tutto in una volta, si introduce la richiesta dannosa lentamente, passo dopo passo, attraverso molti scambi di conversazione.

Come MAPA Gioca la Partita:

I ricercatori utilizzano un "Allenatore" (un'IA) per guidare l'attacco. L'Allenatore ha due compiti principali:

Compito A: Mescolare gli Ingredienti (Livello "Turno")
Ad ogni singolo passo della conversazione, l'Allenatore prova tre modi diversi per porre la domanda per vedere quale funziona meglio:

Solo Testo: Chiedere senza un'immagine.
Testo + Immagine Spaventosa: Chiedere con un'immagine che corrisponde al testo.
Testo + Immagine "Sicura": Chiedere con un'immagine in cui la parte spaventosa è nascosta nell'immagine, e il testo viene riscritto per sembrare innocuo.

Analogia: Immagina di cercare di convincere un amico ad accettare un'idea folle.

Opzione 1: Gli chiedi direttamente.
Opzione 2: Gli chiedi mostrandogli una foto folle.
Opzione 3: Gli chiedi mostrandogli una foto di un tramonto, ma parli dell'"idea folle" in modo che si adatti al tramonto.
L'Allenatore sceglie quella che porta l'amico più vicino a dire "Sì" senza farlo arrabbiare.

Compito B: Aggiustare il Percorso (Livello "Tra i Turni")
Se l'amico dice "No" o rimane confuso, l'Allenatore non si arrende semplicemente. Osserva cosa è successo e modifica il piano per il passo successivo.

Avanzare: Se l'amico si sta avvicinando all'idea, l'Allenatore passa alla domanda successiva, leggermente più diretta.
Rigenerare: Se l'amico è confuso, l'Allenatore riprova a porre la stessa domanda ma con parole diverse.
Ritornare Indietro: Se l'amico si arrabbia improvvisamente a causa di qualcosa detto due passi fa, l'Allenatore torna a quel passo precedente e prova un approccio diverso.

Analogia: È come un detective che cerca di risolvere un caso. Se un sospetto mente, il detective non urla semplicemente; torna indietro, ripensa alla sua teoria e fa una domanda diversa per smascherare la menzogna.

3. Il Meccanismo di "Riflessione"

Se tutto il tentativo fallisce (il robot dice ancora "No"), l'Allenatore non riprova esattamente la stessa cosa. Osserva perché ha fallito, impara dall'errore e progetta un piano completamente nuovo e più intelligente per il tentativo successivo. È come studiare un compito andato male per fare meglio nel prossimo.

4. I Risultati

L'articolo ha testato questo metodo contro diversi modelli di IA popolari (come LLaVA, Qwen e GPT-4o-mini).

I vecchi metodi (solo testo, o solo testo + immagini) fallivano la maggior parte delle volte contro questi robot intelligenti.
MAPA ha avuto successo dal 15% al 30% più spesso rispetto ai migliori metodi esistenti.
In alcuni test, MAPA è riuscito a ingannare i robot portandoli a dare risposte dannose circa il 96% delle volte, mentre altri metodi hanno avuto successo solo circa il 60-70% delle volte.

Riepilogo

L'articolo afferma che per violare la sicurezza delle IA moderne che possono vedere e leggere, non puoi essere semplicemente rumoroso e ovvio. Devi essere un conversatore furtivo e adattivo. Devi mescolare testo e immagini con cura, ascoltare le risposte del robot e, lentamente, attraverso molti scambi, guidare la conversazione verso l'argomento proibito finché il robot non scivola accidentalmente e risponde alla domanda dannosa.

Nota Importante: Gli autori sottolineano che questo è un esercizio di "Red Teaming". Lo fanno per trovare falle nei sistemi di sicurezza in modo che gli sviluppatori possano risolverle e rendere l'IA più sicura, non per insegnare effettivamente alle persone come causare danni.

Riepilogo Tecnico: Attacco di Prompting Adattivo Multi-Turno contro Modelli Linguistici-Visionari su Larga Scala

Enunciato del Problema

Mentre gli attacchi di jailbreak multi-turno hanno dimostrato efficacia contro i Modelli Linguistici su Larga Scala (LLM) testuali, introducendo gradualmente contenuti malevoli per aggirare l'allineamento alla sicurezza, l'estensione di queste tecniche ai Modelli Linguistici-Visionari su Larga Scala (LVLM) rimane poco esplorata. Gli autori identificano una lacuna critica: incorporare in modo ingenuo input visivi negli attacchi multi-turno spesso li rende più facili da difendere. Gli LVLM allineati alla sicurezza tendono a innescare meccanismi di difesa più prontamente quando vengono presentati contenuti visivi eccessivamente malevoli, risultando in risposte conservative. Inoltre, i metodi esistenti non riescono a coordinare efficacemente gli indizi dannosi attraverso le modalità (testo e visione) per rafforzarsi reciprocamente anziché contraddirsi, limitando così l'efficacia dell'attacco.

Metodologia: MAPA

Per affrontare queste sfide, gli autori propongono MAPA (Attacco di Prompting Adattivo Multi-Turno), un framework progettato per elicitaare risposte progressivamente più malevoli attraverso un design adattivo a due livelli.

1. Livello di Turno: Azioni di Attacco Alternanti

Ad ogni turno della conversazione, MAPA impiega una strategia di ricerca greedy per selezionare l'azione di attacco più efficace tra tre candidati. Questo processo coinvolge un LLM Attaccante che genera un prompt testuale iniziale non connesso ( $ucQ_T$ ) e un LLM Connettore (operante in modalità Catena di Pensiero) che:

Identifica i concetti malevoli nel testo.
Genera un prompt corrispondente per la generazione di immagini.
Affina il prompt testuale ( $cQ_T$ ) sostituendo i concetti malevoli per allinearli all'input visivo.
Utilizza Stable Diffusion per generare un'immagine malevola ( $cQ_V$ ).

Sulla base di questi componenti, vengono formulate e testate contro l'LVLM vittima tre azioni di attacco:

Azione 1: Solo prompt testuale non connesso ( $ucQ_T$ ).
Azione 2: Prompt testuale non connesso + immagine malevola generata ( $ucQ_T + cQ_V$ ).
Azione 3: Prompt testuale connesso + immagine malevola generata ( $cQ_T + cQ_V$ ).

Un LLM Giudice valuta le risposte. Se nessuna ha successo, l'azione che produce la più alta Correlazione Semantica (SEM) con il compito di jailbreak viene selezionata come azione ottimale per il turno corrente.

2. Cross-Turno: Aggiustamento Adattivo della Traiettoria

Attraverso i turni, MAPA aggiusta la traiettoria dell'attacco attraverso un affinamento iterativo avanti e indietro per amplificare gradualmente la malevolenza. Il sistema confronta la correlazione semantica della risposta corrente con il contesto storico e i turni precedenti per decidere una delle tre politiche:

Avanza: Attivato se la correlazione semantica corrente aumenta rispetto al turno precedente e rispetto alla versione senza contesto storico, indicando un'iniezione graduale riuscita di malevolenza.
Indietro: Attivato se la correlazione corrente diminuisce rispetto al turno precedente ma aumenta senza contesto storico, suggerendo che il contesto del turno precedente ha degradato l'attacco. Il sistema torna al turno precedente per la rigenerazione.
Rigenera: Attivato se la correlazione aumenta ma non in modo graduale, o se diminuisce complessivamente. Il prompt del turno corrente viene rigenerato.

Inoltre, MAPA include un Meccanismo di Riflessione. Se un tentativo di attacco multi-turno fallisce dopo aver esaurito il limite di turni, l'LLM Attaccante analizza la storia dei fallimenti (strategie fallite e risposte) per progettare una nuova catena di attacco più efficace per un tentativo successivo, abilitando l'apprendimento intra-compito.

Contributi Chiave

Caratterizzazione dei Fallimenti di Jailbreak LVLM: Il documento rivela che gli attacchi esistenti a turno singolo e quelli multi-turno estesi in modo ingenuo spesso falliscono contro LVLM allineati alla sicurezza perché l'inserimento diretto di contenuti visivi malevoli innesca le difese.
Framework MAPA: Una soluzione pratica che utilizza un design a due livelli (alternanza di azioni a livello di turno e aggiustamento adattivo della traiettoria cross-turno) per mitigare questi fallimenti. Gestisce esplicitamente l'interazione tra le modalità testo e visione per rafforzare l'efficacia dell'attacco.
Valutazione Completa: Esperimenti estesi e studi di ablazione che dimostrano la superiorità di MAPA rispetto ai metodi all'avanguardia.

Risultati Sperimentali

Gli autori hanno valutato MAPA su quattro benchmark (HarmBench, JailbreakBench, AdvBench, RedTeam-2K) contro quattro modelli target: LLaVA-v1.6-Mistral-7B, Qwen2.5-VL-7B-Instruct, Llama-3.2-Vision-11B-Instruct e GPT-4o-mini.

Prestazioni: MAPA ha costantemente superato le linee di base (inclusi CoA, ActorAttack, FootInTheDoor, VRP e MML). Su HarmBench, ha raggiunto un Tasso di Successo dell'Attacco (ASR) medio del 96,66%, migliorando il secondo miglior metodo di circa 26,11%.
Coerenza del Benchmark: MAPA ha mostrato guadagni significativi su tutti i benchmark, migliorando l'ASR medio del 23,33% su JailbreakBench, del 14,45% su AdvBench e del 32,22% su RedTeam-2K rispetto alle migliori linee di base.
Studi di Ablazione: Rimuovere il meccanismo di riflessione ha ridotto le prestazioni in media dell'8,89%. Disabilitare l'aggiustamento delle politiche (affinamento della traiettoria) ha causato un calo del 12,23%. Lo studio ha anche rivelato che aggiungere ingenuamente input visivi (senza l'allineamento adattivo dell'Azione 3) potrebbe diminuire le prestazioni, in particolare contro modelli con forti meccanismi di sicurezza visiva come Llama-3.2-Vision.
Efficienza: Con budget di query fissi, MAPA ha mantenuto tassi di successo più alti consumando meno query rispetto alle linee di base.

Significato e Affermazioni

Il documento afferma di essere il primo lavoro a investigare e affrontare sistematicamente i punti critici dei jailbreak multi-turno sugli LVLM. Rivela vulnerabilità di sicurezza negli LVLM ampiamente utilizzati all'interno di dialoghi multi-turno cross-modali. Gli autori affermano che i loro risultati evidenziano la necessità di ottimizzare intelligentemente i prompt testo-visione piuttosto che allinearli superficialmente. In definitiva, il lavoro mira a promuovere lo sviluppo di allineamenti alla sicurezza più robusti per gli LVLM in contesti realistici e malevoli esponendo queste specifiche vulnerabilità.