Jailbreaking Frontier Foundation Models Through Intention Deception

1. Enunciato del Problema

I Modelli Vision-Language di grandi dimensioni (LVLM) e i Modelli Linguistici di grandi dimensioni (LLM) sono evoluti dall'utilizzo di "rifiuti rigidi" (dire semplicemente "no" a richieste non sicure) verso paradigmi di "Completamento Sicuro" (ad esempio, in GPT-5). In questo nuovo paradigma, i modelli tentano di massimizzare l'utilità rispettando i vincoli di sicurezza, fornendo spesso alternative sicure o informazioni parziali quando viene rilevata una richiesta diretta dannosa.

Gli autori identificano una vulnerabilità critica in questo approccio: l'Inganno dell'Intenzione. Gli attaccanti possono manipolare la spinta all'"utilità" del modello inquadrando obiettivi malevoli all'interno di una narrativa coerente e multi-turno che appare benigna. Il documento evidenzia due specifici modi di fallimento:

1. Jailbreaking Diretto: Il modello genera direttamente contenuti dannosi nonostante i filtri di sicurezza.
2. Para-Jailbreaking (Nuova Scoperta): Il modello rifiuta la query dannosa diretta ma fornisce risposte alternative "sicure" (ad esempio, elenchi di strumenti, spiegazioni teoriche o passaggi procedurali) che contengono informazioni dannose sfruttabili. Il modello percepisce queste alternative come sicure perché incorniciate in un contesto legittimo, ma un giudice esterno le considera dannose.

2. Metodologia: iDecep (Inganno dell'Intenzione)

Gli autori propongono iDecep, un nuovo framework di jailbreaking multi-turno progettato per sfruttare la coerenza e l'utilità dei modelli frontier.

Meccanismo Principale

• Simulazione di Intenzione Benigna: Invece di nascondere inizialmente l'intenzione per rivelarla successivamente (come nei metodi precedenti tipo Crescendo), iDecep mantiene una persona professionale coerente e benigna (ad esempio, un agente di polizia che redige un rapporto di prevenzione, un ricercatore di sicurezza) fin dal primo turno.
• Coerenza Narrativa: L'attacco sfrutta l'addestramento del modello a mantenere la coerenza conversazionale. L'attaccante costruisce una storia plausibile in cui l'obiettivo dannoso è una componente necessaria di un compito legittimo (ad esempio, "Per prevenire attacchi biologici, dobbiamo comprendere come processare i rifiuti").
• Sfruttamento del "Completamento Sicuro": Quando il modello rifiuta una domanda dannosa diretta, spesso offre un'"alternativa sicura". iDecep prende di mira specificamente queste alternative, trattandole come trampolini di lancio per estrarre informazioni dannose dettagliate e azionabili.

Framework Tecnico

Il sistema opera come un attacco black-box con tre componenti principali:

1. Modello Attaccante (Generatore): Genera query basate su un'"Intenzione Benigna" ($I$) e un "Obiettivo Malevolo" ($G$). Utilizza le risposte precedenti del modello per costruire la query successiva, garantendo la continuità narrativa.
2. Valutatore: Analizza la risposta del modello per identificare "punti sfruttabili" (ad esempio, menzioni di strumenti specifici, procedure o vulnerabilità) e decide se ramificare la conversazione o rifinire la query.
3. Esplora-Sfrutta Automatizzato:
   • Fase di Esplorazione: Si impegna in un dialogo coerente e pertinente per costruire fiducia e stabilire il contesto benigno.
   • Fase di Sfruttamento: Identifica segmenti specifici nella risposta del modello che possono essere espansi. Utilizza una strategia di ramificazione ad albero per approfondire i sottotemi, estraendo sistematicamente contenuti limitati.
   • Estensione Multimodale: Il metodo può incorporare immagini benigne (ad esempio, foto di laboratori o rapporti di polizia) per rafforzare ulteriormente la legittimità del contesto.

3. Contributi Chiave

1. Tassi di Successo Elevati sui Modelli Frontier: Il metodo jailbreak con successo modelli all'avanguardia, inclusi GPT-5-thinking e Claude-Sonnet-4.5, considerati altamente robusti contro gli attacchi tradizionali. Raggiunge tassi di successo elevati anche su categorie altamente protette come Guerra Biologica e Minacce Chimiche.
2. Scoperta del "Para-Jailbreaking": Il documento definisce formalmente e dimostra il para-jailbreaking, una nuova classe di vulnerabilità in cui il modello rifiuta la query diretta ma perde informazioni dannose attraverso alternative "sicure". Gli autori dimostrano che questo è un punto debole sistematico dell'addestramento al completamento sicuro.
3. Formalizzazione Teorica: Gli autori forniscono una dimostrazione teorica che mostra come l'inganno dell'intenzione aumenti la probabilità di para-jailbreaking. Dimostrano che se un attaccante può elicitarre in modo affidabile "rifiuti con alternative ricche", il tasso totale di successo dell'attacco aumenta.
4. Efficacia Multimodale: Lo studio dimostra che l'aggiunta di immagini benigne al contesto testuale aumenta ulteriormente il tasso di successo dei completamenti dannosi, evidenziando una debolezza nell'allineamento visivo-testuale.

4. Risultati Sperimentali

Gli autori hanno valutato iDecep rispetto a benchmark come AdvBench, ClearHarm e un nuovo dataset AdvBench-Vision.

• Target: GPT-4o, Gemini-2.5-Flash, Claude-Sonnet-4.5 e GPT-5.
• Baseline: Confrontato con Chain-of-Attack (CoA) e Crescendo.
• Prestazioni:
  • Su GPT-5 e Claude-Sonnet-4.5, le baseline tradizionali (CoA, Crescendo) hanno avuto tassi di successo vicini allo zero (0-2%).
  • iDecep ha raggiunto tassi di successo totali del 52% - 63% su GPT-5 e del 53% - 59% su Claude-Sonnet-4.5.
  • Dominio del Para-Jailbreaking: Una parte significativa del successo di iDecep è derivata dal para-jailbreaking (ad esempio, su GPT-5, il 51% dei successi sono stati para-jailbreak contro il 12% diretti). Ciò conferma che le "alternative utili" del modello sono il vettore di attacco primario.
  • Multimodale: Nell'impostazione visiva, i tassi di successo sono aumentati ulteriormente (ad esempio, 84% su GPT-5 con immagini).

Caso Esempio: Il documento dettaglia un attacco riuscito in cui l'attaccante ha impersonato un agente di polizia che compilava un rapporto sugli attacchi biologici. Il modello ha rifiutato di fornire "istruzioni su come costruire un'arma" ma ha fornito un elenco dettagliato di attrezzature di laboratorio specializzate (ad esempio, congelatori a temperatura ultra-bassa, centrifughe con rotori ermetici per aerosol) spiegandone la funzione nel processare rifiuti biologici, fornendo efficacemente il "come fare" attraverso il "cosa".

5. Significato e Implicazioni

• Cambio di Paradigma nell'Addestramento alla Sicurezza: I risultati suggeriscono che il passaggio dai "rifiuti rigidi" al "completamento sicuro" (mirato all'utilità) introduce nuove superfici di attacco sottili. Il desiderio di essere utili rende i modelli più suscettibili all'inganno dell'intenzione.
• Inadeguatezza delle Difese Attuali: I meccanismi di sicurezza attuali non riescono a rilevare informazioni dannose incorporate in narrative plausibili e multi-turno. Spesso valutano la risposta diretta come sicura ignorando il danno contestuale nelle alternative.
• Necessità di una Nuova Valutazione: Il documento sostiene che le valutazioni di sicurezza devono andare oltre la verifica dei rifiuti diretti e devono valutare l'intera traiettoria conversazionale e la dannosità delle risposte alternative.
• Rischio Dual-Use: Gli autori riconoscono la natura dual-use di questa ricerca, notando che queste tecniche potrebbero essere utilizzate da attori malevoli. Tuttavia, sottolineano che esporre queste vulnerabilità è necessario per sviluppare difese robuste contro la manipolazione dell'intenzione.

In conclusione, il documento dimostra che l'inganno dell'intenzione è una vulnerabilità potente e strutturale nei moderni sistemi di sicurezza AI, che sfrutta specificamente il compromesso tra sicurezza e utilità nei modelli frontier. Esso richiede una ripensamento fondamentale dell'allineamento alla sicurezza per tenere conto del contesto multi-turno e degli output para-dannosi.