Sintesi Tecnica: UltraBreak – Verso attacchi di jailbreak universali e trasferibili per i modelli Vision-Language

Definizione del Problema

I modelli Vision-Language (VLM) integrano encoder visivi con Large Language Models (LLM) per elaborare input multimodali, ampliando la loro utilità in domini critici per la sicurezza. Tuttavia, questa integrazione amplia anche la superficie di attacco. Mentre gli LLM sono vulnerabili ai jailbreak basati sul testo, i VLM affrontano rischi aggiuntivi derivanti da attacchi basati sulle immagini. Gli esistenti metodi di jailbreak basati sul gradiente per i VLM soffrono di due critiche limitazioni:

1. Scarsa Trasferibilità: I pattern avversari spesso vanno in overfitting rispetto al modello surrogato specifico utilizzato durante l'addestramento (impostazione white-box) e non riescono a generalizzare verso modelli vittima non visti (impostazione black-box).
2. Mancanza di Universalità: Molti metodi richiedono input di immagini specifici per ogni query dannosa, impedendo la creazione di un singolo trigger "universale" che funzioni attraverso diversi obiettivi di jailbreak.

Il documento affronta la sfida di sviluppare un framework di jailbreak che sia simultaneamente universale (efficace attraverso diversi target dannosi) e trasferibile (efficace attraverso diverse architetture di modelli) utilizzando un singolo modello surrogato.

Metodologia: UltraBreak

Gli autori propongono UltraBreak, un framework progettato per generare immagini avversarie universali e trasferibili. L'approccio è guidato da due intuizioni fondamentali: vincolare lo spazio di ottimizzazione per indurre robustezza e rilassare i target testuali per rendere più fluido il panorama della perdita (loss landscape).

1. Target Avversari Guidati dalla Semantica

I tradizionali attacchi basati sull'ottimizzazione si affidano alla perdita di Cross-Entropy (CE) per costringere il modello a produrre una specifica sequenza di token. Gli autori sostengono che ciò crei un panorama della perdita "appuntito" (spiky), portando all'overfitting. Inveio, UltraBreak impiega una perdita basata sulla semantica nello spazio di embedding testuale:

• Proiezione: I logit dell'output del modello e i token target vengono proiettati in uno spazio di embedding condiviso.
• Distanza Semantica: La perdita minimizza la distanza del coseno tra l'embedding atteso dell'output del modello e una somma pesata dei futuri embedding dei target.
• Meccanismo di Attenzione: Per evitare che il modello generi output irrilevanti ma semanticamente simili, un meccanismo di attenzione assegna dinamicamente pesi ai token target in base alla somiglianza semantica e alla codifica posizionale. Ciò consente all'ottimizzazione di concentrarsi sulle continuazioni semantiche più rilevanti piuttosto che su rigide sequenze di token.

2. Spazio di Ottimizzazione Vincolato

Per garantire che i pattern avversari siano robusti alle variazioni dei modelli e non solo artefatti a livello di pixel, l'ottimizzazione è vincolata all'interno dello spazio visivo:

• Trasformazioni Randomizzate: Durante l'addestramento, vengono applicate trasformazioni casuali (rotazione, scala, traslazione) all'immagine. Questo costringe l'ottimizzatore a scoprire caratteristiche che rimangano invarianti sotto perturbazioni spaziali, incoraggiando l'emergere di strutture robuste (ad esempio, lettere o forme).
• Perdita di Variazione Totale (TV): Viene aggiunta una regolarizzazione TV per sopprimere il rumore fragile ad alta frequenza a livello di pixel, imponendo una fluidità spaziale.
• Proiezione Affine: I valori dei pixel sono proiettati su un sottospazio vincolato per ridurre la dipendenza da valori estremi.

3. Guida al Prompt Mirato (TPG)

Per orientare il modello surrogato verso output affermativi e dannosi durante l'addestramento, il framework utilizza una variante di TPG. Ciò comporta la costruzione di prompt che istruiscono esplicitamente il modello a elencare i passaggi procedurali per la query target e a iniziare con una specifica frase di affermazione, rafforzando la supervisione semantica.

La funzione obiettivo finale combina la perdita semantica basata sull'attenzione, la regolarizzazione TV e l'aspettativa sui parametri di trasformazione casuale.

Contributi Chiave

Il documento rivendica i seguenti contributi:

• Framework UltraBreak: Il primo framework di jailbreak che raggiunge un efficace universalità cross-target e trasferibilità cross-modello simultaneamente contro i VLM utilizzando un singolo modello surrogato.
• Nuova Strategia di Ottimizzazione: L'integrazione dell'ottimizzazione vincolata (trasformazioni casuali + perdita TV) per indurre pattern avversari robusti, combinata con target semanticamente pesati per rendere più fluido il panorama della perdita.
• Superiorità Empirica: Esperimenti estesi dimostrano che UltraBreak supera significativamente i precedenti metodi basati sul gradiente (ad esempio, VAJM, UMK) e gli attacchi progettati manualmente (ad esempio, FigStep) in scenari black-box.

Risultati Sperimentali

Gli autori hanno valutato UltraBreak su sei VLM open-source (inclusi le famiglie Qwen, LLaVA, Kimi e GLM) e tre modelli proprietari (GPT-4.1, Gemini, Claude). La valutazione ha utilizzato tre benchmark: SafeBench, AdvBench e MM-SafetyBench.

• Trasferibilità: In scenari black-box (addestramento su un modello, test su altri), UltraBreak ha raggiunto un Attack Success Rate (ASR) medio del 71,05% su SafeBench e del 52,19% su AdvBench. Ha superato significativamente i baseline come VAJM (41,46% e 5,61% rispettivamente) e UMK (20,00% e 5,19% rispettivamente).
• Universalità: Un'unica immagine avversaria generata da UltraBreak ha indotto con successo risposte dannose attraverso diversi obiettivi di jailbreak, mentre metodi come FigStep richiedono immagini distinte per ogni target.
• Modelli Commerciali: Anche contro i modelli proprietari con meccanismi di sicurezza più forti, UltraBreak ha ottenuto un ASR medio del 32,26%, superando tutti i baseline.
• Qualità degli Attacchi: Utilizzando l'evaluator StrongREJECT, le risposte generate da UltraBreak hanno ricevuto punteggi più alti (indicando contenuti dannosi più specifici e convincenti) rispetto ai baseline.

Studi di Ablazione

• Rimozione dei Vincoli: Senza trasformazioni casuali e perdita TV, l'attacco mostrava un alto ASR sul modello surrogato ma falliva nel trasferirsi ad altri modelli, confermando un grave overfitting.
• Rimozione della Perdita Semantica: L'uso della standard CE loss con vincoli migliorava leggermente la trasferibilità ma risultava in un ASR significativamente più basso sul modello surrogato, indicando che l'ottimizzazione rimaneva intrappolata in minimi locali a causa del panorama della perdita irregolare.
• Analisi del Panorama della Perdita: Le visualizzazioni hanno confermato che la perdita semantica produce un panorama della perdita più fluido e più convesso rispetto al panorama "appuntito" della Cross-Entropy loss, facilitando una migliore generalizzazione.

Significato e Dichiarazioni

Il documento postula che il fallimento dei precedenti jailbreak trasferibili derivi dal panorama della perdita "appuntito" indotto dagli obiettivi di Cross-Entropy a livello di token. Rendendo più fluido questo panorama attraverso la supervisione semantica e imponendo la robustezza attraverso vincoli nello spazio visivo, UltraBreak consente la scoperta di pattern avversari universali.

Gli autori sottolineano che, mentre i VLM espandono le capacità degli LLM, essi introducono nuove e più ampie superfici di attacco. Il lavoro evidenzia la urgente necessità di strategie di allineamento robuste e generalizzabili nei VLM. Gli autori dichiarano che il loro obiettivo è investigare proattivamente queste vulnerabilità per informare lo sviluppo di modelli più sicuri prima che tali minacce emergano su larga scala nelle implementazioni del mondo reale. Il codice è reso pubblico per supportare la riproducibilità e la ricerca ulteriore sulle strategie di difesa.