Riepilogo Tecnico: GPO-V: Jailbreak di un Modello Visivo-Linguistico a Diffusione tramite Ottimizzazione della Probabilità Globale

Enunciato del Problema

I Modelli Visivo-Linguistici a Diffusione (dVLM) rappresentano un cambiamento significativo rispetto ai paradigmi generativi autoregressivi tradizionali, utilizzando processi iterativi di denoising non causali per compiti multimodali. Mentre i modelli autoregressivi hanno subito un'estesa allineamento alla sicurezza per mitigare i rischi avversari, il panorama della sicurezza dei dVLM rimane in gran parte inesplorato.

Il documento identifica un divario critico: le metodologie esistenti di jailbreak, in particolare l'Ottimizzazione del Prefisso Fisso (FPO) (ad esempio, costringere un modello a iniziare con "Certo, ecco"), sono in gran parte inefficaci contro i dVLM. Questa inefficacia deriva da modelli di rifiuto unici intrinseci alle architetture a diffusione:

1. Rifiuto Immediato: Il modello rileva i rischi e genera token di terminazione (ad esempio, <end>) in modo "da dietro in avanti", fermando immediatamente la generazione.
2. Rifiuto Progressivo: Il modello genera inizialmente contenuti affermativi, ma, durante il processo iterativo di raffinamento, si sposta verso un rifiuto man mano che emergono semantica non sicure.

Gli attacchi FPO convenzionali, che ottimizzano i prefissi locali, falliscono perché la natura di raffinamento globale dei modelli a diffusione agisce come un "correttore", sovrascrivendo infine le manipolazioni del prefisso locale con un rifiuto progressivo. Il documento ipotizza che sia necessaria una nuova strategia di attacco per aggirare queste difese probabilistiche globali.

Metodologia

1. Infereuristica ed Base Teorica

Gli autori traggono un'analogia tra la diffusione delle immagini e la diffusione del testo. Nella generazione di immagini, i primi passaggi di denoising recuperano strutture semantiche a bassa dimensionalità che dettano l'output finale. Allo stesso modo, nei dVLM, i passaggi iniziali di generazione (bassi timestep) determinano in larga misura la polarità della risposta. Le previsioni di attenzione bidirezionale globale in queste fasi iniziali vincolano la successiva traiettoria generativa.

2. Ottimizzazione della Probabilità Globale (GPO)

Per sfruttare questa vulnerabilità, gli autori propongono l'Ottimizzazione della Probabilità Globale (GPO), una strategia progettata specificamente per i modelli a diffusione mascherata. A differenza della FPO, che ottimizza un prefisso fisso, la GPO manipola la distribuzione di probabilità globale dell'intera sequenza generata.

La funzione di perdita GPO ($L_{GPO}$) è composta da due componenti:

• Perdita Globale ($L_{global}$): Minimizza la probabilità di generare primitivi negativi (token di rifiuto come <end>, <eos> o frasi di rifiuto) su tutte le posizioni nella sequenza, in particolare nelle fasi iniziali e finali dei primi timestep. Questo mira a sopprimere sia i modelli di Rifiuto Immediato che di Rifiuto Progressivo.
• Perdita di Ancoraggio ($L_{anchor}$): Massimizza la probabilità di specifici token positivi "connettivi" (ancore) in posizioni intermedie. Queste ancore servono come pivot semantici stabili che si accumulano in una risposta positiva coerente, impedendo al modello di deviare verso un rifiuto progressivo.

La perdita totale è definita come:
$$L_{GPO} = \lambda_1 L_{global} + \lambda_2 L_{anchor}$$

3. Framework GPO-V

Costruendo sulla GPO, gli autori introducono GPO-V, il primo framework di jailbreak adattato per i dVLM.

• Meccanismo: GPO-V applica perturbazioni avversarie ($\delta$) all'immagine di input (o alla sua rappresentazione latente) per guidare la distribuzione di output del modello.
• Ottimizzazione: La perturbazione è ottimizzata per minimizzare $L_{GPO}$ rispettando un limite di perturbazione ($\|\delta\|_\infty < \epsilon$).
• Flessibilità: Il framework supporta l'ottimizzazione sia nello spazio dei pixel che nello spazio latente (utilizzando encoder come SigLIP o DINOv2), con gli autori che notano come l'ottimizzazione nello spazio latente sia adottata per efficienza ma produca risultati comparabili.

Contributi Chiave

1. Identificazione dei Modelli di Rifiuto: Il documento è il primo a identificare e categorizzare sistematicamente due comportamenti di rifiuto distinti nei modelli linguistici a diffusione: Rifiuto Immediato e Rifiuto Progressivo, rivelando i meccanismi di difesa sottostanti dei dVLM.
2. Strategia GPO: La proposta dell'Ottimizzazione della Probabilità Globale, una strategia innovativa che aggira le protezioni di sicurezza sopprimendo globalmente le probabilità dei token negativi e ottimizzando le perdite di ancoraggio, in contrasto con l'ottimizzazione basata sul prefisso dei modelli autoregressivi.
3. Framework GPO-V: Lo sviluppo del primo framework di jailbreak per modalità visiva per i dVLM. Dimostra che i dVLM sono intrinsecamente fragili contro gli attacchi probabilistici globali, nonostante la loro apparente robustezza contro la FPO.

Risultati Sperimentali

Gli autori hanno valutato GPO-V su due modelli visivo-linguistici a diffusione mascherata all'avanguardia: LLaDA-V e LaViDA, utilizzando i dataset AdvBench e JailBreakBench.

• Tasso di Successo dell'Attacco (JSR): GPO-V ha raggiunto un tasso di successo del jailbreak fino al 93,2% su LLaDA-V e all'88,9% su LaViDA. Al contrario, i baseline tradizionali basati su FPO (ad esempio, GCG) hanno raggiunto tassi di successo trascurabili (spesso < 2%).
• Trasferibilità: Le perturbazioni avversarie sintetizzate da GPO-V hanno dimostrato un'alta trasferibilità cross-modello. Gli attacchi ottimizzati su un modello sorgente hanno compromesso con successo i modelli vittima con architetture eterogenee (ad esempio, trasferendo da LLaDA-V a LaViDA) con tassi di successo superiori al 65%, indicando la cattura di vulnerabilità agnostiche rispetto al modello.
• Robustezza: Il metodo è rimasto efficace attraverso diverse configurazioni di generazione, inclusi blocchi di lunghezza variabile e l'uso di tecniche di accelerazione Fast-dLLM.
• Studi di Ablazione: Rimuovere sia la perdita globale che la perdita di ancoraggio ha ridotto significativamente l'efficacia dell'attacco, confermando che sia la soppressione dei modelli di rifiuto che la stabilizzazione delle ancore positive sono necessarie per il successo.

Significato e Affermazioni

Il documento afferma che i suoi risultati sottolineano un divario di sicurezza critico nelle architetture generative non sequenziali. Il significato principale risiede in:

• Sfida alla Robustezza Percepita: I risultati dimostrano che la resilienza percepita dei dVLM contro i jailbreak convenzionali è ingannevole. Il meccanismo unico di "Rifiuto Progressivo", che funge da difesa contro gli attacchi locali al prefisso, è di per sé una vulnerabilità quando viene preso di mira dall'ottimizzazione della probabilità globale.
• Necessità di Rivalutazione: Gli autori sostengono che i paradigmi di difesa attuali, ottimizzati principalmente per il decoding causale (autoregressivo), sono insufficienti per la varietà generativa unica dei modelli a diffusione.
• Appello all'Azione: Il lavoro richiede una rivalutazione immediata e fondamentale dell'allineamento alla sicurezza per i dVLM per affrontare i rischi della generazione basata sulla diffusione, esortando la comunità di ricerca a sviluppare difese robuste contro queste minacce non sequenziali emergenti.

Il documento conclude che GPO-V espone vulnerabilità intrinseche nel processo di diffusione stesso, suggerendo che l'allineamento alla sicurezza deve evolversi per tenere conto delle dinamiche probabilistiche globali piuttosto che solo della previsione sequenziale dei token.