Sintesi Tecnica: Greedy Coordinate Diffusion (GCD)

1. Definizione del Problema

Nonostante la vasta ricerca, gli attacchi avversari contro i Large Language Models (LLM) affrontano un "trilemma" critico nel deployment pratico, caratterizzato da tre modalità di fallimento primarie:

1. Perplessità Elevata (Antinaturalità): I metodi di ottimizzazione basati sul gradiente (es. Greedy Coordinate Gradient, GCG) ottengono elevati tassi di successo dell'attacco (ASR), ma producono suffissi incoerenti e ad alta perplessità che vengono facilmente rilevati e bloccati dai filtri basati sulla perplessità.
2. Tassa del Jailbreak (Deriva Semantica): Gli approcci di riscrittura del prompt (es. PAIR, AutoDAN) generano testo fluido e leggibile dall'uomo, ma spesso alterano l'intento semantico della query. Di conseguenza, il modello risponde a una riformulazione benigna piuttosto che all'obiettivo malizioso originale dell'avversario.
3. Basso Tasso di Successo su Modelli Robusti: I tentativi di bilanciare fluidità e intento spesso falliscono nell'indurre la conformità in modelli fortemente allineati alla sicurezza, in particolare quando l'ottimizzazione tratta la perdita dell'attacco come un'euristica piuttosto che come un vincolo rigoroso.

Gli attuali metodi mancano del controllo semantico fine necessario per navigare il compromesso tra il mantenimento del linguaggio naturale (per eludere i filtri) e la preservazione dell'esatta ottimizzazione a livello di token (per forzare output specifici dannosi).

2. Metodologia: Greedy Coordinate Diffusion (GCD)

Gli autori propongono Greedy Coordinate Diffusion (GCD), un framework di ottimizzazione gray-box che sostituisce la selezione dei token basata sul gradiente con un modello di diffusione discreta come distribuzione di proposta. GCD opera senza accesso diretto ai pesi del modello, sfruttando le probabilità dei token in uscita o i punteggi di sicurezza.

Meccanismo Core

GCD formula la costruzione del prompt come un processo di diffusione discreta guidata. Inveza di ottimizzare sopra gli embedding dei token one-hot tramite gradienti (il che produce testo incoerente), GCD utilizza un modello di linguaggio a diffusione discreta ($D_\phi$) per proporre candidati di token semanticamente coerenti.

Il ciclo di ottimizzazione procede come segue:

1. Inizializzazione: Il prompt avversario $x_{adv}$ viene inizializzato come una sequenza di token completamente mascherati ($<|mask|>$), costringendo il modello di diffusione a generare una struttura semantica dal rumore.
2. Sottocampionamento Stocastico delle Coordinate: Per ridurre il costo computazionale, GCD ottimizza un sottoinsieme casuale di posizioni $I^{(t)}$ ad ogni step, invece dell'intera sequenza.
3. Proposte di Diffusione: Per ogni posizione selezionata, il token corrente viene mascherato e il modello di diffusione $D_\phi$ viene interrogato per generare i top-$K$ token più probabili condizionati sul contesto completo (sia sinistro che destro).
4. Look-Ahead One-Shot Diffusion (OSD): Un componente tecnico critico affronta l'incompatibilità tra il modello di diffusione (che gestisce sequenze mascherate) e il modello autoregressivo vittima ($M_\theta$, che non può elaborare maschere). Per ogni sequenza candidata contenente maschere, GCD esege una denoising a diffusione in un unico step per riempire simultaneamente tutti i restanti token mascherati. Ciò genera una sequenza bozza completa e coerente, adatta alla valutazione da parte del modello vittima.
5. Selezione Greedy: Il modello vittima $M_\theta$ valuta le bozze completate in base a una funzione di perdita composita. Il candidato con le prestazioni migliori viene selezionato per aggiornare il prompt.

Funzione Obiettivo

Il framework minimizza una perdita composita $L_{comp}$:
$$L_{comp}(x_{adv}) = L_{victim}(x_{adv}) + \lambda L_{guard}(x_{adv}) + \beta L_{PPL}(x_{adv})$$

• $L_{victim}$: Log-likelihood negativa di un prefisso target strettamente vincolato (es. "Certamente, ecco..."), garantendo che il modello sia conforme al termine specifico dell'intento malizioso.
• $L_{guard}$: Log-likelihood negativa del fatto che il prompt venga classificato come sicuro da un modello di guardia (es. Llama Guard), penalizzando i prompt segnalati.
• $L_{PPL}$: Auto-perplessità del prompt, penalizzando sequenze di token innaturali per eludere i filtri basati sulla perplessità.

Pipeline a Due Fasi

• Fase 1: L'ottimizzazione viene eseguita per trovare un prompt che attivi il prefisso target.
• Fase 2: Una volta trovato un match del prefisso, il sistema genera continuazioni complete (512 token) e le valuta usando un giudice proxy (Qwen2.5-7B) su una scala di dannosità. Una Perdita di Diversità viene applicata se il modello vittima produce continuazioni evasive, sopprimendo specifici token di fallimento per indirizzare la ricerca verso traiettorie di attacco distinte.

3. Contributi Chiave

• Framework Innovativo: Introduzione di GCD, che integra i priori di diffusione discreta nell'ottimizzazione avversaria per ottenere sia un alto ASR che la coerenza semantica.
• Capacità Gray-Box: A differenza di GCG, GCD non richiede l'accesso al gradiente, rendendolo applicabile a modelli serviti tramite API o proprietari pur mantenendo il controllo a livello di token.
• Collegamento degli Spazi dei Token: La proposta di un meccanismo di "One-Shot Diffusion" per risolvere l'incompatibilità tra stati di diffusione mascherati e modelli vittime autoregressivi, permettendo una valutazione accurata della perdita durante i passaggi intermedi di ottimizzazione.
• Aderenza Semantica: L'applicazione esplicita di prefissi target impedisce la "tassa del jailbreak", assicurando che il modello sia conforme all'intento malizioso originale piuttosto che a una versione sanificata.

4. Risultati Sperimentali

Gli autori hanno valutato GCD contro quattro modelli vittima (Llama-3-8B, Qwen-2.5-7B, Mistral-7B, Llama-3-70B) e l'hanno confrontato con baseline white-box (GCG, GBDA), gray-box (AutoDAN) e black-box (PAIR, TAP, Inpainting).

• Tasso di Successo dell'Attacco (ASR): GCD ha ottenuto l'ASR più elevato in tutti i modelli. Notevolmente, ha raggiunto il 100% di ASR su Mistral-7B e il 97,92% su Qwen-2.5-7B, superando significativamente GCG (che è sceso allo 0% sotto la difesa di perplessità su Qwen e Mistral) e altre baseline.
• Evasione delle Difese: Sotto il filtraggio basato sulla perplessità, GCD ha mantenuto alti tassi di successo (es. 85,42% su Llama-3-8B e 100% su Mistral-7B), mentre i metodi basati sul gradiente come GCG e GBDA sono scesi allo 0%.
• Qualità della Risposta: GCD ha ottenuto punteggi elevati sulla scala di dannosità StrongReject (SR) (es. 0,8234 su Mistral-7B), indicando che le risposte generate non erano solo efficaci, ma anche sostanzialmente dannose e allineate con l'intento originale.
• Tassi di Rilevamento: I prompt avversari costruiti sono stati rilevati a tassi inferiori dai filtri basati sulla perplessità e dai modelli di guardia rispetto ad altri metodi.

5. Significato e Rivendicazioni

Il paper afferma che GCD risolve con successo il compromesso fondamentale negli attacchi avversari: combina la fluidità degli approcci di riscrittura del prompt con il controllo fine a livello di token dell'ottimizzazione basata sul gradiente. Sfruttando i priori generativi dei modelli di diffusione discreta, GCD restringe lo spazio di ricerca a un testo coerente e leggibile dall'uomo, consentendo al contempo un'ottimizzazione precisa per forzare specifici output target.

Gli autori posizionano GCD come un passo pratico verso il colmare il divario tra il feedback sparso black-box e l'ottimizzazione a informazione completa. Asseriscono che il loro metodo dimostra che è possibile generare attacchi che siano simultaneamente furtivi (bassa perplessità), semanticamente coerenti (bassa tassa del jailbreak) e altamente efficaci contro modelli robusti e allineati alla sicurezza. Il lavoro evidenzia che le difese attuali che si affidano alla perplessità o ai modelli di guardia semantici sono vulnerabili ad attacchi che utilizzano la ricerca guidata dalla diffusione per mantenere le proprietà del linguaggio naturale pur aderendo rigorosamente agli obiettivi maliziosi.