Sintesi Tecnica: Allineamento della Sicurezza dei Modelli di Linguaggio tramite Giochi Non Cooperativi

Definizione del Problema

Garantire la sicurezza dei modelli di linguaggio (LM) preservandone al contempo l'utilità rimane una sfida critica. Gli attuali approcci di allineamento della sicurezza si basano tipicamente su un addestramento avversariale sequenziale: un Attaccante LM genera prompt avversariali (jailbreak), e un Difensore LM viene perfezionato per resistervi. Questo processo viene spesso applicato iterativamente in un regime di "gioco del gatto e del topo". Gli autori sostengono che questa alternanza sequenziale soffre di inefficienze e potenziali instabilità inerenti all'ottimizzazione alternata. Inoltre, i metodi esistenti spesso faticano a mantenere la robustezza contro attacchi adattivi, portando a tassi di successo di jailbreak non trascurabili nei benchmark standard. Inoltre, molti approcci si affidano a segnali di ricompensa puntuali da parte di modelli judge, che sono soggetti a "reward hacking" a causa della difficoltà di calibrare punteggi di sicurezza assoluti e della natura soggettiva delle violazioni di sicurezza.

Metodologia: AdvGame

Il documento introduce AdvGame, un nuovo paradigma che inquadra l'allineamento della sicurezza come un gioco non cooperativo e non a somma zero tra due agenti distinti: un Attaccante LM ($\rho$) e un Difensore LM ($\pi$). A differenza dei precedenti approcci di "self-play" in cui un singolo modello svolge entrambi i ruoli (condividendo i parametri), AdvGame addestra due modelli separati simultaneamente tramite apprendimento per rinforzo online.

Componenti Core

1. Formulazione a Somma Non Nulla: Il gioco è definito a somma non nulla perché l'Attaccante e il Difensore hanno obiettivi distinti e non perfettamente opposti.

   • Obiettivo del Difensore: Produrre risposte sicure, conformi alla policy e utili. Per query benigne, deve essere conforme; per query dannose, deve fornire una "deviazione" (informazioni sicure e semanticamente adiacenti) piuttosto che un rifiuto diretto o un output dannoso.
   • Obiettivo dell'Attaccante: Elicitare fallimenti (denial of service) o violazioni della policy da parte del Difensore. Fondamentalmente, l'Attaccante viene ricompensato per ingannare il Difensore nel classificare erroneamente il tipo di query (ad esempio, far apparire una query benigna come dannosa per innescare un eccesso di rifiuto, o una query dannosa come benigna per aggirare la sicurezza). Ciò impedisce all'Attaccante di convergere verso soluzioni degenerate come la generazione di testo privo di senso, che tecnicamente "vincerebbe" in un setup a somma zero ma fallirebbe nel testare la robustezza.

2. Ottimizzazione Basata sulle Preferenze: Invece di utilizzare segnali di ricompensa scalari puntuali (difficili da calibrare), AdvGame utilizza segnali di preferenza a coppie.

   • Judge (Giudici): Un modello LM judge valuta coppie di risposte (per il Difensore) o coppie di prompt di attacco e le relative risposte (per l'Attaccante).
   • Judge del Difensore: Seleziona la risposta che è più conforme (per i seed benigni) o che fornisce una migliore deviazione (per i seed dannosi).
   • Judge dell'Attaccante: Seleziona il prompt di attacco che inganna con successo il Difensore. La logica di preferenza viene invertita in base al tipo di seed per garantire che l'Attaccante impari a manipolare la classificazione del Difensore piuttosto che limitarsi a generare rumore.
   • Fedeltà (Faithfulness): Un judge separato assicura che i prompt dell'Attaccante rimangano fedeli all'intento originale del seed, impedendo all'Attaccante di cambiare il significato sottostante della query.

3. Algoritmo di Addestramento (AdvGame-DPO-MD):

   • Il metodo adatta i concetti di Direct Preference Optimization (DPO) e Nash Mirror Descent (Nash-MD) a questo contesto congiunto.
   • Campionamento Off-Policy: Per migliorare la stabilità dell'addestramento, l'algoritmo utilizza modelli Exponential Moving Average (EMA) ($\pi^\gamma, \rho^\gamma$) per generare dati online (rollout), anziché utilizzare direttamente la policy corrente. Questo approccio off-policy aiuta a smussare gli aggiornamenti e previene l'overfitting del modello ai cambiamenti recenti, un problema comune nell'RL puramente on-policy.
   • Funzioni di Perdita: Gli autori derivano specifiche funzioni di perdita in stile DPO sia per l'Attaccante che per il Difensore, che ottimizzano l'equilibrio di Nash del gioco utilizzando i dati di preferenza a coppie.

Contributi Chiave

1. Addestramento Congiunto Non Cooperativo: Il documento propone un framework in cui Attaccante e Difensore sono addestrati simultaneamente in un gioco a somma non nulla, allontanandosi dall'alternanza sequenziale o dal self-play con condivisione di parametri.
2. Supervisione Basata sulle Preferenze: Il metodo sostituisce i fragili segnali di ricompensa puntuali con confronti di preferenza a coppia più robusti, mitigando il reward hacking e i problemi di calibrazione.
3. Stabilità Off-Policy: L'integrazione del campionamento off-policy basato su EMA (AdvGame-DPO-MD) dimostra di migliorare significativamente la stabilità dell'addestramento rispetto ai metodi on-policy come GRPO.
4. Output a Doppia Utilità: Il framework produce non solo un Difensore robusto, ma anche un potente Attaccante general-purpose che converge in un capace agente di red-teaming.

Risultati Sperimentali

Gli autori hanno valutato AdvGame su modelli Llama3.1-8B e Qwen2.5-7B contro baseline che includono i modelli originali istruiti (instruction-tuned), versioni non censurate e la baseline Self-RedTeam.

• Tradeoff Utilità-Sicurezza: Le varianti di AdvGame (in particolare AdvGame-DPO-MD) hanno preservato con successo l'utilità originale del modello (misurata tramite MMLU, IFBench, AlpacaEval2, ecc.) migliorando significativamente la sicurezza. Al contrario, la baseline Self-RedTeam ha spesso causato cali di utilità evidenti.
• Performance di Sicurezza: Nei benchmark di sicurezza come HarmBench, WildJailbreak (WJB) e WildGuardTest, AdvGame-DPO-MD ha raggiunto prestazioni state-of-the-art, riducendo significativamente l'Attack Success Rate (ASR) rispetto alle baseline. Ad esempio, su Qwen2.5-7B, AdvGame ha ridotto l'ASR di HarmBench al 4,7% rispetto al 16,8% di Self-RedTeam.
• Robustezza agli Attacchi Adattivi: Il metodo ha dimostrato una robustezza superiore contro attacchi di jailbreaking adattivi (PAIR, TAP, GCG) rispetto alle difese a prompt fissi e ai metodi di addestramento sequenziale.
• Capacità dell'Attaccante: L'Attaccante LM addestrato ha raggiunto prestazioni comparabili a forti metodi di attacco adattivo (raggiungendo circa il 56% di ASR su Qwen2.5-7B), validando la sua utilità come strumento di red-teaming.
• Studi di Ablazione:
  • DPO/IPO vs. GRPO: I metodi basati sulle preferenze (DPO/IPO) hanno superato GRPO, che mostrava dinamiche di addestramento instabili e punteggi di sicurezza inferiori.
  • Pairwise vs. Point-wise: I judge a coppie (pairwise) hanno prodotto migliori trade-off tra sicurezza e utilità, mentre i judge puntuali hanno portato a reward hacking e cali di performance.
  • EMA vs. On-Policy: L'uso di EMA per la generazione off-policy è stato critico per la stabilità; rimuoverlo ha degradato significativamente le metriche di sicurezza.
  • Addestramento dell'Attaccante: L'addestramento attivo dell'Attaccante (anziché mantenerlo fisso) è stato essenziale per generare attacchi diversificati e impegnativi, portando a un Difensore più robusto.

Significato e Rivendicazioni

Il documento afferma che AdvGame sposta la frontiera di Pareto di sicurezza e utilità, producendo un Difensore che è simultaneamente più utile e più resiliente agli attacchi avversariali. Formalizzando l'allineamento della sicurezza come un gioco non cooperativo con ricompense basate sulle preferenze, il metodo affronta le inefficienze dell'addestramento sequenziale e l'instabilità dell'ottimizzazione della ricompensa puntuale.

Un punto di particolare importanza evidenziato è la generazione di un agente di red-teaming riutilizzabile. L'Attaccante LM addestrato funge da strumento sistematico per sondare arbitrari modelli target, facendo emergere precocemente i modi di fallimento rilevanti per la sicurezza. Gli autori sottolineano che questo approccio supporta un ciclo di feedback più stretto tra scoperta e rimedio, migliorando la velocità e la copertura delle valutazioni di sicurezza.

Il lavoro riconosce i limiti, notando che si concentra esclusivamente su attacchi in linguaggio naturale comprensibili dagli umani e non copre sequenze di attacco non leggibili (es. GCG). Tuttavia, pone l'ipotesi che il lavoro futuro nella progettazione dei modelli di ricompensa e l'estensione ad altre modalità di attacco potrebbero ulteriormente potenziare la robustezza degli approcci game-theoretic per la sicurezza dei LM.