Sintesi Tecnica: CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation)

1. Definizione del Problema

Nonostante i progressi nelle tecniche di allineamento della sicurezza come il Reinforcement Learning from Human Feedback (RLHF) e il Supervised Fine-Tuning (SFT), i Large Language Models (LLM) rimangono vulnerabili ad attacchi avversari adattivi di tipo black-box. Le difese attuali spesso si basano su confini decisionali statici che risultano fragili contro strategie avversarie in evoluzione, quali la modulazione della persona, l'inquadramento fittizio (fictional framing) e la riformulazione basata sulla persuasione.

I framework esistenti di red-teaming e difesa soffrono di due limitazioni primarie:

1. Distribuzioni di Attacco Strette: Molti metodi si affidano a template di attacco fissi o all'apprendimento per imitazione, limitando la diversità delle strategie di attacco scoperte e la generalizzabilità delle difese risultanti.
2. Il Gap Adattivo: Le difese ottimizzate al tempo $t-1$ spesso falliscono contro nuove distribuzioni di attacco emergenti al tempo $t$. Inoltre, i precedenti approcci co-evolutivi hanno indurito i difensori tramite apprendimento supervisionato su target fissi, fallendo nel catturare i primitivi di attacco latenti che si trasferiscono attraverso famiglie di attacco meccanisticamente distinte.

La domanda centrale di ricerca affrontata è se la fragilità dell'attuale allineamento della sicurezza degli LLM derivi dalla distribuzione ristretta degli attacchi utilizzati durante l'addestramento, e se l'ampliamento di questa distribuzione attraverso la scoperta avversaria guidata dal reward possa colmare il gap adattivo.

2. Metodologia

CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation) è un framework di red-blue teaming a ciclo chiuso in cui un attaccante black-box e un difensore allineato alla sicurezza co-evolvono senza l'esposizione a predefiniti template di jailbreak.

2.1 L'Attaccante: Esplorazione RL Senza Template

L'attaccante ($A_\theta$) viene addestrato utilizzando il Group Relative Policy Optimization (GRPO) su un modello base (NousResearch Hermes 4).

• Inizializzazione Senza Template: L'attaccante non riceve template di jailbreak, esempi curati o scaffold di stile. Gli viene istruito solo a preservare l'intento originale pur riscrivendo il prompt. Tutte le strategie di inquadramento avversario (ad esempio, scenari ipotetici, assegnazione di una persona) devono emergere puramente attraverso l'esplorazione guidata dal reward.
• Decomposizione Moltiplicativa del Reward: Per prevenire l'hacking del reward (ad esempio, il drift dell'intento o l'eccessiva sanificazione), l'attaccante è ottimizzato utilizzando una funzione di reward moltiplicativa:
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (Punteggio di Bypass): Una metrica composita che combina un gate di rifiuto binario, la specificità delle informazioni dannose e la capacità di persuasione del bypass.
  • $I_{intent}$ (Fedeltà dell'Intento): Un punteggio da un modello giudice indipendente che assicura che la riscrittura del prompt mantenga l'originale intento dannoso.
    Questa formulazione impone una soglia congiunta: una riscrittura che bypassa la sicurezza ma perde l'intento (o viceversa) riceve un reward prossimo allo zero.

2.2 Il Difensore: Pipeline di Indurimento a Due Stadi

Il difensore ($D_\gamma$), basato su Llama-3.1-8B-Instruct, viene indurito attraverso un processo a due stadi per affrontare i problemi di varianza e consistenza dell'on-policy RL per la difesa.

1. Esplorazione GRPO: Il difensore viene prima addestrato tramite GRPO su prompt dannosi (sia intenti originali che riscritture dell'attaccante). La funzione di reward privilegia il rifiuto rispetto alla conformità, con bonus per rifiuti di alta qualità ed educativi. Questa fase esplora il panorama dei rifiuti, ma produce rifiuti di alta qualità in modo sporadico.
2. SFT tramite Rejection-Sampling: Per consolidare i rifiuti sporadici in un comportamento coerente, il sistema genera molteplici risposte candidate ad alta temperatura. I rifiuti confermati di qualità superiore vengono raccolti per creare un dataset di addestramento. Questo dataset è bilanciato con:
   • Rifiuti di Livello 2: Rifiuti di alta qualità a riscritture avversarie.
   • Rifiuti di Livello 1: Rifiuti a intenti dannosi originali.
   • Risposte Benigne: Risposte utili da dataset standard (ad esempio, Stanford Alpaca) per prevenire l'eccessivo rifiuto (false refusal).
     Il difensore viene quindi sottoposto a fine-tuning tramite Supervised Fine-Tuning (SFT) su questo dataset curato.

3. Contributi Chiave

1. Framework Co-evolutivo Senza Template: Un setup innovativo in cui sia l'attaccante che il difensore sono addestrati tramite GRPO senza esposizione a template di jailbreak. L'attaccante scopre gli inquadramenti avversari puramente attraverso l'esplorazione guidata dal reward, forzando la convergenza su primitivi di attacco latenti piuttosto che sull'imitazione di specifiche famiglie.
2. Decomposizione Moltiplicativa del Reward: Una struttura di reward ($R = S_{bypass} \times I_{intent}$) che elimina le patologie di intent-drift e over-sanitization comuni nell'addestramento avversario a obiettivo singolo.
3. Forte Generalizzazione Cross-Attack: Un difensore addestrato esclusivamente sugli output dell'attaccante CHASE dimostra robustezza contro cinque famiglie di attacco tenute fuori (held-out) e meccanisticamente distinte (PAIR, TAP, AutoDAN, PAP, Translation) che non sono state utilizzate durante l'addestramento.
4. Analisi dei Costi Interpretabile: Il framework ottiene miglioramenti nella sicurezza mantenendo uno 0% di tassi di falso rifiuto su prompt benigni, con qualsiasi degradazione delle prestazioni concentrata specificamente su inquadramenti fittizi e di roleplay — proprio i vettori più sfruttati dai jailbreak.

4. Risultati Sperimentali

Valutato su BeaverTails e JailbreakBench contro cinque famiglie di attacco tenute fuori:

• Miglioramento della Sicurezza: Il difensore CHASE ha ridotto il punteggio medio StrongREJECT del 43,2% attraverso tutti gli attacchi e i dataset.
• Zero Falsi Rifiuti: Il modello ha raggiunto lo 0% di falsi rifiuti su 100 prompt benigni tenuti fuori da Stanford Alpaca.
• Performance su JailbreakBench: Il difensore ha raggiunto lo 0% di Attack Success Rate (ASR) nelle valutazioni di misuse diretto, trasferimento PAIR e trasferimento GCG, eguagliando i risultati più forti pubblicati.
• Studio di Ablazione: Quando l'attaccante CHASE è stato sostituito con una famiglia di attacco fissa (artefatti PAIR), il difensore risultante ha mostrato una generalizzazione significativamente inferiore (−28,6% rispetto a −43,2% per CHASE), confermando che la distribuzione scoperta tramite RL è il driver primario della robustezza.
• Qualità vs Volume: L'attaccante CHASE ha prodotto meno bypass rispetto ai baseline (come PAIR o PAP), ma con una capacità di persuasione e specificità significativamente più elevate, indicando attacchi ad alta fedeltà più difficili da difendere senza il framework proposto.

5. Significato e Rivendicazioni

L'articolo sostiene che CHASE dimostri un percorso verso l'indurimento della sicurezza degli LLM che si generalizza oltre le distribuzioni ristrette ottenute nei precedenti addestramenti avversari. Rimuovendo lo scaffolding dei template, il framework recupera i primitivi di attacco latenti — strategie di inquadramento riutilizzabili che ricorrono in diverse famiglie di attacco (ad esempio, AutoDAN, TAP, PAP).

Gli autori sostengono che il "costo" di questo indurimento sia interpretabile e mirato: il difensore impara a rifiutare prompt che coinvolgono scenari fittizi, roleplay e modulazione della persona. Poiché questi inquadramenti costituiscono la dominante superficie di attacco nel mondo reale (ad esempio, il 98% dei jailbreak in uso utilizza strategie di "fingere di essere"), l'eccessivo rifiuto risultante è un'euristica strutturale piuttosto che un fallimento casuale. Ciò suggerisce che l'esplorazione RL senza template possa colmare il gap adattivo tra i jailbreak in evoluzione e gli LLM statici in modo più efficace rispetto ai metodi che si affidano a template di attacco fissi.

Limitazioni: Gli autori notano che il costo su MT-Bench (−1,92 punti) è non trascurabile e concentrato nelle categorie ad alto carico di ragionamento. Inoltre, il difensore classifica in base alle caratteristiche di inquadramento piuttosto che all'intento dell'utente, portando a un aumento dei rifiuti su query fittizie benigne. La valutazione si basa su giudici LLM piuttosto che su annotazioni umane, e il trasferimento ad altre architetture di modelli rimane non testato.