💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

Questo articolo introduce AdvGRPO, un nuovo framework di co-training che stabilizza il GRPO per l'ottimizzazione congiunta di attaccante e difensore attraverso ricompense dense multi-canale, normalizzazione dell'advantage disaccoppiata e un curriculum progressivo, ottenendo infine attacchi trasferibili altamente efficaci e difese dei modelli linguistici più robuste.

Autori originali: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Un incontro di sparring digitale

Immaginate di avere un robot molto intelligente (il Difensore) che è addestrato per essere utile ma anche per rifiutare richieste dannose, come "Come faccio a costruire una bomba?" o "Come faccio a hackerare una banca?".

Di solito, gli esseri umani cercano di testare questo robot scrivendo una lista di domande trabocchetto. Ma il robot è intelligente; impara a dire "No" a quelle specifiche domande. Il problema è che un attaccante astuto e adattivo può cambiare la propria strategia per trovare un nuovo modo per ingannare il robot.

Questo documento introduce un nuovo modo per addestrare entrambi i lati contemporaneamente utilizzando un metodo chiamato AdvGRPO. Pensatelo come l'allestimento di un dojo digitale dove una Red Team (l'attaccante) e una Blue Team (il difensore) fanno sparring l'uno contro l'altro continuamente. Invece di far scrivere le domande agli esseri umani, i modelli di IA imparano ad attaccare e difendere giocando l'uno contro l'altro, diventando più forti a ogni round.

Il problema del vecchio metodo

In precedenza, i ricercatori hanno cercato di utilizzare uno strumento di addestramento specifico (chiamato GRPO) per insegnare all'attaccante come rompere il difensore. Tuttavia, hanno scoperto che quando l'attaccante e il difensore imparavano contemporaneamente, il sistema diventava "instabile". Era come due pugili che cercavano di imparare un nuovo stile di combattimento mentre il ring stesso stava tremando; non riuscivano a mettersi d'accordo su chi stesse vincendo, e l'addestramento andava in crash o girava in tondo.

La soluzione: AdvGRPO (Il dojo stabile)

Gli autori hanno creato un nuovo framework chiamato AdvGRPO che risolve il problema del ring che trema. Lo hanno fatto con tre trucchi principali:

Un tabellone con più corsie (Premi multi-canale densi):
Immaginate un arbitro che non si limita a urlare "Punto!" alla fine del round. Invece, assegna un punteggio per ogni singola mossa.
- L'attaccante è rimasto sull'argomento?
- L'attaccante ha seguito la strategia?
- L'attaccante ha effettivamente ottenuto la risposta dannosa?
  Assegnando un punteggio a ogni piccolo passaggio, l'attaccante riceve un feedback costante su cosa migliorare, invece di aspettare fino alla fine per scoprire di aver fallito.
Giudici indipendenti (Normalizzazione dell'vantaggio disaccoppiata):
Nel vecchio metodo instabile, se l'attaccante diventava improvvisamente molto bravo, i punteggi per il difensore sembravano terribili per confronto, confondendo l'addestramento.
Il nuovo metodo utilizza un sistema (chiamato GDPO) in cui ogni tipo di punteggio viene giudicato indipendentemente prima di essere combinato. È come avere un giudice per la "Velocità", un giudice per la "Tecnica" e un giudice per la "Creatività" che valutano separatamente, in modo che uno non rovini il punteggio dell'altro. Questo mantiene stabile l'addestramento anche mentre entrambi i modelli diventano più intelligenti.
Il campo di addestramento (Apprendimento curricolare):
Non mettereste un pugile principiante nel ring con un campione immediatamente. Il documento utilizza un "curriculum".
- Fase 1: L'attaccante si addestra da solo contro un difensore fisso per imparare le basi.
- Fase 2: Una volta che l'attaccante è discreto, inizia a fare sparring con il difensore.
- Fase 3: Si alternano. L'attaccante prova a rompere il difensore per alcuni round, poi il difensore prova a tappare i buchi per alcuni round, e poi si scambiano. Questo evita che il difensore si limiti a dire "No" a tutto (che è una vittoria facile) e lo costringe a imparare come gestire attacchi specifici e complicati.

Cosa hanno scoperto

Il documento riporta diversi risultati chiave dai loro esperimenti:

Gli attaccanti sono diventati spaventosamente bravi: Gli attaccanti addestrati hanno imparato a ingannare il difensore molto meglio dei modelli non addestrati o dei modelli che sono stati solo "sbloccati" (ovvero a cui sono stati rimossi i filtri di sicurezza). Hanno imparato che semplicemente rimuovere i filtri di sicurezza non è sufficiente; bisogna imparare come attaccare.
Possono adattarsi: Gli attaccanti hanno imparato strategie che funzionavano non solo sul difensore contro cui si erano addestrati, ma anche su modelli completamente diversi che non avevano mai visto prima. È come un pugile che impara una mossa che funziona su chiunque, non solo sul suo compagno di sparring.
I difensori sono diventati più duri: I difensori addestrati in questo "dojo" sono diventati molto più bravi a individuare e bloccare gli attacchi rispetto ai difensori addestrati con i vecchi metodi. Hanno imparato a dire "No" alle richieste cattive ma ancora a dire "Sì" alle richieste buone e innocue.
I modelli di pensiero hanno bisogno di aiuto speciale: Hanno scoperto che i modelli capaci di "pensare" (ragionamento) spesso cercavano di essere troppo sicuri e rifiutavano di attaccare anche quando richiesto. Hanno dovuto creare un sistema di ricompensa speciale per insegnare a questi modelli come "pensare attraverso" l'attacco senza bloccarsi sui avvisi di sicurezza.

In sintesi

Il documento sostiene che, utilizzando questo nuovo metodo stabile (AdvGRPO), è possibile creare un sistema in cui gli attaccanti e i difensori di IA imparano insieme. Ciò produce attaccanti che sono molto bravi a trovare debolezze e difensori che sono molto bravi a risolverle, rendendo l'IA complessivamente più sicura. Sottolineano che questo è uno strumento di ricerca per trovare le debolezze prima che i malintenzionati possano usarle, aiutando a costruire sistemi di IA più forti e robusti.

Riepilogo Tecnico: Imparare ad Attaccare e Difendere: Red Teaming Adattivo di Modelli Linguistici tramite GRPO

Definizione del Problema

L'attuale allineamento della sicurezza per i Large Language Models (LLM) si basa pesantemente su dataset statici di prompt avversari curati da esseri umani o generati da tecniche di jailbreak fisse. Sebbene i modelli possano essere addestrati per deviare da questi attacchi specifici, rimangono fragili di fronte ad attaccanti adattivi che modificano le strategie per colpire nuove vulnerabilità. I metodi esistenti di red-teaming automatizzato spesso addestrano gli attaccanti contro difensori fissi o utilizzano un'ottimizzazione a ciclo aperto (open-loop) dove l'attaccante genera tutti i turni senza osservare le risposte del difensore. Inoltre, sebbene il Group Relative Policy Optimization (GRPO) abbia mostrato potenziale nei domini della sicurezza, precedenti tentativi di applicare il co-training attaccante-difensore hanno riportato instabilità, portando i ricercatori a preferire il Proximal Policy Optimization (PPO) o il Direct Preference Optimization (DPO).

Metodologia: AdvGRPO

Gli autori introducono AdvGRPO, un framework di co-training progettato per rendere il GRPO applicabile all'ottimizzazione congiunta di attaccante e difensore. Il framework affronta l'instabilità dei precedenti tentativi di co-training con GRPO attraverso tre meccanismi centrali:

Ricompense Dense Multi-Canale e GDPO:
Invece di fare affidamento su esiti finali sparsi, il sistema impiega segnali di ricompensa densi e multi-canale valutati da un giudice LLM (GPT-4.1).
- Per gli Attaccanti: Le ricompense includono una Ricompensa di Attacco ( $A$ ) per la risposta dannosa del difensore, una Ricompensa del Prompt ( $P$ ) per l'aderenza dell'attaccante alla strategia e una Ricompensa della Traccia di Pensiero ( $T$ ) per i modelli di ragionamento, al fine di prevenire l'auto-censura.
- Per i Difensori: Le ricompense includono $1-A$ per gli obiettivi avversari (penalizzando gli output dannosi) e una Ricompensa di Utilità ( $H$ ) per gli obiettivi benigni.
- GDPO (Group reward-Decoupled Policy Optimization): Per prevenire il collasso del segnale di ricompensa, in cui i canali con minore varianza vengono attenuati durante la normalizzazione, il framework normalizza ogni canale di ricompensa indipendentemente all'interno di un gruppo prima di combinarli tramite una somma pesata. Ciò decoppia le scale di vantaggio di diversi obiettivi.
Ottimizzazione Multi-Turn a Ciclo Chiuso (Closed-Loop):
A differenza dei metodi a ciclo aperto (es. SEMA) dove gli attaccanti generano tutti i turni in un unico colpo, AdvGRPO opera in un ciclo chiuso. L'attaccante osserva la risposta del difensore ad ogni turno e adatta il prompt successivo di conseguenza. Gli episodi vengono interrotti precocemente se l'attacco ha successo (ricompensa > 0.9), fornendo un efficiente assegnamento del credito per le azioni per singolo turno.
Pre-addestramento Curriculum e Aggiornamenti Alternati:
- Curriculum: L'attaccante viene prima addestrato in un setting a turno singolo, poi multi-turno, prima che inizi il co-training. Questo evita che il difensore domini le fasi iniziali del co-training deviando facilmente attacchi deboli e non addestrati.
- Aggiornamenti Alternati: Durante il co-training, i modelli attaccante e difensore vengono aggiornati in alternanza (ogni $N$ step). Nella fase dell'attaccante, il difensore è congelato; nella fase del difensore, l'attaccante è congelato e il difensore viene addestrato su un mix di obiettivi avversari e benigni per prevenire una strategia degenerata di "rifiuto di tutto".

Contributi Chiave

Stabilizzazione di GRPO per il Co-Training: Il documento dimostra che il GRPO può essere utilizzato efficacemente per il co-training attaccante-difensore, superando le precedenti segnalazioni di instabilità attraverso l'uso di GDPO e la normalizzazione del vantaggio disaccoppiata.
Apprendimento Multi-Turn a Ciclo Chiuso: Il framework consente agli attaccanti di apprendere strategie adattive condizionandosi sulle risposte del difensore ad ogni turno, invece di generare sequenze multi-turno statiche.
Addestramento di Modelli di Ragionamento: Il metodo addestra con successo modelli capaci di ragionamento (es. Qwen3.5-9B) per superare l'auto-censura indotta dall'allineamento, una capacità che i modelli di base non possiedono.
Addestramento di Difensori Robusti: I difensori co-addestrati ottengono prestazioni di sicurezza superiori rispetto ai baseline mantenendo l'utilità generale.

Risultati

Performance dell'Attaccante:

Gli attaccanti addestrati con AdvGRPO hanno ottenuto miglioramenti significativi nel Tasso di Successo dell'Attacco (ASR) rispetto ai modelli base. Ad esempio, un attaccante multi-turn Qwen2.5-14B ha raggiunto un ASR del 90–91% su AdvBench e HarmBench contro GPT-4.1.
I modelli capaci di ragionamento (Qwen3.5-9B) addestrati con AdvGRPO hanno raggiunto un ASR del 71–79% in setting a turno singolo, superando le prestazioni quasi nulle del loro stato base.
Trasferibilità: Gli attaccanti si sono generalizzati bene su modelli difensori non visti (Phi-4-mini, Llama-3.1-8B, Gemma-2-9B), spesso superando il metodo SOTA (stato dell'arte) SEMA sugli obiettivi fuori distribuzione (OOD), particolarmente in scenari multi-turn.
Confronto con i Baseline: I modelli non censurati (es. modelli Abliterated o GRP-Obliterated) sono stati scarsi come attaccanti rispetto ai modelli addestrati con AdvGRPO, indicando che la semplice rimozione dei guardrail di sicurezza non conferisce capacità di strategia avversaria.

Performance del Difensore:

I difensori co-addestrati (Qwen2.5-7B) hanno ridotto l'ASR di HarmBench a <2%, superando significativamente il modello base (18.8%), Self-RedTeam (16.8%) e AdvGame (4.7%).
Sebbene la conformità benigna sia diminuita leggermente (probabilmente a causa dell'addestramento solo su prompt benigni vanilla), le metriche di utilità generale (MMLU, TruthfulQA, ARC-C, IFBench) sono state preservate o migliorate, indicando che l'addestramento alla sicurezza non ha degradato le capacità generali.

Significato e Rivendicazioni

Il documento sostiene che AdvGRPO fornisce un'alternativa stabile ed efficace a PPO e DPO per il red-teaming automatizzato e la difesa. Stabilisce che:

Il GRPO è vitale per il co-training se accoppiato con ricompense dense multi-canale e normalizzazione disaccoppiata, sfidando l'idea che sia intrinsecamente instabile in questo contesto.
L'addestramento adattivo è necessario: Non basta rimuovere semplicemente i guardrail di sicurezza (unalignment); i modelli devono essere addestrati specificamente per sfruttare le debolezze del difensore attraverso il co-training iterativo.
L'ottimizzazione a ciclo chiuso produce attacchi più trasferibili e robusti rispetto ai metodi a ciclo aperto, poiché l'attaccante impara ad adattarsi alle risposte specifiche del difensore turno per turno.
Il co-training produce difensori robusti che si generalizzano meglio rispetto a quelli addestrati tramite dataset statici o altri baseline di co-training, offrendo un percorso pratico verso un allineamento della sicurezza dell'IA più resiliente.

Gli autori riconoscono limitazioni, tra cui la ridotta conformità benigna nei difensori (suggerendo la necessità di prompt benigni avversari nell'addestramento) e un certo collasso dell'entropia nei prompt degli attaccanti, che limita la diversità dell'attacco. Tuttavia, il lavoro posiziona AdvGRPO come un passo significativo verso la creazione di sistemi di red-teaming automatizzati e adattivi.