💬 NLP

Learning diverse attacks on large language models for robust red-teaming and safety tuning

Questo articolo propone un framework basato su GFlowNet per il red-teaming automatizzato che supera i limiti del mode collapse degli approcci di reinforcement learning esistenti per generare prompt di attacco diversificati ed efficaci, consentendo così la creazione di modelli linguistici di grandi dimensioni con una maggiore robustezza nel tuning della sicurezza.

Autori originali: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Pubblicato 2026-09-01

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i grandi modelli linguistici sono diventati strumenti potenti capaci di scrivere, ragionare e conversare con una fluidità simile a quella umana. Tuttavia, questa capacità comporta un rischio significativo: questi sistemi possono essere manipolati per produrre contenuti dannosi, tossici o pericolosi. Per prevenire ciò, gli sviluppatori si dedicano a una pratica nota come red-teaming. Immaginate un team di sicurezza assunto per forzare l'ingresso in un edificio prima che il pubblico vi si trasferisca; nel regno digitale, il red-teaming consiste nel tentare sistematicamente di ingannare un'intelligenza artificiale per rivelarne le debolezze. L'obiettivo è trovare le domande o le istruzioni specifiche, chiamate prompt, che aggirano i filtri di sicurezza del modello e lo costringono a generare qualcosa che era stato progettato per rifiutare. Identificare queste vulnerabilità è essenziale per costruire sistemi più sicuri, ma trovarle è difficile perché lo spazio delle possibili domande è vastissimo, e i metodi utilizzati per trovarle spesso finiscono per incanalarsi in un vicolo cieco, ripetendo gli stessi pochi trucchi invece di scoprire una vasta gamma di nuovi modi per rompere il sistema.

Un team di ricercatori ha sviluppato un nuovo approccio a questo problema che genera con successo una gamma diversificata di prompt di attacco efficaci. Invece di affidarsi ai metodi tradizionali che spesso convergono su una soluzione singola e ripetitiva, hanno utilizzato un framework probabilistico chiamato rete di flusso generativo (generative flow network). Questo metodo tratta la ricerca di prompt dannosi non come un semplice compito di ottimizzazione, ma come un processo di campionamento da un vasto panorama di possibilità. I ricercatori hanno addestrato un modello di intelligenza artificiale per esplorare questo panorama, raccogliendo una vasta gamma di prompt che hanno effettivamente elicitato risposte tossiche dai modelli bersaglio. Hanno poi applicato un secondo passaggio, di smoothing, per raffinare queste scoperte, assicurando che l'insieme finale di attacchi fosse sia altamente efficace che straordinariamente vario. Il risultato è un toolkit in grado di scoprire vulnerabilità che altri metodi mancano, fornendo una rete di sicurezza più completa per gli sviluppatori.

La sfida centrale affrontata dai ricercatori era un comune fallimento nel red-teaming automatizzato: la tendenza dei sistemi a collassare nella generazione di soli pochi prompt simili e ripetitivi. I tentativi precedenti di correggere questo problema aggiungendo regole per incoraggiare la varietà spesso fallivano, risultando in sistemi che producevano o domande diverse ma innocue, o attacchi efficaci ma identici. Il nuovo metodo evita questa trappola utilizzando un processo in due fasi. Nella prima fase, il sistema esplora lo spazio dei possibili prompt, guidato da un segnale di ricompensa che misura quanto sia probabile che un prompt inneschi una risposta dannosa. Questa esplorazione è progettata per essere ampia, cercando di individuare molti diversi "modi" o tipi di attacco piuttosto che il singolo più facile. Il sistema raccoglie un ampio dataset di questi prompt riusciti e diversificati durante questa fase.

Nella seconda fase, i ricercatori prendono i prompt raccolti e li utilizzano per addestrare nuovamente il modello, concentrandosi questa volta sull'apprendimento dei pattern che hanno reso efficaci quegli specifici prompt. Questo passaggio funge da raffinamento, livellando la distribuzione degli attacchi in modo che il modello possa generare nuove variazioni di alta qualità che non erano state esplicitamente viste prima, ma che condividono le stesse caratteristiche di successo. Questa combinazione di esplorazione ampia seguita da un apprendimento mirato permette al sistema di mantenere un alto livello di diversità garantendo al contempo che gli attacchi rimangano potenti. I ricercatori hanno testato questo approccio su una varietà di diversi modelli linguistici, inclusi alcuni che erano stati addestrati specificamente per essere sicuri e resistenti agli attacchi. Hanno scoperto che il loro metodo superava costantemente le tecniche esistenti, generando una percentuale molto più alta di prompt tossici pur mantenendo una vasta varietà di formulazioni e strutture.

Uno dei risultati più significativi è stata la capacità di questi attacchi di trasferirsi tra diversi modelli. Prompt generati per attaccare un modello specifico erano spesso efficaci contro altri modelli completamente differenti, anche quelli contro i quali i ricercatori non avevano mai testato durante la fase di addestramento. Ciò suggerisce che diversi sistemi di intelligenza artificiale condividono debolezze comuni nel loro addestramento alla sicurezza, e che un insieme diversificato di attacchi può rivelare queste vulnerabilità condivise in modo più efficace rispetto ad altri più stretti e ripetitivi. Ad esempio, quando i ricercatori hanno addestrato il loro sistema su un modello chiamato Gemma, i prompt risultanti sono stati in grado di aggirare con successo i filtri di sicurezza di diversi altri modelli, tra cui Llama e Mistral, con alti tassi di successo. Questa trasferibilità è cruciale perché significa che un singolo sforzo di red-teaming ben progettato può migliorare la sicurezza di molti sistemi diversi contemporaneamente.

I ricercatori hanno anche dimostrato che l'uso del loro set diversificato di attacchi per addestrare un modello lo rende significativamente più robusto. Quando hanno preso un modello bersaglio e lo hanno perfezionato utilizzando le risposte di rifiuto ai loro prompt generati, il modello risultante è diventato molto più difficile da rompere. Infatti, questo modello sottoposto a tuning di sicurezza è stato in grado di resistere ad attacchi generati da altri metodi di red-teaming meno sofisticati che in precedenza erano stati efficaci. Ciò indica che esporre un modello a una vasta gamma di stili di attacco durante il suo addestramento alla sicurezza è molto più efficace che esporlo a solo pochi esempi ripetuti. Lo studio ha dimostrato che questo miglioramento della sicurezza non è avvenuto a scapito delle capacità generali del modello; i modelli sottoposti a tuning di sicurezza hanno mantenuto la loro capacità di seguire le istruzioni e di eseguire i compiti efficacemente.

Il lavoro ha inoltre evidenziato i limiti delle attuali misure di sicurezza. I ricercatori hanno notato che l'efficacia dei loro attacchi dipende dal classificatore utilizzato per determinare se una risposta sia tossica, e che il vero danno può essere soggettivo e dipendente dal contesto. Hanno osservato che alcuni metodi, in particolare quelli che si affidano a una semplice ottimizzazione, possono cadere in una trappola in cui generano prompt che sembrano tossici per un classificatore ma che non elicitano effettivamente risposte dannose dal modello, un fenomeno noto come reward hacking. Il loro approccio in due fasi ha aiutato a mitigare questo problema assicurando che i prompt non fossero solo statisticamente probabili per innescare un classificatore, ma fossero realmente efficaci nell'elicitare la risposta desiderata dal modello bersaglio.

In definitiva, questa ricerca fornisce un modo più affidabile per testare sotto stress i sistemi di intelligenza artificiale prima del loro rilascio al pubblico. Allontanandosi dai metodi che rimangono bloccati in cicli ripetitivi e abbracciando una strategia che cerca una vasta diversità di attacchi, gli sviluppatori possono identificare e correggere una gamma più ampia di vulnerabilità. La capacità di trasferire questi attacchi tra diversi modelli suggerisce che le sfide di sicurezza che questi sistemi affrontano sono interconnesse, e che un approccio di red-teaming diversificato e probabilistico offre uno strumento potente per costruire un'intelligenza artificiale più resiliente e affidabile. Il codice e i metodi sviluppati in questo studio sono disponibili per l'uso da parte di altri, con l'obiettivo di accelerare la creazione di sistemi più sicuri per tutti.

Riepilogo Tecnico: Apprendimento di Attacchi Diversificati su Large Language Models per il Red-Teaming Robusto e il Safety Tuning

Definizione del Problema

L'implementazione di Large Language Models (LLM) comporta rischi significativi riguardanti la generazione di contenuti dannosi, tossici o non sicuri. Sebbene i modelli siano spesso sottoposti a fine-tuning con vincoli di sicurezza, rimangono vulnerabili a prompt di "jailbreak" o di "attacco" che elicitano risposte indesiderate. Il red-teaming — l'identificazione automatizzata di tali prompt — è fondamentale per garantire un allineamento della sicurezza robusto prima del deployment.

Gli attuali metodi di red-teaming automatizzato, basati principalmente sul Reinforcement Learning (RL), affrontano un trade-off fondamentale tra diversità ed efficacia.

Mode Collapse (Collasso del Modo): Gli algoritmi RL standard (es. REINFORCE, PPO) tendono a convergere su una singola traiettoria ad alto rendimento, generando un set ristretto e simile di prompt di attacco.
Diversità Inefficace: I metodi che tentano di imporre la diversità (es. tramite premi di novità o bonus di entropia) spesso non riescono a bilanciarla con la tossicità, risultando in prompt diversificati ma inefficaci che non riescono a bypassare con successo i filtri di sicurezza.
Scarsa Trasferibilità: Gli attacchi generati per un modello target possono fallire nel trasferirsi ad altri LLM target, limitando l'efficienza del safety tuning attraverso diverse architetture.

Il paper sostiene che gli approoli attuali faticano a scoprire l'intero spettro di modalità di attacco necessari per un robusto safety-tuning degli LLM.

Metodologia

Gli autori propongono un framework probabilistico in due fasi utilizzando i GFlowNets (Generative Flow Networks) seguiti da uno smoothing tramite Maximum Likelihood Estimation (MLE). Questo approccio tratta la generazione di prompt di attacco come un campionamento da una distribuzione di reward piuttosto che come l'ottimizzazione di una singola traiettoria deterministica.

Fase 1: Fine-Tuning con GFlowNet

La prima fase prevede il fine-tuning di un modello di linguaggio (LM) attaccante pre-addestrato come policy GFlowNet.

Obiettivo: Apprendere una policy stocastica $p_\theta$ che campioni prompt $x$ con una probabilità proporzionale al loro reward $R(x)$ .
Funzione di Reward: Il reward combina due componenti:
1. Tossicità ( $R_1$ ): La probabilità che la risposta del target LLM sia classificata come tossica da un classificatore di tossicità (es. Llama-Guard o RoBERTa).
2. Naturalità ( $R_2$ ): La probabilità del prompt sotto un modello di riferimento ( $p_{ref}$ ), garantendo che i prompt di attacco appaiano naturali e non siano facilmente filtrati da difese basate sulla perplessità.
Training: Il modello viene addestrato utilizzando l'obiettivo di Trajectory Balance. Durante questa fase, la policy esplora lo spazio dei prompt, raccogliendo campioni ad alto reward in un dataset offline. Questa fase è progettata per essere "off-policy", permettendo al modello di scoprire modalità di attacco diversificate che l'RL standard potrebbe mancare.

Fase 2: Smoothing MLE

La seconda fase affronta la sensibilità dei GFlowNet ai parametri di temperatura del reward (che controllano il trade-off tra tossicità e diversità).

Processo: Il modello attaccante pre-addestrato viene ri-inizializzato e sottoposto a fine-tuning utilizzando la Maximum Likelihood Estimation (MLE) sui prompt ad alto reward raccolti durante la Fase 1.
Meccanismo: Questo funge da forma di behavior cloning. Addestrando il modello sul set diversificato di attacchi riusciti scoperti nella Fase 1, il modello apprende una distribuzione "liscia" (smooth) su prompt ad alto reward.
Beneficio: Questo passaggio scinde l'esplorazione (Fase 1) dall'ottimizzazione finale della policy, rendendo il metodo robusto rispetto alle specifiche impostazioni di temperatura utilizzate nell'obiettivo GFlowNet e migliorando significativamente la diversità dell'output finale.

Adattamento tramite Reranking

Una caratteristica chiave dell'approccio in due fasi è la sua adattabilità. Per effettuare il red-teaming di un nuovo target LLM, gli autori propongono di saltare la costosa Fase 1. Inveve, ricalcolano il reward dei prompt memorizzati nella Fase 1 utilizzando il nuovo target LLM, filtrano i prompt ad alto reward e eseguono solo la leggera Fase 2 (MLE) di fine-tuning.

Contributi Chiave

Red-Teaming Probabilistico: Il paper introduce un approccio basato su GFlowNet per il red-teaming, inquadrando la generazione di prompt come campionamento da una distribuzione di reward per incoraggiare intrinsecamente la diversità.
Smoothing in Due Fasi: Gli autori propongono un nuovo passaggio di smoothing MLE che generalizza dai campioni ad alto reward trovati durante l'addestramento GFlowNet, bilanciando efficacemente diversità e tossicità e riducendo la sensibilità agli iperparametri.
Trasferibilità: Il metodo genera prompt di attacco che si trasferiscono efficacemente su diversi target LLM (es. da Llama-2 a L_Llama-3, o da Gemma a Mistral), rivelando modalità di fallimento condivise nell'allineamento della sicurezza.
Robust Safety Tuning: Il paper dimostra che il safety-tuning degli LLM target su un dataset diversificato generato con questo metodo produce modelli significativamente più robusti agli attacchi provenienti da altri metodi di red-teaming basati su RL rispetto ai modelli sottoposti a tuning su baseline standard.

Risultati Sperimentali

Il metodo è stato valutato contro cinque target LLM (GPT-2, Dolly-v2-7b, Gemma-2b-it, Llama-2-7b-chat, Llama-3.1-8B-Instruct) e confrontato con le baseline includendo SFT, ICL, REINFORCE, PPO + Novelty e GFlowNet standalone.

Diversità vs Tossicità: Il metodo proposto GFlowNet + MLE è l'unico approccio che raggiunge costantemente sia alti tassi di tossicità (efficacia) che un'alta distanza del coseno (diversità) su tutti i modelli target. Le baseline come REINFORCE soffrono di mode collapse (alta tossicità, bassa diversità), mentre PPO + Novelty spesso non riesce a trovare attacchi efficaci su modelli con safety-tuning.
Trasferibilità: Quando addestrato su Gemma-2b-it, l'attaccante GFlowNet + MLE ha raggiunto un tasso di tossicità di circa il 27% su Llama-2-7b-chat e del ~52% su Llama-3-70b-instruct, superando significativamente tutti gli altri metodi. Al contrario, gli attacchi REINFORCE erano tarati sul modello di addestramento e non sono riusciti a trasferirsi (0% di tossicità su altri modelli).
Efficacia del Safety Tuning: I modelli target sottoposti a fine-tuning sul dataset GFlowNet + MLE sono stati robusti contro gli attacchi di altri metodi (es. PPO + Novelty), mentre i modelli sottoposti a tuning su altri dataset rimanevano vulnerabili agli attacchi di GFlowNet + MLE.
Efficienza: La seconda fase (MLE) è computazionalmente economica, richiede meno del 5% del tempo totale di addestramento e non richiede campionamento on-policy o costose computazioni del reward durante la fase di adattamento.

Significato e Rivendicazioni

Il paper sostiene che la diversità è un prerequisito per un robusto safety tuning. Fallendo nel scoprire modalità di attacco diversificate, i processi attuali di allineamento della sicurezza lasciano i modelli vulnerabili a vettori di attacco non visti. Il metodo proposto fornisce un'alternativa probabilistica principled allo standard RL, consentendo la scoperta di uno spettro più ampio di vulnerabilità.

Gli autori affermano che il loro approccio:

Risolve il problema del "mode collapse" inerente al red-teaming RL standard.
Fornisce un meccanismo scalabile per adattare le policy di red-teaming a nuovi modelli senza dover riaddestrare da zero.
Dimostra che i modelli con safety-tuning addestrati su attacchi diversificati generati da GFlowNet sono più resilienti a una gamma più ampia di minacce.

Il paper conclude notando le limitazioni, specificamente che l'efficacia è limitata dall'accuratezza del classificatore di tossicità usato come proxy per il danno, e che la natura online dell'addestramento (che richiede query al target LLM) comporta costi computazionali. Tuttavia, il framework proposto in due fasi rappresenta un passo avanti significativo verso un red-teaming automatizzato e robusto.