Adaptive Instruction Composition for Automated LLM Red-Teaming

1. Il Problema

Le Large Language Models (LLM) sono vulnerabili agli attacchi di "jailbreak", ovvero richieste dannose formulate per eludere i protocolli di sicurezza e generare contenuti tossici, bias o sensibili. Sebbene esistano approcci automatizzati per il red-teaming (test di sicurezza offensivo), presentano limiti significativi:

• Approcci basati su trial-and-error: Gli attacker LLM che sviluppano strategie iterativamente tendono a convergere su un insieme semanticamente limitato di successi, mancando di diversità.
• Approcci casuali (es. WildTeaming): Framework come WildTeaming combinano query dannose e tattiche di jailbreak da un dataset crowdsourced (WildJailbreak) in modo casuale. Sebbene generino diversità, la mancanza di ottimizzazione basata sui risultati precedenti ne riduce l'efficacia complessiva.
• Spazio combinatorio enorme: Lo spazio delle possibili istruzioni di attacco (combinazioni di query e tattiche) è vastissimo (miliardi di possibilità). Esplorarlo in modo casuale è inefficiente e non garantisce la scoperta sistematica delle vulnerabilità specifiche di un modello target.

L'obiettivo è sviluppare un sistema che bilanci l'esplorazione (trovare nuove aree di vulnerabilità) e lo sfruttamento (ottimizzare le strategie che funzionano) per massimizzare sia l'efficacia degli attacchi che la loro diversità semantica.

2. Metodologia: Adaptive Instruction Composition (AIC)

Il paper propone un nuovo framework, Adaptive Instruction Composition (AIC), che utilizza l'apprendimento per rinforzo (RL) e algoritmi bandit per comporre dinamicamente le istruzioni di attacco.

Architettura del Sistema

Il sistema coinvolge quattro modelli:

1. Attacker (A): Un LLM che genera l'attacco basandosi su un'istruzione composta.
2. Target (T): Il modello LLM da testare.
3. Evaluator (E): Un modello di sicurezza che valuta se la risposta del target è un jailbreak riuscito.
4. Bandit Controller (f): Un modello neurale leggero che seleziona dinamicamente quale combinazione di testo inviare all'attacker.

Meccanismo di Selezione Adattiva

Il cuore del sistema è un Contextual Multi-Armed Bandit basato su Neural Thompson Sampling:

• Input: Il bandit riceve come input le rappresentazioni vettoriali (embedding) di una query "vanilla" (dannosa) e di una o più tattiche di jailbreak. Questi embedding sono generati da un modello Sentence Transformer pre-addestrato in modo contrastivo (SBERT) e ridotti a 10 dimensioni tramite UMAP per efficienza.
• Spazio delle Azioni: In ogni trial, il sistema campiona casualmente un sottoinsieme di $K$ candidati (combinazioni di query e tattiche) dallo spazio totale.
• Valutazione e Aggiornamento:
  1. Il bandit assegna un punteggio predittivo a ciascun candidato basandosi sulla sua distribuzione di ricompensa appresa (distribuzione gaussiana definita dai parametri della rete neurale).
  2. Vengono selezionati i candidati con il punteggio più alto (campionamento proporzionale alla distribuzione posteriore).
  3. L'attacker genera l'attacco, il target risponde e l'evaluator fornisce un feedback binario (successo/fallimento).
  4. I parametri del bandit ($\theta$) e la matrice di incertezza ($U$) vengono aggiornati tramite Stochastic Gradient Descent per minimizzare la perdita quadratica, migliorando la previsione delle ricompense future.
• Gestione della Diversità: Viene introdotto un parametro di regolarizzazione $\lambda$ (iperparametro di esplorazione).
  • Un $\lambda$ alto favorisce l'esplorazione (diversità).
  • Un $\lambda$ basso favorisce lo sfruttamento (efficacia su vulnerabilità note).
  • Le istruzioni di successo vengono bloccate per evitare duplicati, forzando il sistema a generalizzare i segnali di successo su nuove combinazioni semanticamente correlate.

3. Contributi Chiave

• Framework di Ottimizzazione Adattiva: Sostituisce la combinazione casuale con un processo guidato da RL che apprende quali combinazioni di query e tattiche sono più efficaci per un target specifico.
• Scalabilità tramite Embedding Contrastivi: L'uso di embedding pre-addestrati contrastivamente permette al network neurale di generalizzare rapidamente su spazi di azione massicci, adattando solo un numero limitato di parametri.
• Bilanciamento Esplorazione-Sfruttamento: Dimostra che è possibile controllare il trade-off tra trovare nuove tattiche e massimizzare il tasso di successo tramite l'iperparametro $\lambda$.
• Validazione su Benchmark: Il sistema è stato testato contro diversi modelli target (Mistral, Llama-3) e confrontato con lo stato dell'arte su HarmBench.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 10.000 trial contro modelli come Mistral-7B, Llama-3-70B e Llama-3.3-70B.

• Efficacia (ASR - Attack Success Rate):
  • AIC ha superato significativamente WildTeaming (combinazione casuale) su tutti i target.
  • Su Mistral-7B, AIC (aggressivo) ha raggiunto un ASR del 56,7% contro il 25,2% di WildTeaming.
  • Su Llama-3-70B, l'ASR è salito al 45,0% contro l'8,8% di WildTeaming.
• Diversità:
  • La versione "sottile" (subtle) di AIC ha esplorato un numero maggiore di query uniche rispetto a WildTeaming, mantenendo una diversità semantica simile.
  • La versione "aggressiva" ha concentrato l'esplorazione su aree vulnerabili specifiche, aumentando l'efficacia ma riducendo leggermente la diversità delle query (tuttavia mantenendo alta la diversità delle tattiche).
• Trasferibilità (Cross-Model Transfer):
  • Le politiche apprese su un modello (es. Mistral) sono state testate "zero-shot" su un altro (es. Llama-3). AIC ha mantenuto prestazioni superiori rispetto al campionamento casuale anche nel trasferimento, dimostrando di aver catturato vulnerabilità generali e non solo artefatti specifici del modello.
• Confronto con HarmBench:
  • Su HarmBench, AIC ha ottenuto un ASR del 100% su Mistral-7B e 93,4% su Llama-3-70B, superando approcci avanzati come AutoDAN-Turbo (97,6% e 67,2% rispettivamente) e PAIR.
• Ablation Study:
  • L'uso di SBERT (embedding contrastivi) ha dimostrato prestazioni superiori rispetto a BERT standard, confermando che lo spazio semantico organizzato è cruciale per la generalizzazione rapida nel RL.
  • L'aggiunta di più tattiche (es. 3 invece di 1) ha migliorato ulteriormente le metriche di diversità.

5. Significato e Implicazioni

Il paper introduce un metodo fondamentale per il red-teaming automatizzato, trasformando la ricerca di jailbreak da un processo casuale o puramente iterativo in un processo di ottimizzazione intelligente.

• Sicurezza Proattiva: Permette ai team di sicurezza di identificare rapidamente le vulnerabilità specifiche dei propri modelli LLM, creando dataset di addestramento più robusti e diversificati.
• Efficienza: Riduce il costo computazionale necessario per trovare jailbreak efficaci rispetto all'esplorazione casuale, rendendo il red-teaming scalabile anche per modelli molto grandi e ben allineati.
• Etica: Gli autori sottolineano che il framework è destinato esclusivamente a contesti di ricerca controllata e valutazione della sicurezza, con raccomandazioni rigorose per la divulgazione responsabile delle vulnerabilità scoperte.

In sintesi, Adaptive Instruction Composition rappresenta un avanzamento significativo verso sistemi di sicurezza LLM più resilienti, dimostrando che l'adattamento intelligente delle strategie di attacco è superiore sia all'approccio manuale che a quello puramente casuale.