MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

Sintesi Tecnica: MultiBreak: Un Benchmark Scalabile e Diversificato per Attacchi Jailbreak Multi-turno per la Valutazione della Sicurezza degli LLM

Dichiarazione del Problema
Sebbene l'allineamento dei Modelli Linguistici di Grande Dimensione (LLM) ai valori umani sia fondamentale, gli attacchi avversari di tipo "jailbreak" rimangono una minaccia significativa. La ricerca iniziale si è concentrata su prompt a turno singolo, ma questi non riescono a catturare i comportamenti avversari reali in cui gli attaccanti affinano iterativamente le intenzioni attraverso conversazioni multi-turno per aggirare le protezioni di sicurezza. I benchmark multi-turno esistenti soffrono di due limitazioni principali: (1) Diversità Limitata, dove la deduplicazione delle intenzioni dannose riduce drasticamente il pool di intenzioni uniche, fallendo nel catturare problemi di sicurezza a grana fine; e (2) Scalabilità, dove la dipendenza da modelli pre-progettati o da red-teaming umano su piccola scala porta a dataset troppo piccoli per valutare rigorosamente la robustezza di LLM diversificati. Di conseguenza, i benchmark attuali spesso producono valutazioni inconsistenti e trascurano vulnerabilità sottili che emergono solo in dinamiche conversazionali complesse.

Metodologia
Gli autori propongono MultiBreak, un benchmark scalabile e diversificato per attacchi jailbreak multi-turno costruito tramite un framework di apprendimento attivo. Il processo di costruzione è inquadrato come un problema di apprendimento attivo basato su pool, che coinvolge tre fasi fondamentali:

1. Diversificazione dei Dati e Inizializzazione:

   • Gli autori aggregano un pool su larga scala di intenzioni dannose provenienti da cinque dataset multi-turno esistenti e nove dataset di intenzioni a turno singolo.
   • Un processo di filtraggio rimuove i duplicati utilizzando la similarità semantica (tramite embedding Qwen3-0.6B) ed elimina i "falsi positivi" valutandoli contro modelli vittima chiusi per garantire alti Tassi di Successo dell'Attacco (ASR).
   • Questo produce un dataset iniziale di 2.201 prompt avversari multi-turno (MTAP) che coprono 3.010 intenzioni dannose uniche.

2. Loop Iterativo di Apprendimento Attivo:

   • Addestramento del Generatore: Invece di utilizzare il prompting, gli autori impiegano il Fine-Tuning Supervisionato (SFT) sui generatori di attacco (LLaMA3-8B, Qwen2.5-7B e DeepSeek-Distill-Qwen-14B). Il fine-tuning è scelto perché raggiunge un ASR significativamente più alto rispetto al prompting e previene che i modelli allineati alla sicurezza rifiutino di generare contenuti dannosi quando esposti direttamente alle intenzioni.
   • Funzione di Acquisizione: I prompt generati sono valutati contro un insieme di modelli vittima e giudici. Una funzione di acquisizione composita partiziona gli output in tre categorie:
     • ACCETTA: Alto ASR e alta fedeltà (allineamento semantico con l'intenzione originale).
     • RISCRIVI: Alta incertezza (disaccordo tra i giudici) ma alta fedeltà. Questi campioni "al limite" sono elaborati da un riscrittore guidato dall'incertezza (Qwen2.5-7B) per chiarire la formulazione e rafforzare il segnale avversario senza alterare l'intenzione centrale.
     • SCARTA: Basso ASR o bassa fedeltà.
   • Riaddestramento: I campioni accettati e riscritti con successo vengono aggiunti al set di addestramento, e il generatore viene iterativamente fine-tunato per produrre candidati di attacco più potenti.

3. Riscrittura Guidata dall'Incertezza:

   • Per recuperare segnali di addestramento preziosi da campioni che hanno successo su alcuni modelli ma falliscono su altri, un modello riscrittore chiarisce le formulazioni ambigue e rafforza le tattiche di persuasione. Questo passaggio riduce costantemente l'incertezza dei giudici attraverso le iterazioni, convertendo i campioni al limite in jailbreak affidabili.

Contributi Chiave

• Framework di Apprendimento Attivo Scalabile: Una pipeline che fine-tuna iterativamente i generatori di attacco e affina i campioni ad alta incertezza, consentendo un'espansione efficiente dei prompt avversari mantenendo qualità e diversità.
• Benchmark su Larga Scala e Diversificato (MultiBreak): Il dataset risultante contiene 10.389 prompt avversari multi-turno che coprono 2.665 intenzioni dannose uniche. Copre la gamma più ampia di intenzioni semanticamente distinte finora, con un punteggio di diversità di 0,942, superando significativamente benchmark esistenti come CoSafe, MHJ, SafeDialBench e RedQueen.
• Approfondimenti di Sicurezza a Grana Fine: Il benchmark rivela che categorie di attacco diversificate svelano vulnerabilità specifiche degli LLM. In particolare, le categorie che appaiono benigne o hanno un basso ASR in contesti a turno singolo mostrano un'efficacia avversaria sostanzialmente superiore negli scenari multi-turno.

Risultati Sperimentali
Le valutazioni empiriche su modelli open-source (DeepSeek-R1-Distill-Qwen-7B, Qwen3-8B, LLaMA3.1-8B) e closed-source (GPT-4.1-mini, Gemini-2.5-flash-lite) dimostrano:

• Tassi di Successo dell'Attacco (ASR) Superiori: MultiBreak raggiunge un ASR fino al 54,0% e al 34,6% superiore rispetto al secondo miglior dataset su DeepSeek-R1-7B e GPT-4.1-mini, rispettivamente.
• Robustezza tra Modelli: Il dataset mantiene un'alta efficacia su diversi modelli vittima e giudici (LLaMA Guard e GPT-4o-mini), indicando una forte generalizzazione.
• Vantaggio Multi-turno: Gli esperimenti mostrano che aumentare il numero di turni trasforma prompt a turno singolo "benigni" in jailbreak efficaci, con guadagni di ASR fino al 44,8% per specifiche categorie a bassa vulnerabilità quando estesi a sei turni.
• Limiti delle Difese: Anche con metodi di difesa esistenti (ad esempio X-Boundary, NBF-LLM), MultiBreak espone vulnerabilità persistenti, in particolare nelle categorie ad alto rischio relative a consigli regolamentati e crimini finanziari.

Significato
Il paper posiziona MultiBreak come una risorsa critica per l'avanzamento della sicurezza degli LLM. Evidenzia che le valutazioni di sicurezza attuali sono insufficienti perché si basano su dataset statici, a turno singolo o ricchi di modelli, che non riflettono scenari avversari realistici. Dimostrando che le interazioni multi-turno espongono vulnerabilità a grana fine non apparenti in isolamento, gli autori sostengono la necessità di framework di valutazione scalabili, diversificati e iterativi. MultiBreak funge da strumento pratico per identificare lacune di sicurezza persistenti e guidare lo sviluppo di strategie di allineamento più robuste.