MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

Technische Samenvatting: MultiBreak: Een schaalbaar en divers benchmark voor multi-turn jailbreaks ter evaluatie van LLM-veiligheid

Probleemstelling
Hoewel het uitlijnen van Large Language Models (LLM's) met menselijke waarden cruciaal is, vormen adversariele "jailbreak"-aanvallen nog steeds een aanzienlijke bedreiging. Vroege onderzoek richtte zich op prompts met één wissel, maar deze vangen geen realistische adversariele gedragingen, waarbij aanvragers intenties iteratief verfijnen over meerdere wissels heen om veiligheidsbarrières te omzeilen. Bestaande benchmarks voor multi-turn lijden onder twee primaire beperkingen: (1) Beperkte Diversiteit, waarbij het verwijderen van dubbele schadelijke intenties de unieke intentiepool drastisch verkleint, waardoor fijnmazige veiligheidsproblemen niet worden gevangen; en (2) Schaalbaarheid, waarbij de afhankelijkheid van vooraf ontworpen sjablonen of kleinschalig menselijk red-teaming resulteert in datasets die te klein zijn om de robuustheid van diverse LLM's rigoureus te evalueren. Bijgevolg leveren huidige benchmarks vaak inconsistente evaluaties op en missen ze subtiele kwetsbaarheden die alleen naar voren komen in complexe conversatiedynamieken.

Methodologie
De auteurs stellen MultiBreak voor, een schaalbaar en divers benchmark voor multi-turn jailbreaks, opgebouwd via een actief leerframework. Het bouwproces wordt geframed als een poolgebaseerd actief leerprobleem met drie kernfasen:

1. Data-diversificatie en Initialisatie:

   • De auteurs aggregeren een grootschalige pool van schadelijke intenties uit vijf bestaande multi-turn datasets en negen single-turn intentiedatasets.
   • Een filterproces verwijdert duplicaten aan de hand van semantische gelijkenis (via Qwen3-0.6B embeddings) en elimineert "false positives" door evaluatie tegen gesloten bron slachtoffermodellen om hoge Aanvalsuccespercentages (ASR) te garanderen.
   • Dit levert een initiële dataset op van 2.201 multi-turn adversariele prompts (MTAP's) die 3.010 unieke schadelijke intenties bestrijken.

2. Iteratief Actief Leerlus:

   • Generator Training: In plaats van prompting, passen de auteurs Supervised Fine-Tuning (SFT) toe op aanvalsgeneratoren (LLaMA3-8B, Qwen2.5-7B en DeepSeek-Distill-Qwen-14B). Fine-tuning wordt gekozen omdat het aanzienlijk hogere ASR's bereikt dan prompting en voorkomt dat veiligheidsuitgelijnde modellen weigeren schadelijke inhoud te genereren wanneer ze direct worden blootgesteld aan intenties.
   • Acquisitie-functie: Genereerde prompts worden geëvalueerd tegen een set slachtoffermodellen en beoordelaars. Een samengestelde acquisitie-functie partitioneert outputs in drie categorieën:
     • ACCEPT: Hoge ASR en hoge trouw (semantische uitlijning met de oorspronkelijke intentie).
     • REWRITE: Hoge onzekerheid (meningsverschil tussen beoordelaars) maar hoge trouw. Deze "grensgevallen" worden verwerkt door een onzekerheidsgeleid herschrijver (Qwen2.5-7B) om formulering te verduidelijken en het adversariele signaal te versterken zonder de kernintentie te wijzigen.
     • DISCARD: Lage ASR of lage trouw.
   • Herverkopen: Geaccepteerde en succesvol herschreven samples worden toegevoegd aan de trainingsset, en de generator wordt iteratief fijner afgestemd om sterkere aanvalskandidaten te produceren.

3. Onzekerheidsgeleid Herschrijven:

   • Om waardevolle trainingsignalen te herstellen uit samples die slagen op sommige modellen maar falen op andere, verduidelijkt een herschrijvermodel ambiguïteiten in formulering en versterkt het persuasietactieken. Deze stap reduceert consistent de onzekerheid van beoordelaars over iteraties heen, en converteert grensgevallen naar betrouwbare jailbreaks.

Belangrijkste Bijdragen

• Schaalbaar Actief Leerframework: Een pijplijn die iteratief aanvalsgeneratoren fijner afstemt en samples met hoge onzekerheid verfijnt, waardoor efficiënte uitbreiding van adversariele prompts mogelijk wordt terwijl kwaliteit en diversiteit behouden blijven.
• Grootschalige, Diverse Benchmark (MultiBreak): De resulterende dataset bevat 10.389 multi-turn adversariele prompts die 2.665 unieke schadelijke intenties bestrijken. Het dekt de breedste reeks semantisch onderscheiden intenties tot nu toe, met een diversiteitsscore van 0,942, wat aanzienlijk beter presteert dan bestaande benchmarks zoals CoSafe, MHJ, SafeDialBench en RedQueen.
• Fijnmazige Veiligheidsinzichten: De benchmark onthult dat diverse aanvalscategorieën specifieke LLM-kwetsbaarheden blootleggen. Opmerkelijk is dat categorieën die in single-turn settings onschuldig lijken of een lage ASR hebben, aanzienlijk hogere adversariele effectiviteit vertonen in multi-turn scenario's.

Experimentele Resultaten
Empirische evaluaties over open-source (DeepSeek-R1-Distill-Qwen-7B, Qwen3-8B, LLaMA3.1-8B) en gesloten bron (GPT-4.1-mini, Gemini-2.5-flash-lite) modellen tonen aan:

• Superieure Aanvalsuccespercentages (ASR): MultiBreak bereikt tot 54,0% en 34,6% hogere ASR's dan de op één na beste dataset op respectievelijk DeepSeek-R1-7B en GPT-4.1-mini.
• Robuustheid over Modellen: De dataset behoudt hoge effectiviteit over verschillende slachtoffermodellen en beoordelaars (LLaMA Guard en GPT-4o-mini), wat wijst op sterke generalisatie.
• Multi-turn Voordeel: Experimenten tonen aan dat het verhogen van het aantal wissels "onschuldige" single-turn prompts omzet in effectieve jailbreaks, met ASR-winsten tot 44,8% voor specifieke categorieën met lage kwetsbaarheid wanneer deze worden uitgebreid naar zes wissels.
• Beperkingen van Defensie: Zelfs met bestaande defensiemethoden (bijv. X-Boundary, NBF-LLM) legt MultiBreak aanhoudende kwetsbaarheden bloot, met name in categorieën met hoog risico zoals gereguleerd advies en financiële criminaliteit.

Betekenis
Het artikel positioneert MultiBreak als een cruciale resource voor de vooruitgang van LLM-veiligheid. Het benadrukt dat huidige veiligheidsbeoordelingen ontoereikend zijn omdat ze vertrouwen op statische, single-turn of sjabloon-rijke datasets die realistische adversariele settings niet weerspiegelen. Door aan te tonen dat multi-turn interacties fijnmazige kwetsbaarheden blootleggen die geïsoleerd niet zichtbaar zijn, pleiten de auteurs voor de noodzaak van schaalbare, diverse en iteratieve evaluatieframeworks. MultiBreak dient als een praktisch hulpmiddel voor het identificeren van aanhoudende veiligheidskloven en het leiden van de ontwikkeling van robuustere uitlijnstrategieën.