Technische Samenvatting: Jailbreaking voor de Gemiddelde Jane

Probleemstelling

De proliferatie van Large Language Model (LLM) jailbreaks heeft zorgen opgeroepen dat kwaadwillende niet-experts ("de gemiddelde Jane") effectief kwetsbaarheden kunnen exploiteren om bruikbare schadelijke reacties uit te lokken. Hoewel er talrijke jailbreak-technieken bestaan, vormen twee kritieke hiaten het effectieve gebruik door niet-experts:

1. Selectiehiaat: Het identificeren van de optimale jailbreak uit een enorme, steeds groeiende set bekende technieken voor een specifiek doelmodel zonder uitputtend (en detecteerbaar) testen.
2. Queryhiaat: Het formuleren van kwaadwillende queries die voldoende complex zijn om veiligheidstraining te omzeilen, aangezien eenvoudige queries vaak falen in het uitlokken van bruikbare details van goed afgestemde modellen.

Dit paper onderzoekt of deze hiaten kunnen worden overbrugd door geautomatiseerde, principiële aanvalsstrategieën, waarbij specifiek wordt gekeken of niet-experts optimale jailbreak-policies kunnen leren en of queries automatisch kunnen worden verbeterd om de succesratio van aanvallen te verhogen.

Methodologie

De auteurs stellen een tweeledige aanpak voor die online leren combineert voor jailbreak-selectie en geautomatiseerde prompt engineering voor query-verbetering.

1. Jailbreak-selectie via Multi-Armed Bandits

De auteurs kaderen de selectie van jailbreaks als een sequentieel besluitvormingsprobleem dat oplosbaar is via Multi-Armed Bandit (MAB) algoritmen.

• Formulering: Gegeven een set van $n$ jailbreaks $\mathcal{J}$ en een sequentie van $T$ kwaadwillende queries, fungeert de aanvaller als een leerling. In elke stap $t$ selecteert de leerling een jailbreak $J(t)$ en observeert een binaire beloning (1 als de reactie schadelijk is, 0 anders).
• Scenario's:
  • Transfer Attack: De aanvaller leert een beleid (distributie over jailbreaks) op een exploratieset $D^{(tr)}$ en past dit vaste beleid toe op een aparte exploitatieset $D^{(ev)}$. Dit bootst "best-arm identification" na.
  • Continuele Aanval: De aanvaller werkt zijn beleid online bij tijdens de exploitatiefase, waarbij exploratie en exploitatie gezamenlijk worden uitgevoerd om de cumulatieve beloning te maximaliseren.
• Algoritmen: De studie evalueert zowel deel-informatie bandit-algoritmen (bijv. EXP3, Thompson Sampling, LinUCB) als volledige-informatie algoritmen (Randomised Weighted Majority). Deel-informatie algoritmen worden geprefereerd vanwege hun computationele efficiëntie, omdat ze slechts één query per ronde vereisen in plaats van $n$ queries.
• Regret: Het doel is om sublineaire regret te bereiken, wat betekent dat de kloof tussen het succespercentage van de aanvaller en de beste mogelijke jailbreak (in hindsight) verdwijnt naarmate het aantal queries groeit.

2. Query-verbetering: FRANKENSTEINBENCH

Om het hiaat in querycomplexiteit aan te pakken, introduceren de auteurs FRANKENSTEINBENCH, een veiligheidsbenchmark met 11.279 kwaadwillende queries.

• Constructie: Queries zijn afkomstig van 7 bestaande benchmarks (bijv. AIRBench, WMDP, HarmBench) en zijn verbeterd met behulp van LLM's.
• Complexiteitsclassificatie: Queries worden gecategoriseerd als Simpel (directe kwaadwillende verzoeken) of Complex (verzoeken die geherformuleerd zijn met technisch jargon en domeinspecifieke expertise om kwaadwillende intentie te maskeren).
• Verbeteringsstrategie: Door gebruik te maken van het "dual-use dilemma", worden eenvoudige queries automatisch getransformeerd naar complexe queries met behulp van system prompts die de LLM instrueren een expert-persona aan te nemen (bijv. financieel adviseur, cybersecurity-expert) en technische terminologie te gebruiken.
• Classificator: Een ensemble-classificator die leesbaarheidsscores (bijv. Dale-Chall) en een LLM-als-rechter combineert, wordt gebruikt om de querycomplexiteit automatisch te labelen met een nauwkeurigheid van 89,17%.

Belangrijkste Bijdragen

1. Principieel Aanvalsstrategie: Een nieuw dreigingsmodel dat gebruikmaakt van bandit-algoritmen om efficiënt optimale jailbreak-policies te leren. Deze aanpak stelt aanvallers in staat om hoogpresterende jailbreaks te identificeren met sublineaire query-complexiteit, waardoor de kosten en detectierisico's van brute-force evaluatie worden vermeden.
2. FRANKENSTEINBENCH: Een uitgebreide veiligheidsbenchmark van 11.279 kwaadwillende queries over zes hoog-risico domeinen (Finance, Healthcare, Education, Cybersecurity, Legal, Public-harm). Het onderscheidt uniek tussen eenvoudige en complexe queries en biedt een handmatig geverifieerde test-split en automatische complexiteitslabeling.
3. Uitgebreide Evaluatie: Uitgebreide testen over 15 state-of-the-art open-weight modellen (variërend van 270M tot 120B parameters) en 70 verschillende jailbreaks. De studie beoordeelt ongeveer 12 miljoen query-respons paren.

Experimentele Resultaten

• Effectiviteit van Bandits: Bandit-gebaseerde aanvallen presteren aanzienlijk beter dan zowel de "Uniform Priors" baseline (willekeurige selectie) als de beste enkele statische jailbreak.
  • Gemiddeld bereiken bandit-algoritmen Attack Success Rates (ASR) van wel 97% over 15 modellen wanneer meerdere passes worden gebruikt (het samplen van $k=5$ jailbreaks per query).
  • Zelfs met een enkele pass ($k=1$) presteren bandit-methoden (bijv. Thompson Sampling, EXP3) aanzienlijk beter dan de best presterende individuele jailbreaks, met name op modellen zoals de gpt-oss familie waar optimale jailbreaks niet voor de hand liggen.
• Impact van Complexiteit: Complexe queries zijn inherent gevaarlijker.
  • In de baseline-setting (zonder jailbreak), behalen complexe queries een gemiddelde ASR van 50%, vergeleken met 39% voor eenvoudige queries.
  • In combinatie met jailbreaks verhogen complexe queries de ASR met gemiddeld tot wel 26% ten opzichte van eenvoudige queries.
• Transfereerbaarheid:
  • Cross-Domain: Exploratie op niet-doeldomeinen levert minimale prestatieverlies op (ongeveer 6% verschil), wat suggereert dat domeinspecifieke exploratie niet strikt noodzakelijk is.
  • Cross-Model: Policies geleerd op kleinere proxy-modellen (bijv. 4B of 12B parameters) transfereren effectief naar grotere doelmodellen (bijv. 27B of 70B), waarbij vaak een hoge ASR behouden blijft.
• Robuustheid: De bandit-aanpak blijft effectief, zelfs wanneer de set beschikbare jailbreaks wordt ingeperkt tot enkel de slechtst presterende 10 jailbreaks, terwijl naïeve baselines significant falen.

Betekenis en Claims

Het paper betoogt dat de bezorgdheid dat niet-expert actoren succesvol uitgevoerde LLM's kunnen aanvallen gerechtvaardigd is. De combinatie van geautomatiseerde query-verbetering (het creëren van complexe, moeilijk te detecteren prompts) en efficiënt beleidsleren (via bandit-algoritmen) creëert een zeer effectieve, automatiseerbare aanvals-pipeline.

• Veiligheidsimplicaties: De bevindingen suggereren dat huidige veiligheidsevaluaties onvoldoende kunnen zijn als ze vertrouwen op statische, eenvoudige queries of een enkele "beste" jailbreak. Het paper demonstreert dat een aanvaller zich dynamisch kan aanpassen aan specifieke modellen en querycomplexiteit kan benutten om veiligheidsafstemming te omzeilen.
• Defensieperspectief: Het werk benadrukt de noodzaak van red-teaming strategieën die rekening houden met adaptieve aanvallers en complexe querystructuren. Het roept op tot toekomstig onderzoek naar defensies tegen dergelijke geautomatiseerde, meerfasige aanvallen en de ontwikkeling van veiligheidsevaluaties die de beperkingen en capaciteiten van echte niet-expert aanvallers weerspiegelen.

De auteurs hanteren een bescheiden toon en erkennen beperkingen zoals de focus op Engelse data, single-turn conversaties en het gebrek aan uitgebreide tests op propriëtaire modellen vanwege kosten en toegang. Zij positioneren hun werk als een stap naar het verhogen van de lat voor veiligheidsevaluaties en het inspireren van robuustere defensies.