Technische Samenvatting: ContextualJailbreak

Probleemstelling

Grote Taalmodellen (LLM's) blijven kwetsbaar voor jailbreak-aanvallen die veiligheidsuitlijning omzeilen, ondanks uitgebreide training via Reinforcement Learning from Human Feedback (RLHF). Hoewel bestaande methoden voor geautomatiseerd red-teaming prompts voor één beurt succesvol hebben geoptimaliseerd via black-box zoektochten, slagen ze grotendeels er niet in om contextuele priming aan te pakken—het fenomeen waarbij eerdere beurten in een gesprek later antwoorden subtiel beïnvloeden. Huidige op optimalisatie gebaseerde aanvallers behandelen de invoer als een statisch, een-beurt-artefact, zelfs als dat artefact ingebedde context bevat. Deze structurele beperking sluit aanvallen uit waarbij een gespreksverloop het interpretatiekader van het model geleidelijk vormgeeft voordat het schadelijke verzoek wordt gedaan. Bijgevolg blijft het ontwerpruimte voor effectieve, meervoudige beurt-geprimeerde dialogen grotendeels onontdekt door geautomatiseerde systemen.

Methodologie

Het artikel introduceert ContextualJailbreak, een black-box red-teaming-strategie die evolutionaire zoektochten uitvoert over een gesimuleerde meervoudige beurt-geprimeerde dialoog in plaats van een enkele prompt. Het systeem behandelt het volledige gespreksverloop als het primaire object van optimalisatie.

Kernarchitectuur

De methode werkt als een iteratieve feedbacklus bestaande uit de volgende fasen:

1. Doel- en Zaadselectie: Voor een specifiek schadelijk gedrag (doel) samplet het systeem historische sjablonen (zaden) uit een database. De selectie is score-gebiasseerd, waarbij clusters met hogere schadescores prioriteit krijgen, terwijl diversiteit wordt behouden via een temperatuur-geschaalde softmax-mechanisme.
2. Contextuele Priming-mutatoren: Het systeem selecteert één van vijf semantisch gedefinieerde mutatie-operatoren om het gesprek te transformeren. Deze operatoren bepalen hoe de dialoog wordt ingekaderd om het uiteindelijke schadelijke verzoek als een natuurlijke voortzetting te laten lijken:
   • Rollenspel: Wijs een professionele of analytische rol toe aan de assistent.
   • Scenario: Plaats de interactie binnen een gestructureerd verhaal (bijvoorbeeld fictief of historisch).
   • Uitbreiden: Breng achtergrondinformatie en motivaties in om de interpretatie te beïnvloeden.
   • Probleemoplossing: (Nieuw) Kader het doel in als het diagnosticeren van een mislukt proces of experiment.
   • Mechanistisch: (Nieuw) Richt zich op analytisch redeneren over systeemmechanismen en causale decompositie.
3. Mutatie-prompt & Generatie: Een gestructureerde prompt met de strategie, het doel en historische voorbeelden wordt ingevoerd bij een aanvalmodel (generator), dat een nieuw meervoudige beurt-adversariaal sjabloon produceert.
4. Evaluatie: Het sjabloon wordt geïnstancieerd met het targetgedrag en naar de target-LLM gestuurd. Antwoorden worden geëvalueerd door een twee-niveau oordelsysteem:
   • Barrier Judge: Een lichtgewicht filter dat een score van 0 toekent aan duidelijke weigeringen of irrelevante veilige voltooiingen, waarbij de main judge wordt overgeslagen.
   • Main Judge: Een gestructureerde 0–5 schadescore (gebaseerd op de Hagendorff-rubric) die de mate evalueert waarin het antwoord onrecht mogelijk maakt. Een score van 4 geeft een bijna volledig schadelijk antwoord aan, terwijl 5 volledig schadelijk is.
5. Feedbacklus: Het gescorede sjabloon en de redenering van de judge worden teruggevoerd naar de zaadpool om volgende generaties te sturen.

Bedreigingsmodel

De studie veronderstelt een black-box-adversariale setting waarin de aanvrager beschikt over:

• Query-toegang tot de target-LLM via een API (één oproep per poging).
• Toegang tot publieke benchmarks voor schadelijk gedrag (HarmBench).
• Toegang tot auxiliaire generator- en judgemodellen.
• Geen toegang tot modelgewichten, logits of trainingsdata.
• Geen per-target aanpassing tijdens transfer-experimenten (aanvallen die op open-source proxies zijn ontdekt, worden letterlijk herhaald op frontier-modellen).

Belangrijkste Bijdragen

1. Evolutionaire Zoektocht over Contextuele Priming: Dit is de eerste geautomatiseerde black-box jailbreak-strategie die een meervoudige beurt-geprimeerde dialoog behandelt als het primaire object van evolutionaire zoektocht, waardoor het gespreksverloop zelf een zoekvariabele wordt.
2. Nieuwe Mutatie-operatoren: De auteurs introduceren twee hoogrenderende mutatoren, probleemoplossing en mechanistisch, die niet zijn afgeleid van eerdere werk over sjabloontransformatie. Empirische analyse toont aan dat deze tot de sterkste drijvers zijn voor het bereiken van hoge Aanvalssuccespercentages (ASR), met name op moeilijke targets.
3. Empirisch Bewijs van Provider-niveau Asymmetrie: Het artikel levert grootschalig bewijs dat aanvallen die zijn geëvolueerd tegen een open-source proxy effectief overdragen naar gesloten frontier-modellen van OpenAI en Google, maar significant falen tegen Anthropic-modellen. Dit onthult een scherpe asymmetrie in uitlijningsrobustheid die onafhankelijk is van modelgrootte.

Experimentele Resultaten

De strategie werd geëvalueerd op 50 representatieve gedragingen uit HarmBench over vier open-source targets (gpt-oss:20B, gpt-oss:120B, llama3.1:70B, qwen3-8B) en vergeleken met vier baselines (DirectRequest, Encoding, HumanJailbreak, Crescendo).

• Aanvalseffectiviteit: ContextualJailbreak behaalde 100% ASR@4 op gpt-oss:20B, qwen3-8B en llama3.1:70B, en 90% ASR@4 op de robuuste gpt-oss:120B. Dit presteerde gemiddeld 31–96 procentpunten beter dan alle baselines. Opmerkelijk is dat gpt-oss:120B 100% van de directe verzoeken weigerde (0% ASR@4), maar werd gecompromitteerd door 90% van de meervoudige beurt-geprimeerde aanvallen.
• Context versus Inhoud: Een gecontroleerde vergelijking toonde aan dat Context Priming (gestructureerde meervoudige beurt) significant beter presteerde dan Single Sequence (geflattende inhoud) en Directe verzoeken. De structurele organisatie van de dialoog, niet alleen de semantische inhoud, werd geïdentificeerd als de kritische factor, waarbij ASR@5 gemiddeld sprong van 29% (Single Sequence) naar 90% (Context Priming).
• Mutator-analyse: De probleemoplossing- en mechanistische operatoren bleken de primaire drijvers voor het vooruitsturen van de zoektocht naar hoge ASR-drempels. Probleemoplossing domineerde de incrementele vooruitgang (ASR@1 tot ASR@4), terwijl uitbreiden gespecialiseerd was in finale exploitatie (ASR@5).
• Transfer-aanvallen:
  • Open-source Transfer: Aanvallen die op sterkere modellen (bijvoorbeeld 120B) waren ontdekt, transferden effectief naar zwakkere modellen (bijvoorbeeld 8B, 20B), maar het omgekeerde gold niet.
  • Frontier Transfer: 40 maximaal schadelijke aanvallen die tegen gpt-oss:120B waren ontdekt, werden letterlijk herhaald op gesloten frontier-modellen. Ze behaalden 90,0% ASR@4 op gpt-4o-mini, 70,0% op gpt-5 en 70,0% op gemini-3-flash. In schril contrast behaalden ze slechts 17,5% op claude-opus-4-7 en 15,0% op claude-sonnet-4-6.

Betekenis en Claims

Het artikel beweert dat gesimuleerde meervoudige beurt-contextuele priming een kwalitatief superieure aanvalsoppervlakte is in vergelijking met single-turn prompt-perturbatie. De bevindingen suggereren dat:

1. Uitlijnstrategie > Modelgrootte: Robustheid wordt meer bepaald door de uitlijnrecept van de provider dan door het aantal parameters. De Anthropic-veiligheidsstack toonde aanzienlijk hogere weerstand tegen transfer-aanvallen in vergelijking met OpenAI en Google, zelfs bij vergelijking van grotere (Opus) met kleinere (Sonnet) modellen binnen dezelfde familie.
2. Structurele Exploitatie: De kwetsbaarheid ligt in de gespreksuitlijning van het model. Door eerdere overeenstemming en context te simuleren, dwingt de aanval het model om het schadelijke verzoek te verwerken vanuit een gecompromitteerde staat waarbij het afwijzen van de laatste prompt de gespreksconsistentie zou verbreken.
3. Verdedigingsimplicaties: Naarmate LLM's verschuiven naar interactieve, meervoudige beurt-toepassingen, moeten verdedigingen evolueren van eenvoudige prompt-niveau filtering naar contextbewuste uitlijning die veerkrachtig blijft in veranderende gespreksverlopen. De waargenomen asymmetrie op provider-niveau suggereert dat robuuste verdedigingen haalbaar zijn, maar specifieke architecturale of trainingsaanpassingen vereisen die verschillen van huidige standaardpraktijken.

De auteurs benadrukken dat de volledige aanvaldatabase wordt achtergehouden voor openbare release om misbruik te voorkomen, in overeenstemming met verantwoordelijke openbaarmakingsprotocollen die alleen worden gedeeld met de betrokken providers.