Involuntary In-Context Learning: Exploiting Few-Shot Pattern Completion to Bypass Safety Alignment in GPT-5.4

Titel: Involuntary In-Context Learning (IICL): Het omzeilen van veiligheidsafstemming in GPT-5.4 via Few-Shot Pattern Completion

1. Het Probleem

Grote Taalmodellen (LLM's) worden veilig gemaakt door middel van "behavioral alignment" (gedragsafstemming), zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO). Deze technieken trainen het model om schadelijke verzoeken te weigeren. Echter, deze veiligheid is een statistische voorkeur, geen harde architecturale garantie.

Het paper identificeert een fundamentele spanning tussen In-Context Learning (ICL) en veiligheidsafstemming. ICL stelt modellen in staat om nieuwe taken te leren uit voorbeelden in de context zonder parameters aan te passen. De auteurs stellen dat een sterke ICL-patroon, wanneer deze in een structuur wordt gepresenteerd die afwijkt van de trainingsdata voor veiligheid, de weigeringstendens van het model kan overrulen. Bestaande jailbreak-methoden (zoals rollenspellen of codering) zijn vaak syntactisch; IICL is daarentegen semantisch en structureel.

2. Methodologie: Involuntary In-Context Learning (IICL)

IICL is een aanvalsklasse die gebruikmaakt van abstracte operator-frames met few-shot voorbeelden om het model te dwingen een patroon te voltooien dat veiligheidsbeperkingen omzeilt.

• Het Mechanisme: De aanval definieert twee abstracte operatoren: answer (een antwoord genereren) en is_valid (valideren of het antwoord correct is).
• Few-Shot Voorbeelden: De aanvalsprompt bevat een reeks voorbeelden die een impliciete mapping leren:
  • Voor onschadelijke inputs: is_valid = No.
  • Voor schadelijke inputs: is_valid = Yes.
• De Payload: De aanval vraagt het model om een antwoord te genereren voor een nieuwe, schadelijke input, zodanig dat is_valid resulteert in Yes.
• De Omleiding: Omdat de schadelijke inhoud wordt gepresenteerd als een abstracte operator-evaluatie in plaats van een direct verzoek, worden de inhoudelijke veiligheidsfilters niet geactiveerd. Het model volgt het patroon van "patroonvoltooiing" in plaats van "veiligheidsweging".

Experimenteel Ontwerp:
De auteurs voerden een grootschalige empirische studie uit met 3479 probes over 10 OpenAI-modellen (van GPT-4.1 tot GPT-5.4-pro).

• Ablatiestudie: Zeven experimenten (1550 probes) om de effectieve componenten te isoleren (aantal voorbeelden, volgorde, abstractie, operator-namen, temperatuur).
• Benchmark: Evaluatie op de HarmBench (220 probes) tegen GPT-5.4.
• Robuustheidsonderzoek: Een survey over alle 10 modellen (1699 probes).

3. Belangrijkste Bijdragen en Resultaten

A. Ablatiestudie: Kritieke Factoren
De studie identificeerde welke factoren de aanval succesvol maken:

1. Semantische Operator-naming (Cruciaal): Het gebruik van de namen answer en is_valid bereikte een 100% omzeilingspercentage (50/50 probes). Semantisch neutrale namen (zoals X/Y) bereikten slechts 52%. Dit suggereert dat de semantische lading van de termen de instructie-volgende circuits van het model "koopt".
2. Abstracte Framing: Zonder abstracte operator-notatie (d.w.z. directe Q&A) is de aanval 0% succesvol, zelfs met dezelfde schadelijke inhoud. De abstractie is de sleutel tot het omzeilen van content-filters.
3. Voorbeeldvolgorde: Interleaved ordering (wisselend onschadelijk/schadelijk: B, H, B, H...) bereikte 76%. Een "schadelijk-eerst" volgorde resulteerde in slechts 6%, omdat het model te vroeg de veiligheidsdrempel activeert.
4. Aantal Voorbeelden: Een combinatie van 5 schadelijke en 5 onschadelijke voorbeelden is optimaal. Zonder schadelijke voorbeelden is de aanval 0% succesvol.
5. Temperatuur: De temperatuur (0.0 tot 1.0) had geen significant effect (46–56%), wat wijst op een patroonherkenningsmechanisme in plaats van een stochastisch sampling-proces.

B. Prestaties op HarmBench

• Tegen GPT-5.4 bereikte de geoptimaliseerde IICL-aanval een omzeilingspercentage van 24,0% (95% CI [18,6%, 30,4%]).
• Ter vergelijking: Directe verzoeken zonder aanval hadden een percentage van 0,0%.
• Succesvolle omzeilingen leverden gedetailleerde antwoorden op van gemiddeld 619 woorden.
• Categorie-gevoeligheid: Sociale schade (pesten, fraude) was veel kwetsbaarder (75% en 33%) dan fysieke schade (wapens, drugs, geweld: 2-12%).

C. Model-Robuustheid
De studie onthulde een bimodale verdeling in kwetsbaarheid:

• Robuust (6 modellen): gpt-5-mini, gpt-5, gpt-5-pro, gpt-5.2, gpt-5.2-pro, en gpt-5.4-pro hadden 0% omzeiling. Alle "Pro"-varianten zijn blijkbaar gehard tegen deze aanval.
• Fragiel (4 modellen): gpt-4.1, gpt-4o, gpt-5.1, en gpt-5.4 hadden een omzeilingspercentage van ~2% tot 15%.
• Attacker Success Rate (ASR): Hoewel het gemiddelde percentage laag lijkt bij fragiele modellen, slaagt een aanval in 60-100% van de gevallen als de aanvaler meerdere pogingen doet voor dezelfde query.

4. Significatie en Implicaties

• Nieuwe Aanvalsklasse: IICL is fundamenteel anders dan eerdere jailbreaks. Het codeert de payload niet (zoals bij cipher-attacks), maar verandert de semantische context van de taak. Dit maakt detectie via decodering onmogelijk.
• Kwetsbaarheid van "Soft" Safety: De aanval bewijst dat veiligheidsafstemming een statistische voorkeur is die kan worden overruled door sterkere in-context patronen, zelfs in de nieuwste modellen (GPT-5.4).
• Operator-Naming Fenomeen: De ontdekking dat de keuze van operator-namen (answer/is_valid) de aanval van 52% naar 100% kan tillen, is een cruciale inzicht in hoe LLM's instructies interpreteren. Het suggereert dat de "instructie-volgende" circuits dieper verankerd zijn dan de veiligheidsfilters.
• Verdedigingsstrategieën: Het paper stelt dat verdediging moet focussen op:
  1. Detectie van structurele patronen (operator-definities met boolean validatie).
  2. Trainen met adversarial voorbeelden in abstracte frames.
  3. Het harden van "Pro"-modellen, aangezien deze al robuust blijken te zijn, wat suggereert dat de oplossing in de trainingspipeline ligt, niet noodzakelijk in de modelgrootte.

Conclusie:
IICL toont aan dat de spanning tussen het leren van patronen uit de context (ICL) en veiligheidsafstemming een fundamenteel zwak punt blijft in LLM's. Zelfs geavanceerde modellen zoals GPT-5.4 kunnen worden omzeild door schadelijke inhoud te framen als een abstracte validatietaken, waarbij de keuze van de juiste semantische termen en voorbeeldvolgorde de sleutel is tot succes.