Technische Samenvatting: Off-Distribution Stemmen: Fanfiction-subgenres als Universele Vernaculair

1. Probleemstelling

Huidig onderzoek naar het 'jailbreaken' van afgestemde Large Language Models (LLMs) richt zich op discrete artefacten: adversariële suffixen, specifieke persona-overrides of handmatig vervaardigde prompt-templates. Deze aanvallen bezitten herkenbare oppervlaktevormen die leveranciers kunnen fingerprinteren en patchen, wat leidt tot een "kat-en-muis"-race over individuele prompts.

De auteurs stellen dat dit perspectief een fundamentele kwetsbaarheid mist: alignment-training faalt niet tegen specifieke slimme zinnen, maar tegen een geheel van natuurlijke menselijke schrijftaal (registers) die de veiligheidstraining onvoldoende heeft gedekt. Hoewel modellen zijn voorgetraind op enorme hoeveelheden door lezers gestuurde creatieve teksten (bijv. fanfiction), faalt de veiligheidsafstemming vaak bij het behandelen van schadelijke procedurele inhoud wanneer deze is ingebed binnen deze specifieke, onschuldige narratieve stemmen. Het artikel stelt dat het verschuiven van de inputdistributie naar deze "off-distribution" registers de veiligheidsfilters omzeilt die vertrouwen op keyword-matching of template-detectie.

2. Methodologie

Het artikel introduceert een nieuwe aanvalsfamilie die echte fanfiction-subgenres gebruikt als universele dragers voor aanvallen. De methodologie bestaat uit drie componenten:

A. De Five-Shot AO3 Conditioning Meta

De aanval vertrouwt niet op een aanvallend LLM om de jailbreak-prompt dynamisch te genereren. In plaats daarvan wordt een statisch, five-shot conditioning-mechanisme gebruikt:

1. Bronmateriaal: Passages zijn afkomstig van Archive of Our Own (AO3), het grootste open archief van door lezers gestuurde fanfiction.
2. Subgenres: Twaalf verschillende subgenres zijn geselecteerd, variërend in narratieve vorm, affectieve boog, worldbuilding en introspectieve stem (bijv. screenplay_format, epistolary, danmei_xianxia, hurt_comfort).
3. Meta-Prompt: Een "creatieve schrijfcoach"-prompt (gebruikmakend van GPT-5.4-mini) wordt geconstrueerd. Deze biedt vijf echte passages uit een specifiek subgenre en vraagt het doel-LLM om een korte scène te schrijven in diezelfde stem, waarbij de climax van de scène de beoogde schadelijke gedragingen op natuurlijke wijze inbedt.
4. Geen Expliciete Override: De meta-prompt bevat geen expliciete jailbreak-instructies of beleidsoverrides; het aanvalssignaal wordt volledig afgeleid van de distributionele eigenschappen van het gekozen register.

B. Structurele Overlays en Stijltransfer

De auteurs voeren een factorieel experiment uit waarbij de 12 registers worden gekruist met 7 structurele overlays (inclusief bestaande baselines zoals Adversarial Poetry, DeepInception en Crescendo). Dit isoleert de bijdrage van het "register" (de stem) versus de "structuur" (de template).

C. SAGA-A4 (Static Multi-Turn Attack)

Om de aanval uit te breiden naar multi-turn dialogen, stellen de auteurs SAGA-A4 voor, een statische vier-turns pipeline die geen aanvallend LLM en geen per-target aanpassing vereist. De turns zijn:

1. T1 (Register Entry): Vestigt de scène en het register zonder de daad af te beelden.
2. T2 (Consistency Commitment): Verdiept de setting en zintuiglijke details, waarbij het register behouden blijft.
3. T3 (FITD Bridge): Somt concrete objecten/voorbereidingen op die vereist zijn, waardoor men zich verder committeert aan het scenario.
4. T4 (Operational Climax): Beeldt de eigenlijke uitvoering van de schadelijke gedraging af met procedurele specificiteit, waarbij gebruik wordt gemaakt van de commitments die in de voorgaande beurten zijn gedaan.

D. Evaluatieprotocol

• Targets: 8 afgestemde LLMs (4 open-weight families: Qwen, Llama, Gemma; 2 closed-source: Gemini, DeepSeek).
• Benchmarks: Een unie van HarmBench (200 gedragingen) en JailbreakBench (90 gedragingen), wat in totaal 290 schadelijke gedragingen over 16 gevarencategorieën beslaat.
• Beoordeling: Een vier-judge ensemble (HarmBench-13B, LlamaGuard-3-8B, WildGuard-7B, en GPT-5.4-mini scorend op StrongREJECT) met een 2-van-4 meerderheidsregel om de Attack Success Rate (ASR) te bepalen.

3. Belangrijkste Resultaten

A. Superioriteit van Register boven Structuur

• ASR Verbetering: De vernacular (fanfiction register) aanval bereikte een gemiddelde ASR van 0,731 over alle modellen, vergeleken met 0,278 voor zes bestaande baseline-templates. Dit is een verbetering van 3,11×.
• Register vs. Lengte: Lengte-gelijke controles (PlanX) verminderden de ratio tot 2,21×, maar elimineerden het voordeel niet, wat bewijst dat de register-stem een onafhankelijke, lengte-invariante aanvaldimensie is.
• Template Onafhankelijkheid: Een "template-vrije plain" cel (die alleen de 5-shot register meta gebruikt zonder extra structurele overlay) bereikte een ASR van 0,769, wat overeenkomt met de beste bestaande overlays. Dit geeft aan dat de keuze van het conditioning-register de dominante factor is, en niet de structurele template.

B. Multi-Turn Prestaties

• SAGA-A4 bereikte een gemiddelde ASR van 0,924, wat aanzienlijk hoger is dan drie bestaande multi-turn methoden (Crescendo: 0,383, FITD: 0,786, ActorAttack: 0,799).
• De statische, handgeschreven aard van SAGA-A4 presteerde beter dan adaptieve varianten die gebruikmaken van aanvallende LLMs, die een verminderde prestatie lieten zien omdat de veiligheidstraining van de aanvaller de keten verzwakte.

C. Defensie-analyse

• Actieve Defenses: Twee actieve defensies, Self-Reminder en SmoothLLM, werden geëvalueerd.
• Contraintuïtief Resultaat: In de meeste gevallen zorgden deze defensies ervoor dat de ratio tussen de vernacular en de baseline juist groter werd in plaats van kleiner. Ze onderdrukten bestaande templates agressief, maar waren minder effectief tegen register-geconditioneerde aanvallen.
• Implicatie: Template-gerichte defensies leiden aanvallers slechts naar register-gebaseerde aanvallen. Het artikel merkt op dat input-laag filters (zoals die van DeepSeek-V4-Pro) broos zijn, terwijl model-laag veiligheid (zoals in Gemini-2.5-Pro) beter reageert op self-reminders, maar nog steeds faalt tegen de register-verschuiving.

D. Variantie in Gevarencategorieën

De aanval was het meest effectief tegen categorieën waar veiligheidstraining zwaar leunt op oppervlakte-keywords (bijv. Physical harm, Sexual/Adult content), waar de ratio tussen de vernacular en de baseline het hoogst was. Categorieën met reeds zwakke baselines vertoonden minder relatieve winst.

4. Betekenis en Claims

Het artikel claimt de volgende bijdragen en implicaties:

1. Eerste Fanfiction-Register Jailbreak Familie: Het is het eerste werk dat echte, door lezers gestuurde fanfiction-subgenres gebruikt als universele dragers voor jailbreaks, waarbij het corpus zelf als de aanvaldimensie wordt behandeld in plaats van een enkel handgekozen register.
2. Structureel Falen: De auteurs stellen dat het falen van afgestemde LLMs structureel is. De veiligheidstraining heeft de specifieke "gemeenschappen" (registers) niet gedekt die de modellen tijdens de pre-training hebben geïnternaliseerd. De modellen hebben de stem van deze gemeenschappen geleerd, maar niet de veiligheidsbeperkingen binnen hen.
3. Beperkingen van Huidige Defenses: De auteurs beweren dat huidige defensies (input filters, template detectie) onvoldoende zijn omdat ze zich richten op discrete artefacten. Omdat de register-verschuiving een natuurlijke taal-distributieverschuiving is, moeten defensies opereren op de model-laag of aan de output-zijde.
4. Evaluatiestandaard: De auteurs stellen voor dat toekomstige evaluaties register-geconditioneerde aanvallen moeten bevatten en de vernacular-to-baseline ratio moeten rapporteren om de resterende veiligheidsmarge te vatten. Alleen vertrouwen op template-gebaseerde benchmarks onderschat het risico.
5. Ethische Houding: Het onderzoek wordt geframed als red-teaming om evaluatie te verscherpen. De auteurs verklaren expliciet dat zij niet aanbevelen deze aanvallen op echte gebruikerssystemen te implementeren en behandelen de aanvalsdata als gecontroleerd materiaal, waarbij zij alleen de register- en structuurdetails vrijgeven en geen kopieer-plakbare payloads.

Concluderend demonstreert het artikel dat de "veiligheidskloof" in LLMs niet een gebrek is aan slimme prompts, maar een gebrek aan dekking in de natuurlijke registers van menselijke creatieve schrijfactiviteiten. Door schadelijke instructies in de climax van een fanfiction-scène in te bedden, kunnen aanvallers veiligheidsfilters omzeilen die zijn getuned om directe verzoeken of bekende template-structuren te detecteren.