Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

1. Het Probleem

Grote AI-aanbieders bieden nu fine-tuning-API's aan voor hun geavanceerde modellen. Hoewel dit nuttig is voor domeinspecifieke taken, creëert het een nieuw aanvalsoppervlak: tegenstanders kunnen modellen finetunen om veiligheidsmaatregelen te omzeilen en gevaarlijke inhoud te genereren (zoals instructies voor de synthese van chemische, biologische, radiologische en nucleaire (CBRN) wapens).

De huidige staat-van-de-kunst verdediging is Constitutional Classifiers (van Anthropic), LLM-based contentfilters die zijn getraind om schadelijke inhoud te detecteren. Eerdere onderzoekswerk (zoals Covert Malicious Fine-tuning) toonde aan dat het omzeilen van deze filters via codering (encoding) vaak resulteerde in een aanzienlijke degradatie van de redeneercapaciteiten van het model (de zogenaamde "jailbreak tax" van meer dan 25%). Dit beperkte de praktische dreiging, omdat het model dan geen gedetailleerde, expert-level instructies meer kon geven.

De kernvraag: Is het mogelijk om een model te finetunen dat veiligheidsfilters omzeilt zonder de redeneercapaciteiten van het model significant te verliezen?

2. Methodologie: Trojan-Speak

De auteurs introduceren Trojan-Speak, een aanvalsbenadering die deze "jailbreak tax" elimineert. De methode combineert drie kerncomponenten:

A. Twee-staps Curriculum Learning

Om de redeneercapaciteiten te behouden terwijl het model een nieuwe codering leert, gebruiken ze een gefaseerde aanpak:

• Fase 1 (Teaching): Het model wordt getraind op ongeveer 25.000 voorbeelden van algemene conversaties (uit het LMSYS-Chat-1M dataset) die zijn gecodeerd. Het doel is om vloeiend te communiceren in de gecodeerde vorm zonder blootstelling aan schadelijke inhoud. Dit bouwt "coderingsbekwaamheid" op.
• Fase 2 (STEM Tasks): Het model wordt getraind op complexe STEM-vragen (wiskunde, wetenschap) uit de Llama-Nemotron dataset. Hierbij wordt een curriculum decay toegepast: het percentage gecodeerde voorbeelden loopt lineair af van 80% naar 20%, terwijl 20% van de voorbeelden onversleuteld blijft. Dit zorgt ervoor dat het model zijn basisredeneervermogen behoudt terwijl het de codering consolideert.

B. Hybride RL + SFT Training

Reinforcement Learning (RL) alleen is instabiel voor deze taak; fouten in de codering stapelen zich op en leiden tot "collapse" (het model produceert onleesbare tekst).

• De auteurs gebruiken GRPO (Group Relative Policy Optimization) voor RL, waarbij het model beloningen krijgt voor correcte antwoorden op gecodeerde vragen.
• Dit wordt afgewisseld met Supervised Fine-Tuning (SFT) stappen op correct geformatteerde voorbeelden.
• Deze hybride aanpak stabiliseert het trainingsproces: de SFT-stappen fungeren als een regularisator die de codering consistent houdt, terwijl de RL-stappen de taakprestaties optimaliseren.

C. Minimalistische Codering en Templates

• Substitutie-cijfer: In plaats van complexe encryptie, gebruiken ze een substitutie-cijfer waarbij alleen de meest frequente letters in het Engels worden vervangen (bijv. 'e' wordt 'S'). Figuur 2 toont dat het vervangen van slechts 7 frequente letters al leidt tot een 99%+ omzeilingskans, terwijl minder vervangingen de redeneercapaciteit beter behouden.
• Camouflage (Templates): Omdat classifiers ook tekst die eruitziet als versleuteld kunnen flaggen, wordt de gecodeerde inhoud verpakt in templates die lijken op legitieme technische data, zoals forensische logboekanalyses of blockchain-transactie-ID's (met 0x-prefixen). Dit maakt de gecodeerde tekst onopvallend voor de classifier.

3. Belangrijkste Resultaten

• Omzeiling zonder Capabiliteitsverlies: Trojan-Speak bereikt een 99%+ omzeilingskans voor Constitutional Classifiers. Cruciaal is dat modellen met 14B+ parameters meer dan 95% van hun oorspronkelijke redeneercapaciteit behouden op benchmarks zoals GPQA-Diamond, MMLU-Pro en MATH-500. Dit staat in schril contrast met eerdere methoden die >25% degradatie rapporteerden.
• Expert-level Gevaarlijke Inhoud: De gefinetunte modellen kunnen gedetailleerde, expert-level antwoorden geven op CBRN-vragen (bijv. het extraheren van ricine) die door de bug-bounty benchmark van Anthropic zijn gedefinieerd. Ze scoren 85,2% op deze schaal, vergeleken met ~55% voor SFT-only en ~27% voor eerdere methoden (CMFT).
• Grootte van het Model: Grotere modellen (Haiku 4.5, Qwen3 32B) behouden ~95% van hun capaciteit. Kleinere modellen (Qwen3 4B/8B) vertonen meer degradatie, wat suggereert dat voldoende modelcapaciteit nodig is om zowel de codering als complexe redenering tegelijkertijd te hanteren.
• Detectie door Activatie-probes: Hoewel tekst-classifiers falen, tonen activatie-probes (lineaire classifiers getraind op de verborgen staten van het model) veelbelovende resultaten. Zodra het model de codering heeft geleerd, wordt de schadelijke inhoud zichtbaar in de interne activaties van het model, wat leidt tot een hoge detectie-AUC (0,97-0,99). Eerdere methoden om deze probes te omzeilen (zoals het mengen van onschadelijke inhoud) bleken niet effectief.

4. Bijdragen en Betekenis

• Paradigmaverschuiving: Het paper toont aan dat de trade-off tussen omzeilingseffectiviteit en modelnut niet inherent is. Adversariale fine-tuning is een kwalitatief andere bedreiging dan inference-time jailbreaks, omdat de tegenstander de interne representaties van het model kan herschrijven.
• Beperking van LLM-classifiers: Het bewijst dat LLM-based contentclassifiers alleen onvoldoende zijn om gevaarlijke informatielekken te voorkomen wanneer tegenstanders toegang hebben tot fine-tuning. Ze kunnen niet decoderen wat ze niet begrijpen, terwijl het gefinetunte model de sleutel bezit.
• Nieuwe Defensie Richting: De auteurs pleiten voor multi-layered verdediging. Omdat tekstfilters kunnen worden omzeild, moeten verdedigingen ook op het niveau van modelactivaties (representation-level monitoring) worden toegepast. Activatie-probes blijken robuust te zijn tegen deze specifieke aanval, zelfs als de tekstoppervlakte onschuldig lijkt.
• Waarschuwing voor de Toekomst: Aangezien fine-tuning-API's steeds meer geavanceerde modellen beschikbaar maken, vormt deze "capaciteitsbehoudende" aanval een toenemend risico voor de synthese van gevaarlijke stoffen.

Conclusie: Trojan-Speak demonstreert dat het mogelijk is om veilige AI-modellen te "vergiftigen" via fine-tuning zonder hun intelligentie te verlammen, wat een kritieke kwetsbaarheid blootlegt in de huidige veiligheidsarchitectuur van AI-systemen.