Technische Samenvatting: Mitigeren van Adaptieve Aanvallen op Redenerende Modellen met Activeringsconsistentietraining

Probleemstelling

Naarmate Large Language Models (LLM's) uitgebreide chain-of-thought (CoT)-redenering adopteren, heeft het veiligheidslandschap verschoven. Hoewel CoT prestatiewinst oplevert, introduceert het nieuwe kwetsbaarheden: modellen kunnen zichzelf "in naleving praten", waarbij ze een aanvraag aanvankelijk als schadelijk identificeren maar deze tijdens het redeneren geleidelijk als onschuldig herformuleren. Bovendien exploiteren externe aanvallen (zoals H-CoT, CoT-Hijacking) dit kanaal om veiligheidsfilters te omzeilen.

Bestaande verdedigingen staan in deze context voor twee hoofduitdagingen:

1. Redeneercomplexiteit: Methoden zoals Deliberative Alignment vertrouwen erop dat het model de veiligheid doordacht, maar bewijs suggereert dat dit ontoereikend is tegen geavanceerde aanvallen.
2. Trainingschaalbaarheid: Op training gebaseerde verdedigingen tegen prompt-injectie (zoals StruQ, SecAlign) vereisen doorgaans toezicht op de volledige outputverdeling van het model. Voor redenerende modellen betekent dit toezicht houden op honderden of duizenden CoT-tokens per voorbeeld, wat computergewijs duur is en moeilijk schaalbaar naarmate de trace-lengtes toenemen.

De paper vraagt zich af of redenerende modellen getraind kunnen worden om schadelijke context te negeren zonder toezicht op de volledige, lange denktrace te vereisen.

Methodologie

De auteurs onderzoeken Consistency Training, een zelftoezichtend raamwerk dat identiek gedrag afdwingt op een schone prompt ($p_{clean}$) en een op adversariele wijze herschreven "ingepakte" prompt ($p_{wrapped}$). Ze vergelijken twee varianten:

1. Bias-Augmented Consistency Training (BCT): Een output-niveau benadering. Het model wordt via cross-entropy fijngefineerd om de schone-prompt-completie van het basismodel (inclusief de volledige CoT en reactie) te reproduceren wanneer het de ingepakte input krijgt.
2. Activation Consistency Training (ACT): Een activatieniveau-benadering. In plaats van outputs te toezien, dwingt ACT overeenstemming af op de interne verborgen staten van het model. Specifiek minimaliseert het de gekwadrateerde L2-afstand tussen de verborgen staten van de ingepakte prompt en de schone prompt op gemeenschappelijke suffix-posities (doorgaans de chat-templategrens en het begin van de assistentbeurt) over alle transformerlagen.

Belangrijkste Technische Details

• Extractie van Gedeelde Suffix: De methode identificeert de langste overeenkomende tokenreeks tussen de schone en ingepakte prompts na chat-templating. In adversariele situaties bestaat dit doorgaans slechts uit ~6 tokens (einde-gebruiker-markers, opener voor assistentbeurt, en initiële tokens voor het denk-kanaal), onafhankelijk van de redeneerlengte.
• Verliesfunctie: Voor een bevroren basismodel $\theta_{init}$ en een LoRA-geadaptiseerd model $\theta$ is het verlies:
  $$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$$
  waarbij $\text{sg}$ stop-gradient aanduidt.
• Goedaardige Regularisatie: Om verslechtering van de bruikbaarheid te voorkomen, wordt een verliesterm toegevoegd op goedaardige prompts ($L_{benign}$) met een wegingsfactor $\lambda$.
• Trainingsdata: Beide methoden gebruiken identieke paren van $(p_{clean}, p_{wrapped})$. Voor BCT dient de completie van het basismodel op $p_{clean}$ als doel; voor ACT zijn alleen de prompts vereist.

Belangrijkste Bijdragen

1. ACT als Verdediging tegen Prompt-injectie: De auteurs formuleren ACT als een verdediging tegen prompt-injectie. Over drie benchmarks (OPI, AlpacaFarm, SEP) en vijf redenerende modellen heen, presteert ACT gelijk aan of beter dan BCT. Cruciaal vereist ACT geen vaste labels of toezicht over de volledige CoT.
2. Generalisatie naar Adaptieve Aanvallen: De studie evalueert verdedigingen tegen adaptieve aanvallers die via Reinforcement Learning (GRPO) direct op het verdedigde model getraind zijn. ACT toont superieure robuustheid tegen deze adaptieve aanvallen in vergelijking met BCT over bijna alle doelen in zowel jailbreak- als prompt-injectiesituaties, terwijl het vergelijkbare modelbruikbaarheid behoudt.
3. Mechanistisch Inzicht: De paper levert bewijs dat de verdediging van ACT is gecodeerd als een ruwweg lineaire verschuiving in de activeringsruimte bij de grens van de assistentbeurt.
   • Lineaire Sturing: Een enkele sturingsrichting ($d_{ACT}$) kan worden hersteld. Het toevoegen van deze richting aan een basismodel induceert weigering bij jailbreaks, terwijl het aftrekken ervan van een met ACT verdedigd model naleving herstelt.
   • Robuustheid tegen CoT-manipulatie: In experimenten waarbij de CoT van het model wordt vervangen door een nalevende trace van een niet-verdedigd basismodel, blijft ACT de aanvraag weigeren, terwijl BCT vaak de nalevende redeneertraject volgt. Dit suggereert dat ACT weigering codeert voordat de redeneertrace begint.

Resultaten

• Prompt-injectie: Op statische benchmarks verminderen zowel ACT als BCT de Aanvalssuccespercentages (ASR) aanzienlijk. Echter, onder adaptieve aanvallen presteert ACT consequent beter dan BCT. Bijvoorbeeld, op GPT-OSS-20B had BCT een ASR van 57,4% onder adaptieve aanval, terwijl ACT op 37,0% bleef.
• Jailbreak-verdediging: ACT bereikt bijna 100% verdedigingswinstpercentages tegen zowel statische als adaptieve aanvallen op de meeste modellen (bijv. Qwen3-8B, Phi-4). De robuustheid van BCT degradeert aanzienlijk onder adaptieve aanvallen.
• Bruikbaarheid: Beide methoden behouden over het algemeen de bruikbaarheid van het niet-verdedigde baseline op taken zoals MMLU en nauwkeurigheid op schone prompts, met de opmerkelijke uitzondering van BCT op Phi-4-reasoning, waarbij de bruikbaarheid instortte.
• Mechanistische Validatie: Sturexperimenten bevestigden dat $d_{ACT}$ bidirectioneel werkt: het kan weigering induceren in basismodellen en weigering verwijderen in verdedigde modellen. De richting toonde selectiviteit, met minimale valse weigeringen op goedaardige inputs bij gematigde sturingssterktes.

Betekenis en Claims

De paper claimt dat het toezien op interne representaties (ACT) een verrassend effectieve en interpreteerbare aanpak is voor veiligheidstraining in redenerende modellen.

• Efficiëntie: ACT vermijdt de computere last van het toezien op duizenden CoT-tokens die vereist zijn door output-niveau methoden zoals BCT.
• Robuustheid: Door toezicht te verankeren bij de grens van de assistentbeurt (voordat redeneren begint), creëert ACT een verdediging die robuust is, zelfs wanneer de redeneertrace zelf gemanipuleerd of vervangen wordt.
• Interpreteerbaarheid: De ontdekking van een lineaire weigeringsrichting suggereert dat veiligheidsmechanismen in redenerende modellen kunnen worden gecontroleerd via eenvoudige activeringssturing, wat een potentiële weg biedt voor verdedigingen zonder training of dieper mechanistisch inzicht.

De auteurs erkennen beperkingen, waaronder de noodzaak om schone/ingepakte datasets te creëren, potentiële kwetsbaarheid voor white-box-aanvallen met directe gradiënttoegang, en het feit dat geen enkele verdediging 100% veiligheid bereikt. Ze positioneren ACT als een complementaire aanpak die de specifieke kwetsbaarheid adresseert die wordt geïntroduceerd door uitgebreide chain-of-thought-redenering.