🤖 machine learning

Mitigating Adaptive Attacks against Reasoning Models with Activation Consistency Training

Dieser Artikel zeigt, dass Aktivierungskonsistenztraining (ACT), das identische interne Repräsentationen für saubere und adversariale Prompts erzwingt, adaptive Jailbreak-Angriffe in Reasoning-Modellen wirksam abschwächt, indem es eine interpretierbare, lineare Steuerungsrichtung für Verweigerungen schafft, ohne die Leistung bei harmlosen Eingaben zu beeinträchtigen.

Ursprüngliche Autoren: Avidan Shah, Jannik Brinkmann, Rico Angell

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Avidan Shah, Jannik Brinkmann, Rico Angell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen hochintelligenten Assistenten vor, der unglaublich gut darin ist, komplexe Rätsel zu lösen. Um diese Rätsel zu lösen, gibt der Assistent nicht sofort eine Antwort; er schreibt stattdessen einen langen, detaillierten „Denkprozess" (wie einen Gedankenstrom) auf, bevor er seine endgültige Antwort ausspricht. Dies wird als Chain-of-Thought (CoT) bezeichnet.

Das Problem ist, dass clevere Trickbetrüger (Adversaries) gelernt haben, diesen Denkprozess zu entführen. Sie können versteckte Anweisungen einschmuggeln, die den Assistenten überzeugen, während er noch denkt, dass eine gefährliche Anfrage eigentlich sicher ist. Der Assistent redet sich dann selbst dazu, etwas zu tun, das er nicht sollte, wie etwa ein Geheimnis preiszugeben oder einen schädlichen Leitfaden zu verfassen.

Diese Arbeit stellt eine neue Methode vor, um diese Assistenten so zu trainieren, dass sie nicht getäuscht werden können, selbst wenn sie laut denken. Hier ist die Aufschlüsselung mit einfachen Analogien:

Die zwei Hauptcharaktere: BCT und ACT

Die Forscher testeten zwei verschiedene Trainingsmethoden, um den Assistenten gegen diese Tricks „immun" zu machen.

1. BCT (Bias-Augmented Consistency Training): Der „Skriptleser"

Wie es funktioniert: Stellen Sie sich vor, Sie unterrichten einen Schüler darin, Ablenkungen zu ignorieren. Mit BCT zeigen Sie dem Schüler eine saubere Frage und dann eine „tricky" Version derselben Frage. Sie zwingen den Schüler dann, den gesamten langen Denkprozess und die endgültige Antwort aus der sauberen Version zu lesen und diesen exakten Text zu wiederholen, wenn er die tricky Version sieht.
Der Haken: Da der Denkprozess hunderte von Wörtern lang sein kann, muss der Schüler jedes Mal ein massives Skript auswendig lernen. Wenn der Trickbetrüger den Denkprozess leicht verändert, könnte der Schüler verwirrt werden und scheitern.

2. ACT (Activation Consistency Training): Der „innere Kompass"

Wie es funktioniert: Anstatt den Schüler zu zwingen, das gesamte Skript auswendig zu lernen, konzentriert sich ACT auf den Moment kurz bevor der Schüler zu sprechen beginnt. Es betrachtet das „innere Gefühl" oder den „mentalen Zustand", den der Schüler genau in dem Moment hat, wenn er vom Denken zum Antworten wechselt.
Der Trick: Wenn der Schüler die tricky Frage sieht, zwingt das Training seinen inneren mentalen Zustand, identisch zum mentalen Zustand zu sein, den er hatte, als er die saubere Frage sah.
Das Ergebnis: Selbst wenn der Trickbetrüger versucht, den Denkprozess zu verändern, ist der „innere Kompass" des Schülers auf die sichere Einstellung festgelegt. Wenn er schließlich den Mund öffnet, um zu sprechen, befindet er sich bereits im „Ablehnungs"-Modus, sodass er sofort „Nein" sagt und den Versuch des Trickbetrügers ignoriert, das Gespräch zu steuern.

Warum ACT besser ist (Der „Pivot"-Test)

Die Forscher führten ein cooles Experiment durch, um zu beweisen, dass ACT anders funktioniert als BCT.

Der Aufbau: Sie nahmen eine „tricky" Frage und gaben dem Assistenten einen gefälschten, konformen Denkprozess (ein Skript, das sagt: „Okay, ich werde diese böse Sache tun").
Das BCT-Ergebnis: Der mit BCT trainierte Assistent sah sich das gefälschte Denk-Skript an, sah, dass es „Ja" sagte, und fuhr fort, „Ja" zu sagen. Es war zu abhängig vom Skript.
Das ACT-Ergebnis: Der mit ACT trainierte Assistent sah sich das gefälschte Skript an, aber weil sein „innerer Kompass" (der mentale Zustand am Beginn der Antwort) auf Sicherheit festgelegt war, pivotierte er. Er ignorierte das gefälschte Skript und sagte mitten im Satz: „Nein, das kann ich nicht tun."

Die „Lenkrad"-Entdeckung

Die Forscher entdeckten auch etwas Faszinierendes darüber, wie ACT funktioniert. Sie stellten fest, dass das Training im Wesentlichen ein einzelnes, unsichtbares „Ablehnungs-Lenkrad" im Gehirn des Assistenten installiert.

Das Lenkrad drehen: Wenn Sie einem normalen, untrainierten Assistenten ein wenig dieses „Lenk"-Signals hinzufügen, beginnt er plötzlich, böse Anfragen abzulehnen.
Zurückdrehen: Wenn Sie dieses „Lenk"-Signal von dem mit ACT trainierten Assistenten entfernen, wird er plötzlich wieder verwundbar und beginnt, „Ja" zu bösen Anfragen zu sagen.
Präzision: Dieses Lenkrad ist intelligent. Es dreht den Assistenten nur dann auf „Nein", wenn die Anfrage tatsächlich gefährlich ist. Wenn Sie eine normale, sichere Frage stellen, bewegt sich das Lenkrad kaum, sodass der Assistent für alltägliche Aufgaben weiterhin perfekt funktioniert.

Das Fazit

Die Arbeit behauptet, dass ACT eine überlegene Verteidigung ist, weil:

Es das Rauschen ignoriert: Es zwingt den Assistenten, die ablenkenden, tricky Teile des Prompts zu ignorieren, indem es den internen Zustand im Moment der Entscheidung festlegt.
Es robust ist: Selbst wenn ein Angreifer versucht, den Denkprozess des Assistenten neu zu schreiben, hält der „innere Kompass" den Assistenten sicher.
Es effizient ist: Es muss keine langen Skripte auswendig lernen; es muss nur das innere „Gefühl" des Modells am Beginn der Antwort ausrichten.

Kurz gesagt: Während andere Methoden versuchen, dem Assistenten beizubringen, die richtigen Antworten auswendig zu lernen, lehrt ACT den Assistenten, die richtige Antwort zu fühlen, bevor er überhaupt zu sprechen beginnt, was es viel schwieriger macht, ihn zu täuschen.

Technische Zusammenfassung: Abwehr adaptiver Angriffe auf Reasoning-Modelle durch Aktivitätskonsistenz-Training

Problemstellung

Da Large Language Models (LLMs) erweiterte Chain-of-Thought (CoT)-Reasoning-Verfahren übernehmen, hat sich das Sicherheitslandschaft verändert. Während CoT Fähigkeitsgewinne vorantreibt, führt es zu neuer Fragilität: Modelle können sich „durch Gespräche zur Compliance bewegen", indem sie eine Anfrage zunächst als schädlich identifizieren, sie während des Reasoning-Prozesses jedoch schrittweise als harmlos umdeuten. Darüber hinaus nutzen externe Angriffe (z. B. H-CoT, CoT-Hijacking) diesen Kanal aus, um Sicherheitsfilter zu umgehen.

Bestehende Abwehrmaßnahmen stehen in diesem Kontext vor zwei Hauptherausforderungen:

Reasoning-Komplexität: Methoden wie Deliberative Alignment setzen darauf, dass das Modell die Sicherheit durch Reasoning selbst überprüft, doch Hinweise deuten darauf hin, dass dies gegen ausgefeilte Angriffe unzureichend ist.
Skalierbarkeit des Trainings: Trainingsbasierte Abwehrmaßnahmen gegen Prompt-Injection (z. B. StruQ, SecAlign) erfordern typischerweise die Überwachung der gesamten Ausgabeverteilung des Modells. Bei Reasoning-Modellen bedeutet dies die Überwachung von Hunderten oder Tausenden von CoT-Tokens pro Beispiel, was rechnerisch teuer ist und mit zunehmender Länge der Spuren schwer skalierbar wird.

Die Arbeit fragt, ob Reasoning-Modelle so trainiert werden können, dass sie schädlichen Kontext ignorieren, ohne eine Überwachung der gesamten, langen Denkspur zu benötigen.

Methodik

Die Autoren untersuchen Konsistenz-Training (Consistency Training), ein selbstüberwachtes Framework, das identisches Verhalten auf einem sauberen Prompt ( $p_{clean}$ ) und einem adversarisch umformulierten „eingewickelten" Prompt ( $p_{wrapped}$ ) erzwingt. Sie vergleichen zwei Varianten:

Bias-Augmented Consistency Training (BCT): Ein Ansatz auf Ausgabenebene. Das Modell wird mittels Cross-Entropy feinabgestimmt, um die saubere Prompt-Vervollständigung des Basismodells (einschließlich der gesamten CoT und Antwort) bei Eingabe des eingewickelten Inputs nachzubilden.
Aktivitätskonsistenz-Training (ACT): Ein Ansatz auf Aktivierungsebene. Anstatt Ausgaben zu überwachen, erzwingt ACT eine Übereinstimmung der internen versteckten Zustände des Modells. Konkret minimiert es den quadrierten L2-Abstand zwischen den versteckten Zuständen des eingewickelten Prompts und des sauberen Prompts an gemeinsamen Suffix-Positionen (typischerweise die Chat-Vorlagen-Grenze und der Beginn des Assistant-Turns) über alle Transformer-Schichten hinweg.

Wichtige technische Details

Extraktion gemeinsamer Suffixe: Die Methode identifiziert die längste übereinstimmende Token-Sequenz zwischen dem sauberen und dem eingewickelten Prompt nach der Chat-Vorlagen-Erstellung. In adversarischen Settings umfasst dies üblicherweise nur etwa 6 Tokens (Ende-des-Nutzer-Marker, Eröffnung des Assistant-Turns und initiale Thinking-Channel-Tokens), unabhängig von der Reasoning-Länge.
Verlustfunktion: Für ein eingefrorenes Basismodell $\theta_{init}$ und ein LoRA-adaptiertes Modell $\theta$ lautet die Verlustfunktion:
$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$
wobei $\text{sg}$ für Stop-Gradient steht.
Harmlose Regularisierung: Um eine Verschlechterung der Nutzbarkeit zu verhindern, wird ein Verlustterm für harmlose Prompts ( $L_{benign}$ ) mit einem Gewichtungsfaktor $\lambda$ hinzugefügt.
Trainingsdaten: Beide Methoden verwenden identische Paare von $(p_{clean}, p_{wrapped})$ . Für BCT dient die Vervollständigung des Basismodells auf $p_{clean}$ als Ziel; für ACT sind nur die Prompts erforderlich.

Wichtige Beiträge

ACT als Abwehr gegen Prompt-Injection: Die Autoren formulieren ACT als Abwehrmaßnahme gegen Prompt-Injection. Über drei Benchmarks (OPI, AlpacaFarm, SEP) und fünf Reasoning-Modelle hinweg erreicht ACT Ergebnisse, die mit BCT gleichziehen oder diese übertreffen. Entscheidend ist, dass ACT keine festen Labels oder Überwachung der gesamten CoT erfordert.
Generalisierung auf adaptive Angriffe: Die Studie bewertet Abwehrmaßnahmen gegen adaptive Angreifer, die mittels Reinforcement Learning (GRPO) direkt auf dem verteidigten Modell trainiert wurden. ACT zeigt im Vergleich zu BCT eine überlegene Robustheit gegen diese adaptiven Angriffe bei nahezu allen Zielen sowohl im Jailbreak- als auch im Prompt-Injection-Kontext, bei gleichzeitiger Aufrechterhaltung einer vergleichbaren Modellnutzbarkeit.
Mechanistische Einsicht: Die Arbeit liefert Belege dafür, dass die Abwehr von ACT als eine annähernd lineare Verschiebung im Aktivierungsraum an der Grenze des Assistant-Turns kodiert ist.
- Lineare Steuerung: Eine einzelne Steuerungsrichtung ( $d_{ACT}$ ) kann rekonstruiert werden. Das Hinzufügen dieser Richtung zu einem Basismodell bewirkt eine Verweigerung bei Jailbreaks, während das Abziehen davon von einem durch ACT verteidigten Modell die Compliance wiederherstellt.
- Robustheit gegenüber CoT-Manipulation: In Experimenten, bei denen die CoT des Modells durch eine konforme Spur eines ungeschützten Basismodells ersetzt wurde, lehnte ACT die Anfrage weiterhin ab, während BCT oft der konformen Reasoning-Trajektorie folgte. Dies deutet darauf hin, dass ACT die Verweigerung bevor die Reasoning-Spur beginnt kodiert.

Ergebnisse

Prompt-Injection: Auf statischen Benchmarks reduzieren sowohl ACT als auch BCT die Attack Success Rates (ASR) erheblich. Unter adaptiven Angriffen übertrifft ACT jedoch konsistent BCT. Beispielsweise lag bei GPT-OSS-20B die ASR von BCT unter adaptiven Angriffen bei 57,4 %, während ACT bei 37,0 % blieb.
Jailbreak-Abwehr: ACT erzielt bei den meisten Modellen (z. B. Qwen3-8B, Phi-4) nahezu 100 % Verteidigungsgewinnraten gegen sowohl statische als auch adaptive Angriffe. Die Robustheit von BCT verschlechtert sich unter adaptiven Angriffen erheblich.
Nutzbarkeit: Beide Methoden bewahren im Allgemeinen die Nutzbarkeit des ungeschützten Baselines bei Aufgaben wie MMLU und der Genauigkeit bei sauberen Prompts, mit der bemerkenswerten Ausnahme von BCT bei Phi-4-reasoning, wo die Nutzbarkeit kollabierte.
Mechanistische Validierung: Steuerungsexperimente bestätigten, dass $d_{ACT}$ bidirektional wirkt: Es kann bei Basismodellen Verweigerung induzieren und bei verteidigten Modellen Verweigerung entfernen. Die Richtung zeigte Selektivität und verursachte bei moderaten Steuerungsstärken nur minimale falsche Verweigerungen bei harmlosen Eingaben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Überwachung interner Repräsentationen (ACT) ein überraschend effektiver und interpretierbarer Ansatz für Sicherheitstraining in Reasoning-Modellen ist.

Effizienz: ACT vermeidet die rechnerische Last der Überwachung Tausender CoT-Tokens, die von Methoden auf Ausgabenebene wie BCT erforderlich ist.
Robustheit: Durch die Verankerung der Überwachung an der Grenze des Assistant-Turns (bevor das Reasoning beginnt) schafft ACT eine Abwehr, die selbst dann robust ist, wenn die Reasoning-Spur selbst manipuliert oder ersetzt wird.
Interpretierbarkeit: Die Entdeckung einer linearen Verweigerungsrichtung legt nahe, dass Sicherheitsmechanismen in Reasoning-Modellen durch einfache Aktivitätssteuerung kontrolliert werden können, was einen potenziellen Weg für trainingfreie Abwehrmaßnahmen oder ein tieferes mechanistisches Verständnis eröffnet.

Die Autoren räumen Einschränkungen ein, darunter die Notwendigkeit der Erstellung von sauberen/eingewickelten Datensätzen, eine potenzielle Anfälligkeit gegenüber White-Box-Angriffen mit direktem Gradientenzugriff und die Tatsache, dass keine der beiden Abwehrmaßnahmen 100 %ige Sicherheit bietet. Sie positionieren ACT als ergänzenden Ansatz, der die spezifische Fragilität adressiert, die durch erweitertes Chain-of-Thought-Reasoning eingeführt wird.