💬 NLP

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features

Dieser Beitrag stellt Control Reinforcement Learning (CRL) vor, ein Framework, das eine Policy trainiert, um auf Token-Ebene interpretierbare Sparse-Autoencoder-Features dynamisch auszuwählen und zu verstärken, um die Ausgaben von LLMs zu steuern, wodurch Interventionsprotokolle pro Token und neue mechanistische Einblicke in das Modellverhalten über verschiedene Benchmarks hinweg bereitgestellt werden.

Ursprüngliche Autoren: Seonglae Cho, Zekun Wu, Adriano Koshiyama

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seonglae Cho, Zekun Wu, Adriano Koshiyama

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie das, das diesen Chat antreibt) als ein riesiges, komplexes Orchester vor. In diesem Orchester spielen Tausende von Musikern (Neuronen) gleichzeitig. Manchmal spielen sie eine wunderschöne Symphonie, aber manchmal geraten sie in Verwirrung und spielen die falschen Noten, was zu Halluzinationen oder schlechten Antworten führt.

Lange Zeit haben Wissenschaftler versucht, dieses Orchester zu verstehen, indem sie der Musik lauschten und räteten, welche Instrumente spielen. Sie entdeckten „Sparse Autoencoder" (SAEs), die wie ein übermächtiger Toningenieur wirken. Der SAE kann die Musik in einzelne, benannte Spuren zerlegen: „Mathe-Spur", „Sicherheitsspur", „Grammatikspur" usw.

Das Problem:
Nur zu wissen, welche Spuren spielen, reicht nicht aus. Nur weil die „Mathe-Spur" aktiv ist, bedeutet das nicht, dass das Hochdrehen dieser Spur ein Matheproblem löst. Manchmal macht das Hochdrehen einer Spur die Dinge sogar schlimmer. Bisherige Methoden konnten Ihnen sagen, was gespielt wurde, aber nicht, was passieren würde, wenn Sie die Lautstärke ändern.

Die Lösung: Control Reinforcement Learning (CRL)
Diese Arbeit stellt eine neue Methode namens Control Reinforcement Learning (CRL) vor. Stellen Sie sich CRL als die Einstellung eines klugen Dirigenten vor, der während der Aufführung direkt neben dem Orchester steht.

So funktioniert es, Schritt für Schritt:

1. Die Aufgabe des Dirigenten (Die Policy)

Bei jedem einzelnen Wort (Token), das das Modell sagen wird, betrachtet dieser Dirigent den aktuellen Zustand des Orchesters. Der Dirigent hat eine Fernbedienung mit Tasten für jede einzelne „Spur" (Feature), die der SAE identifiziert hat.

Die Entscheidung: Der Dirigent entscheidet: „Gerade jetzt müssen wir die Spur für 'Logisches Denken' hochdrehen" oder „Lassen Sie uns die Spur für 'Emotionale Voreingenommenheit' herunterdrehen."
Die Aktion: Der Dirigent passt sofort die Lautstärke dieser spezifischen Spur nur für dieses eine Wort an.

2. Lernen durch Tun (Reinforcement Learning)

Der Dirigent kennt die Regeln zunächst nicht. Er lernt, indem er das Spiel spielt:

Wenn das Orchester eine korrekte Antwort spielt, erhält der Dirigent eine „Belohnung" (einen Punkt).
Wenn das Orchester eine falsche Antwort spielt, erhält der Dirigent keine Punkte.
Mit der Zeit lernt der Dirigent genau, welche Spuren zu welchen Zeitpunkten verstärkt werden müssen, um die besten Ergebnisse zu erzielen.

3. Die „Adaptive Maske" (Verhinderung schlechter Gewohnheiten)

Ein kluger Dirigent könnte faul werden und einfach bei jedem Problem dieselbe „Mathe-Spur" hochdrehen. Um dies zu verhindern, verwendet die Arbeit einen Trick namens Adaptive Feature Masking.

Stellen Sie sich vor, der Dirigent hat eine Regel: „Sie dürfen dasselbe Instrument nicht zweimal hintereinander verwenden, es sei denn, Sie haben zuerst andere ausprobiert."
Dies zwingt den Dirigenten, verschiedene Teile des Orchesters zu erkunden und neue Wege zur Problemlösung zu entdecken, anstatt sich auf einen Trick zu verlassen.

4. Das „Logbuch" (Interpretierbarkeit)

Dies ist der größte Durchbruch der Arbeit. Da der Dirigent für jedes einzelne Wort eine spezifische Wahl trifft, erhalten wir ein detailliertes Logbuch der gesamten Aufführung.

Wir können zurückblicken und sagen: „Ah, bei Wort Nr. 5 hat der Dirigent die 'Sicherheitsspur' hochgedreht, was verhinderte, dass das Modell etwas Unhöfliches sagte."
Wir können genau sehen, warum das Modell erfolgreich war oder gescheitert ist. Es ist, als hätten wir ein Transkript der Gedanken des Dirigenten für jede gespielte Note.

Was haben sie entdeckt?

Durch die Anwendung dieser Methode auf ein Modell namens Gemma 2 entdeckten die Forscher einige faszinierende Dinge:

Frühe vs. späte Schichten: Das Orchester hat verschiedene Sektionen. Die „frühen" Sektionen (Schichten) kümmern sich um Grammatik und Struktur (wie Satzzeichen und Satzbau). Die „späten" Sektionen kümmern sich um die tiefe Bedeutung und Logik. Die Arbeit ergab, dass man, um ein Matheproblem zu lösen, oft die „späten" Sektionen anpassen muss, in denen die Logik lebt, und nicht nur die „frühen" Sektionen, in denen die Wörter gebildet werden.
Die „Verzweigungspunkte": Manchmal benötigen zwei sehr ähnliche Fragen völlig unterschiedliche Dirigentenaktionen, um die richtige Antwort zu erhalten. Das System kann den genauen Moment identifizieren, an dem sich der Pfad zwischen einer richtigen und einer falschen Antwort aufteilt.
Sicherheit vs. Voreingenommenheit: Das System lernte, dass die Behebung von „Voreingenommenheit" (Ungerechtigkeit) und die Behebung von „Sicherheit" (Ablehnung schädlicher Anfragen) unterschiedliche Strategien erfordern. Für einige Aufgaben muss der Dirigent sehr spezifisch sein; für andere muss er viele verschiedene Spuren erkunden.

Die Ergebnisse

Die Arbeit testete dies an verschiedenen Herausforderungen:

Mathe (GSM8K): Der Dirigent half dem Modell, mehr Matheprobleme zu lösen, indem er die richtigen logischen Spuren verstärkte.
Sicherheit (HarmBench): Das Modell wurde besser darin, sich zu weigern, schädliche Dinge zu tun, ohne übermäßig vorsichtig zu sein.
Wissen (MMLU): Das Modell gab genauere Antworten auf Wissensfragen.

Zusammenfassung:
Diese Arbeit sagt uns nicht nur, was die KI denkt; sie gibt uns ein Werkzeug, um das Denken der KI in Echtzeit, Wort für Wort, zu steuern. Sie verwandelt eine „Blackbox" in eine transparente Maschine, in der wir genau sehen können, welche internen Schalter umgelegt wurden, um die richtige Antwort zu erhalten. Es ist, als würde man einem Menschen eine Fernbedienung geben, um die inneren Gedanken der KI zu lenken und sicherzustellen, dass sie auf dem richtigen Weg bleibt.

Technische Zusammenfassung: Control Reinforcement Learning (CRL)

1. Problemstellung

Sparse Autoencoder (SAEs) haben sich als leistungsstarkes Werkzeug zur Zerlegung von Aktivierungen in Sprachmodellen in interpretierbare, für Menschen lesbare Merkmale erwiesen. Die bestehenden Analysemethoden sind jedoch weitgehend statisch: Sie identifizieren, welche Merkmale bei bestimmten Eingaben aktiviert werden, geben aber nicht Aufschluss darüber, welche Merkmale bei Verstärkung die Modellausgaben tatsächlich verändern. Aktuelle Techniken zur Aktivierungsmanipulation verlassen sich häufig auf kontrastive Datensätze zur Merkmalsauswahl oder auf umfangreiche Speicherung von Aktivierungen zur Optimierung der Koeffizienten und verfügen über keine adaptiven Feedbackmechanismen, um Steuerungsstrategien basierend auf der Generierungsqualität anzupassen.

Die Arbeit schließt die Lücke zwischen der statischen Merkmalsidentifikation und der dynamischen, interpretierbaren Intervention. Die Kernherausforderung besteht darin, ein Framework zu entwickeln, das nicht nur SAE-Merkmale zur Steuerung eines Modells auswählt, sondern auch Interventionsprotokolle auf Token-Ebene bereitstellt, die erklären, warum ein Merkmal ausgewählt wurde und wie es die Ausgabe beeinflusst, wodurch die Steuerung zu einem Werkzeug der mechanistischen Interpretierbarkeit wird.

2. Methodik: Control Reinforcement Learning (CRL)

Die Autoren schlagen Control Reinforcement Learning (CRL) vor, ein Framework, das die Steuerung von Transformer-Repräsentationen als Markov-Entscheidungsprozess (MDP) über SAE-Merkmale behandelt.

2.1. MDP-Formulierung

Zustand ( $S$ ): Die Beobachtung ist die Aktivierung des Residualstreams ( $x \in \mathbb{R}^d$ ) in einer spezifischen Schicht $\ell$ für die aktuelle Token-Position.
Aktion ( $A$ ): Ein binärer Vektor, der ein oder mehrere SAE-Merkmale zur Verstärkung auswählt. Die Policy wählt die Top- $k$ -Merkmale aus (typischerweise $k=1$ für Interpretierbarkeit).
Übergang ( $P$ ): Deterministisch, gesteuert durch den Vorwärtsdurchlauf des Transformers mit der angewendeten Merkmalsintervention.
Belohnung ( $R$ ): Aufgabenspezifische Belohnungen basierend auf der Qualität der endgültigen Ausgabe (z. B. Richtigkeit bei MMLU, Verweigerung bei Sicherheitstasks).

2.2. CRL-Token und Merkmalssteuerung

In jedem Generierungsschritt $t$ führt das Framework Interventionen auf Token-Ebene durch:
$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$
Dabei ist $a_t$ der sparse binäre Auswahlvektor, $c$ der Steuerungskoeffizient und $W_{dec}$ der SAE-Decoder. Das Policy-Netzwerk $\pi_\theta$ bildet Residualstream-Aktivierungen auf Logits für die Merkmalsauswahl ab und wird als 2-Schichten-MLP implementiert.

2.3. Adaptive Feature Masking (AFM)

Um zu verhindern, dass die Policy in eine kleine Menge häufig aktiver Merkmale kollabiert, führt CRL Adaptive Feature Masking ein.

Eine pro-Sample-Boolesche Maske schränkt die Auswahlmöglichkeiten für Merkmale ein.
Die Maske beginnt mit einer kleinen Teilmenge von Merkmalen und erweitert sich progressiv im Verlauf der Generierung, wobei Merkmale integriert werden, die in vorherigen Schritten natürlich aktiviert wurden.
Dieser Mechanismus fördert die Entdeckung vielfältiger Merkmale, während die Interpretierbarkeit von Interventionen mit einzelnen Merkmalen erhalten bleibt.

2.4. Optimierung

Die Policy und ein Critic-Netzwerk (zur Schätzung von Zustandswerten) werden mit Proximal Policy Optimization (PPO) trainiert.

Steuerungskoeffizient ( $c$ ): Wird adaptiv durch Mittelung der Aktivierungsstärken aus korrekt vorhergesagten Trainingsstichproben bestimmt, wodurch die manuelle Abstimmung über Schichten hinweg entfällt.
Critic-Netzwerk: Ein 2-Schichten-MLP, das die Wertfunktion $V_\phi(s)$ schätzt und es ermöglicht, Policy-Einschränkungen von Fehlern bei der Wertschätzung während der Analyse zu trennen.

3. Hauptbeiträge

Die Arbeit umreißt vier primäre Beiträge:

Interventionsprotokolle auf Token-Ebene: Ein Framework, das Protokolle erstellt, die exakt identifizieren, welches SAE-Merkmal bei jedem Token ausgewählt wurde und welchen Effekt es auf die Ausgabe hatte, was eine fein granulare Verhaltensanalyse ermöglicht.
Diagnosewerkzeuge:
- Branch Point Tracking: Identifiziert kritische Entscheidungspunkte, an denen identische Präfixe basierend auf der Merkmalsauswahl zu unterschiedlichen Ergebnissen führen.
- Critic Trajectory Analysis: Nutzt die gelernte Wertfunktion, um zwischen Policy-Fehlern (Merkmalsauswahl) und Critic-Fehlern (Belohnungsschätzung) zu unterscheiden.
Adaptive Feature Masking (AFM): Ein Mechanismus, der Exploration und Exploitation ausbalanciert, um eine vielfältige Merkmalsentdeckung sicherzustellen, ohne die Interpretierbarkeit von Interventionen mit einzelnen Merkmalen zu opfern.
Empirische Charakterisierung von Merkmalssemantik: Zeigt, dass frühe Schichten syntaktische Strukturen kodieren, während spätere Schichten abstrakte Semantik erfassen, und dass verschiedene Tasks unterschiedliche Bottleneck-Muster aufweisen.

4. Experimentelle Ergebnisse

Das Framework wurde an Gemma 2 2B (und LLaMA-3.1 8B) unter Verwendung von Gemma Scope und LLaMA Scope SAEs über fünf Benchmarks evaluiert: MMLU, BBQ, GSM8K, HarmBench und XSTest.

Leistungssteigerungen: CRL erzielte Verbesserungen über alle Benchmarks hinweg. Bemerkenswerte Steigerungen umfassen:
- HarmBench: +7,66 Prozentpunkte (41,46 % $\to$ 49,12 %).
- BBQ (Ambiguous): +5,69 Prozentpunkte.
- MMLU: +3,31 Prozentpunkte.
- GSM8K: +1,03 Prozentpunkte.
Komplementarität: CRL liefert additive Gewinne, wenn es auf Supervised Fine-Tuned (SFT)-Modelle angewendet wird (z. B. stieg die MMLU-Genauigkeit von 55,2 % auf 56,1 % mit SFT + CRL).
Schichtspezifische Semantik:
- Schicht 10: Merkmale erfassen konkrete, syntaktische Eigenschaften (z. B. „mathematische Notation", „Pronomen-Referenzen").
- Schicht 20: Merkmale erfassen abstrakte, kontextuelle Semantik (z. B. „Struktur logischer Herleitungen", „mathematische Beweise").
- Die optimalen Interventionsschichten variieren je nach Task (z. B. Schicht 5 für BBQ, Schicht 24 für MMLU).
Critic-Analyse:
- BBQ: Zeigt eine effektive Policy-Critic-Koordination mit klarer Diskriminierung von Stichproben.
- MMLU: Zeigt ein „Critic-Bottleneck", bei dem korrigierte und fehlgeleitete Stichproben kaum unterscheidbar sind, was darauf hindeutet, dass der Critic Schwierigkeiten hat, den Wert für komplexe Reasoning-Tasks zu schätzen.
- HarmBench vs. XSTest: HarmBench zeigt klare Lücken zwischen korrekten und inkorrekten Stichproben, während XSTest invertierte Schätzungsmuster aufweist, was auf taskspezifische Herausforderungen bei der Belohnungsschätzung hinweist.

5. Bedeutung und Behauptungen

Die Arbeit positioniert CRL als bedeutenden Fortschritt in der mechanistischen Interpretierbarkeit. Ihre primäre Bedeutung liegt im Paradigmenwechsel von der statischen Merkmalsanalyse (Beobachtung dessen, was aktiviert) zu dynamischen Interventionsproben (Beobachtung dessen, was das Modell verändert).

Interpretierbarkeit: Durch die Erzwingung der Auswahl einzelner Merkmale und die Protokollierung von Interventionen bietet CRL eine „mechanistische" Sicht auf das Modellverhalten und zeigt, dass Merkmale wie „mathematische Operationen" lexikalisch auf quantitative Einheiten wie „Babys" in Wortaufgaben verallgemeinern können.
Diagnosefähigkeit: Das Framework dient als Diagnosewerkzeug sowohl für das Modell als auch für den SAE. Kollabiert eine Policy trotz AFM auf semantisch inkohärente Merkmale, signalisiert dies eine Unzulänglichkeit des SAE (z. B. fehlende Konzepte oder Polysemie) und nicht ein Versagen der Steuerungsmethode.
Praktikabilität: CRL arbeitet mit geringem Inferenz-Overhead (8–9 % Latenz) und erfordert kein Nachtrainieren der Basisgewichte des Modells, was einen leichten, nachträglichen Verbesserungsmechanismus bietet.

Die Autoren schließen, dass das erlernte Steuern von Merkmalen in Kombination mit Reinforcement Learning ein praktisches Werkzeug zum Verständnis und zur Kontrolle von Sprachmodellen etabliert, das die statische Analyse durch dynamische, aufgaben spezifische Erkenntnisse ergänzt.