🤖 machine learning

Localizing RL-Induced Tool Use to a Single Crosscoder Feature

Diese Arbeit zeigt, dass Dedicated Feature Crosscoders (DFC) eine kompakte Menge von durch RL induzierten Merkmalen in Qwen2.5-3B isolieren können, die nicht nur die Korrektheit des Tool-Callings signifikant verbessern, sondern auch die Übertragung dieser agentischen Fähigkeiten auf ein eingefrorenes Basismodell ermöglichen und somit eine kontrollierte Verhaltenssteuerung ohne erneutes Training erleichtern.

Ursprüngliche Autoren: Andrii Shportko, Shubham Bhokare, Ahmed Zeyad A Alzahrani, Bowen Cheng, Gustavo Mercier, Jessica Hullman

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrii Shportko, Shubham Bhokare, Ahmed Zeyad A Alzahrani, Bowen Cheng, Gustavo Mercier, Jessica Hullman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), der weiß, wie man spricht, schreibt und Fragen beantwortet. Aber er weiß nicht, wie man Werkzeuge benutzt, wie zum Beispiel einen Taschenrechner aufzurufen oder im Internet zu suchen. Sie bringen ihm diese neue Fähigkeit mit einer Methode namens Reinforcement Learning (RL) bei, was so ist, als würde man dem Roboter eine Belohnung geben, jedes Mal, wenn er ein Werkzeug korrekt verwendet.

Nach diesem Training ist der Roboter ein Experte im Umgang mit Werkzeugen. Aber hier liegt das Rätsel: Wo genau in dem Gehirn des Roboters war diese neue Fähigkeit gespeichert? War sie über das ganze Gehen verteilt oder gab es einen winzigen, spezifischen Schalter, der umgelegt wurde?

Dieses Paper versucht, diesen Schalter zu finden. So sind die Forscher dabei vorgegangen, einfach erklärt:

1. Das Problem: Ein chaotisches Gehirn

Wenn man einen Roboter trainiert, wird sein internes „Gehirn“ (mathematische Repräsentationen) chaotisch. Es ist schwer zu sagen, welcher Teil des Gehirns für die neuen Werkzeug-Fähigkeiten verantwortlich ist und welcher Teil einfach nur die ursprüngliche Persönlichkeit des Roboters ist.

2. Das Werkzeug: Eine spezielle „Röntgen“-Maschine

Die Forscher bauten ein spezielles Werkzeug namens Dedicated Feature Crosscoder (DFC). Denken Sie an dieses Werkzeug als an ein hochmodernes Prisma oder einen prisma-ähnlichen Filter.

Sie nahmen den ursprünglichen Roboter (Modell B) und den trainierten Roboter (Modell A).
Sie ließen deren „Gedanken“ durch dieses Prisma scheinen.
Das Prisma teilt die Gedanken in drei Stapel auf:
1. Der „Original“-Stapel: Dinge, die nur der ursprüngliche Roboter tut.
2. Der „Gemeinsame“-Stapel: Dinge, die beide Roboter tun.
3. Der „Exklusive“-Stapel: Dinge, die nur der trainierte Roboter tut (die neuen Werkzeug-Fähigkeiten).

3. Die große Entdeckung: Der „magische Schalter“

Die Forscher erwarteten, dass die neuen Werkzeug-Fähigkeiten über den gemeinsamen Stapel verteilt oder darin vermischt wären. Stattdessen machten sie eine erstaunliche Entdeckung:

Die neue Fähigkeit war in nur EINEN winzigen Schalter (ein einzelnes Feature) konzentriert.

Die Analogie: Stellen Sie sich vor, das Gehirn des Roboters ist eine riesige Bibliothek mit Millionen von Büchern. Man könnte denken, dass das Erlernen der Werkzeugnutzung das Lesen von 10.000 neuen Büchern erfordert. Aber dieses Paper fand heraus, dass die gesamte Fähigkeit „Werkzeuge benutzen“ in einem einzigen Buch gespeichert war.
Der Beweis: Als sie nur diesen einen spezifischen Schalter beim ursprünglichen, untrainierten Roboter auf „An“ stellten, begann der Roboter plötzlich, Werkzeuge korrekt zu benutzen! Sie mussten ihn nicht neu trainieren. Sie mussten nur diesen einen Schalter umlegen, und der Roboter besaß die Fähigkeit.

4. Der „Spillover“-Effekt

Hier bemerkten sie einen lustigen Nebeneffekt. Da sie die beiden Roboter gemeinsam mit diesem Prisma trainiert hatten, sickerte die „Idee“, Werkzeuge zu benutzen, auch nach außen durch.

Obwohl sie den Schalter nur für den trainierten Roboter umgelegt hatten, wurde auch der ursprüngliche Roboter (der das Training nie gesehen hatte) ein kleines bisschen besser im Umgang mit Werkzeugen, nur weil er Teil des Prozesses war.
Analogie: Es ist wie zwei Personen, die gemeinsam für eine Prüfung lernen. Eine Person lernt das Material perfekt. Die andere Person nimmt, nur indem sie im selben Raum sitzt und in dieselben Notizen schaut, versehentlich auch ein wenig des Wissens auf, obwohl sie nicht hart gelernt hat.

5. Warum das wichtig ist

Das Paper zeigt, dass wir einen Roboter nicht neu trainieren müssen, um sein Verhalten zu ändern. Wir können einfach den spezifischen „Schalter“ finden, der ein Verhalten steuert (wie das Benutzen eines Werkzeugs), und ihn umlegen.

Vorher: Um einen Roboter zu reparieren, müsste man ihn vielleicht von Grund auf neu trainieren (wie noch einmal die Schule besuchen).
Jetzt: Man kann einfach den einen Schalter finden und umlegen (wie das Licht einzuschalten).

Zusammenfassung der Ergebnisse

Sie testeten 48 verschiedene Versionen ihres „Prisma“-Werkzeugs, um sicherzustellen, dass es funktioniert.
Sie fanden einen spezifischen Schalter, der, wenn man ihn umlegte, die Genauigkeit des Roboters bei der Werkzeugnutzung um 65 % steigen ließ.
Sie bewiesen, dass dieser Schalter einzigartig für den trainierten Roboter ist und im ursprünglichen Modell nicht existiert.
Sie zeigten, dass es die Sache tatsächlich verschlechtert, wenn man versucht, diesen Schalter mit anderen „gemeinsamen“ Teilen zu mischen (wie den Versuch, eine Uhr mit einem Hammer zu reparieren).

Kurz gesagt: Die Forscher fanden heraus, dass komplexe neue Verhaltensweisen in der KI nicht überall verstreut sind. Sie sind oft in einem einzigen, winzigen, steuerbaren Schalter verborgen. Wenn man diesen Schalter findet, kann man das Verhalten des Roboters sofort kontrollieren, ohne zusätzliches Training.

Technisches Resümee: Lokalisierung der RL-induzierten Werkzeugnutzung auf ein einzelnes Crosscoder-Feature

Problemstellung

Obwohl Reinforcement Learning (RL) Fine-Tuning LLMs effektiv dazu befähigt, agentische Verhaltensweisen wie strukturierte Werkzeugaufrufe (Tool Invocation) auszuführen, bleibt die mechanistische Basis dieser internen Repräsentationsänderungen unzureichend verstanden. Insbesondere ist unklar, welche Features während des RL entstehen, welche erhalten bleiben und ob diese Features isoliert werden können, um eine trainingsfreie Verhaltenssteuerung zu ermöglichen. Bestehende Werkzeuge der mechanistischen Interpretierbarkeit, wie Sparse Autoencoder (SAEs) und Crosscoder, bieten Rahmenwerke zur Dekomposition von Modellaktivierungen, aber ihre Fähigkeit, kapazitätsspezifische Unterschiede zwischen einem Basismodell und einem RL-feinabgestimmten Modell zu isolieren, wurde bisher nicht systematisch evaluiert.

Methodik

Die Autoren untersuchen diese Fragen unter Verwendung einer Dedicated Feature Crosscoder (DFC)-Architektur, die auf ein Paar von Modellen angewendet wird, welche die Qwen2.5-3B-Architektur teilen:

Modell A (RL): Eine mittels ToolRL feinabgestimmte Variante, die zur strukturierten Werkzeugaufruf-Fähigkeit fähig ist.
Modell B (Base): Das ursprüngliche, unveränderte Qwen2.5-3B.

Architektur und Training:
Der DFC unterteilt ein gemeinsames spärliches Wörterbuch (Sparse Dictionary) in drei Sub-Wörterbücher: A-exklusiv, B-exklusiv und gemeinsam (shared). Gradient Masking erzwingt Exklusivität, indem es jedes Modell dazu zwingt, nur aus seinem zugewiesenen Partition zu lesen und in diesen zu schreiben. Das Trainingsziel minimiert den Rekonstruktionsverlust (MSE), während Sparheitsbeschränkungen (Top-k) und spezifische Strafen ( $\lambda_{excl}$ ) auf die exklusiven Partitionen angewendet werden, um zu testen, ob diese als „Senken“ (die alle Kapazitätsunterschiede isolieren) oder als „Filter“ fungieren.

Experimentelles Design:

Hyperparameter-Sweep: Die Autoren trainierten und evaluierten 48 Varianten (36 DFCs und 12 Standard-Crosscoder) über einen systematischen Sweep von Wörterbuchgrößen ( $D$ ), Sparheitsbudgets ( $k$ ), Anteilen der exklusiven Partition ( $p$ ) und Straff magnitudes ( $\lambda_{excl}$ ).
Evaluationsmetriken: Die Leistung wurde über tool_correctness (fuzzy Matching der aufgerufenen Tools zum Prompt) und format_accuracy (Vorhandensein der korrekten JSON-Struktur) gemessen.
Steuerprotokoll (Steering Protocol): Features wurden nach Cohen's $d$ (Differenz in der Aktivierung zwischen Tool-Use- und allgemeinem Text-Kontext) gerankt. Das gezielte Steering beinhaltete das Hinzufügen eines Korrekturvektors zum Residual Stream von Modell A basierend auf spezifischen Feature-Teilmengen ( $S$ ).

Zentrale Beiträge und Ergebnisse

1. Kapazitäts-Spillover und Rekonstruktionstreue

Die Studie zeigt, dass ein Kapazitäts-Spillover stattfindet: Das Durchreichen der Aktivierungen des eingefrorenen Basismodells (Modell B) durch einen gemeinsam trainierten Crosscoder und die passive Rekonstruktion dieser überträgt die Fähigkeit zum Werkzeugaufruf ohne Fine-Tuning.

Ergebnis: Die Tool-Korrektheit von Modell B stieg nach der Rekonstruktion von 0 % auf 6,8 % ± 5,0 pp.
Implikation: Die Intention des Werkzeugaufrufs ist während des gemeinsamen Trainings in die gemeinsamen Decoder-Gewichte delokalisiert. Die Formatgenauigkeit (die spezifische XML/JSON Oberflächenform) trat jedoch nicht durch, was darauf hindeutet, dass während die semantische Intention geteilt wird, die strukturelle Template-Maschinerie in engen RL-spezifischen Features isoliert bleibt.

2. DFC als Filter, nicht als Senke

Die Autoren testeten, ob die exklusive Partition die RL-induzierten Kapazitäten perfekt isoliert (eine „Senke“).

Befund: Die Bestrafung der exklusiven Partition ( $\lambda_{excl} > 0$ ) verschlechterte die Fidelität von Modell A und drängte relevante Tool-Informationen zurück in die gemeinsame Partition.
Schlussfolgerung: Die exklusive Partition fungiert als ein Filter, der die stärksten modellspezifischen Features konzentriert, aber nicht in der Lage ist, kapazitätsspezifische Inhalte vollständig vom gemeinsamen Repräsentationssubstrat zu entkoppeln.

3. Sättigung des Single-Feature-Steerings

Ein zentraler Befund ist, dass die RL-induzierte Werkzeugnutzungs-Kapazität auf ein minimales Set von Features lokalisiert werden kann, oft auf ein einzelnes Neuron.

Ergebnis: Das Steuern eines einzelnen A-exklusiven Neurons ( $|S|=1$ ) erreichte eine Steigerung der Tool-Korrektheit um +65,0 pp (95 % KI [+47,9, +82,1]).
Vergleich: Diese Einzelneuron-Intervention entsprach der Leistung beim Steuern aller 7 verfügbaren A-exklusiven Neuronen. Im Gegensatz dazu benötigte ein Standard-Crosscoder das Steuern von 33 Features, um seine Spitzenleistung zu erreichen.
Generalisierung: Dieser Sättigungseffekt eines einzelnen Neurons generalisierte über die Mehrheit der untersuchten Layer (7 von 9) mit einer mittleren Verbesserung von +43,3 pp.

4. Geometrische Trennung

Eine UMAP-Analyse der Decoder-Gewichte bestätigte, dass die DFC-Architektur räumlich distinkte Regionen für A-exklusive, B-exklusive und gemeinsame Features schafft. Im Gegensatz dazu zeigten Standard-Crosscoder (ohagenen ohne Gradient Masking) eine uniforme Mischung biased Features, was darauf hindeutet, dass die saubere Trennung ein Artefakt der architektonischen Partitionierung ist und nicht bloß ein Label-Imbalance-Effekt.

5. Interferenz bei kombiniertem Steering

Das gleichzeitige Steuern sowohl von A-exklusiven als auch von gemeinsamen Features führte zu destruktiver Interferenz, was eine geringere Leistung (+35,0 pp) im Vergleich zum alleinigen Steuern von A-exklusiven Features (+65,0 pp) zur Folge hatte. Dies deutet darauf hin, dass nicht-orthogonale Decoder-Richtungen Rauschen verstärken, wenn sie mit gleichen Koeffizienten gesteuert werden.

Bedeutung und Ansprüche

Das Paper behauptet, dass Dedicated Feature Crosscoder ein vielversprechendes Werkzeug zur Identifizierung und Modulation von Repräsentationen sind, die durch RL-Post-Training eingeführt wurden. Die Bedeutung liegt in drei Hauptbereichen:

Verhaltenssteuerung zur Laufzeit: Die Fähigkeit, agentische LLMs über ein einzelnes Feature ohne Retraining zu steuern, bietet einen gradientenfreien Kontrollmechanismus zur Inferenzzeit. Dies positioniert DFC-basiertes Steering als komplementären Ansatz zu RLHF, DPO und SFT für Sicherheit und Verhaltensmodifikation.
Mechanistische Interpretierbarkeit: Die Ergebnisse legen nahe, dass agentische Fähigkeiten (speziell die Werkzeugnutzung) in ein spärliches, steuerbares Feature-Set komprimiert werden können. Das Phänomen des „Kapazitäts-Spillovers“ hebt hervor, dass gemeinsame spärliche Dekompositionen unbeabsichtigt Fähigkeiten in Basismodelle reintroduzieren können, was eine kritische Überlegung für die Modellsicherheit und Veröffentlichung darstellt.
Einschränkungen und Bescheidenheit: Die Autoren merken explizit an, dass ihre Metriken die Neigung messen, korrekte Werkzeugaufrufe unter festen Prompts zu emittieren, und nicht die Installation einer völlig neuen Fähigkeit im Basismodell. Sie räumen ein, dass der Architektur-Effekt t-Test unterpowert ist (12 CrossCoder-Läufe gegenüber 36 DFC-Läufen) und dass die besten-Zell-Steering-Ergebnisse noch nicht an einer frischen Stichprobe repliziert wurden. Sie behaupten nicht, dass RL eine Werkzeugnutzungs-Fähigkeit installiert, die dem Basismodell gänzlich fehlt, sondern dass es eine Neigung (Propensity) moduliert.

Zusammenfassend demonstriert die Arbeit, dass die durch RL induzierte Werkzeugnutzung keine diffuse, uninterpretierbare Änderung ist, sondern in einem minimalen, steuerbaren Feature-Set konzentriert ist, das mittels DFCs isoliert und manipuliert werden kann, was eine präzise, trainingsfreie Verhaltenssteuerung ermöglicht.