Technische Samenvatting: Lokalisatie van door RL geïnduceerd gereedschapsgebruik naar een enkele Crosscoder-feature

Probleemstelling

Hoewel Reinforcement Learning (RL) fine-tuning effectief stelt om Large Language Models (LLM's) in staat te brengen agentische gedragingen te vertonen, zoals gestructureerde tool-aanroepen, blijft de mechanistische basis van deze interne representatieveranderingen slecht begrepen. Specifiek is het onduidelijk welke features ontstaan tijdens RL, welke behouden blijven, en of deze features geïsoleerd kunnen worden om retraining-vrije gedragscontrole mogelijk te maken. Bestaande mechanistische interpreteerbaarheidstools, zoals Sparse Autoencoders (SAEs) en Crosscoders, bieden kaders voor het decomponeren van modelactivaties, maar hun vermogen om capaciteit-specifieke verschillen tussen een basismodel en een door RL gefinetuned model te isoleren, is nog niet systematisch geëvalueerd.

Methodologie

De auteurs onderzoeken deze vragen met behulp van een Dedicated Feature Crosscoder (DFC) architectuur toegepast op een paar modellen die de Qwen2.5-3B architectuur delen:

• Model A (RL): Een ToolRL-gefinetunde variant die in staat is tot gestructureerde tool-aanroepen.
• Model B (Base): Het originele, ongewijzigde Qwen2.5-3B.

Architectuur en Training:
De DFC verdeelt een gezamenlijke ijle dictionary in drie sub-dictionaries: A-exclusief, B-exclusief en gedeeld. Gradient masking dwingt exclusiviteit af, waardoor elk model alleen leest van en schrijft naar zijn eigen aangewezen partitie. Het trainingsdoel minimaliseert de reconstructiefout (MSE) terwijl sparsity-beperkingen (Top-k) en specifieke straffen ($\lambda_{excl}$) worden toegepast op de exclusieve partities om te testen of deze fungeren als "sinks" (die alle capaciteitsverschillen isoleren) of als "filters".

Experimenteel Ontwerp:

• Hyperparameter Sweep: De auteurs trainden en evalueerden 48 varianten (36 DFC's en 12 standaard Crosscoders) over een systematische sweep van dictionary groottes ($D$), sparsity budgets ($k$), exclusieve partitie aandelen ($p$) en straf-magnitudes ($\lambda_{excl}$).
• Evaluatiemetrieken: Prestaties werden gemeten via tool_correctness (fuzzy matching van aangeroepen tools aan de prompt) en format_accuracy (aanwezigheid van de correcte JSON-structuur).
• Steering Protocol: Features werden gerangschikt op basis van Cohen's $d$ (verschil in activatie tussen tool-use en algemene tekst-contexten). Gericht sturen (targeted steering) omvatte het toevoegen van een correctievector aan de residual stream van Model A op basis van specifieke feature-subsets ($S$).

Belangrijkste Bijdragen en Resultaten

1. Capability Spillover en Reconstructiefidelity

De studie toont aan dat capability spillover optreedt: het passief door een gezamenlijk getrainde crosscoder halen van de activaties van het bevroren basismodel (Model B) en het reconstrueren daarvan, draagt de tool-aanroep bekwaamheid over zonder fine-tuning.

• Resultaat: De tool-correctheid van Model B steeg van 0% naar 6,8% ± 5,0 pp na reconstructie.
• Implicatie: De intentie tot tool-gebruik is gedelokaliseerd in gedeelde decoder-gewichten tijdens de gezamenlijke training. Echter, de format-accuratesse (de specifieke XML/JSON oppervlaktevorm) vertoonde geen spillover, wat suggereert dat hoewel de semantische intentie gedeeld wordt, de structurele template-machinerie geïsoleerd blijft in nauwe RL-specifieke features.

2. DFC als Filter, niet als Sink

De auteurs testten of de exclusieve partitie de door RL geïnduceerde capaciteiten perfect isoleert (een "sink").

• Bevinding: Het straffen van de exclusieve partitie ($\lambda_{excl} > 0$) degradeerde de fidelity van Model A, waardoor relevante tool-informatie terug werd gedreven naar de gedeelde partitie.
• Conclusie: De exclusieve partitie fungeert als een filter dat de sterkste model-specifieke features concentreert, maar niet volledig in staat is de capaciteit-specifieke inhoud te ontkoppelen van de gedeelde representationele substantie.

3. Single-Feature Steering Saturation

Een primaire bevinding is dat de door RL geïnduceerde tool-gebruik bekwaamheid kan worden gelokaliseerd tot een minimale set features, vaak een enkele neuron.

• Resultaat: Het sturen van een enkele A-exclusieve neuron ($|S|=1$) bereikte een toename van +65,0 pp in tool-correctheid (95% CI [+47,9, +82,1]).
• Vergelijking: Deze single-neuron interventie kwam overeen met de prestaties van het sturen van alle 7 beschikbare A-exclusieve neuronen. In contrast hiermee had een standaard CrossCoder 33 features nodig om zijn piekprestatie te bereiken.
• Generalisatie: Dit single-neuron saturatie-effect generaliseerde naar de meerderheid van de geprobeerde lagen (7 van de 9), met een gemiddelde verbetering van +43,3 pp.

4. Geometrische Separatie

UMAP-analyse van de decoder-gewichten bevestigde dat de DFC-architectuur ruimtelijk onderscheidende regio's creëert voor A-exclusieve, B-exclusieve en gedeelde features. In contrast vertoonden standaard Crosscoders (zonder gradient masking) een uniforme menging van biased features, wat aangeeft dat de schone separatie een artefact is van de architecturale partitie, en niet louter van label-imbalans.

5. Interferentie bij Gecombineerde Steering

Het gelijktijdig sturen van zowel A-exclusieve als gedeelde features resulteerde in destructieve interferentie, wat een lagere prestatie opleverde (+35,0 pp) dan het sturen van enkel de A-exclusieve features (+65,0 pp). Dit suggereert dat niet-orthogonale decoder-richtingen ruis versterken wanneer ze met gelijke coëfficiënten worden gestuurd.

Betekenis en Claims

Het artikel claimt dat Dedicated Feature Crosscoders een veelbelovende tool bieden voor het identificeren en moduleren van representaties die door RL post-training zijn geïntroduceerd. De significantie ligt in drie hoofdgebieden:

1. Runtime Gedragscontrole: Het vermogen om agentische LLM's te sturen via een enkele feature zonder retraining biedt een gradient-vrij controlemechanisme tijdens de inferentie. Dit positioneert DFC-gebaseerde steering als een complementaire benadering voor RLHF, DPO en SFT voor veiligheid en gedragsmodificatie.
2. Mechanistische Interpreteerbaarheid: De bevindingen suggereren dat agentische capaciteiten (specifiek tool-gebruik) kunnen worden gecomprimeerd in een ijle, stuurbare feature-set. Het "capability spillover" fenomeen benadrukt dat gezamenlijke ijle decomposities onbedoeld capaciteiten in basismodellen kunnen herintroduceren, een kritieke overweging voor modelveiligheid en release.
3. Beperkingen en Bescheidenheid: De auteurs merken expliciet op dat hun metrieken de neiging meten om correcte tool-calls te emitteren onder vaste prompts, en niet de installatie van een geheel nieuwe bekwaamheid in het basismodel. Ze erkennen dat de architectuur-effect t-test onderpowered is (12 CrossCoder runs versus 36 DFC runs) en dat de beste-cel steering resultaten niet zijn gerepliceerd op een nieuwe sample. Ze claimen niet dat RL een tool-gebruik bekwaamheid installeert die het basismodel totaal mist, maar eerder dat het een neiging moduleert.

Samenvattend demonstreert het werk dat door RL geïnduceerd tool-gebruik geen diffuse, oninterpreteerbare verandering is, maar geconcentreerd is in een minimale, stuurbare feature-set die geïsoleerd en gemanipuleerd kan worden via DFC's, wat precieze, retraining-vrije gedragscontrole mogelijk maakt.