Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

Probleemstelling

Het centrale doel van mechanistische interpretability is om te evolueren van het observeren van wat taalmodellen doen, naar het interveniëren in hoe ze dat doen. Bestaande methoden zoals Sparse Autoencoders (SAE's) en Activation Steering zijn voornamelijk getest op modellen tot 7B parameters met standaard Transformer-architecturen. Het is onduidelijk of deze technieken schalen naar productie-grote modellen (35B+ parameters) met niet-standaard hybride architecturen, zoals die gebruikmaken van Mixture-of-Experts (MoE) routing en lineaire recurrente lagen (GatedDeltaNet).

De auteurs willen vijf specifieke "agente" gedragskenmerken sturen: autonomie, gereedheid voor hulpmiddelgebruik, doorzettingsvermogen, risicocalibratie en deferentie (het overlaten van beslissingen aan de gebruiker).

Methodologie

De auteurs presenteren een pipeline die SAE-gebaseerde feature-discovery combineert met actiesturing, specifiek toegepast op Qwen 3.5-35B-A3B (een 35B-parameter MoE-model met een hybride architectuur van GatedDeltaNet- en Attention-lagen).

1. SAE Training:

   • Er worden 9 Sparse Autoencoders getraind op de residual stream van het model op verschillende dieptes (vroege, midden, late lagen) en voor zowel DeltaNet- als Attention-lagen.
   • De SAE's gebruiken een top-k activatiefunctie en worden getraind op 200M tokens met een mix van conversatie- en tool-use data.

2. Contrastieve Feature Identificatie:

   • Voor elk van de vijf gedragskenmerken worden contrastieve prompt-paren gegenereerd (HIGH vs. LOW expressie van het kenmerk).
   • De modelactivaties worden door de SAE's gehaald om de Trait Association Score (TAS) te berekenen voor latente features.

3. Probe-naar-Sturing Vector Projectie (Kerninnovatie):

   • Stap 1: Een lineaire ridge regression probe wordt getraind op de SAE-laten activaties om het gedragskenmerk te voorspellen (gewicht $w_{probe}$).
   • Stap 2: In plaats van de SAE-features direct te manipuleren (wat door de top-k discretisatie zou leiden tot kwantiseringsartefacten), projecteren de auteurs de probe-weights terug door de SAE-decoder:
     $$v_{steer} = W_{dec}^T w_{probe}$$
   • Dit resulteert in een continue stuurvector ($v_{steer}$) in de native activatieruimte van het model (dimensie 2048), die zonder retraining kan worden toegepast tijdens inferentie.

4. Evaluatie:

   • Er worden 1.800 agent-rollouts uitgevoerd (50 scenario's x 36 condities).
   • Gedrag wordt gemeten via proxy-metrics uit de trajecten (bijv. aantal keren "ask_user" vs. proactief tool-gebruik).
   • Verschillende toepassingstijden worden getest: all positions, prefill only (tijdens prompt-verwerking), en decode only (tijdens generatie).

Belangrijkste Bijdragen

1. Schalen naar 35B MoE: Bewijs dat SAE-decoded probe-sturing werkt op een productie-schaal hybride architectuur, met effectgroottes tot $d = 1.01$ voor autonomie.
2. Dominante "Agency" As: In plaats van vijf onafhankelijke richtingen, moduleren alle stuurvectoren primair één gedeelde dispositie: de neiging om onafhankelijk te handelen versus te verwijzen naar de gebruiker. Kenmerk-specifieke effecten zijn secundair (bijv. type tool).
3. Correlatie vs. Causaliteit Dissociatie: Een cruciale bevinding waarbij twee kenmerken (risicocalibratie en tool-use) bijna identieke SAE-probe nauwkeurigheid ($R^2 \approx 0.79$) hebben, maar orthogonale vectoren opleveren. De ene vector stuurt gedrag succesvol, de andere heeft alleen een onderdrukkend effect. Dit toont aan dat hoge probe-nauwkeurigheid geen garantie is voor causale relevantie.
4. Prefill als Beslissingsfase: Sturing alleen tijdens autoregressieve generatie (decode-only) heeft geen effect. Gedragsbeslissingen worden tijdens de prefill-fase berekend en door de GatedDeltaNet-recurrente staat vastgelegd.

Resultaten

• Autonomie: Bij een multiplier $\alpha = 2$ verschuift het model van 78% "vragen om hulp" naar proactief handelen (code uitvoeren, web zoeken). Effectgrootte $d = 1.01$.
• Dosis-respons Patronen:
  • Autonomie & Deferentie: Toont een gladde omgekeerde U-curve (therapeutisch venster).
  • Tool-use: Toont een fase-overgang; intermediaire waarden verslechteren prestaties, terwijl hoge waarden ($\alpha=3$) leiden tot een nieuw stabiel gedragspatroon (compulsief webzoeken).
  • Risicocalibratie & Doorzettingsvermogen: Toont pure onderdrukking zonder vervangend gedrag.
• Cross-Trait Specificiteit: Alle stuurvectoren verhogen autonomie en verlagen deferentie, ongeacht het doelkenmerk. Er is geen vector met een specificiteitsratio > 1.0.
• Risicocalibratie Dissociatie: De vector voor risicocalibratie is voorspellend maar causaal inert (epifenomeen). De vector voor tool-use is causaal effectief. Beide komen uit dezelfde SAE-laag.
• Decode-Only Null Result: Het toepassen van sturing alleen tijdens het genereren van tokens heeft geen effect ($p > 0.35$), wat bevestigt dat gedragscommitment in de prefill-fase plaatsvindt.

Significantie en Implicaties

• Architecturale Inzicht: Het onderzoek biedt inzicht in hybride modellen, waarbij blijkt dat recurrente lagen (GatedDeltaNet) gedragsbeslissingen "compileren" tijdens de prefill-fase.
• Interpretability: Het benadrukt dat lineaire probes alleen correlaties meten. Interventie-experimenten zijn noodzakelijk om causale van epifenomenale representaties te onderscheiden.
• Beveiliging en Dual-Use: De bevinding dat alle kenmerken samenkomen op één "agency-as" is zorgwekkend voor veiligheid. Een enkele interventie kan het hele model gedrag verschuiven naar onafhankelijk handelen, zelfs in situaties waar deferentie (veiligheid) gewenst is.
• Praktische Toepassing: Voor effectieve gedragssturing is geen universele multiplier mogelijk; elke eigenschap vereist een specifieke kalibratie van de "therapeutische venster" (bijv. $\alpha=2$ voor deferentie, $\alpha=3$ voor tool-use).

Het paper concludeert dat gedragssturing op grote schaal mogelijk is, maar dat de onderliggende structuur van agent-gedrag complexer is dan een verzameling onafhankelijke knoppen, en eerder lijkt op een fundamentele verschuiving in de "wil om te handelen".