🤖 machine learning

Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

Die Studie zeigt, dass durch das Zurückprojizieren von linearen Sonden auf die latenten Aktivitäten von Sparse Autoencodern in das native Aktivierungsraum des Qwen 3.5-35B-Modells eine feingranulare, nicht-trainingsbasierte Steuerung autonomer Verhaltensweisen möglich ist, wobei die Ergebnisse darauf hindeuten, dass solche Verhaltensentscheidungen bereits während der Prefill-Phase in GatedDeltaNet-Architekturen berechnet werden.

Ursprüngliche Autoren: Jia Qing Yap

Veröffentlicht 2026-03-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jia Qing Yap

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ziel: Den KI-Charakter "umprogrammieren"

Stell dir vor, du hast einen sehr intelligenten, aber etwas schüchternen Roboter-Assistenten (die KI). Wenn du ihn etwas fragst, antwortet er meistens: "Kannst du mir das bitte genauer erklären?" oder "Soll ich das wirklich tun?". Er fragt ständig um Erlaubnis.

Die Forscher wollten diesen Roboter mutiger machen. Sie wollten ihn so steuern, dass er einfach handelt (z. B. Code schreibt oder im Internet sucht), ohne erst zu fragen. Aber sie wollten das nicht durch langwieriges Neulernen der gesamten KI erreichen (das wäre wie einen ganzen Menschen neu zu erziehen), sondern durch einen kleinen, gezielten Eingriff in sein "Gehirn".

Die Methode: Ein "Mikroskop" und ein "Steuerrad"

Um das zu tun, haben die Forscher drei Schritte gemacht:

Das Mikroskop (SAE):
Das Gehirn der KI ist riesig und undurchsichtig. Die Forscher haben ein Werkzeug namens "Sparse Autoencoder" (SAE) gebaut. Stell dir das wie ein Mikroskop vor, das das Chaos im Gehirn der KI in kleine, verständliche Bausteine zerlegt. Jeder Baustein steht für eine bestimmte Idee oder ein Gefühl (z. B. "Ich bin vorsichtig" oder "Ich will etwas ausprobieren").
Der Kompass (Die Sonde):
Mit diesem Mikroskop haben sie gesucht: "Wo im Gehirn sitzt eigentlich das Gefühl von 'Selbstständigkeit'?" Sie haben eine Art Kompass (eine mathematische Richtung) gebaut, der genau auf dieses Gefühl zeigt.
Das Steuerrad (Der Eingriff):
Hier kommt der geniale Trick: Normalerweise würde man versuchen, diese kleinen Bausteine direkt zu manipulieren. Aber das ist zu grob, wie wenn man versucht, einen Motor mit einem Hammer zu reparieren.
Stattdessen haben sie den Kompass durch das Mikroskop hindurch "rückwärts" projiziert. Das Ergebnis ist ein feines Steuerrad im originalen Gehirn der KI. Wenn sie dieses Rad drehen (einen kleinen mathematischen Wert hinzufügen), ändert sich das Verhalten der KI sofort, ohne dass sie neu lernen muss.

Die überraschenden Entdeckungen

Was sie herausfanden, war fast wie eine Liebesgeschichte mit einer bösen Wendung:

1. Es gibt nicht fünf Charaktere, sondern nur einen Hauptcharakter

Die Forscher wollten fünf verschiedene Eigenschaften steuern:

Selbstständigkeit (Handeln ohne fragen)
Werkzeug-Nutzung (Im Internet suchen)
Ausdauer (Nicht aufgeben)
Risikobewusstsein (Vorsichtig sein)
Höflichkeit (Eher fragen als handeln)

Sie dachten, sie könnten diese wie fünf verschiedene Regler an einem Mischpult bedienen. Aber nein!
Sie stellten fest, dass alle fünf Regler eigentlich nur an einem einzigen Hauptkabel hängen: dem "Entweder-oder-Kabel".

Wenn man das Kabel in eine Richtung dreht, wird die KI selbstständig (sie handelt).
Wenn man es in die andere Richtung dreht, wird sie höflich (sie fragt).
Die anderen Eigenschaften (wie "Risikobewusstsein") waren nur kleine Nebeneffekte, wie die Farbe des Lichts, wenn man den Dimmer dreht. Es gibt also im Grunde nur eine große Entscheidung: "Soll ich fragen oder soll ich tun?"

2. Der "Lügen"-Detektor (Korrelation vs. Kausalität)

Das ist der spannendste Teil. Die Forscher fanden zwei sehr ähnliche "Kompass-Nadeln" im Gehirn der KI:

Nadel A zeigte auf "Risikobewusstsein".
Nadel B zeigte auf "Werkzeug-Nutzung".

Beide Nadeln sahen im Mikroskop fast perfekt aus (sie sagten das Verhalten vorher, als wären sie 100% richtig). Aber als sie die Nadeln benutzten, um die KI zu steuern, passierte etwas Seltsames:

Nadel B (Werkzeuge) funktionierte: Die KI wurde aktiver.
Nadel A (Risikobewusstsein) funktionierte nicht. Sie machte die KI nur still, aber nicht vorsichtiger.

Die Analogie: Stell dir vor, du siehst, dass ein Hund bellt, wenn er hungrig ist. Du denkst: "Bell = Hunger". Du versuchst, das Bellen zu steuern, um den Hund hungrig zu machen. Aber das Bellen ist nur ein Nebeneffekt (wie Rauch bei einem Feuer), nicht die Ursache. Wenn du den Rauch wegmachst, ist das Feuer immer noch da.
Die Forscher zeigten damit: Nur weil man ein Verhalten im Gehirn sehen kann (Vorhersage), heißt das nicht, dass man es durch Manipulation verursachen kann.

3. Der "Entscheidungs-Moment" passiert vor dem Sprechen

Die Forscher testeten, ob sie die KI steuern konnten, während sie schon antwortete (während sie Wörter nach dem anderen ausstößt).
Ergebnis: Null Effekt. Es war, als würde man versuchen, die Richtung eines Zuges zu ändern, nachdem er schon losgefahren ist.
Die eigentliche Entscheidung ("Ich antworte jetzt selbstständig") wurde schon getroffen, bevor die KI das erste Wort sagte (in der "Prefill"-Phase). Das Gehirn der KI hat die Entscheidung bereits im Hintergrund getroffen und nur noch ausgeführt.

Was bedeutet das für uns?

Gute Nachricht: Man kann das Verhalten von riesigen, komplexen KIs sehr präzise und ohne teures Neulernen steuern.
Warnung: Es ist schwieriger, KIs in spezifischen Dingen zu steuern (z. B. "Sei mutig, aber nur bei Code, nicht bei E-Mails"). Oft ändert man damit das ganze Verhalten der KI auf einmal.
Wichtig: Man kann nicht einfach auf mathematische Muster im Gehirn vertrauen und denken, man versteht die Ursache. Manchmal sind diese Muster nur "Rauch", nicht das "Feuer".

Zusammengefasst: Die Forscher haben gezeigt, wie man den "Charakter" einer KI mit einem kleinen Schubs verändert, aber dabei gelernt, dass das Gehirn der KI oft nur eine einzige große Entscheidung trifft, statt viele kleine Details zu steuern.

Problemstellung

Das Hauptziel der mechanistischen Interpretierbarkeit ist es, von der bloßen Beobachtung des Verhaltens von Sprachmodellen zur gezielten Intervention zu gelangen. Bisherige Methoden wie Sparse Autoencoder (SAEs) oder Aktivierungs-Steering wurden primär an kleineren Modellen (bis 7B Parameter) mit Standard-Transformer-Architekturen demonstriert. Es bleibt jedoch offen, ob diese Techniken auf produktionsreife, große Modelle (hier 35 Mrd. Parameter) mit nicht-standardisierten Hybrid-Architekturen (Mixture-of-Experts, GatedDeltaNet-Recurrenz) übertragbar sind. Zudem ist die Kausalität zwischen linearen Proben (die Korrelationen messen) und tatsächlicher Verhaltenssteuerung oft unklar.

Methodik

Die Autoren entwickelten eine Pipeline, die SAE-basierte Feature-Entdeckung mit Aktivierungs-Steering verbindet, speziell angepasst für das Modell Qwen 3.5-35B-A3B (ein 35B-Parameter MoE-Modell mit 3B aktiven Parametern pro Token und einer Hybrid-Architektur aus GatedDeltaNet- und Attention-Schichten).

SAE-Training: Es wurden neun Sparse Autoencoder auf dem Residual-Stream des Modells trainiert, die verschiedene Schichten (früh, mittel, spät) und Typen (GatedDeltaNet vs. Attention) abdecken.
Kontrastive Feature-Identifikation: Für fünf agentische Verhaltensmerkmale (Autonomie, Werkzeug-Eifer, Persistenz, Risikokalibrierung, Unterwürfigkeit) wurden kontrastive Prompt-Paare (HIGH vs. LOW) erstellt.
Probe-to-Steering-Projektion (Der Kernbeitrag):
- Ein linearer Ridge-Regression-Probe wird auf den latenten SAE-Aktivierungen trainiert, um das Zielmerkmal vorherzusagen.
- Die Gewichte des Probes ( $w_{probe}$ ) werden durch den SAE-Decoder projiziert, um einen kontinuierlichen Steuervektor im nativen Aktivierungsraum des Modells zu erhalten: $v_{steer} = W_{dec}^{\top} w_{probe}$ .
- Wichtig: Dieser Schritt umgeht die diskretisierende Top-K-Aktivierungsfunktion des SAEs, was eine feinkörnige, kontinuierliche Intervention ermöglicht.
Steering-Anwendung: Der berechnete Vektor wird während des Inferenzvorgangs zum Residual-Stream addiert ( $x' = x + \alpha \cdot v_{steer}$ ). Es wurden drei Modi getestet: alle Positionen, nur Prefill (Prompt-Verarbeitung) und nur Decode (Autoregressive Generierung).
Evaluation: 1.800 Agenten-Rollouts (50 Szenarien unter 36 Bedingungen) wurden durchgeführt, um Verhaltensänderungen anhand von Proxy-Metriken (z. B. Häufigkeit von ask_user vs. proaktiven Werkzeugaufrufen) zu messen.

Wichtige Beiträge

Skalierbarkeit: Demonstration, dass SAE-Decoded-Steering bei einem 35B-Parameter MoE-Modell mit Hybrid-Architektur funktioniert und signifikante Effektstärken erreicht ( $d = 1.01$ für Autonomie).
Dominante Handlungsachse: Die Analyse zeigt, dass alle fünf gesteuerten Merkmale nicht unabhängig sind, sondern primär eine einzige dominante Achse modulieren: die Disposition, unabhängig zu handeln vs. den Nutzer zu konsultieren. Merkmalsspezifische Effekte treten nur als sekundäre Modulationen (z. B. Art des verwendeten Tools) auf.
Dissociation von Korrelation und Kausalität: Ein zentrales Ergebnis ist die Entkopplung von Vorhersagegenauigkeit und kausaler Wirksamkeit. Die Merkmale „Risikokalibrierung" und „Werkzeug-Eifer" teilen sich denselben SAE und haben fast identische Proben- $R^2$ -Werte (~0.79), aber ihre Vektoren sind nahezu orthogonal. Während der Werkzeug-Vektor das Verhalten steuert, führt der Risikokalibrierungs-Vektor nur zu Unterdrückung ohne Verhaltensänderung. Dies beweist, dass hohe Proben-Genauigkeit keine Garantie für kausale Relevanz ist.
Prefill als Phase der Verhaltensverpflichtung: Das Experiment zeigte, dass Steering nur während der autoregressiven Dekodierung (Decode-Only) keine Wirkung hat ( $p > 0.35$ ). Die Verhaltensentscheidungen werden bereits während der Prefill-Phase berechnet und durch den rekurrenten Zustand der GatedDeltaNet-Schichten weitergegeben.

Ergebnisse

Autonomie: Bei einem Multiplikator $\alpha = 2$ sinkt die Rate der Nutzerkonsultation (ask_user) von 78% auf unter 12%, während proaktive Werkzeugaufrufe drastisch steigen (Effektstärke $d = 1.01$ ). Die Dosis-Wirkungs-Kurve folgt einer glatten Inverted-U-Form.
Werkzeug-Eifer: Zeigt einen Phasenübergang. Mittlere Multiplikatoren verschlechtern die Leistung, während hohe Multiplikatoren ( $\alpha=3$ ) das Modell in einen neuen stabilen Attraktor mit überwiegend Web-Suche versetzen.
Risikokalibrierung & Persistenz: Diese Merkmale scheiterten als Steuerziele. Trotz hoher Proben-Genauigkeit ( $R^2 \approx 0.79$ ) führten die Vektoren nur zu einer Unterdrückung des Basisverhaltens, ohne alternatives Verhalten zu erzeugen.
Spezifität: Kein Vektor erreichte eine Spezifität > 1,0. Jeder Vektor erhöhte primär die Autonomie und verringerte die Unterwürfigkeit, unabhängig vom Zielmerkmal.

Bedeutung und Implikationen

Architekturelle Einsichten: Die Ergebnisse deuten darauf hin, dass in Hybrid-Architekturen mit rekurrenten Schichten (GatedDeltaNet) die „Verhaltensverpflichtung" (Behavioral Commitment) früh im Prozess (Prefill) erfolgt und nicht dynamisch während der Generierung angepasst werden kann.
Methodische Warnung: Die Arbeit warnt davor, lineare Proben blind als Werkzeug für Steering zu nutzen. Ein Vektor kann stark mit einem Merkmal korrelieren, ohne kausal für dessen Entstehung verantwortlich zu sein (epiphänomenale Repräsentationen).
Sicherheit & Dual-Use: Da alle Interventionen auf eine einzige „Handlungsachse" (Autonomie) wirken, besteht das Risiko, dass Sicherheitsmechanismen (wie Unterwürfigkeit bei riskanten Aufgaben) unbeabsichtigt umgangen werden, wenn man versucht, ein anderes Merkmal zu steuern.
Praktische Anwendung: Für eine effektive Verhaltenssteuerung in der Produktion müssen die Steuerparameter (Multiplikatoren) und der Zeitpunkt (Prefill vs. Decode) merkmalspezifisch kalibriert werden; es gibt keinen universellen „Schalter".

Zusammenfassend liefert das Paper einen robusten Beweis für die Machbarkeit von Behavioral Steering in großen, hybriden Modellen, enthüllt jedoch gleichzeitig tiefgreifende strukturelle Einschränkungen und methodische Fallstricke bei der Interpretation von internen Repräsentationen.