💻 computer science

Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

Dieser Beitrag stellt eine Methode für kausale Interventionen auf kontinuierlichen Variablen vor, indem sie niedrigdimensionale Richtungen in den Aktivierungen von Sprachmodellen lokalisiert, und zeigt, dass das Lenken von Verbbias kausal downstream syntaktische Präferenzen verschiebt, während es offenbart, dass zwar Lenkvektoren Fehlersignale kodieren, die für das In-Context-Lernen relevant sind, diese Signale jedoch nicht kausal für die downstream-Produktion genutzt werden.

Ursprüngliche Autoren: Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

Veröffentlicht 2026-05-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen sehr raffinierten, hochtechnologischen Koch vor. Dieser Koch hat fast jedes existierende Kochbuch gelesen, doch wenn er gebeten wird, ein neues Gericht zuzubereiten, folgt er nicht einfach einem statischen Rezept. Stattdessen betrachtet er die Zutaten, die Sie ihm gerade übergeben haben (den „Kontext"), und passt seinen Kochstil sofort an. Diese Fähigkeit, aus wenigen Beispielen zu lernen, ohne neu trainiert zu werden, nennt man In-Context Learning (Lernen im Kontext).

Dieser Artikel ist eine wissenschaftliche Untersuchung darüber, wie das Gehirn dieses Kochs funktioniert, wenn er dies tut. Konkret wollten die Forscher herausfinden, ob sie die inneren Gedanken des Kochs „justieren" können, um zu verändern, wie er kocht, wobei sie sich auf eine spezifische sprachliche Gewohnheit konzentrieren, die Verb-Bias (Verb-Neigung) genannt wird.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das Problem: Kochen mit „abgestuften" Zutaten

Die meisten früheren Studien versuchten, die Meinung des Kochs über einfache „Ein/Aus"-Dinge zu ändern, wie etwa „Ist dies ein Substantiv oder ein Verb?" (Diskrete Merkmale). Doch Sprache ist eher wie ein Dimmer als wie ein Lichtschalter. Dinge sind abgestuft.

Nehmen Sie zum Beispiel das Verb „geben" (give). Im Englischen kann man sagen:

„I gave her a book" (Doppeltes Objekt)
„I gave a book to her" (Präpositionales Dativ)

Manche Menschen (oder manche Verben) bevorzugen eine Version stark gegenüber der anderen. „Geben" ist ziemlich ausgewogen, aber „erklären" (explain) bevorzugt stark „explain to her". Diese Präferenz ist keine feste Regel; es ist eine Gleitskala. Die Forscher wollten wissen: Können wir den spezifischen „Regler" im Gehirn des Modells finden, der diese Gleitskala steuert, und können wir diesen Regler drehen, um die Meinung des Modells zu ändern?

2. Das Werkzeug: Der „Steering Vector" (Die Fernbedienung)

Um dies zu untersuchen, verwendeten die Forscher ein Werkzeug namens Steering Vector (Lenkvektor). Stellen Sie sich dies als Fernbedienung für das Gehirn des Kochs vor.

Wie sie ihn herstellten: Sie zeigten dem Modell eine Reihe von Sätzen mit einer bestimmten Struktur (z. B. „I gave her a book"). Sie betrachteten die inneren „Gedanken" (Aktivierungen) des Modells, während es diese Sätze verarbeitete, und mittelten sie.
Was er bewirkt: Als sie dieses „Fernbedienungs"-Signal während einer neuen Aufgabe zum Gehirn des Modells hinzufügten, begann das Modell so zu handeln, als hätte es gerade diese Beispiele gesehen. Es begann, dieselbe Satzstruktur zu bevorzugen. Dies bewies, dass die Fernbedienung die „Gewohnheit" der Satzstruktur erfolgreich erfasst hatte.

3. Experiment 1: Funktioniert die Fernbedienung?

Der Test: Sie nahmen die Fernbedienung (Steering Vector) von einem Satz mit „Doppeltem Objekt" und injizierten sie in einen neuen Satz.
Das Ergebnis: Das Modell verschob sofort seine Präferenz hin zur Struktur mit „Doppeltem Objekt".
Die Analogie: Es ist, als würde man dem Koch eine Fernbedienung geben, auf der „Italienisch kochen" steht, und plötzlich, selbst wenn er gerade Sushi zubereiten wollte, greift er nach der Pasta. Die Fernbedienung funktioniert.

4. Experiment 2: Den „Verb-Bias"-Regler drehen

Dies ist der größte Durchbruch des Artikels. Sie wollten herausfinden, ob sie nicht nur die Richtung, sondern auch die Stärke der Präferenz steuern können.

Der Aufbau: Sie identifizierten eine bestimmte „Richtung" im Gehirn des Modells, die dem Verb-Bias entspricht (wie sehr ein Verb eine Struktur gegenüber einer anderen mag).
Der Eingriff: Sie verwendeten einen mathematischen Trick, um diese Richtung „faktisch zu bearbeiten" (counterfactually edit).
- Szenario A: Sie nahmen ein Verb, das natürlich Struktur A mag, und zwangen das Modell, zu denken, es bevorzuge stark Struktur B.
- Szenario B: Sie nahmen ein neutrales Verb und zwangen es, extrem zu sein.
Das Ergebnis: Als sie diesen „Verb-Bias"-Regler drehten, änderte sich das Verhalten des Modells genau wie vorhergesagt. Wenn sie das Modell dazu brachten, zu denken, ein Verb bevorzuge stark die Struktur mit „Doppeltem Objekt", begann das Modell diese Struktur häufiger zu verwenden, selbst wenn das Verb sie natürlich nicht mochte.
Die Erkenntnis: Sie bewiesen, dass das Modell die Struktur nicht nur „merkt"; es hält tatsächlich einen kontinuierlichen, einstellbaren Wert dafür, wie sehr ein Verb eine Struktur mag, und sie können diesen Regler physisch drehen.

5. Experiment 3: Der fehlende „Überraschungs"-Faktor

Beim menschlichen Lernen lernen wir am besten, wenn wir überrascht werden. Wenn Sie erwarten, dass ein Verb auf eine bestimmte Weise verwendet wird, es aber auf eine andere Weise sehen, sagt Ihr Gehirn: „Whoa, das war unerwartet!" und aktualisiert seine Regeln stärker. Dies nennt man den Inverse Frequency Effect (Umgekehrter Frequenzeffekt).

Die Forscher fragten sich: Erfasst die „Fernbedienung" (Steering Vector) des Modells dieses „Überraschungs"-Signal?

Der Test: Sie versuchten, ein „Überraschungssignal" in der Fernbedienung zu bearbeiten. Sie fragten: „Wenn wir das Modell dazu bringen, zu denken, der Satz sei mehr überraschend als er tatsächlich war, wird es dann mehr lernen?"
Das Ergebnis:
- Gute Nachricht: Die „Überraschungs"-Information war in der Fernbedienung vorhanden. Sie konnten sie mathematisch isolieren und hoch- oder runterdrehen.
- Schlechte Nachricht: Das bloße Injizieren dieser Fernbedienung ließ das Modell nicht auf eine „überraschungsgetriebene" Weise lernen. Das Modell aktualisierte sein Verhalten nicht automatisch basierend auf dem Überraschungsgrad.
Die Analogie: Stellen Sie sich vor, die Fernbedienung hat einen Knopf für „Überraschung". Sie können den Knopf drücken und sehen, dass die Lampe aufleuchtet (die Information ist da). Aber wenn Sie ihn drücken, ändert der Koch seinen Kochstil nicht tatsächlich, um anpassungsfähiger zu sein. Der Koch folgt einfach der Anweisung, lernt aber nicht wirklich von der Überraschung.

Zusammenfassung der Erkenntnisse

Wir können kontinuierliche Variablen steuern: Wir können die „Dimmer" in KI-Gehirnen für Dinge wie Verb-Präferenzen finden und sie hoch- oder runterdrehen, um das Verhalten zu ändern.
Steering Vektoren sind mächtig, aber begrenzt: Die „Fernbedienung" (Steering Vector) ist hervorragend darin, den Zustand einer Aufgabe zu erfassen (z. B. „Ich denke gerade über Sätze mit Doppeltem Objekt nach"). Sie verschiebt die unmittelbaren Präferenzen des Modells erfolgreich.
Aber sie verpasst den Teil des „Lernens": Die Fernbedienung erfasst das Ergebnis des Lernens (die neue Präferenz), scheint aber nicht den Prozess des Lernens (die fehlergetriebene Aktualisierung) zu erfassen. Es ist, als könnte die Fernbedienung den Thermostat auf 70 Grad einstellen, aber sie erklärt nicht, wie der Ofen herausfand, dass er sich aufheizen musste, um dorthin zu gelangen.

Kurz gesagt: Die Forscher bauten ein Werkzeug, um die „Gleitskalen" im Gehirn einer KI zu justieren. Sie bewiesen, dass sie diese Skalen drehen können, um zu verändern, wie die KI spricht. Allerdings stellten sie auch fest, dass dieses Werkzeug die Gewohnheit der KI erfasst, aber nicht den vollständigen Lernmechanismus, der es der KI ermöglicht, sich an Überraschungen anzupassen.

Technisches Fazit: Kausale Interventionen auf kontinuierlichen Variablen in Steering Vektoren

Problemstellung
Kausale Interpretierbarkeitsmethoden für Large Language Models (LLMs) haben sich überwiegend auf diskrete Merkmale konzentriert, wie grammatische Numerus oder syntaktische Grenzen. Viele kritische Aspekte der Sprachverarbeitung und des konzeptuellen Wissens sind jedoch inhärent abgestuft (kontinuierlich). Der Beitrag schließt die Lücke bei der Anwendung kausaler Interventionsverfahren auf kontinuierliche Variablen. Konkret untersuchen die Autoren, ob kontinuierliche psycholinguistische Merkmale, wie die Verb-Bias (die abgestufte Präferenz eines Verbs für eine syntaktische Struktur gegenüber einer anderen, z. B. Double Object vs. Prepositional Dative), kausal in den internen Aktivierungen von LLMs repräsentiert sind und ob diese Repräsentationen manipuliert werden können, um nachgelagertes Verhalten zu verändern. Darüber hinaus untersucht die Studie den Zusammenhang zwischen diesen kontinuierlichen Repräsentationen und In-Context Learning (ICL), insbesondere den fehlergetriebenen Aktualisierungsmechanismen, die der strukturellen Priming zugrunde liegen sollen.

Methodik
Die Autoren schlagen einen Rahmen für kausale Interventionen auf kontinuierlichen Variablen innerhalb von Aktivierungsvektoren vor, der speziell auf Steering Vektoren (Task Vektoren) angewendet wird, die aus In-Context-Demonstrationen extrahiert werden.

Extraktion von Steering Vektoren: In Anlehnung an Hendel et al. (2023) extrahieren die Autoren verborgene Zustände aus LLMs (Llama-2-13B, Llama-3-1B, Llama-3-8B) an der Position des Zielverbs während In-Context-Sequenzen. Diese Sequenzen bestehen aus $n-1$ Prim-Sätzen (Demonstrationen), gefolgt von einem Zielsatz. Die verborgenen Zustände werden gemittelt, um einen Steering Vektor $\bar{\theta}_{\langle v,s \rangle}$ zu erstellen, der die „Aufgabe" repräsentiert, eine Struktur $s$ zu produzieren, die durch das Verb $v$ beeinflusst wird.
Lokalisierung kontinuierlicher Variablen: Um auf eine kontinuierliche Variable (z. B. Verb-Bias $b_v \in (0,1)$ $b_{v} \in (0, 1)$ ) einzugreifen, führen die Autoren folgende Schritte aus:
- Projektion hochdimensionaler Aktivierungsvektoren in einen niedrigdimensionalen Raum mittels Hauptkomponentenanalyse (PCA).
- Normalisierung der PCA-Koordinaten.
- Anpassung eines Regressionsmodells (Beta-Regression für beschränkte Variablen wie Verb-Bias; OLS für vorzeichenbehaftete Variablen), um die Zielvariable aus den normalisierten Koordinaten vorherzusagen. Dies identifiziert einen niedrigdimensionalen Richtungsvektor $\beta$ , der der Variable entspricht.
Kontrafaktisches Editieren: Um einen Vektor $h_i$ auf einen kontrafaktischen Zielwert $y^*_i$ hin zu editieren, berechnen die Autoren eine minimale $L_2$ -Norm-Aktualisierung $\Delta \tilde{z}_i$ entlang der identifizierten Richtung $\beta$ . Die Aktualisierung ist definiert als:
$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$
wobei $S$ die Teilmenge der für das Editieren ausgewählten Hauptkomponenten darstellt (typischerweise die Top 5 nach Betrag der Koeffizienten). Der editierte Vektor wird dann zurück in den ursprünglichen Raum abgebildet und in das Modell injiziert, um nachgelagerte Effekte zu beobachten.
Experimentelle Bedingungen: Die Studie testet vier Interventionsbedingungen:
- Unverändert: Kontrolle (ursprüngliche Bias).
- Flip: Umkehren der Bias ( $b_v \to 1 - b_v$ ).
- Vollständig biasiert: Sättigung der Bias auf 0 (vollständig DO-biasiert) oder 1 (vollständig PD-biasiert).
- Fehlersignal-Editierung: Ein vorzeichenbehaftetes Fehlersignal $e = b_v - s$ (wobei $s$ die beobachtete Struktur ist) wird ähnlich editiert, um fehlergetriebene Aktualisierungsverhalten zu testen.

Hauptergebnisse

Steering Vektoren induzieren Priming: Aus Prim-Sätzen extrahierte Steering Vektoren induzieren erfolgreich strukturelle Priming-Effekte in mittleren bis späten Schichten (Layer 15+). Das Injizieren eines PD-Prim-Vektors erhöht die Präferenz des Modells für PD-Strukturen und umgekehrt.
Kausale Rolle der Verb-Bias: Die kontinuierliche Verb-Bias ist linear aus Steering Vektoren vorhersagbar. Die kontrafaktische Editierung dieser Bias moduliert kausal die Stärke des Priming-Effekts.
- Flip-Bedingung: Das Umkehren der Verb-Bias im Steering Vektor kehrt die Korrelation zwischen der ursprünglichen Bias des Verbs und der Priming-Stärke um.
- Vollständig biasierte Bedingung: Das Sättigen der Bias eliminiert die Variation der Priming-Stärke über verschiedene Verben hinweg und bestätigt, dass der identifizierte Unterraum kausal die abgestufte Natur des Effekts bestimmt.
Präsenz vs. Nutzung des Fehlersignals:
- Präsenz: Eine fehlersignalähnliche Variable (Kombination aus Verb-Bias und beobachteter Struktur) ist in den Steering Vektoren vorhanden und kann kausal editiert werden, um graduelle Verschiebungen in nachgelagerten Präferenzen zu erzeugen.
- Einschränkung: Trotz der Präsenz dieses Signals reproduzieren die uneditierten Steering Vektoren nicht den Inverse Frequency Effect (IFE) – das Phänomen, dass unerwartete Prim-Strukturen stärkeres Priming induzieren. Die Standard-Injektion von Steering Vektoren erzeugt eine positive Steigung (entsprechend der Bias des Verbs) anstatt der negativen Steigung, die von fehlergetriebenen Lerntheorien vorhergesagt wird.
- Schichtweise Dynamik: Während die Verb-Bias in frühen Schichten zugänglich ist, entsteht die Integration von Bias und Struktur in ein manipulierbares Fehlersignal, das Gradienten-Updates antreibt, erst in mittleren bis späten Schichten (Layer 15+).

Bedeutung und Behauptungen
Der Beitrag leistet vier Hauptbeiträge:

Methodische Erweiterung: Er demonstriert eine praktikable Methode für kausale Interventionen auf kontinuierlichen Variablen und geht damit über die diskreten Merkmale hinaus, die die kausale Interpretierbarkeit bisher dominiert haben.
Kausale Verifikation: Er stellt fest, dass Verb-Bias nicht nur korreliert, sondern kausal in Steering Vektoren repräsentiert ist, da kontrafaktische Editierungen systematisch nachgelagerte strukturelle Präferenzen verändern.
ICL-Mechanismusanalyse: Er bietet eine differenzierte Sicht auf Steering Vektoren als Mechanismus für ICL. Während sie erfolgreich die Komponente der transienten Aktivierung des strukturellen Primings erfassen (Verschiebung von Präferenzen basierend auf Kontext), erfassen sie nicht die volle fehlergetriebene Aktualisierungsdynamik (insbesondere den IFE). Dies legt nahe, dass additive Steering Vektoren den durch Kontext induzierten Repräsentationszustand approximieren, aber die rechnerische Aktualisierungsregel von ICL nicht vollständig replizieren.
Theoretische Zuordnung: Die Autoren schlagen eine Zuordnung zwischen psycholinguistischen Theorien und LLM-Mechanismen vor: Steering Vektoren entsprechen Theorien der „transienten Aktivierung" beim Priming, während die fehlende fehlergetriebene Komponente möglicherweise Mechanismen erfordert, die besser als Low-Rank-Gewichtsaktualisierungen oder implizite Lernprozesse charakterisiert werden können, anstatt als einfache Vektoraddition.

Die Autoren schließen, dass die Intervention auf kontinuierlichen Variablen zwar ein leistungsfähiges diagnostisches und kausales Werkzeug ist, die Verbindung dieser kontinuierlichen Repräsentationen mit der vollen Dynamik des In-Context-Learnings jedoch eine Herausforderung bleibt, da der aktuelle Ansatz mit Steering Vektoren das „Was" (den Präferenzzustand) erfasst, aber nicht das vollständige „Wie" (den fehlergetriebenen Adaptionsprozess) von ICL.