💬 NLP

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

Dieses Paper stellt die Annahme infrage, dass Funktionsvektor-Heads eine homogene Gruppe bilden, indem es aufzeigt, dass sie aus zwei gegensätzlichen Subpopulationen bestehen – Schreibern, die korrekte Regeln fördern, und Löschern, die diese unterdrücken –, welche bei einer rein nach Magnitude erfolgenden Rangfolge unsichtbar sind, aber die Modellleistung signifikant beeinflussen, wenn sie identifiziert und abgelastet werden.

Ursprüngliche Autoren: Han-yu Wang

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Han-yu Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie jene, die mit Ihnen chatten) als ein riesiges Orchester vor, das versucht, basierend auf ein paar Beispielen ein Rätsel zu lösen. In diesem Orchester gibt es spezifische Musiker, die Attention Heads genannt werden. Lange Zeit glaubten Forscher, dass die wichtigsten Musiker einfach diejenigen waren, die am lautesten spielten. Sie nahmen an, wenn ein Musiker sehr laut spielte, trug er definitiv dazu bei, die richtige Melodie zu spielen.

Dieses Paper entdeckt jedoch, dass diese Annahme falsch ist. Es stellt sich heraus, dass die „lautesten“ Musiker tatsächlich zu zwei völlig unterschiedlichen, gegensätzlichen Gruppen gehören: den Schreibern und den Abbremsern (Cancellers).

Hier ist die Aufschlüsselung dessen, was das Paper herausgefunden hat, unter Verwendung einfacher Analogien:

1. Das große Missverständnis: Lautstärke vs. Richtung

Zuvor betrachteten Forscher diese Musiker und ordneten sie nach ihrer Lautstärke (wie viel sie zum Ergebnis beitrugen). Sie nahmen an, dass die 20 lautesten Musiker alle „Helfer“ seien.

Die Autoren dieses Papers erkannten, dass Lautstärke allein nicht ausreicht; man muss die Richtung kennen.

Die Schreiber: Diese Musiker spielen eine laute Note, die das Orchester in Richtung der richtigen Antwort drückt.
Die Abbremser: Diese Musiker spielen ebenfalls eine laute Note, aber sie drücken das Orchester in die falsche Richtung. Sie versuchen aktiv, die richtige Antwort zu neutralisieren.

Die Analogie: Stellen Sie sich ein Tauziehen vor.

Schreiber sind das Team, das das Seil in Richtung des Zielgeräts zieht.
Abbremser sind ein zweites Team, das das Seil genauso stark zieht, aber in die entgegengesetzte Richtung.
Wenn man nur darauf achtet, wie stark sie ziehen (Magnitude), denkt man, dass beide gleichermaßen wichtige „Zieher“ sind. Wenn man jedoch die Richtung betrachtet, sieht man, dass sie gegeneinander kämpfen.

2. Die Entdeckung: Zwei Populationen

Die Forscher testeten dies an mehreren verschiedenen Modellen (von klein bis groß) und verschiedenen Arten von Logikrätseln. Sie fanden heraus, dass sich in fast jedem Fall die „Top“-Musiker in diese zwei gegensätzlichen Lager aufteilten.

Die „Schreiber“ drücken die Wahrscheinlichkeit der richtigen Antwort nach oben.
Die „Abbremser“ drücken die Wahrscheinlichkeit der richtigen Antwort nach unten.

Als die Forscher die Abbremser verstummten (ablatierten), wurde das Modell tatsächlich besser im Lösen der Rätsel. Es war, als hätte man einen Saboteur aus dem Tauzieh-Team entfernt; plötzlich konnten die „Schreiber“ das Seil ohne Widerstand zum Ziel ziehen.

3. Warum die bisherige Forschung dies übersehen hat

Das Paper erklärt, dass frühere Studien (wie eine von Todd et al., 2024) eine Methode verwendeten, die nur nach der „Lautstärke“ des Beitrags suchte. Aus diesem Grund erfassten sie versehentlich eine Mischung aus Schreibern und Abbremsern, aber diese Mischung änderte sich je nach Rätsel.

Bei einigen Rätseln waren die „Abbremser“ lauter, sodass die alte Methode dachte, sie seien die Haupthelfer.
Bei anderen Rätseln waren die „Schreiber“ lauter, sodass die alte Methode dachte, auch sie seien die Haupthelfer.

Das Paper zeigt, dass die bisherige Forschung durch das Ignorieren des „Vorzeichens“ (der Richtung) im Wesentlichen Helden und Schurken vermischt hat, indem sie dachte, sie seien alle nur „laute Helfer“.

4. Sind die Abbremser einfach nur Fehler?

Die Forscher wollten sicherstellen, dass die „Abbremser“ nicht einfach nur defekte Teile des Modells oder zufälliges Rauschen sind. Sie führten viele Tests durch, um zu beweisen, dass sie reale, funktionale Teile des Systems sind:

Sie lesen andere Dinge: Schreiber konzentrieren sich auf die „Labels“ (die Antworten) in den Beispielen. Abbremser konzentrieren sich auf das „Format“ (Interpunktion und Abstände). Sie schauen auf unterschiedliche Teile der Seite.
Sie sind inhaltlich gesteuert: Die Abbremser sind nicht einfach nur zufällig unterdrückend; sie versuchen spezifisch die Antwort zu unterdrücken, die gerade in den Beispielen demonstriert wurde.
Sie sind keine „Kopie-Unterdrücker“: Das Paper widerlegte die Idee, dass dies nur generische „Nicht-Kopieren“-Mechanismen sind. Sie sind spezifisch für die Logik der Aufgabe.

5. Die Charakterstudie von „L11.H4“

Das Paper zoomt auf einen spezifischen Musiker, L11.H4, um zu sehen, wie er arbeitet.

Dieser Musiker ist ein „Abbremser“ bei den Logikrätseln (er versucht, die falsche Antwort zu drücken).
Wenn man jedoch die Aufgabe zu einer Vokabelaufgabe ändert (wie das Zuordnen von Antonymen), wechselt dieser Musiker seine Rolle und wird zu einem „Schreiber“ (er hilft der richtigen Antwort).
Die Lektion: Dieser Musiker ist nicht an sich „gut“ oder „schlecht“. Seine Aufgabe ist es, das zu unterdrücken, was gerade demonstriert wurde. Wenn die Demonstration die richtige Antwort ist, unterdrückt er sie (Abbremser). Wenn die Demonstration die falsche Antwort ist (in einem anderen Kontext), unterdrückt er die falsche Antwort und hilft so der richtigen (Schreiber).

6. Das Fazit

Die Hauptschlussfolgerung ist, dass wir die aktivsten Teile eines KI-Modells nicht als eine einzige, einheitliche Gruppe behandeln können.

Alte Sichtweise: „Dies sind die Top 20 der wichtigsten Heads. Lassen Sie uns sie nutzen, um das Modell zu steuern.“
Neue Sichtweise: „Diese Top 20 Heads sind eigentlich ein Bürgerkrieg. Die Hälfte drückt das Modell an den richtigen Ort, und die andere Hälfte drückt es am falschen Ort. Wenn man das Modell steuern will, muss man die Abbremser ausschalten, nicht nur die Schreiber verstärken.“

Das Paper behauptet nicht, dass dies das Modell „sicher“ macht oder bereit für den Einsatz in der medizinischen oder juristischen Praxis macht. Es stellt lediglich fest, dass wir, um zu verstehen, wie diese Modelle Regeln aus Beispielen lernen, erkennen müssen, dass ihre internen „Musiker“ oft gegeneinander kämpfen und nicht zusammenarbeiten.

Technisches Resümee: Funktion-Vektor-Heads sind zwei Populationen: Writer und Canceller im In-Context Learning

1. Problemstellung

Im Bereich der mechanistischen Interpretierbarkeit werden Funktion-Vektor-Heads (FV-Heads) typischerweise als eine spärliche Menge von Attention-Heads identifiziert, die große kausale Beiträge zum In-Context Learning (ICL) von Regel-Aufgaben leisten. Die Standard-Identifikationspipeline (z. B. Todd et al., 2024) rankt diese Heads nach der Magnitude ihres kausalen Beitrags (z. B. Direct Logit Attribution oder AIE) und behandelt den top-gerankten Satz als eine homogene funktionale Klasse.

Dieses Paper stellt die implizite Annahme in Frage, dass High-Magnitude-Heads das Modell einheitlich in Richtung der demonstrierten Regel drängen. Die Autoren postulieren, dass ein reines Magnitude-Ranking eine kritische strukturelle Heterogenität verschleiert: Der Top-Satz kann Heads mit gegensätzlichen kausalen Effekten enthalten. Falls diese Annahme fehlschlägt, könnten Standard-Aggregationsmethoden (wie Steering-Vektoren) unbeabsichtigt gegensätzliche Kräfte vermischen, was zu suboptimalen oder widersprüchlichen Interventionen führt.

2. Methodik

Die Autoren schlagen eine Vorzeichen-erhaltende Identifikationspipeline und ein rigoroses Validierungsframework über drei Modellfamilien (Pythia, Qwen2.5, GPT-2) und sechs Skalierungen (410M–12B) vor.

Verfeinerte Direct Logit Attribution (DLA): Anstatt nach absoluter Magnitude zu ranken, berechnen die Autoren den Vorzeichen-behafteten Beitrag jedes Heads zur Differenz der korrekten gegenüber der inkorrekten Logit-Differenz ( $\Delta \ell$ ). Sie wenden eine Permutations-basierte False Discovery Rate (FDR) Kontrolle ( $q=0,10$ ) an, um einen Kandidaten-Satz von FV-Heads zu identifizieren, der sowohl positive als auch negative Beitragszahler umfasst.
Path Patching Validierung: Die Kandidaten werden mittels Path Patching validiert, um direkte Effekte zu isolieren. Die Heads werden basierend auf der Magnitude ihres direkten Effekts relativ zum Prompt-Swing in zwei Populationen unterteilt:
- Writers ( $W$ ): Heads mit einem positiven direkten Effekt ( $\ge +5\%$ des Swings), die das Logit des korrekten Tokens erhöhen.
- Canceller ( $C$ ): Heads mit einem negativen direkten Effekt ( $\le -5\%$ des Swings), die das Logit des korrekten Tokens senken.
Das kanonische Urteil (The Canonical Verdict): Die Existenz zweier gegensätzlicher Populationen wird über einen Vier-Bedingungen-Test bei Gruppen-Ablationen (Nullsetzen oder Mittelwert-Ablation) verifiziert:
1. Die Ablation von $W$ reduziert das korrekte Logit signifikant ( $\Delta \ell_W < 0$ ).
2. Die Ablation von $C$ erhöht das korrekte Logit signifikant ( $\Delta \ell_C > 0$ ).
3. Die Vorzeichen sind entgegengesetzt.
4. Eine gemeinsame Ablation ( $W \cup C$ ) zeigt eine Attenuation (der Effekt ist kleiner als die Summe der Einzeleffekte), was darauf hindeutet, dass sie auf denselben Readout operieren, aber in entgegengesetzte Richtungen.
Artefakt-Ablehnung: Die Autoren schließen sechs alternative Erklärungen für das „Canceller“-Signal aus:
1. Induction Overlap: Canceller-Heads sind nicht einfach Induction-Heads.
2. Attention Sinks: Der Effekt ist kein Artefakt des Attending auf Format-Präfixe oder BOS-Tokens (verifiziert via per-source DLA Bucketing).
3. Generische Wichtigkeit: Canceller sind nicht einfach High-Attention-Heads mit zufälligen Vorzeichen.
4. Rank-1 Copy-Suppression: Der Mechanismus ist keine einfache Rank-1 Suppression von kopierten Tokens (anders als bei GPT-2 L10.H7).
5. V-Cascade: Der Effekt ist nicht das Resultat einer Inhibierung eines Upstream-Writers via einer spezifischen V-Kompositions-Kaskade.
6. Rank-Nearest Controls: Zufällige Heads mit ähnlicher Magnitude zeigen nicht dasselbe Cancellation-Verhalten.

3. Kernergebnisse

Populations-Split: Über 15 Zellen (6 Haupt-Pythia-Zellen + 9 Erweiterungen) teilt sich der FV-Head-Satz sauber in Writers und Canceller auf. Das kanonische Urteil hält in 13/15 Zellen stand.
Asymmetrische Überlappung mit Vorarbeiten: Das Magnitude-only-Ranking (Todd et al., 2024) ist zugunsten der lokal dominanten Sub-Population verzerrt.
- Bei der Hierarchical-Aufgabe erfasst Todds Top-20 64% der Canceller, aber nur 4% der Writers.
- Bei der Modular-Aufgabe erfasst Todds Top-20 59% der Writers, aber nur 8% der Canceller.
Kausale Auswirkung von Cancellern: Das Nullsetzen der Canceller-Population liefert einen konsistenten Logit-Gewinn von +0,13 bis +0,29 nats und eine Genauigkeitsverbesserung von +2 bis +7 Prozentpunkten in 6/6 Hauptzellen.
Strukturelle Unterscheidung:
- QK-Quellen: Writers konzentrieren die Attention auf Demonstration-Labels; Canceller verschieben die Attention-Masse hin zu Format-Präfix-Tokens und weg von Labels.
- OV-Geometrie: Die Write-Richtungen (OV) von Writers und Cancellern sind nahezu orthogonal (perpendicular fraction mean 0,96), was es ihnen ermöglicht, am selben Readout zu koexistieren, ohne sich im Residual Stream vollständig aufzuheben.
- Layer-Verteilung: Canceller clustern in frühen bis mittleren Layern, oft downstream eines Writers in derselben Zelle positioniert, was eine Late-Stage-Suppression ausschließt.
Fallstudie (L11.H4): Der dominante Canceller in Pythia-410M wird als „distributed-bias content reader“ identifiziert. Seine Rolle dreht sich je nach Task-Template (Canceller bei Rule-Tasks, Writer bei Antonym-Tasks), was die Hypothese stützt, dass er „was demonstriert wurde“ unterdrückt, anstatt eine unbedingte Logit-Suppression durchzuführen. Er passt nicht in die Templates der Rank-1 Copy-Suppression oder V-Cascade.

4. Signifikanz und Ansprüche

Das Paper behauptet, dass die FV-Head-Population keine homogene Klasse ist, sondern eine strukturelle Eigenschaft, die aus zwei gegensätzlichen Sub-Circuits besteht.

Methodische Korrektur: Das Standard-Ranking nach reinem Magnitude-Ranking (Todd et al., 2024) reicht nicht aus, um die vollständige funktionale Landschaft der FV-Heads zu identifizieren. Es übersieht systematisch die Sub-Population, die dem dominanten Signal entgegenwirkt, was zu unvollständigen Circuit-Modellen führt.
Implikationen für Interventionen: Das Paper unterscheidet zwischen Ablation, Transplant und additivem Steering.
- Ablation: Das Entfernen von Cancellern verbessert die Performance.
- Transplant: Das Ersetzen von Heads durch ihren Task-Mittelwert (was effektiv das spezifische pro-Prompt-Verhalten von Cancellern neutralisiert) verbessert die Performance im Vergleich zu reinen Writer-Transplants.
- Steering: Die Autoren betonen explizit, dass sie nicht behaupten, dass ein aggregierter Steering-Vektor (kombiniert aus $W$ und $C$ ) die korrekte Operation für praktisches Steering ist. Da $W$ und $C$ entgegengesetzte Vorzeichen haben, kann die Aggregation zu einem einzelnen Vektor den Steering-Effekt verwässern. Die Identifikation auf Populationsebene dient dazu, zu definieren, welche Heads man interveniert, nicht notwendigerweise wie man sie aggregiert.
Generalisierbarkeit: Das Phänomen wird über verschiedene Modellarchitekturen (GPT-NeoX, Llama-Stil, Conv1D) und Skalen hinweg beobachtet, was darauf hindeutet, dass es eine fundamentale Eigenschaft der Art und Weise ist, wie Transformer In-Context Rule-Following implementieren, und kein Artefakt eines spezifischen Modells oder einer spezifischen Aufgabe.

5. Limitationen

Die Autoren bleiben hinsichtlich des Umfangs ihrer Ergebnisse bescheiden:

Task-Umfang: Die primäre Analyse beschränkt sich auf kurze, geschlossene Label-Synthetische ICL-Aufgaben (hierarchische und modulare Regeln) und zwei Vokabular-ICL-Templates (Antonyme, Land-Hauptstadt). Sie deckt keine langfristige Generierung oder offene Instruktionsbefolgung ab.
Mechanistische Verallgemeinerung: Während die Existenz der zwei Populationen eine Befund auf Populationsebene ist, wird die spezifische mechanistische Charakterisierung des dominanten Cancellers (L11.H4) als „distributed-bias content reader“ nicht auf die gesamte Canceller-Population extrapoliert.
Steering-Ansprüche: Das Paper erhebt keinen positiven Anspruch, dass vektorbasiertes Steering unter Verwendung der identifizierten Populationen die praktische Modellkontrolle über die beobachteten Logit-Shifts hinaus verbessert. Die Genauigkeitsgewinne durch Ablation lassen sich nicht automatisch in einen bewiesenen Vorteil für additive Steering-Vektoren ohne weiteres Tuning übersetzen.