🤖 machine learning

Induction Heads Interpolate N-Grams

Diese Arbeit zeigt, dass Induktionsköpfe in Transformern einen anspruchsvollen In-Context-Learning-Mechanismus implementieren, der eine weiche Kontext-Matching-Interpolation mit additiver Pseudo-Count-Glättung kombiniert und so die Schätzung effektiv regularisiert, um klassische count-basierte Baselines zu übertreffen.

Ursprüngliche Autoren: Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco D'Angelo, Oguz Kaan Yuksel, Swathi Shree Narashiman, Nicolas Flammarion

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das nächste Wort in einer Geschichte zu erraten. Sie schauen sich die Wörter an, die Sie bereits gelesen haben, um Muster zu finden. Genau das machen KI-Modelle wie Transformer, wenn sie aus einem Prompt „lernen“ (ein Prozess, der als In-Context Learning bezeichnet wird), ohne ihr internes Gehirn zu verändern.

Lange Zeit glaubten Wissenschaftler, dass diese Modelle wie ein strenger Bibliothekar funktionieren würden: Sie würden nur nach exakten Übereinstimmungen der letzten paar Wörter suchen. Wenn die Geschichte sagte: „Die Katze saß auf der...“, würde das Modell nur nach anderen Stellen suchen, an denen die Geschichte genau „Die Katze saß auf der...“ gesagt hat, und dann das nächste Wort erraten. Wenn diese exakte Phrase noch nie zuvor aufgetreten ist, wäre das Modell stecken geblieben, würde wahllos raten oder aufgeben.

Dieses neue Paper argumentiert, dass die Modelle viel klüger und flexibler sind als das. Sie zählen nicht nur exakte Übereinstimmungen; sie nutzen zwei clevere Tricks, um die Lücken in ihrem Gedächtnis zu glätten, ähnlich wie ein Mensch Kontextreize nutzt.

Hier sind die zwei Haupttricks, die das Paper entdeckt hat, erklärt mit einfachen Analogien:

1. Das „Soft Match“ (Jelinek-Mercer-Glättung)

Der alte Weg (Hartes Zählen): Stellen Sie sich vor, Sie versuchen, das nächste Wort in einem Satz zu erraten. Sie suchen nur nach Sätzen, die identisch mit dem Satz sind, den Sie gerade lesen. Wenn Sie diesen exakten Satz noch nie gesehen haben, haben Sie keine Ahnung, was als Nächstes kommt.

Der neue Weg (Soft Matching): Das Paper zeigt, dass die „Induction Heads“ des Modells (der spezifische Teil des Gehirns, der die Arbeit verrichtet) tatsächlich auch nach Teilübereinstimmungen suchen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, das Ende eines Satzes zu erraten: „Die rote Katze saß auf der...“
- Sie finden einen Satz, der sagt: „Die rote Katze saß auf der...“ (Perfekte Übereinstimmung).
- Sie finden einen anderen, der sagt: „Die schwarze Katze saß auf der...“ (Nur der Teil „Katze“ stimmt überein).
- Sie finden einen dritten, der sagt: „Die rote Hündin saß auf der...“ (Nur der Teil „rote“ stimmt überein).

Anstatt die Teilübereinstimmungen zu ignorieren, gibt das Modell ihnen eine Stimme. Je mehr Teile des Satzes übereinstimmen, desto lauter ist die Stimme. Wenn die exakte Übereinstimmung selten ist, hört das Modell mehr auf die Teilübereinstimmungen. Es vermischt diese Stimmen, um eine Vorhersage zu treffen.

Das Paper nennt dies Interpolation. Es ist wie ein Koch, der eine Suppe probiert. Wenn er nicht das exakte Rezept hat, rät er nicht einfach; er schaut sich ähnliche Rezepte an, die er kennt, und mischt die Aromen, um eine neue, vernünftige Vermutung zu erstellen. Das Modell macht dies mathematisch, indem es gewichtet, wie viel Vertrauen es einer „vollen Übereinstimmung“ gegenüber einer „Teilübereinstimmung“ entgegenbringt.

2. Das „BOS-Token“ als Sicherheitsnetz (Add- $\alpha$ -Glättung)

Das Problem: Was ist, wenn das Modell gar keine Version des aktuellen Satzes gesehen hat? Selbst Teilübereinstimmungen könnten fehlen.

Die Lösung: Das Paper hebt die Rolle eines speziellen Tokens hervor, das BOS (Beginning of Sequence) genannt wird. Denken Sie an dies als einen „Startknopf“ am Anfang jeder Geschichte.

Die Analie: Stellen Sie sich vor, das Modell ist ein Detektiv. Normalenfalls sucht er nach Hinweisen am Tatort (dem Text). Aber manchmal ist der Tatort zu neu oder zu chaotisch, um Hinweise zu finden. Das BOS-Token fungt als Standard-Sicherheitsnetz.
Wenn das Modell das BOS-Token sieht, weiß es: „Okay, ich habe diese spezifische Situation noch nie erlebt. Lassen Sie uns zum durchschnittlichen Verhalten aller Wörter zurückkehren.“
Dies fügt jeder möglichen Vermutung ein winziges Stück „fiktive Daten“ (genannt Pseudo-Count) hinzu. Es verhindert, dass das Modell sagt: „Ich habe null Beweise, also kann ich nicht raten.“ Stattdessen sagt es: „Ich habe keine spezifischen Beweise, also rate ich basierend auf dem, was im Allgemeinen häufig vorkommt.“

Das Paper zeigt, dass das Modell mit der Anwesenheit dieses BOS-Tokens automatisch lernt, dieses „Sicherheitsnetz“ zu seinen Vorhersagen hinzuzufügen, was mathematisch dasselbe ist wie ein klassischer statistischer Trick namens Add- $\alpha$ -Glättung.

Was haben sie bewiesen?

Die Forscher haben nicht nur geraten; sie haben eine vereinfachte Version der KI (einen „disentangled Transformer“) gebaut und mathematisch bewiesen, dass das Modell genau diese zwei Dinge tut, wenn man die Regler richtig einstellt:

Es vermischt exakte Übereinstimmungen und ähnliche Teilübereinstimmungen (Soft Matching).
Es nutzt das BOS-Token, um ein Sicherheitsnetz hinzuzufügen (Add- $\alpha$ -Glättung).

Dann haben sie echte KI-Modelle auf einfachen Musterspielen (Markov-Ketten) trainiert. Sie fanden heraus:

Als die Modelle trainiert wurden, haben sie diese exakten Tricks natürlich gelernt.
Sie haben nicht nur exakte Übereinstimmungen gezählt; sie haben gelernt, ihre Vermutungen zu regularisieren (zu glätten).
In Situationen, in denen Teilübereinstimmungen nützlich waren (wie etwa wenn ähnliche Wörter einen gemeinsamen „Elternteil“ teilen), übertrafen diese Modelle die alten Methoden des „strengen Zählens“.

Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass diese KI-Modelle keine einfachen „Zählmaschinen“ sind, die exakte Phrasen auswendig lernen. Sie sind hochentwickelte statistische Regularisierer. Sie haben gelernt zu:

Informationen aus exakten Übereinstimmungen und ähnlichen Teilübereinstimmungen zu verbinden.
Auf allgemeine Durchschnitte zurückzugreifen, wenn spezifische Beweise fehlen.

Dies erklärt, warum große Sprachmodelle so gut darin sind, mit neuen, ungesehenen Situationen umzugehen: Sie suchen nicht nur nach einer perfekten Übereinstimmung in ihrer Historie; sie nutzen eine intelligente, gewichtete Mischung aus allem, was sie gesehen haben, um die bestmögliche Vermutung anzustellen.

Technisches Resümee: Induktionsköpfe interpolieren N-Gramme

Problemstellung
Induktionsköpfe (Induction Heads), die als der primäre Schaltkreis für das In-Context Learning (ICL) in Transformern identifiziert wurden, werden traditionell im „Hard-Attention“-Limit charakterisiert. In diesem Regime führt der Schaltkreis exaktes Musterabgleichen und Maximum-Likelihood-Zählen (ML-Counting) durch. Während diese Sichtweise mechanistisch ansprechend ist, ist sie statistisch unvollständig für höherwertige Abhängigkeiten: Exakte $k$ -Gramm-Übereinstimmungen sind in endlichen Stichproben oft zu selten, um eine zuverlässige Vorhersage zu unterstützen, und der ML-Schätzer weist ungesehenen Fortsetzungen eine Wahrscheinlichkeit von Null zu. Klassische Sprachmodelle begegnen diesem Problem mittels Glättungs- und Back-off-Mechanismen (z. B. Jelinek–Mercer, Katz-Back-off), die die Wahrscheinlichkeitsmasse auf ungesehene Ereignisse umverteilen und über Kontextlängen hinweg interpolieren. Die zentrale Frage dieser Arbeit ist, ob Induktionsköpfe eine reichhaltigere Klasse von Schätzern implementieren als reines Zählen, nämlich eine, die zur Lage der Möglichkeit auch solche Glättungsverfahren durchführen kann.

Methodik
Die Autoren analysieren Transformer, die auf Ordnungs- $k$ -Markow-Ketten trainiert wurden – ein Setting, das die analytische Handhabbarkeit mit den Trade-offs endlicher Stichproben bei kontextbasierter Vorhersage ausbalanciert.

Theoretischer Rahmen: Die Studie nutzt eine „disentangled“ (entkoppelte) Transformer-Architektur (Entfernung von MLPs und Verwendung von Konkatenz für Residual-Streams), um eine exakte Analyse zu ermöglichen. Die Autoren konstruieren einen spezifischen Zwei-Schicht-Transformer mit relativer Positionskodierung (RPE) und beweisen, dass dieser einen Soft-Context-Matching-Schätzer implementiert.
Konstruktion des Mechanismus:
- Schicht 1 (Copying Heads): Verwendet $k$ Attention-Heads, um Token von spezifischen relativen Lags ( $t-1, \dots, t-k$ ) zu kopieren, wodurch eine Repräsentation des aktuellen Kontextes konstruiert wird.
- Schicht 2 (Context Matching): Verwendet einen einzelnen Attention-Head, um den Query-Kontext mit allen Kandidaten-Kontexten in der Historie zu vergleichen. Die Attention-Scores sind so konzipiert, dass sie ein verschiebe-ausgerichtetes Skalarprodukt berechnen, welches Übereinstimmungen basierend auf der Anzahl der überlappenden Token (Hamming-Überlappung) gewichtet, anstatt exakte Übereinstimmungen vorauszusetzen.
- BOS-Token: Die Autoren integrieren ein Beginning-of-Sequence (BOS)-Token als sequenzunabhängiges Attention-Ziel, um additive Pseudo-Counts einzuführen.
Statistische Analyse: Die Autoren leiten den implementierten Closed-Form-Schätzer dieses Schaltkreises ab und vergleichen ihn mit Bayes-optimalen Prädiktoren unter zwei Aufgaben-Priors:
- Unabhängiger Dirichlet-Prior: Wo Kontexte unkorreliert sind.
- Hierarchischer Dirichlet-Prior: Wo höherwertige Übergänge auf ihren niederwertigeren Suffixen zentriert sind, was Korrelationen zwischen Kontexten erzeugt, die einen gemeinsamen Suffix teilen.

Zentrale Beiträge
Die Arbeit stellt fest, dass Induktionsköpfe zwei komplementäre Glättungsmechanismen implementieren, wenn sie bei endlichen Attention-Gewichtsskalen operieren:

Soft Context Matching (Interpolation):
- Der Schaltkreis aggregiert Beiträge sowohl von exakten als als auch von partiellen Kontext-Übereinstimmungen.
- Übereinstimmungen werden exponentiell nach ihrer Überlappungsgröße ( $|M|$ ) gewichtet.
- Dies induziert eine datenabhängige Interpolation über Kontextordnungen hinweg, analog zur Jelinek–Mercer-Glättung. Im Gegensatz zur klassischen JM-Glättung, die feste globale Gewichte verwendet, hängen die Gewichte des Transformers von den realisierten Zählungen in der spezifischen Sequenz ab.
- Der Schätzer vereinigt Mischmodelle (wie JM) und Back-off-Strategien (wie Katz): Wenn exakte Übereinstimmungen selten sind, „backt“ das Modell automatisch auf niederwertigere partielle Übereinstimmungen zurück, ohne explizite Regeln zu benötigen.
BOS als additive Pseudo-Counts:
- Das BOS-Token fungiert als fixer, sequenzunabhängiger Sink für die Attention.
- Dieser Mechanismus ermöglicht es dem Modell, konstante Pseudo-Counts zu den kontextspezifischen Übergangs-Zählungen hinzuzufügen.
- Theoretisch rekonstruiert dies die Add- $\alpha$ -Glättung (z. B. Laplace-Glättung) im Limit großer Attention-Gewichte und liefert eine Erklärung auf Schaltkreisebene dafür, wie architektonische Konventionen Prior-ähnliche Regularisierung implementieren.
Empirische Validierung:
- Die Autoren trainieren sowohl disentangled als auch Standard-Transformer (voll parametrisiert) auf Markow-Ketten-Aufgaben.
- Die Ergebnisse zeigen, dass trainierte Modelle die vorhergesagten Attention-Muster wiederherstellen:
  - Ohne BOS verlassen sie sich auf Soft Context Matching, um über Ordnungen hinweg zu interpolieren.
  - Mit BOS nutzen sie Pseudo-Counts, um eine nahezu Bayes-optimale Performance unter unabhängigen Priors zu erreichen.
  - Unter hierarchischen Priors, in denen niederwertige Kontexte strukturierte Evidenz liefern, übertreffen die Modelle feste Add- $\alpha$ -Baselines durch die Nutzung des Interpolationsmechanismus.
- Die mechanistische Analyse bestätigt, dass trainierte Standard-Transformer die spezifischen Gewichtstrukturen (z. B. block-verschobene Matrizen) lernen, die die Theorie vorhersagt.

Ergebnisse

KL-Divergenz: In Settings, in denen die Add- $\alpha$ -Glättung Bayes-optimal ist (Independent Dirichlet), erreichen trainierte Transformer mit BOS den Bayes-optimalen Prädiktor. In hierarchischen Settings, in denen strukturierte Evidenz existiert, ermöglicht der Interpolationsmechanismus den Transformern, die festen Smoothing-Baselines zu übertreffen.
Attention-Muster: Visualisierungen der trainierten Modelle bestätigen den Zwei-Stufen-Schaltkreis: Schicht 1 führt lag-spezifisches Kopieren durch, und Schicht 2 führt Soft Matching durch, wobei die Attention-Masse basierend auf der Überlappung auf volle und partielle Übereinstimmungen verteilt wird.
Asymmetrische Lag-Gewichte: In hierarchischen Aufgaben lernen trainierte Modelle, höhere Gewichte auf die jüngste Übereinstimmung (Lag 1) im Vergleich zu älteren Token (Lag 2) zu vergeben, was konsistent mit der Struktur des Priors ist, wonach jüngere Token bessere Prädiktoren für den nächsten Zustand sind.

Bedeutung
Das Paper schließt die Lücke zwischen der mechanistischen Interpretierbarkeit von Induktionsköpfen und klassischer statistischer Glättung. Es zeigt, dass Transformer nicht bloß unreguliertes Zählen betreiben; vielmehr lernen sie, die In-Context-Estimation zu regularisieren. Durch die dynamische Interpolation über Kontextordnungen hinweg und die Nutzung architektonischer Token (BOS) zur additiven Glättung implementieren Induktionsköpfe ausgeklügelte statistische Verfahren, die sich an die Datenverteilung anpassen, was ihre Robustheit in In-Context-Learning-Aufgaben erklärt.

1. Das „Soft Match“ (Jelinek-Mercer-Glättung)

2. Das „BOS-Token“ als Sicherheitsnetz (Add-α\alphaα-Glättung)

Was haben sie bewiesen?

Die wichtigste Erkenntnis

Mehr davon

2. Das „BOS-Token“ als Sicherheitsnetz (Add- $\alpha$ -Glättung)