💬 NLP

How Do Transformers Learn to Associate Tokens: Gradient Leading Terms Bring Mechanistic Interpretability

Dieser Artikel liefert eine mechanistische Interpretation dafür, wie Transformer semantische Assoziationen lernen, indem er geschlossene Ausdrücke für Gewichte in frühen Phasen als Zusammensetzungen von Bigramm-, Token-Austauschbarkeits- und Kontextabbildungen auf Basis der Trainingsgradientendynamik herleitet.

Ursprüngliche Autoren: Shawn Im, Changdae Oh, Zhen Fang, Sharon Li

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shawn Im, Changdae Oh, Zhen Fang, Sharon Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Transformer (das Gehirn hinter modernen KI-Chatbots) als ein riesiges, leeres Notizbuch vor. Wenn wir beginnen, es zu trainieren, sind die Seiten leer. Das Papier, nach dem Sie fragen, stellt eine einfache, aber tiefgründige Frage: Wie lernt dieses Notizbuch, Wörter wie „Vogel" und „flog" nur durch das Lesen von Millionen von Sätzen zu verbinden?

Anstatt auf die fertige, komplexe KI zu schauen, entschieden sich die Autoren, in die allerersten Momente des Lernens hineinzuzoomen. Sie verwendeten eine mathematische „Lupe", um die ersten wenigen Schritte zu betrachten, die die KI unternimmt, wenn sie beginnt, ihr Gedächtnis zu aktualisieren.

Hier ist die Aufschlüsselung ihrer Entdeckung mit einfachen Analogien:

1. Der „Erster-Schritt"-Abkürzungsweg

Das Trainieren einer KI ist wie der Versuch, das nächste Wort in einem Satz vorherzusagen. Normalerweise ist die Mathematik dahinter, wie die KI ihr Gedächtnis aktualisiert, unglaublich chaotisch und komplex.

Die Autoren erkannten, dass die KI zu Beginn keine komplexe Analysis durchführen muss. Sie muss lediglich das stärkste, offensichtlichste Signal in den Daten folgen. Sie nennen dies den „führenden Term". Stellen Sie sich einen Wanderer vor, der eine Bergtour beginnt. Ganz am Anfang ist der Pfad offensichtlich und gerade. Erst später, wenn sie höher kommen, wird der Pfad kurvig und komplex. Die Autoren bewiesen, dass die „Gedächtnisgewichte" der KI für eine überraschend lange Zeit sehr nahe an diesem einfachen, geraden Anfangspfad bleiben.

2. Die drei Bausteine

Das Papier zeigt, dass das Gedächtnis der KI kein zufälliges Durcheinander ist. Stattdessen wird es durch das Stapeln von drei spezifischen Arten von „Lego-Steinen" (die die Autoren Basisfunktionen nennen) aufgebaut. Diese Blöcke leiten sich direkt aus den Statistiken des Textes ab, den die KI liest:

Der „Nächstes-Wort"-Block (Bigramm-Zuordnung):
- Analogie: Stellen Sie sich ein Kind vor, das lernt, dass „Der" fast immer von einem Substantiv wie „Katze" oder „Hund" gefolgt wird.
- Was es tut: Dieser Block zeichnet einfach auf: „Wenn Sie Wort A sehen, was ist das wahrscheinlichste Wort B, das als Nächstes kommt?" Es erfasst einfache, unmittelbare Verbindungen.
Der „Austauschbare"-Block (Austauschbarkeits-Zuordnung):
- Analogie: Denken Sie an ein Synonymwörterbuch. Wenn Sie „Auto" in einem Satz durch „LKW" ersetzen können, ohne die Grammatik zu brechen, sind sie „austauschbar".
- Was es tut: Dieser Block lernt, dass bestimmte Wörter dieselbe Rolle spielen. Wenn „rot" normalerweise ein „Auto" beschreibt und „schnell" auch ein „Auto" beschreibt, hilft dieser Block der KI zu erkennen, dass „rot" und „schnell" verwandt sein könnten, weil sie beide mit denselben Wörtern zusammenhängen. Er gruppiert Wörter nach ihrer Funktion, nicht nur nach ihren unmittelbaren Nachbarn.
Der „Kontext"-Block (Kontext-Zuordnung):
- Analogie: Stellen Sie sich vor, Sie lesen eine Geschichte über einen „Fisch". Selbst wenn das Wort „Teich" nicht direkt neben „Fisch" steht, könnte die Geschichte früher „Wasser", „See" oder „Boot" erwähnen.
- Was es tut: Dieser Block schaut weiter zurück im Satz. Er lernt, dass ein Wort, das in einem bestimmten Kontext erscheint (wie eine Geschichte über die Natur), wahrscheinlich mit anderen Wörtern aus diesemselben Kontext verbunden ist, selbst wenn sie weit voneinander entfernt sind.

3. Wie sie zusammenarbeiten

Das Papier zeigt, dass die internen „Gewichte" der KI (die Zahlen, die bestimmen, wie sie denkt) einfach Kombinationen dieser drei Blöcke sind.

Die Ausgabeschicht (der Teil, der das nächste Wort vorhersagt) besteht hauptsächlich nur aus dem Nächstes-Wort-Block. Es ist die KI, die sagt: „Basierend auf dem, was ich gerade gesehen habe, was kommt als Nächstes?"
Die Aufmerksamkeits-Schicht (der Teil, der entscheidet, worauf sie sich konzentriert) ist eine Mischung aus dem Austauschbaren und dem Kontext-Block. Es ist die KI, die sagt: „Ich sehe das Wort 'Fisch'. Ich sollte zurück zum Wort 'Teich' schauen, weil sie oft in ähnlichen Geschichten zusammen erscheinen, auch wenn sie nicht direkt nebeneinander stehen."

4. Der Beweis: Es funktioniert tatsächlich

Die Autoren haben nicht nur Gleichungen geschrieben; sie haben dies an realen KI-Modellen getestet.

Sie trainierten eine kleine KI mit einem Datensatz von Kindergeschichten.
Sie verglichen das tatsächlich gelernte Gedächtnis der KI mit ihrer mathematischen Formel.
Das Ergebnis: Die Übereinstimmung war unglaublich eng (in einigen Fällen über 99 % Ähnlichkeit). Selbst als sie eine massive, reale KI (Pythia-1.4B) betrachteten, galten dieselben Muster. Die KI organisierte ihr Gedächtnis tatsächlich mit diesen drei einfachen statistischen Bausteinen.

Die große Erkenntnis

Das Papier argumentiert, dass wir KI nicht als mysteriöse „Blackbox" betrachten müssen, die Sprache magisch versteht. Stattdessen ist sie im Kern einfach statistisch organisiert die Welt durch:

Feststellen, was normalerweise auf was folgt.
Gruppieren von Wörtern, die denselben Job erledigen.
Verknüpfen von Wörtern, die dieselbe Hintergrundgeschichte teilen.

Indem wir diese drei einfachen Regeln verstehen, können wir endlich sehen, wie die Maschine lernt, „Vogel" mit „flog" und „Land" mit „Hauptstadt" zu assoziieren. Es ist keine Magie; es ist eine sehr strukturierte Art, den Text zusammenzufassen, den sie gelesen hat.

Technische Zusammenfassung: Wie Transformer lernen, Token zu assoziieren: Gradientenführende Terme ermöglichen mechanistische Interpretierbarkeit

Problemstellung

Large Language Models (LLMs), die auf Self-Attention basieren, haben bemerkenswerte Fähigkeiten beim Erfassen faktischen Wissens und beim Generieren kohärenter Texte unter Beweis gestellt, was maßgeblich auf ihre Fähigkeit zurückzuführen ist, semantische Assoziationen zu lernen (z. B. die Verbindung zwischen „Vogel" und „flog" oder die Austauschbarkeit von „Auto" und „LKW"). Während neuere Studien spezifische Mechanismen wie Induktionsköpfe oder lineare semantische Beziehungen identifiziert haben, fehlt es an einer prinzipiellen, theoriegegründeten Erklärung dafür, wie diese Assoziationen während des Trainings von Attention-basierten Transformern auf realen natürlichen Sprachdaten entstehen.

Bisherige theoretische Arbeiten stützen sich häufig auf unrealistische Annahmen, wie synthetische strukturierte Sprache, vereinfachte Architekturen (ohne Positionsencodings oder Residualverbindungen) oder nicht-standardisierte Trainingsregime (z. B. sequenzielles komponentenweises Training). Diese Abweichungen von der Praxis schränken die Generalisierbarkeit ihrer Erkenntnisse auf moderne LLMs ein. Dieser Artikel schließt diese Lücke, indem er die folgende Frage stellt: Wie entstehen semantische Assoziationen während des Trainings von Attention-basierten Sprachmodellen auf natürlichen Sprachdaten?

Methodik

Die Autoren schlagen einen theoretischen Rahmen vor, der auf Trainingsdynamiken basiert, und analysieren speziell die führende-Term-Näherung der Gradienten in den frühen Trainingsphasen.

Modellaufbau: Die Studie konzentriert sich auf einen Standard-Transformer mit $L$ Schichten auf Attention-Basis, der relative Positionsencodings, kausale Maskierung und Residualstreams verwendet und mittels Standard-Gradientenabstieg mit vollem Batch auf natürlichen Sprachkorpora trainiert wird.
Führende-Term-Näherung: Unter der Erkenntnis, dass Transformer Kernverhalten (einschließlich semantischer Beziehungen) früh im Training erwerben, leiten die Autoren geschlossene Ausdrücke für die Gewichtsmatrizen (Output $W_O$ , Value $V^{(l)}$ , Query-Key $W^{(l)}$ und Positionsencoding $P^{(l)}$ ) durch Näherung der Gradientenupdates her. Sie zeigen, dass für eine ausreichende Anzahl von Schritten $s$ (wobei $s \leq \eta^{-1} \min(\dots)$ ) die Gewichte nahe an ihren führenden Gradiententermen bleiben.
Basisfunktionszerlegung: Die theoretische Analyse zeigt, dass die gelernten Gewichte als einfache Zusammensetzungen von drei fundamentalen Basisfunktionen dargestellt werden können, die aus Korpusstatistiken abgeleitet sind:
- Bigramm-Mapping ( $\bar{B}$ ): Erfasst Abhängigkeiten des nächsten Tokens ( $P(e_j|e_i)$ ).
- Austauschbarkeits-Mapping ( $\Sigma \bar{B} = \bar{B}^\top \bar{B}$ ): Erfasst funktionale Ähnlichkeit zwischen Tokens basierend auf der Ähnlichkeit ihrer vorhergehenden Token-Verteilungen (z. B. Synonyme oder geteilte grammatikalische Rollen).
- Kontext-Mapping ( $\bar{\Phi}$ ): Kodiert längere Präfix-Suffix-Ko-Okkurrenz und repräsentiert den durchschnittlichen Kontext, in dem ein Token erscheint.

Hauptbeiträge

Der Artikel leistet drei wesentliche Beiträge:

Explizite Gewichtscharakterisierung: Er präsentiert die erste explizite, geschlossene Charakterisierung von Gewichten in Attention-basierten Transformern, die auf realen Textkorpora unter dem Next-Token-Vorhersageverlust trainiert wurden. Es wird gezeigt, dass die Gewichte Zusammensetzungen der oben genannten drei Basisfunktionen sind.
Mechanistische Interpretation semantischer Assoziationen: Die Autoren interpretieren die in den Gewichten gelernten Merkmale als spezifische Zusammensetzungen von Bigramm-, Austauschbarkeits- und Kontext-Mappings. Sie demonstrieren, wie diese Zusammensetzungen es dem Modell ermöglichen, semantische Assoziationen zu erfassen (z. B. wie „Fisch" über das Kontext-Mapping mit „Teich" verbunden ist oder wie „rot" über das Bigramm-Mapping mit „LKW" verbunden ist).
Empirische Validierung: Die theoretischen Vorhersagen werden sowohl an einem Toy-Attention-Modell mit 3 Schichten, das auf dem TinyStories-Datensatz trainiert wurde, als auch an einem praktischen, großskaligen LLM (Pythia-1.4B), das auf OpenWebText trainiert wurde, validiert.

Ergebnisse

Theoretische Übereinstimmung: Experimente an einem auf TinyStories trainierten Transformer mit 3 Schichten zeigen, dass die Kosinusähnlichkeit zwischen den theoretisch vorhergesagten führenden Termen und den tatsächlich gelernten Gewichten selbst nach 100 Epochen des Trainings extrem hoch bleibt (z. B. >0,99 für Attention- und Value-Matrizen).
Semantische Struktur: Eine qualitative Analyse bestätigt, dass die Basisfunktionen bedeutungsvolle linguistische Strukturen erfassen. So korreliert beispielsweise das Bigramm-Mapping $\bar{B}$ Adjektive mit den Substantiven, die sie modifizieren, während das Kontext-Mapping $\bar{\Phi}$ Entitäten mit ihren typischen Umgebungen korreliert (z. B. „Fisch" mit „Teich").
Generalisierung auf reale LLMs: Bei der Anwendung auf Pythia-1.4B zeigen die theoretischen führenden-Term-Merkmale eine starke Übereinstimmung mit den gelernten Embeddings und Attention-Korrelationen, insbesondere in den frühen Trainingsphasen. Die Analyse zeigt, dass die Gewichte zwar im Laufe des Trainings zu reichhaltigeren Wissensrepräsentationen tendieren, aber die grundlegenden assoziativen Merkmale, die von der Theorie vorhergesagt werden, für einen signifikanten Zeitraum beibehalten.
Zusammenarbeit der Komponenten: Die Analyse der vollständigen Modellberechnung (Gleichung 12) veranschaulicht, wie der Residualstream eine durchschnittliche Next-Token-Vorhersage bereitstellt, während der Self-Attention-Block (angetrieben durch $\bar{Q}$ und $\bar{\Phi}^\top \Sigma \bar{B}$ ) diese Vorhersage verfeinert, indem er sich selektiv auf Tokens konzentriert, die aufgrund der Korpusstatistiken am aussagekräftigsten für den nächsten Token sind.

Bedeutung

Der Artikel beansprucht, eine mechanistische Grundlage für das Repräsentationslernen in Large Language Models zu liefern, indem er Trainingsdynamiken des Deep Learnings mit linguistischer Theorie verbindet. Durch die Verankerung der Analyse in natürlichen Textverteilungen und Standard-Trainingsverfahren reduziert die Arbeit die Kluft zwischen formaler theoretischer Analyse und praktischer LLM-Nutzung erheblich.

Die Autoren argumentieren, dass ihre Erkenntnisse eine rigorose Möglichkeit bieten, die Funktion jeder Transformer-Komponente zu kontextualisieren. Anstatt das Modell als Black Box zu betrachten, legt die Theorie nahe, dass sich das Verhalten des Modells entwickelt, indem zunächst diese fundamentalen assoziativen Merkmale (Bigramme, Austauschbarkeit, Kontext) etabliert werden, die als Ankerpunkte für das Erlernen komplexerer semantischer Beziehungen dienen. Diese Arbeit eröffnet Wege für Interpretierbarkeitsforschung, indem sie nahelegt, dass Gewichtsmatrizen über verschiedene Komponenten hinweg in einfache Funktionen gemeinsamer Korpusstatistiken zerlegt werden können, was breitere Hypothesen darüber zulässt, wie Konzepte in Modellen jenseits spezifischer Mechanismen entstehen.