📊 statistics

Assign and Add: A Mechanistic Study of Compositional Arithmetic

Diese Arbeit untersucht, wie kleine Transformer in einem kontrollierten Setting von Variablenzuweisung und modularer Addition kompositorische Generalisierung erreichen, wobei sie aufzeigt, dass die Modelle interne Mechanismen sowohl für direkte als auch für indirekte Eingaben wiederverwenden und durch distinkte Lernphasen fortschreiten, um natürlich auf ungesehene Kombinationen zu generalisieren.

Ursprüngliche Autoren: Brady Exoo, Alberto Bietti, John Sous

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Brady Exoo, Alberto Bietti, John Sous

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr klugen, aber sehr wörtlich nehmenden Roboter das Rechnen bei. Sie möchten ihm ein Rätsel wie dieses beibringen: "Wenn 'A' gleich 5 und 'B' gleich 10 ist, was ist A + B?"

Der knifflige Teil ist, dass der Roboter die Buchstaben "A" und "B" in genau dieser Reihenfolge noch nie gesehen hat. Er hat nur gesehen, wie Zahlen addiert werden (wie 5 + 10) oder wie andere Buchstaben auf andere Weise verwendet werden. Die große Frage, die die Forscher gestellt haben, lautet: Wie lernt der Roboter, diese zwei verschiedenen Fähigkeiten zu kombinieren – zu verstehen, dass ein Buchstabe für eine Zahl steht, und dann tatsächlich die Mathematik zu betreiben – um ein völlig neues Rätsel zu lösen, das er so noch nie gesehen hat?

Hier ist die Entdeckung des Papers "Assign and Add", einfach erklärt:

1. Das Setup: Ein Tanz in zwei Schritten

Die Forscher bauten ein kleines, einfaches "Gehirn" (ein neuronales Netzwerk) und gaben ihm eine spezifische Aufgabe. Sie fütterten es mit Sätzen wie:

c=17, b=42, b+19=?

Der Roboter musste verstehen, dass b eigentlich 42 ist, also ist die Rechnung eigentlich 42 + 19, und dann das Ergebnis liefern.

Um zu sehen, wie der Roboter lernte, unterteilten sie das Training in verschiedene "Geschmacksrichtungen" von Rätseln:

Der einfache Weg: Nur Zahlen (z. B. 17 + 19 = ?).
Der mittelschwere Weg: Ein Buchstabe und eine Zahl (z. B. b + 19 = ?).
Der schwere Weg: Zwei Buchstaben (z. B. b + c = ?).

2. Die drei Phasen des Lernens

Der Roboter lernte nicht alles auf einmal. Er durchlief drei verschiedene Phasen, wie ein Schüler, der ein Fach Schritt für Schritt meistert:

Phase 1: Der Mathe-Meister. Zuerst lernte der Roboter, wie man die eigentliche Addition durchführt. Er wurde richtig gut darin, Zahlen zusammenzuzählen. In dieser Phase war er super bei 17 + 19, aber völlig verwirrt von Buchstaben. Es war wie ein Taschenrechner, der nicht wusste, was eine Variable ist.
Phase 2: Der Übersetzer. Als Nächstes lernte der Roboter die "Zuweisungs"-Fähigkeit. Er fand heraus, wie er c=17 liest und sich merkt, dass c für 17 steht. Er lernte, den Buchstaben durch die Zahl zu ersetzen.
Phase 3: Der Dirigent. Schließlich lernte der Roboter, diese beiden Fähigkeiten zu kombinieren. Er realisierte: "Oh, ich kann meine 'Übersetzer'-Fähigkeit nutzen, um die Zahlen zu finden, und dann meine 'Mathe-Meister'-Fähigkeit nutzen, um sie zu addieren."

Die Überraschung: Der Roboter lernte die Mathematik vor, bevor er die Übersetzung vollständig beherrschte. Er konnte die Addition perfekt ausführen, während er noch Schwierigkeiten mit den Buchstaben hatte!

3. Wie das "Gehirn" des Roboters funktioniert (Der Mechanismus)

Die Forscher schauten nicht nur auf das Endergebnis; sie schauten in das "Gehirn" des Roboters, um zu sehen, wie er denkt. Sie fanden zwei spezifische Werkzeuge, die zusammenarbeiten:

Werkzeug A: Der "Previous Token" Head (Der Übersetzer).
Stellen Sie sich einen Roboterarm vor, der zurückgreift, um das Objekt direkt vor dem aktuellen zu greifen. In der ersten Schicht des Roboters lernte er, diesen Arm zu benutzen, um die Zahl zu greifen, die einem Buchstaben zugewiesen wurde. Wenn er b sieht, greift er zurück, um die Zahl zu finden, der b früher im Satz zugewiesen wurde.
Werkzeug B: Das "Fourier" Mathe-Modul (Der Taschenrechner).
In der zweiten Schicht nutzt der Roboter einen speziellen mathematischen Trick (der mit Wellen und Mustern zu tun hat), um die Addition durchzuführen. Dies ist eine bekannte Methode für Roboter, um modulare Mathematik zu betreiben (Mathematik, die sich wie ein Uhrzeigersinn dreht/umspringt, wie bei einer Uhr).

Der magische Moment: Der Roboter lernte, diese beiden Werkzeuge zu verbinden. Der "Übersetzer"-Arm greift die richtigen Zahlen und reicht sie an das "Taschenrechner"-Modul weiter. Sobald sie verbunden sind, kann der Roboter b + c lösen, selbst wenn er b und c zusammen noch nie zuvor gesehen hat. Es ist, als hätte man einen Übersetzer, der "Buchstaben" spricht, und einen Taschenrechner, der "Zahlen" spricht, und man baut schließlich eine Brücke zwischen ihnen.

4. Warum das wichtig ist

Das Paper zeigt, dass Generalisierung (das Lösen neuer Probleme) keine Magie ist. Sie geschieht natürlich, wenn ein Modell kleine, atomare Fähigkeiten lernt (wie das Addieren von Zahlen und das Finden von Variablen) und dann lernt, diese miteinander zu verknüpfen.

Der "Grokking"-Effekt: Die Forscher bemerkten ein Phänomen namens "Grokking". Manchmal lernt der Roboter die Trainingsdaten perfekt auswendig, scheitert aber an neuen Tests. Dann, plötzlich, macht es "Klick", und er beginnt, die Regeln statt nur die Antworten auswendig zu lernen.
Das Ergebnis: Da der Robot die internen Mechanismen separat lernte und sie dann kombinierte, konnte er Rätsel lösen, die er noch nie gesehen hatte, wie zum Beispiel die Verwendung eines Buchstabens an einer Position, die er während des Trainings nicht verwenden durfte.

Zusammenfassende Analogie

Stellen Sie sich den Roboter als Koch vor.

Zuerst lernt er, Gemüse zu schneiden (die Mathematik).
Dann lernt er, ein Rezept zu lesen, das sagt: "Benutze die Zwiebel aus der blauen Schüssel" (die Variablenzuweisung).
Schließlich lernt er, dies zu kombinieren: Das Rezept lesen, die Zwiebel finden und sie dann schneiden.

Das Paper beweist, dass, wenn man einem Koch diese beiden Fähigkeiten separat beibringt, er schließlich in der Lage sein wird, ein Gericht zu kochen, nach dem man ihn noch nie gefragt hat. Die "Komposition" dieser Fähigkeiten ist das, was den Roboter intelligent macht.

Technisches Resümee: Assign und Add: Eine mechanistische Studie der kompositionellen Arithmetik

Problemstellung

Große Sprachmodelle (LLMs) demonstrieren die Fähigkeit, Fertigkeiten zu kombinieren, um komplexe Aufgaben auszuführen, die während des Trainings nicht gesehen wurden, doch die spezifischen Mechanismen, die diese „kompositionelle Generalisierung“ ermöglichen, bleiben schwer fassbar. Während die Generalisierung oft der Komposition atomarer Mechanismen zugeschrieben wird, wurde das Zusammenspiel zwischen distinkten Mechanismen – spezifisch Variablenbindung (assoziative Rekonstruktion via Induction Heads) und modularer Arithmetik (strukturierte Repräsentationen via Fourier-Features) – bisher nicht systematisch in einem kontrollierten Umfeld untersucht.

Dieses Paper adressiert die Frage: Wie lernen Transformer die Kombination von Variablenbindung und modularer Additionsmechanismen, um über die Trainingsverteilung hinaus zu generalisieren, und wie entstehen diese Fähigkeiten während des Trainings?

Methodik

Die Autoren verwenden einen kontrollierten experimentellen Aufbau mit einem kleinen, mechanistisch interpretierbaren Transformer, der auf einer synthetischen Aufgabe trainiert wurde, die Variablenzuweisung und modulare Addition kombiniert.

Modellarchitektur: Ein 2-Schicht-Transformer mit einem Single-Head, $d_{model} = d_{head} = 128$ und $d_{mlp} = 512$ . Die Architektur verzichtet bewusst auf Biases, Normalisierungsschichten und die Layer-1 MLP, um die Schaltkreisentdeckung (Circuit Discovery) zu vereinfachen. Sie verwendet GPT-2-ähnliche absolute Positions-Embeddings und Causal Masking.
Aufgabendefinition: Das Modell wird darauf trainiert, modulare Addition ( $N=59$ ) durchzuführen, wobei Operanden entweder Konstanten oder dynamisch im Kontext zugewiesene Variablen sein können (z. B. c=1, b=17, a=42, b+19=?).
Datenverteilung: Die Sequenzen werden mit zufälligem Padding tokenisiert, um eine Abhängigkeit von absoluten Positionen zu verhindern. Der Trainingsdatensatz ist zur Evaluierung der Generalisierung partitioniert:
- 0-Variable (0-var): Reine Addition von Konstanten.
- 1-Variable (1-var) & 2-Variable (2-var): Addition unter Einbeziehung zugewiesener Variablen.
- Held-out Sets: Ungefähr 30 % der Additions-Paare wurden aus dem Training entfernt (z. B. wenn 1+3 ungesehen ist, werden alle Sequenzen, die dieses Paar enthalten, ausgeschlossen). Zusätzlich wurden spezifische Variablen in bestimmten Positionen im Trainingssatz eingeschränkt, um die Positionsgeneralisierung zu testen.
Analysetechniken: Die Studie nutzt Werkzeuge der mechanistischen Interpretierbarkeit (via der TransformerLens-Bibliothek), um Attention-Muster, Residual-Stream-Vektoren und Gewichtmatrizen zu analysieren. Zudem werden lineare Probes und theoretische Gradientenanalysen eingesetzt, um die Trainingsdynamik zu verfolgen.

Zentrale Beiträge

Traktables Modell für kompositionelle Arithmetik: Die Autoren präsentieren ein vereinfachtes Modell, das die mechanistische Interpretation ermöglicht, wie Variablenzuweisung mit modularer Arithmetik komponiert wird.
Entkoppelte Trainingsdynamik: Die Analyse zeigt, dass modulare Arithmetik vorher und unabhängig von der Variablenbindung gelernt wird. Das Modell erreicht eine nahezu perfekte Genauigkeit bei 0-var-Aufgaben, während es gleichzeitig lernt, Variablenbindung durchzuführen.
Mechanistische Erklärung der Generalisierung: Das Paper identifiziert, dass Generalisierung aus der Komposition zweier spezifischer Schaltkreise resultiert:
- Ein modifizierter Induction Head in Layer 1, der zugewiesene Variablen abruft und deren Werte weiterleitet.
- Ein modularer Additions-Schaltkreis in Layer 2 (speziell die Output-Value-Matrix und die Layer-2 MLP), der die Arithmetik auf den abgerufenen Werten durchführt.
Theoretischer Rahmen: Die Autoren liefern eine theoretische Analyse, die zeigt, wie die Gradientendynamik die Komposition von Variablenbindungs- und modularer Additions-Schaltkreisen erleichtert, indem sie aufzeigt, dass der negative Gradient auf die Layer-2 Query-Key-Matrix natürlich zur Bildung eines assoziativen Speicherblocks führt.

Ergebnisse

Trainingsdynamik und Phasen

Der Trainingsprozess weist drei distinkte Phasen auf:

Lernen der modularen Addition: Das Modell lernt zuerst, Additionen in Sequenzen ohne Variablen (0-var) durchzuführen, und erreicht eine hohe Genauigkeit, bevor die Variablenbindung vollständig etabliert ist.
Lernen der Variablenzuweisung: Das Modell lernt anschließend die Struktur, die für die Variablenzuweisung erforderlich ist. Ein scharfer „Spike“ in der Genauigkeit (um Schritt 5.300–5.400) fällt mit dem Auftreten des Routing-Schaltkreises für die Variablenzuweisung zusammen, bei dem die Layer-1 Attention die Konstanten korrekt an ihre zugewiesenen Variablen weiterleitet.
Verfeinerungsphase: Eine zweite Phase (Schritte 14.500–16.000) umfasst die Verfeinerung des Routings für „schwierige“ Sequenzen (z. B. spezifische Variablen in Held-out-Positionen), um anfängliche Fehler beim Aufmerksamkeitsfokus auf bestimmte Variablenpositionen zu korrigieren.

Generalisierungsfähigkeiten

Positionsgeneralisierung: Das Modell generalisiert auf neuartige Variablen-Reihenfolgen (z. B. Vorhersage von b+14 nach dem Sehen von 14+b).
Out-of-Distribution (OOD) Generalisierung: Das Modell sagt erfolgreich held-out Additions-Paare voraus (z. B. 1+3), die in keiner Form während des Trainings gesehen wurden, und erreicht eine Genauigkeit von 99,4 % auf kuratierten Testsets.
Datenanforderungen: Die Generalisierung auf ungesehene Konstanten-Paare erfordert ein Training an mindestens ~25 % der Gesamtverteilung ( $f \approx 0.25$ ). Die Generalisierung auf 2-Variablen-Sequenzen erfordert eine relative Häufigkeit von ~20 % ( $r \approx 0.2$ ) von 2-Var-Sequenzen in den Trainingsdaten.

Mechanistische Erkenntnisse

Gemeinsame Repräsentation: Die Residual-Stream-Vektoren für die Variablen-zugewiesene Addition und die reine Konstanten-Addition sind nahezu identisch (Cosinus-Ähnlichkeit $\approx 1$ ) vor der Layer-2 MLP, was auf einen gemeinsamen Rechenmechanismus hindeutet.
Fourier-Features: Die Neuronen der Layer-2 MLP zeigen Präaktivierungen, die der theoretischen Form von Fourier-Features entsprechen ( $\cos(\frac{2\pi k}{N}n + \alpha_k) + \cos(\frac{2\pi k}{N}m + \beta_k)$ ), was die Verwendung etablierter periodischer Mechanismen für modulare Arithmetik bestätigt.
Modifikation des Induction Heads: Die Layer-1 Attention fungiert als „Previous-Token Head“ für Konstanten und achtet auf die unmittelbar vor ihnen stehende Variable. Die Layer-2 Query-Key-Matrix bildet daraufhin ein starkes Identitätsmuster auf den Variablen-Embeddings aus, wodurch das = Token direkt auf die korrekten mit den Variablen assoziierten Konstanten zugreifen kann.

Bedeutung

Das Paper behauptet, dass die kompositionelle Generalisierung in Transformern eine natürliche Folge der Komposition von internen Mechanismen sein kann. Durch den Nachweis, dass distinkte Mechanismen (Induction Heads und Fourier-basierte Arithmetik) unabhängig voneinander gelernt und dann via Attention-Routing kombiniert werden können, liefert die Arbeit eine mechanistische Basis für das Verständnis, wie Transformer zu komplexen Denkaufgaben generalisieren.

Die Autoren bewahren Bescheidenheit hinsichtlich ihres Umfangs und merken an, dass die Studie auf ein kleines, kontrolliertes Setting beschränkt ist, um die Analyse zu erleichtern. Sie behaupten nicht, dass diese Ergebnisse direkt alle LLM-Verhaltensweisen erklären, sondern legen nahe, dass sie einen Rahmen bieten, um zu verstehen, wie generalisierende Fähigkeiten in Transformern entstehen, was potenziell zukünftige Untersuchungen zu komplexeren Aufgaben und Scaling Laws motivieren kann.