🤖 machine learning

When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Diese Arbeit verfolgt die Entwicklungsverläufe von Aufmerksamkeitskreisläufen über drei Sprachmodelle der 1B-Klasse hinweg und zeigt auf, dass die Bildung von Induktionskreisläufen und Attention Sinks distinkte, zeitlich getrennte Übergänge statt eines einzelnen Ereignisses sind und dass spezifische Schaltkreis-Fähigkeiten bereits früh im Training identifiziert werden können, ohne das finale Modell zu benötigen.

Ursprüngliche Autoren: Yongzhong Xu

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongzhong Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten eine Gruppe von drei jungen Schülern (den KI-Modellen), die lernen, eine riesige Bibliothek von Büchern zu lesen und zu verstehen. Diese Schüler sind etwa gleich groß (1 Milliarde „Gehirnzellen“), haben aber unterschiedliche Lehrer und unterschiedliche Bücher.

Die Forscher wollten eine einfache Frage beantworten: Wann lernen diese Schüler tatsächlich bestimmte Tricks?

Speziell suchten sie nach zwei Dingen:

Der „Nachahmer“-Trick: Lernen, ein Muster wie „A... B... A“ zu erkennen und korrekt zu erraten, dass das nächste Wort „B“ sein muss. (Dies wird als Induktionsschaltkreis bezeichnet).
Die „Erste Seite“-Gewohnheit: Lernen, immer auf das allererste Wort eines Satzes zu achten, egal worum es in dem Satz geht. (Dies wird als Attention Sink bezeichnet).

Lange Zeit glaubten Wissenschaftler, dass diese beiden Dinge genau im selben Moment passieren, wie das Umlegen eines Lichtschalters. Dieses Paper sagt: Nein, das stimmt nicht. Sie passieren zu sehr unterschiedlichen Zeiten, und die Art und Weise, wie sie geschehen, hängt davon ab, wie der Schüler aufgebaut ist und was er liest.

Hier ist die Geschichte dessen, was sie herausgefunden haben, unter Verwendung einfacher Analogien:

1. Die „No-Go“-Zone (Das Erdgeschoss)

Die Forscher entdeckten eine Regel, die niemals gebrochen wird: Die ersten zwei Schichten des Gehirns (Schicht 0 und Schicht 1) lernen die „Erste Seite“-Gewohnheit niemals.

Die Analogie: Stellen Sie sich eine Fabrik-Montageband vor. Die ersten zwei Stationen sind nur Rohmaterialien, die ankommen; sie wurden noch nicht verarbeitet. Man kann an der allerersten Station keinen „Fabrikmanager“ (einen Attention Sink) haben, der Entscheidungen trifft, weil dort noch nicht genügend Informationen vorhanden sind.
Das Ergebnis: Unabhängig davon, wie viel die Schüler studieren, entwickeln die untersten Schichten ihrer Gehirne diese Gewohnheit niemals. Es ist eine harte Regel ihrer Architektur, nicht etwas, das sie lediglich versäumt haben zu lernen.

2. Die Überraschung: „Zuerst in der Mitte“

Man könnte denken, dass die „Erste Seite“-Gewohnheit unten beginnt und langsam nach oben wandert, während das Gehirn klüger wird. Die Forscher fanden das Gegenteil heraus.

Die Analogie: Stellen Sie sich ein Gebäude vor. Man würde erwarten, dass das Licht vom Erdgeschoss aus nach oben hin angeht. Stattdessen gehen die Lichter in der Mitte des Gebäudes zuerst an, und dann breitet sich die Gewohnheit nach außen aus. Die Schichten direkt über der „No-Go-Zone“ sind tatsächlich die Letzten, die diese Gewohnheit lernen.
Das Ergebnis: Die „Erste Seite“-Gewohnheit kristallisiert sich zuerst in der Mitte des Netzwerks, nicht am Boden.

3. Die zwei verschiedenen „Lichtschalter“

Dies ist die wichtigste Entdeckung. Die Forscher verfolgten, wann der „Nachahmer“-Trick und die „Erste Seite“-Gewohnheit auftraten.

Der „Nachahmer“-Trick (Induktion): Dieser passiert sehr früh. Bei den Schülern, die mit den „DCLM“-Büchern trainiert wurden, war dieser Trick bereits voll erlernt, als sie etwa 20–23 Milliarden Wörter gelesen hatten. Es ist wie ein Kind, das lernt, seine Schuhe zu binden; das passiert schnell und dann ist man fertig.
Die „Erste Seite“-Gewohnheit (Attention Sink): Diese tritt viel, viel später auf. Bei denselben Schülern setzte diese Gewohnheit erst nach 260 bis 400 Milliarden Wörtern richtig ein.
Die Analogie: Es ist, als ob das Lernen des Fahrradfahrens (der Trick) in der ersten Woche passiert, aber das Lernen, vor jedem Rennen immer erst auf die Startlinie zu schauen (die Gewohnheit), erst im fünften Jahr eintritt. Es sind zwei völlig separate Ereignisse, die durch eine riesige Zeitspanne getrennt sind.

4. Die Form des Lernens hängt von der „Schule“ ab

Die Forscher testeten drei verschiedene Schüler:

Pythia: Las die „The Pile“-Bücher.
OLMo: Las die „DCLM“-Bücher.
OLMoE: Las die „DCLM“-Bücher, hat aber ein spezielles „Mixture of Experts“-Gehirn (wie wenn man 64 verschiedene Tutoren hat, aber für jede Aufgabe nur die besten 8 nutzt).

Sie fanden heraus, dass die Form der Lernkurve je nach Schüler variierte:

Die graduelle Rampe: Pythia und OLMoE lernten die „Erste Seite“-Gewohnheit langsam und stetig, wie Wasser, das eine Badewanne füllt.
Der scharfe Sprung: OLMo (das Standard-Dense-Gehirn, das DCLM liest) lernte es auf einmal. In einem Moment hatte es fast keine „Erste Seite“-Gewohnheit, und im nächsten Moment (zwischen zwei Checkpoints) sprang es von 7 % auf 70 %. Es war ein plötzlicher „Phasenübergang“, wie Eis, das plötzlich zu Wasser wird.

Die Lektion: Dasselbe Buch (DCLM) erzeugte in einem Schüler einen langsamen Lerner und in einem anderen einen plötzlichen Springer, nur weil ihre Gehirn-Architektur unterschiedlich war.

5. Man muss nicht bis zum Abschluss warten

Eine der praktischsten Erkenntnisse betrifft die Frage, wann man diese Fähigkeiten beobachten kann.

Das Ergebnis: Wenn Sie herausfinden wollen, welche Teile des Gehirns den „Nachahmer“-Trick beherrschen, müssen Sie nicht warten, bis der Schüler die ganze Bibliothek zu Ende gelesen hat.
Die Analogie: Stellen Sie sich vor, Sie wollen wissen, ob ein Schüler gut in Mathematik ist. Sie müssen nicht warten, bis er ein 4-jähriges Studium abgeschlossen hat. Wenn er gerade erst 1 % seines Lehrplans abgeschlossen hat, können Sie bereits 67 % der Mathe-Fähigkeiten sehen, die er später einmal haben wird.
Das Resultat: Forscher können diese Gehirnschaltkreise mithilfe eines Schülers identifizieren, der erst 1 % seines Trainings durchlaufen hat. Man muss nicht das fertige, abgeschlossene Modell abwarten, um zu verstehen, wie es denkt.

Zusammenfassung

Dieses Paper zeigt uns, dass der „magische Moment“ des KI-Lernens kein einzelnes großes Ereignis ist.

Zeitpunkt: Das Gehirn lernt, Muster zu kopieren (Induktion), viel früher, als es lernt, auf das erste Wort zu fixieren (Attention Sink).
Ort: Die Fixierung auf das erste Wort beginnt in der Mitte des Gehirns, nicht am Boden.
Vielfalt: Je nach Design des Gehirns kann diese Fixierung langsam oder als plötzliche Explosion erscheinen.
Effizienz: Wir können diese Fähigkeiten schon sehr früh im Training beobachten, sodass wir nicht warten müssen, bis die KI „fertig“ ist, um zu untersuchen, wie sie denkt.

Technisches Resümee: Entwicklungstrajektorien von Kapazität und dem Entstehen von Attention-Sinks

Problemstellung
Dieses Paper adressiert eine Lücke im mechanistischen Verständnis der Pretraining-Dynamik von Transformer-Sprachmodellen. Während vorangegangene Arbeiten zwei distinkte Phänomene identifiziert haben – Induktionsköpfe (die das $A \dots A \to B$ Kopier-Muster implementieren und mit In-Context-Learning verknüpft sind) sowie Attention Sinks (zuverlässige Aufmerksamkeit auf das erste Token, unabhängig vom Inhalt) – werden diese oft unter dem Begriff „Attention Emergence“ zusammengefasst. Olsson et al. [2022] beschrieben die Bildung von Induktion als einen scharfen „Phasenübergang“, während Xiao et al. [2024] Attention Sinks als eine stabile Inferenz-Eigenschaft dokumentierten. Dieses Paper stellt die Frage: Treten diese beiden Phänomene simultan als ein einziger Übergang auf oder sind sie zeitlich trennbar? Zudem: Wie beeinflussen Architektur (Dense vs. Mixture-of-Experts) und der Pretraining-Korpus (The Pile vs. DCLM) den Zeitpunkt und die Form dieser Emergenz in Modellen der 1B-Klasse?

Methodik
Die Autoren verfolgen die Entwicklungstrajektorie von Attention-Schaltkreisen über drei Modelle der 1B-Klasse hinweg, die zwei Architekturen und zwei Korpora abdecken:

Pythia 1B: Dichter Transformer, trainiert auf The Pile.
OLMo 1B-0724-hf: Dichter (Llama-Stil) Transformer, trainiert auf DCLM.
OLMoE 1B-7B-0924: Mixture-of-Experts (1B aktiv/7B gesamt) Transformer, trainiert auf DCLM.

Die Studie nutzt ein Panel aus 30 Trainingsläufen und wendet ein dreistufiges mechanistisches Interpretierbarkeits-Rezept bei 10 logarithmisch gestaffelten Revisionen pro Modell an:

Synthetischer Induktions-Batch: Ein kontrollierter Datensatz von 2.000 Sequenzen ( $A \dots A \to B$ ), der verwendet wird, um Induktionsfähigkeiten zu prüfen.
Participation Ratio (PR) Spektrales Signal: Berechnet auf dem Per-Head-Attention-Output an der zweiten- $A$ -Position. Die PR misst die spektrale Diversität des Head-Outputs und dient als Signal für spezialisierte Komputation.
Kapazitäts-spezifischer Selektivitäts-Screen: Ein All-Head-Screen, der Köpfe basierend auf Attention-Selektivitätsverhältnissen in sechs Kategorien klassifiziert (Induktion, Vorheriges-Token, Duplikat-Token, BOS/Erstes-Token, Self, Local). Köpfe werden einer Klasse zugewiesen, wenn die Selektivität einen spezifischen Schwellenwert überschreitet (z. B. 50× für Induktion, 30× für BOS).
Kausale Verifizierung: Gruppen-Ablation identifizierter Schaltkreise, um deren funktionale Rolle zu bestätigen.

Zentrale Ergebnisse

1. Der L0/L1 Zero-BOS-Floor ist eine architektonische Eigenschaft (F1)
Über alle 30 Revisionen und alle drei Modelle hinweg produzieren die Schichten 0 und 1 null Köpfe, die als BOS-Attraktoren klassifiziert werden. Dieser „Zero-BOS-Floor“ bleibt von der zufälligen Initialisierung bis zum Ende des Trainings bestehen. Die Autoren interpretieren dies als eine architektonische Beschränkung: L0-Inputs sind unkontextualisierte Token-Embeddings, und L1-Outputs verfügen nicht über eine über-token-übergreifende Integration, was es unmöglich macht, dass Attention Sinks (die nicht-triviale Cross-Position-Informationen erfordern) in diesen Schichten entstehen. Dies ist ein erlerntes Ergebnis des Gradienten-Signals, kein Datenartefakt.

2. Distinkte Emergenzformen für BOS-Attraktoren (F2)
Die Bildung des BOS-Attraktor-Anteils folgt drei qualitativ unterschiedlichen Trajektorien, abhängig von der Kombination aus Daten und Architektur:

Pythia 1B (Pile, Dense): Ein gradueller, monotoner Anstieg von 0 % auf ~58 %.
OLMo 1B (DCLM, Dense): Ein scharfer Phasenübergang. Der Anteil springt von 7,4 % bei 117B Tokens auf 70,3 % bei 264B Tokens (ein Anstieg um 63 Prozentpunkte zwischen benachbarten Checkpoints).
OLMoE 1B-7B (DCLM, MoE): Ein gradueller, monotoner Anstieg, ähnlich wie bei Pythia, erreicht aber eine höhere Sättigung (~76 %).
Dies zeigt, dass die „Schärfe“ des Attention-Sink-Übergangs keine universelle Eigenschaft der Daten (DCLM) ist, sondern durch die Architektur (Dense vs. MoE) moduliert wird.

3. Induktion und Attention Sinks sind zeitlich trennbar (F3)
Die Bildung von Induktionsschaltkreisen geht der Bildung von BOS-Attraktoren in DCLM-trainierten Modellen um eine Größenordnung an Tokens voraus:

OLMo 1B: Induktionsschaltkreise bilden sich bei ~~23B Tokens; BOS-Attraktoren erreichen 50 % Sättigung bei 264B Tokens (~~11,5× Differenz).
OLMoE 1B-7B: Induktion bildet sich bei ~~20B Tokens; BOS-Attraktoren erreichen 50 % bei 419B Tokens (~~21× Differenz).
Das Paper schließt daraus, dass die Bildung von Kapazitäts-Schaltkreisen und die Bildung von Attention Sinks zwei distinkte Übergänge sind und nicht ein einzelnes Phasenübergangs-Ereignis.

4. Frühe Konvergenz der Kapazitäts-Screens (F4)
Der kapazitäts-spezifische Screen konvergiert zur finalen Induktions-Schaltung unter Verwendung nur eines kleinen Bruchteils des Trainingsbudgets.

OLMo 1B: 67 % der finalen Induktions-Schaltung werden bereits bei 10B Tokens identifiziert (~0,3 % des Gesamttrainings).
OLMoE 1B-7B: 67 % identifiziert bei 41B Tokens (~0,8 %).
Pythia 1B: 67 % identifiziert bei 6B Tokens (~2,0 %).
Dies impliziert, dass für die Entdeckung von Schaltkreisen nicht das finale Modell erforderlich ist; Zwischen-Checkpoints enthalten den Großteil der identifizierbaren Schaltung.

5. Spektrale Signale gehen Selektivitäts-Schwellenwerten voraus (F5)
Für jeden am finalen Checkpoint gemessenen Induktionskopf steigt die Participation Ratio (PR) signifikant bei oder vor der Revision, in der das Kapazitäts-Selektivitätsverhältnis des Heads seinen Klassifizierungsschwellenwert überschreitet. Bei Pythia 1B stieg das PR-Signal für den obersten Induktionskopf etwa 12× früher (in der Token-Anzahl) als das Überschreiten des Selektivitäts-Schwellenwerts. Dies deutet darauf hin, dass das spektrale Signal ein früher Indikator für Spezialisierung ist.

Bedeutung und Ansprüche
Das Paper positioniert sich als die „Aktivitätsraum-Hälfte“ einer breiteren Studie über Emergenz, die die Analysen der Parameterraum-Dynamik (Spectral-Edge Dynamics) ergänzt. Seine primären Beiträge sind:

Präzisierung des „Induktions-Phasenübergangs“: Die Autoren argumentieren, dass der Begriff „Induktions-Phasenübergang“ mehrdeutig ist. Auf DCLM-Daten im 1B-Maßstab bezieht er sich auf zwei distinkte Ereignisse: einen frühen Kapazitätsübergang (Induktion) und einen späteren, daten- und architekturabhängigen Übergang (Attention Sinks).
Einschränkungen für die mechanistische Theorie: Die Ergebnisse legen spezifische Randbedingungen für jede Theorie zu Attention Sinks fest:
1. Sie muss den universellen L0/L1 Zero-BOS-Floor erklären.
2. Sie muss erklären, warum dieselben Daten (DCLM) in dichten Modellen einen scharfen Übergang, aber in MoE-Modellen einen graduellen Anstieg erzeugen.
3. Sie muss den Zeitpunkt der Kapazitäts-Emergenz vom Zeitpunkt der Sink-Emergenz unterscheiden.
Methodische Nützlichkeit: Das Paper demonstriert, dass mechanistische Interpretierbarkeit effektiv auf Zwischen-Checkpoints (0,3–2 % des Trainings) durchgeführt werden kann, ohne auf das finale Modell zu warten, und dass spezifische Screening-Methoden erforderlich sind, um Kapazitäts-Heads von der dominanten BOS-Attraktor-Population in späteren Trainingsphasen zu unterscheiden.

Die Autoren stellen explizit klar, dass sich diese Ergebnisse auf spezifische Trainingsläufe beziehen und nicht beanspruchen, die volle Erwartung aller möglichen Seeds zu repräsentieren, merken jedoch an, dass die qualitativen Muster (L0/L1-Floor, Trennung der Übergänge) über die getesteten Konfigurationen hinweg robust sind.