🤖 machine learning

Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns

Dieses Paper zeigt auf, dass emergente Fähigkeiten in Transformer-Modellen stochastisch während des Trainings entstehen, als Resultat des abrupten Erlernens aufgabenrelevanter, spärlicher Attention-Muster, wobei größere Modelle diese Muster aufgrund verbesserter Lerneffizienz früher erwerben.

Ursprüngliche Autoren: Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

Veröffentlicht 2026-06-25✓ Author reviewed ⓘ

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem riesigen, superintelligenten Roboter das Lesen und Schreiben bei. Sie erwarten, dass er sich allmählich verbessert, wie ein Schüler, der seine Noten über ein Semester hinweg langsam steigert. Doch mit moderner KI passiert etwas Seltsames: Der Roboter „begreift“ es plötzlich. In einem Moment scheitert er noch an einer Aufgabe, und im nächsten löst er sie perfekt. Dies wird als emergente Fähigkeit bezeichnet.

Dieses Paper untersucht, war Warum diese plötzlichen Durchbrüche stattfinden. Die Autoren argumenten, dass es kein sanfter, stetiger Aufstieg ist. Stattdessen ist es eher so, als würde der Roboter in einem dunklen Raum nach einem bestimmten, verborgenen Schalter suchen. Sobald er diesen Schalter umlegt, ändert sich alles augenblicklich.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Der „Lichtschalter“-Moment

Stellen Sie sich das Gehirn der KI als einen riesigen Raum voller Lichtschalter vor (diese werden Attention Heads genannt). Die meiste Zeit tappt der Roboter nur im Dunkeln herum. Er weiß nicht, welcher Schalter das Licht für eine bestimmte Aufgabe steuert, wie zum Beispiel „einen Satz kopieren“ oder „herauszufinden, wer wem ein Getränk gegeben hat“.

Das Paper zeigt, dass diese Fähigkeiten nicht langsam erscheinen. Sie erscheinen abrupt.

Zufälligkeit: Wenn Sie zehn identische Roboter mit leicht unterschiedlichen Startpunkten (Random Seeds) trainieren, finden einige den richtigen Schalter vielleicht an Tag 10, andere an Tag 100, und manche finden ihn vielleicht nie.
Der große Sprung: Sob es dem Roboter gelingt, den richtigen Schalter zu finden, steigt seine Leistung nicht nur ein wenig an; sie schießt in die Höhe. Es ist, als würde man einen Schalter umlegen, der augenblicklich ein Flutlicht einschaltet.

2. Das Geheimnis liegt im „Blick“

Wie weiß der Roboter, was er tun soll? Er lernt, auf die richtigen Dinge zu schauen.
In der KI-Fachsprache nennt man das das „Lernen eines Attention-Musters“. Stellen Sie sich vor, Sie lesen eine Geschichte und versuchen, das nächste Wort zu erraten. Ein kluger Leser weiß, dass er auf den vorherigen Satz zurückblicken muss. Ein verwirrter Leser schaut auf wahllos ausgewählte Wörter.

Die Autoren fanden heraus, dass der „plötzliche Durchbruch“ genau dann geschieht, wenn der Roboter lernt, die richtigen Wörter in der Vergangenheit anzustarren, um die Zukunft vorherzusagen.

Der Beweis: Sie testeten dies, indem sie einem Roboter, der die Aufgabe noch nicht gelernt hatte, manuell vorgaben, mit seinen „Augen“ auf die richtigen Wörter zu schauen (eine Technik namens „Patching“). Plötzlich konnte der Roboter die Aufgabe perfekt lösen, obwohl er sie noch nicht „natürlich“ gelernt hatte. Dies beweist, dass das Lernen, auf die richtigen Dinge zu schauen, der Engpass ist.

3. Die Schwierigkeit der „Suche“

Warum dauert es so lange, den Schalter zu finden? Die Autoren erstellerten zwei „Trainingsspiele“ (synthetische Aufgaben), um dies zu testen:

Das Sparse-Map-Spiel: Stellen Sie sich ein riesiges Gitter vor, in dem nur wenige spezifische Punkte miteinander verbunden sind. Der Robot muss herausfinden, welche Punkte welche verbinden.
Das Cellular-Automata-Spiel: Stellen Sie sich eine Reihe von Zellen vor, bei denen sich jede Zelle basierend auf ihren unmittelbaren Nachbarn verändert.

Sie fanden zwei Hauptgründe, die diese „Suche“ unglaublich schwierig machen:

Kontextlänge (Der lange Flur): Wenn der Roboter durch einen sehr langen Flur aus Wörtern zurückblicken muss, um den Hinweis zu finden, verliert er sich. Je länger der Kontext, desto schwieriger ist es, den richtigen Schalter zu finden.
Sparsity (Die Nadel im Heuhaufen): Wenn der Roboter 99 % der Informationen ignorieren und sich nur auf 1 % konzentrieren muss (ein spärliches Muster), hat er Schwierigkeiten. Es ist, als versuche man, eine spezifische Nadel in einem Heuhaufen zu finden; wenn der Heuhaufen riesig und die Nadel winzig ist, findet der Roboter sie vielleicht nie.

4. Mehr Augen helfen, aber die Größe zählt

Das Paper testete auch, wie man dem Roboter helfen kann, diese Schalter schneller zu finden.

Mehr Heads (Mehr Augen): Dem Roboter mehr „Attention Heads“ (mehr Paare von Augen) zu geben, hilft. Es ist, als hätte man ein Team von Menschen, die den Raum absuchen, anstatt nur einer einzelnen Person. Je mehr Augen man hat, desto höher ist die Chance, dass eines davon den Schalter schnell entdeckt.
Größere Augen vs. mehr Augen: Interessanterweise half es nicht so viel, die einzelnen „Augen“ größer zu machen (mehr Kapazität), wie es half, einfach mehr Augen zu haben, solange die Augen groß genug waren, um die Aufgabe zu bewältigen.

5. Unterschiedliche Werkzeuge für unterschiedliche Jobs

Schließlich fragten sie: „Ist das Standard-Roboterdesign (der Transformer) das beste Werkzeug dafür?“

Sie probierten ein anderes Design namens MLP-Mixer aus, das nicht den standardmäßigen „Zurückblicken“-Mechanismus verwendet.
Das Ergebnis: Beim „Sparse Map“-Spiel (das Finden spezifischer, spärlicher Verbindungen) war der MLP-Mixer 10 Mal schneller als der Standard-Roboter. Er fand den Schalter fast augenblicklich.
Beim „Cellular Automata“-Spiel (das erfordert, auf Nachbarn in einer bestimmten Reihenfolge zu schauen) war der Standard-Roboter jedoch immer noch besser.

Das Fazit

Das Paper kommt zu dem Schluss, dass die „Magie“, durch die KI plötzlich intelligent wird, gar keine Magie ist. Es ist ein mechanischer Prozess, bei dem das Modell damit kämpft, zu lernen, wie es seine Aufmerksamkeit auf die richtigen, oft spärlich verteilten Informationen zu fokussieren.

Größere Modelle finden diese Fokus-Muster schneller und zuverlässiger.
Längere Kontexte machen es viel schwieriger, sie zu finden.
Architektonische Änderungen (wie das Hinzufügen von mehr „Augen“ oder das Ändern der Art und Weise, wie der Roboter Informationen mischt) können diese Suche erheblich beschleunigen.

Kurz gesagt: Emergenz ist keine sanfte Kurve, sondern eine Serie von plötzlichen „Aha!“-Momenten, wenn der Roboter schließlich begreift, wohin er schauen muss.

Technisches Resümee: Emergente Fähigkeiten entstehen zufällig durch das Erlernen spärlicher Aufmerksamkeitsmuster

Problemstellung

Neuronale Skalierungsgesetze sagen glatte Verbesserungen des Pretraining-Loss bei steigender Anzahl an Transformer-Parametern voraus. Downstream-Fähigkeiten wie In-Context-Learning und Syntax-Akquisition werden jedoch abrupt bei spezifischen Modellskalen beobachtet und treten zudem stochastisch in Abhängigkeit von der Modellinitialisierung auf. Während vorangegangene Arbeiten etabliert haben, dass Emergenz über verschiedene Seeds hinweg zufällig und von Natur aus abrupt ist, bleibt die zugrunde liegende mechanistische Ursache dieses Phänomens unklar. Speziell ist unbekannt, welche internen Veränderungen in einem Modell stattfinden, wenn eine Fähigkeit emergiert, warum größere Modelle diese Fähigkeiten zuverlässiger erwerben und welche Faktoren die Schwierigkeit beim Erlernen der notwendigen internen Repräsentationen bestimmen.

Methodik

Die Autoren verwenden einen zweigleisigen Ansatz, der mechanistische Analysen an vortrainierten Sprachmodellen mit kontrollierten Trainingsexperimenten an synthetischen Aufgaben kombtiniert.

1. Analyse von vortrainierten Modellen (Pythia-Suite):

Modelle: Die Studie nutzt die Pythia-Suite von Sprachmodellen (14M bis 410M Parameter) mit mehreren zufälligen Initialisierungs-Seeds.
Aufgaben: Die Autoren evaluieren Fähigkeiten wie String-Repetition, In-Context-Repetition, Pattern Completion und Identifikation indirekter Objekte.
Detektion von Emergenz: Sie definen den „Punkt der Emergenz“ als den frühesten Trainingsschritt, in dem die Greedy-Vorhersage des Modells der Grundwahrheit entspricht. Eine binäre Suche wird verwendet, um diesen Schritt über Checkpoints hinweg präzise zu bestimmen.
Kausale Ablation (Activation Patching): Um den Mechanismus der Emergenz zu identifizieren, führen die Autoren kausale Interventionen durch. Sie nehmen ein „Pre-Emergenz“-Modell (das die Aufgabe noch nicht gelöst hat) und patchen die Attention-Maps spezifischer Heads eines „Post-Emergenz“-Modells (das die Aufgabe gelöst hat). Sie messen die resultierende Änderung der Wahrscheinlichkeit des korrekten Tokens ( $\Delta p$ ), um „kausale Attention-Heads“ zu identifizieren.

2. Synthetisches Aufgabentraining:
Um Faktoren zu isolieren, die das Erlernen von Aufmerksamkeit ohne das Rauschen natürlicher Sprache beeinflussen, trainieren die Autoren Transformer auf zwei synthetischen Datensätzen mit bekannten Grundwahrheits-Attention-Mustern:

Linear Map: Eine Aufgabe, bei der das Modell die Parität einer spärlichen Teilmenge des vorherigen Zustands berechnen muss ( $f(x) = Ax \mod 2$ ). Das Grundwahrheits-Attention-Muster ist durch die spärliche Matrix $A$ definiert.
Cellular Automata: Eine Aufgabe, bei der das Modell den nächsten Zustand basierend auf einem lokalen Fenster von Zellen und einer Lookup-Table-Regel vorhersagt. Für $N > 1$ Regeln muss das Modell die aktive Regel aus dem Kontext ableiten.
Variablen: Die Autoren variieren systematisch die Kontextlänge (Zustandsgröße $S$ , Trajektorienlänge $T$ ), die Sparsity des Attention-Musters ( $s/S$ ) und architektonische Hyperparameter (Anzahl der Heads $H$ , Head-Dimension $d_{head}$ ).
Interventionen: Sie wenden Attention-Bias-Interventionen an, indem sie das Grundwahrheits-Attention-Muster künstlich zu den Logits hinzufügen, um zu testen, ob das Erlernen des Musters der einzige Flaschenhals ist.

3. Architektonische Vergleiche:
Die Autoren vergleichen Standard-Transformer mit alternativen Token-Mixing-Mechanismen, einschließlich MLP-Mixer, Mamba, Gated DeltaNet und RWKV, auf den synthetischen Aufgaben.

Zentrale Ergebnisse

1. Zufällige und abrupte Emergenz via Attention-Lernen:

Fähigkeiten emergieren stochastisch während des Trainings; für eine feste Modellskala lösen einige Initialisierungs-Seeds eine Aufgabe, während andere vollständig scheitern.
Emergenz geht mit dem abrupten Erlernen aufgabenrelevanter Attention-Muster einher. In der Repetitionsaufgabe beispielsweise steigt die Wahrscheinlichkeit des korrekten Tokens scharf an, wenn spezifische Heads von einer uniformen Attention zu interpretierbaren „Copy“- und „Previous-Token“-Mustern übergehen.
Kausale Evidenz: Das Patchen der Attention-Muster eines kleinen Satzes kausaler Heads (z. B. $K=16$ ) in ein Pre-Emergenz-Modell stellt den Großteil der Performance-Differenz wieder her, was beweist, dass das Erlernen dieser spezifischen Attention-Muster der Flaschenhals für die Emergenz der Fähigkeit ist.

2. Faktoren, die die Lernschwierigkeit bestimmen:

Kontextlänge und Sparsity: Auf synthetischen Aufgaben wird die Schwierigkeit des Erlernens eines Attention-Musters gemeinsam durch die Kontextlänge und die Sparsity des Musters bestimmt.
- Sparsity: Muster mit mittlerer Sparsity (weder sehr spärlich noch sehr dicht) sind am schwierigsten zu erlernen.
- Kontextlänge: Mit zunehmender Kontextlänge (Zustandsgröße) wird das Lernen signifikant schwieriger. Bei großen Zustandsgrößen (z. B. $S=512$ ) versagen Modelle oft komplett und bleiben in langen Loss-Plateaus stecken.
Attention Bias: Das Anwenden eines Bias in Richtung des Grundwahrheits-Attention-Musters eliminiert das Loss-Plateau vollständig und führt zu sofortiger Konvergenz. Dies bestätigt, dass der Flaschenhals die Suche nach dem korrekten Attention-Muster ist, nicht die anschließende Berechnung.

3. Skalierung der Architektur und Alternativen:

Skalierung der Heads: Die Erhöhung der Anzahl der Attention-Heads verbessert die Performance auf beiden synthetischen Aufgaben konsistent, was darauf hindeutet, dass mehr Heads mehr Kandidaten für das Entdecken des korrekten spärlichen Musters bieten.
Head-Dimension: Es gibt einen Trade-off; während die Erhöhung der Head-Dimension hilft, ist eine Mindestkapazität erforderlich. Für die Linear-Map-Aufgabe ist ein Modell mit vielen Heads und kleiner Dimension ( $H=128, d_{head}=1$ ) erfolgreich, während für Cellular Automata eine Mindest-Head-Dimension benötigt wird, um Regel-Informationen zu speichern.
MLP-Mixer: Auf der Linear-Map-Aufgabe (die das Erlernen eines komplexen, fixen Positionsmusters erfordert) übertrifft der MLP-Mixer Transformer um eine Größenordnung und lernt die Aufgabe signifikant schneller. Der MLP-Mixer schneidet jedoch bei der Cellular-Automata-Aufgabe schlechter ab, wahrscheinlich weil er kontextabhängige Token-Mixing-Muster nicht so effizient wie Dot-Product-Attention parametrisieren kann.
Tiefe: Die Skalierung der Tiefe (Anzahl der Layer) verschlechtert die Performance auf der Linear-Map-Aufgabe (wahrscheinlich aufgrund der Schwierigkeit, spärliche Muster zu komponieren), hilft aber bei der Multi-Rule-Cellular-Automata-Aufgabe.

4. Pre-Pretraining:
Vorläufige Experimente deuten darauf hin, dass Pre-Pretraining auf synthetischen formalen Sprachen (Dyck) oder Neural Cellular Automata die Emergenz von In-Context-Fähigkeiten beschleunigen kann, wobei die Ergebnisse je nach Aufgabe und Seed variieren.

Bedeutung und Behauptungen

Das Paper behauptet, eine mechanistische Erklärung für die „Mirage“ (Täuschung) emergenter Fähigkeiten zu liefern. Die Autoren argumentieren:

Emergenz ist kein kontinuierliches Skalierungsphänomen, sondern eine Serie diskreter Phasenübergänge, die durch das abrupte Erlernen spärlicher Attention-Muster getrieben werden.
Der Flaschenhals ist das Attention-Lernen: Die Schwierigkeit, das korrekte spärliche Attention-Muster im hochdimensionalen Raum zu finden, entscheidet darüber, ob und wann eine Fähigkeit emergiert.
Größere Modelle sind erfolgreicher, nicht weil sie generell „bessere“ Repräsentationen lernen, sondern weil sie eine höhere Wahrscheinlichkeit haben, die korrekten spärlichen Attention-Muster früher im Training zu entdecken, bedingt durch eine erhöhte Suchkapazität (mehr Heads).
Architektonisches Design ist entscheidend: Die Wahl des Token-Mixing-Mechanismus (z. B. Dot-Product-Attention vs. MLP) beeinflusst die Effizienz beim Erlernen spezifischer Arten von Mustern erheblich.

Die Autoren kommen zu dem Schluss, dass sich zukünftige Forschung darauf konzentrieren sollte, Datensätze und Architekturen zu entwerfen, die das Erlernen spärlicher Attention-Muster erleichtern (z. B. durch Attention-Interventionen oder induktive Biases), um den Flaschenhals der Emergenz von Fähigkeiten zu beseitigen und ein effizienteres Scaling zu ermöglichen. Sie merken bescheiden an, dass ihre Ergebnisse derzeit auf Modelle unter 1B Parametern und elementare Fähigkeiten beschränkt sind und die Verallgemeinerung auf größere Modelle und komplexe Denkaufgaben eine offene Frage bleibt.