💻 computer science

Decomposing Prediction Mechanisms for In-Context Recall

Diese Arbeit führt ein neuartiges Toy-Problem ein, das kontinuierliches In-Context-Learning mit diskretem assoziativem Abruf kombiniert, um zu demonstrieren, dass Transformer-Modelle zwei unterschiedliche Mechanismen mit verschiedenen Lern-Dynamiken verwenden: einen früh auftretenden, label-agnostischen „Bayesianischen“ Prädiktor für die Fortsetzung von Sequenzen und einen später auftretenden, label-abhängigen Mechanismus zum Abrufen und Wiederaufnehmen spezifischer vorangegangener Zustände.

Ursprüngliche Autoren: Sultan Daniels, Dylan Davis, Dhruv Gautam, Wentinn Liao, Gireeja Ranade, Anant Sahai

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sultan Daniels, Dylan Davis, Dhruv Gautam, Wentinn Liao, Gireeja Ranade, Anant Sahai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Zwei verschiedene Gehirne in einem Modell

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten. Sie geben ihm ein Notizbuch voller Geschichten über verschiedene Personen (nennen wir sie „Systeme“). Manchmal handelt die Geschichte von Alice, manchmal von Bob und manchmal von Charlie. Das Notizbuch verwendet spezielle farbige Klammern, um dem Roboter zu signalisieren, wann die Geschichte von Alice zu Bob wechselt.

Die Aufgabe des Roboters ist es, die Geschichte zu lesen und vorherzusagen, was als Nächstes passiert. Die Forscher wollten herausfinden, wie der Roboter lernt, dies zu tun. Sie entdeckten etwas Überraschendes: Der Roboter nutzt nicht eine einzige Denkweise. Er verwendet zwei völlig unterschiedliche „Modi“ oder „Gehirne“, je nachdem, welches Wort er als Nächstes vorhersagen soll.

Der Aufbau: Das „Heuhaufen“-Spiel

Um dies zu testen, entwickelten die Forscher ein Spiel namens „Nadel im Heuhaufen“ (Needle in a Haystack).

Der Heuhaufen: Eine lange Liste aus gemischten Geschichten-Segmenten. In einem Moment ist es Alices Geschichte, im nächsten Bobs, dann wieder Alice, dann Charlie.
Die Etiketten: Jedes Geschichten-Segment beginnt mit einem einzigartigen „Open“-Etikett (wie eine rote Klammer [) und endet mit einem „Close“-Etikett (wie einer roten Klammer ]).
Der Test: Der Roboter liest den ganzen Heuhaufen. Dann zeigen die Forscher ihm ein spezifisches „Open“-Etikett (z. B. „Bobs Klammer“) und fragen: „Was kommt als Nächstes in Bobs Geschichte?“

Die zwei „Gehirne“ (Mechanismen)

Die Arbeit fand heraus, dass der Roboter dieses Rätsel mit zwei unterschiedlichen Methoden löst, die zu verschiedenen Zeiten während seines Trainings aktiviert werden.

1. Der „Etiketten-Leser“ (Das erste Gehirn)

Wann es aktiv wird: Dieses Gehirn wacht spät in der Trainingsphase des Roboters auf.
Wie es funktioniert: Es betrachtet das „Open“-Etikett (die rote Klammer) und sagt: „Ah, das ist Bobs Geschichte! Ich erinnere mich an Bobs Regeln von früher im Notizbuch.“ Dann nutzt es diese spezifischen Regeln, um das allererste Wort des neuen Segments vorherzusagen.
Die Analogie: Stellen Sie sich vor, Sie sind auf einer Party. Sie sehen ein Namensschild mit der Aufschrift „Bob“. Sie erinnern sich sofort: „Oh, Bob erzählt immer Witze.“ Sie nutzen diese Erinnerung, um Bobs ersten Satz vorherzusagen. Dies ist assoziativer Abruf (Associative Recall).

2. Der „Muster-Folger“ (Das zweite Gehirn)

Wann es aktiv wird: Dieses Gehirn wacht früh im Training auf.
Wie es funktioniert: Es ignoriert die Namensschilder fast vollständig. Stattdessen betrachtet es die letzten Wörter, die es gerade gelesen hat, und sagt: „Basierend auf dem Muster der letzten Wörter sollte das nächste Wort X sein.“ Es nutzt eine Art „Bayesianische“ Vermutung (schaut auf Wahrscheinlichkeiten basierend auf der jüngsten Historie).
Die Analogie: Sie gehen eine Straße entlang. Sie müssen nicht wissen, wie die Person heißt, um zu erraten, was sie als Nächstes tun wird; Sie beobachten einfach nur ihre Schritte. Wenn sie schnell geht, raten Sie, dass sie weiterhin schnell gehen wird. Dies ist Muster-Vorhersage (Pattern Prediction).

Die überraschende Entdeckung: Sie werden nicht gleichzeitig aktiv

Die wichtigste Erkenntung ist, dass sich diese beiden Gehirne mit unterschiedlicher Geschwindigkeit entwickeln und unterschiedliche Teile der „Verkabelung“ des Roboters nutzen.

Der Muster-Folger (Gehirn 2) lernt zuerst. Der Roboter wird sehr früh sehr gut darin, das zweite, dritte und vierte Wort einer Geschichte vorherzusagen. Er tut dies, indem er einfach nur die unmittelbar vorangegangenen Wörter betrachtet und die Etiketten ignoriert.
Der Etiketten-Leser (Gehirn 1) lernt später. Es dauert lange, bis der Robot lernt, dass das „Open“-Etikett der Schlüssel zum ersten Wort eines neuen Abschnitts ist.

Der „Phasenübergang“:
Stellen Sie sich einen Lichtschalter vor. Lange Zeit ist der Roboter schlecht darin, das erste Wort nach einem Etikett vorherzusagen. Dann, plötzlich, um einen bestimmten Punkt im Training herum, legt er einen Schalter um und wird perfekt darin. Aber die Fähigkeit, das zweite Wort vorherzusagen, funktionierte bereits seit langem reibungslos.

Wie sie es bewiesen haben (Die Experimente)

Die Forscher spielten dem Roboter Streiche, um zu sehen, welches Gehirn er gerade benutzt:

Der „Falsches Etikett“-Trick: Sie zeigten dem Roboter ein Etikett für „Bob“, aber die Geschichte war eigentlich „Charlies“.
- Ergebnis: Der Roboter scheiterte bei der Vorhersage des ersten Wortes (weil er dem falschen Etikett vertraute). Aber er war immer noch gut bei der Vorhersage des zweiten Wortes (weil er einfach nur dem Muster der Wörter folgte).
- Schlussfolgerung: Das erste Wort verlässt sich auf das Etikett; das zweite Wort verlässt sich auf das Muster.
Der „Verwirrendes Etikett“-Trick: Sie zeigten dem Roboter ein Etikett für eine Geschichte, die gar nicht im Notizbuch existierte.
- Ergebnis: Zu Beginn ignorierte der Roboter das gefälschte Etikett und sagte einfach die Geschichte weiter, in der er sich gerade befand. Doch später im Training, als das „Etiketten-Leser“-Gehirn aufwachte, wurde der Roboter verwirrt und versuchte, eine neue Geschichte basierend auf dem gefälschten Etikett zu beginnen, obwohl dieses falsch war.
- Schlussfolgerung: Der Roboter lernte, den Etiketten zu sehr zu vertrauen, selbst wenn diese keinen Sinn ergaben.
Der „Schaltkreis-Unterbrecher“-Test: Sie haben Teile des neuronalen Netzes des Roboters physisch „beschnitten“ (geköpft/entfernt).
- Ergebnis: Sie fanden heraus, dass die Drähte, die zur Vorhersage des ersten Wortes genutzt wurden, völlig andere waren als die Drähte für das zweite Wort. Es sind zwei separate Maschinen, die in einem einzigen Körper arbeiten.

Passiert das auch in echter KI?

Die Forscher prüften, ob dieses „Zwei-Gehirne-Phänomen“ auch in echten Large Language Models (wie denen, die für Übersetzungen genutzt werden) vorkommt. Sie fanden dasselbe:

Das Modell wird gut darin, eine Übersetzung fortzuführen (das zweite Wort vorhersagen), bevor es gut darin wird, eine neue Übersetzung basierend auf einem Prompt zu beginnen (das erste Wort vorhersagen).
Dies deutet darauf hin, dass selbst unsere fortschrittlichsten KI-Modelle mehrere, getrennte Strategien jonglieren, um eine einzige Aufgabe zu lösen.

Zusammenfassung

Diese Arbeit zeigt, dass eine KI, wenn sie lernt, Informationen aus einem Kontext abzurufen, nicht einfach nur „erinnert“. Sie nutzt eine etikettenbasierte Strategie, um eine neue Aufgabe zu beginnen (was lange dauert, um zu lernen), und eine musterbasierte Strategie, um eine Aufgabe fortzuführen (die sie schnell lernt). Diese beiden Strategien sind so unterschiedlich, dass sie in separaten Teilen des KI-Gehirns leben und zu unterschiedlichen Zeiten aktiviert werden.

Technisches Resümee: Dekomposition von Vorhersagemechanismen für In-Context-Recall

Problemdefinition

Dieses Paper führt eine neue Familie von Toy-Problemen ein, die darauf abzielen, die Lücke zwischen kontinuierlichen In-Context-Learning-Aufgaben (wie linearer Regression) und diskreten assoziativen Recall-Aufgaben (wie Multi-Query Associative Recall, oder MQAR) zu schließen. Die Kernaufgabe besteht darin, den Zustand eines diskreten, interleavten Zeitreihensystems vorherzusagen.

Die zugrunde liegenden Daten bestehen aus rauschfreien Trajektorien, die durch zufällige orthogonale lineare dynamische Systeme ( $x_{i+1} = U x_i$ , wobei $U$ eine zufällige orthogonale Matrix ist) generiert werden. Diese Trajektorien werden segmentiert und innerhalb eines einzelnen Kontextfensters durch diskrete „symbolische Intervall-Labels“ (Open- und Close-Token) abgetrennt und verschachtelt (interleaved). Das Modell wird darauf trainiert, die Next-Token-Prediction auf diesen verschachtelten Spuren durchzuführen. Die Herausforderung erfordert vom Modell:

Identifizierung, welches spezifische System basierend auf einem symbolischen Label abgerufen werden muss.
Anwendung der korrekten zugrunde liegenden linearen Dynamik auf diesen Zustand, um die nachfolgenden Beobachtungen vorherzusagen.
Fortsetzung der Vorhersage der fortgesetzten Sequenz.

Die Autoren postulieren, dass ein erfolgreiches Abschneiden die Unterscheidung zwischen zwei unterschiedlichen Fähigkeiten erfordert: das Lernen der Dynamik eines Systems, während es zum ersten Mal gesehen wird (ICL), und das Abrufen (Recall) der Dynamik eines zuvor im Kontext gesehenen Systems (assoziativer Recall).

Methodik

Datengenerierung

Die Autoren generieren eine Trainingsbibliothek von 40.000 orthogonalen Matrizen ( $U \in \mathbb{R}^{5 \times 5}$ ) und den entsprechenden Anfangszuständen. Trainingsspuren werden konstruiert, indem Segmente dieser Zeitreihen mit zufälligen „Open“- und „Close“-Symbol-Labels für jede Systeminstanz verschachtelt werden.

Interleaving: Segmente werden zerschnitten und mit zufälligen „Open“- und „Close“-Symbol-Labels neu zusammengesetzt, die jedem System zugeordnet sind. Entscheidend ist, dass die Zuordnung zwischen einem System und seinem symbolischen Label für jedes Trainingsbeispiel randomisiert wird, um zu verhindern, dass das Modell statische Label-zu-System-Assoziationen auswendig lernt.
Verteilung: Die Anzahl der Systeme pro Spur folgt einer Zipf-Verteilung und die Anzahl der Schnitte folgt einer Poisson-Verteilung, was ein „Needle-in-a-Haystack“-Szenario schafft, in dem das Modell ein spezifisches System aus einem Kontext mit mehreren anderen Systemen abrufen muss.

Modellarchitektur und Training

Die Autoren trainieren GPT-2-ähnliche Transformer (mit einer Größe von 2 12K bis 10,7M Parametern) mittels Next-Token-Prediction unter Verwendung des Mean Squared Error (MSE) Loss. Die Input-Embedding-Dimension beträgt 57 (50 für symbolische Labels, 1 für Start, 1 für Payload-Flag, 5 für Zustandsvektoren). Die Output-Schicht sagt den 5-dimensionalen Zustandsvektor voraus.

Evaluationsprotokolle

Uninterleaved Test: Bewertet die Fähigkeit des Modells, die Dynamik des ersten im Kontext gesehenen Systems zu lernen.
Needle-in-a-Haystack (NiH) Test: Bewertet den assoziativen Recall. Ein „Heuhaufen“ aus $N$ Systemen wird präsentiert, gefolgt von einem Query-Symbol, das angibt, welches System fortgesetzt werden soll („die Nadel“). Die Leistung wird am ersten Token nach dem Query (1-after) und an nachfolgenden Token (2-after, etc.) gemessen.
Out-of-Distribution (OOD) Experimente: Vier spezifische Experimente sind konzipiert, um den Mechanismus des Recalls zu testen:
- Misdirection to Incorrect Sequence: Vertauschen des Query-Labels, um auf ein anderes System im Heuhaufen zu zeigen.
- Synchronized Rotations: Erzwingen, dass alle Systeme im Heuhaufen am ersten Index des Testsegments den gleichen Zustand haben, wodurch die zustandsbasierte Disambiguierung entfernt wird.
- Misdirection to Unseen Sequence: Verwendung eines Query-Labels, das einem System entspricht, das nicht im Heuhaufen vorhanden ist.
- Misdirection to Seen Sequence (Restart): Verwendung eines Labels, das auf ein altes System zeigt, während das eigentliche Testsegment ein neues, ungesehenes System ist.
Circuit Analysis: Edge Pruning wird auf die trainierten Gewichte angewendet, um die spezifischen Rechenschaltkreise (Circuits) zu isolieren, die für die Vorhersage des „1-after“-Tokens gegenüber dem „2-after“-Tokens verwendet werden.

Zentrale Beiträge und Ergebnisse

1. Distinkte Lern-Dynamiken für ICL und Recall

Die Trainingsdynamik offenbart eine klare Trennung in der Zeit, zu der verschiedene Fähigkeiten entstehen:

Lernen des ersten Systems: Die Fähigkeit, die Dynamik des ersten im Kontext gesehenen Systems zu lernen, entwickelt sich gradual während des gesamten Trainings und konvergiert gegen den optimalen Pseudoinversen-Prädiktor.
Restarting ICL: Die Fähigkeit, das ICL für ein neues System neu zu starten (nachdem andere Systeme gesehen wurden), entsteht relativ früh, geht aber dem vollen assoziativen Recall voraus.
Assoziativer Recall: Die Fähigkeit, ein zuvor gesehenes System ausschließlich basierend auf seinem symbolischen Label abzurufen, entsteht abrupt (ein Phasenübergang) viel später im Training, spezifisch für den ersten Token nach dem Query.

2. Die Multi-Mechanism Hypothese (C3)

Die zentrale Erkenntung ist, dass das Modell nicht einen einzigen Mechanismus für die gesamte Aufgabe verwendet. Stattdessen setzt es zwei unterschiedliche Mechanismen ein, die zu unterschiedlichen Zeiten entstehen und unterschiedliche Informationen nutzen:

Mechanismus 1 (Label-basiert): Wird exklusiv für die Vorhersage des ersten Tokens nach einem Query-Symbol verwendet. Dieser Mechanismus stützt sich auf das diskrete symbolische Label, um den korrekten Systemzustand abzurufen. Beleg: Wenn das Label auf ein falsches System umgeleitet wird, steigt der Fehler für den ersten Token sofort an.
Mechanismus 2 (Observations-basiert/Bayesianisch): Wird für die Vorhersage des zweiten Tokens und darüber hinaus verwendet. Dieser Mechanismus ignoriert das symbolische Label weitgehend und nutzt stat stattdessen den beobachteten Zustand des ersten Tokens, um die zugrunde liegende Systemdynamik zu inferieren (eine „Bayesianische“ Vorhersage). Beleg: Wenn das Label umgeleitet wird, bleibt der Fehler für nachfolgende Tokens niedrig, da das Modell das korrekte System aus dem beobachteten Zustand inferiert.

3. Circuit Disentanglement

Edge Pruning bestätigt, dass diese beiden Mechanismen in den Gewichten des Modells physisch unterscheidbar sind. Die Schaltkreise, die für die Vorhersage des „1-after“-Tokens gegenüber dem „2-after“-Tokens verantwortlich sind, weisen eine Edge-Überlappung von 0 % auf, was darauf hindeutet, dass das Modell separate Sub-Netzwerke für die Initiierung einer Aufgabenepisode versus die Fortführung derselben lernt.

4. Generalisierung auf natürliche Sprache

Die Autoren validieren dieses Phänomen an einer natürlichen Sprachaufgabe (Englisch-zu-Spanisch Übersetzung) unter Verwendung von OLMo-Checkpoints. Sie beobachten einen ähnlichen Phasenübergang: Die Fähigkeit des Modells, eine Übersetzung basierend auf einem symbolischen Task-Label zu initiieren (In-Context Associative Recall), entsteht später und abrupter als die Fähigkeit, die Übersetzung, sobald sie begonnen hat, zu fortsetzen. Wenn semantische Labels (z. B. „Spanish:“) anstelle von symbolischen (z. B. „X:“) verwendet werden, verschwindet die Lücke, was bestätigt, dass die Verzögerung spezifisch für das In-Context-Lernen der Aufgabendefinition ist.

Bedeutung und Behauptungen

Das Paper beansprucht, eine mechanistische Erklärung dafür zu liefern, wie Transformer komplexe In-Context-Aufgaben ausführen, und stellt damit die Sichtweise infrage, ICL als eine monolithische Fähigkeit zu betrachten.

Dekomposition von ICL: Die Autoren argumentieren, dass „In-Context-Learning“ keine einzelne Fähigkeit ist, sondern eine Komposition aus distinkten Fähigkeiten (Aufgabenerkennung vs. Aufgabenfortführung), die sequenziell entstehen.
Lokale Underspezifikation: Das Paper legt nahe, dass das Modell, da das autoregressive Training den durchschnittlichen Loss über die Tokens minimiert, erfolgreich sein kann, indem es einen „gut genugen“ Mechanismus (observations-basierte Inferenz) für die Mehrheit der Tokens (2., 3., etc.) verwendet, was den Gradientendruck reduziert, den komplexeren Mechanismus (label-basiertes Retrieval) zu lernen, der für den ersten Token erforderlich ist.
Phasenübergänge: Die Ergebnisse stützen die Existenz distinkter Phasenübergänge in den Lern-Dynamiken, wobei die Entstehung einer Fähigkeit (Fortführung) nicht die unmittelbare Entstehung einer anderen (Initiierung) garantiert, selbst wenn die theoretisch erforderlichen Informationen ähnlich sind.
Mechanistische Interpretierbarkeit: Die Arbeit demonstriert, dass Edge Pruning erfolgreich dazu eingesetzt werden kann, diese distinkten funktionalen Schaltkreise zu isolieren, was ein Werkzeug bietet, um zu verstehen, wie verschiedene Teile einer Aufgabe von verschiedenen Teilen des Netzwerks gehandhabt werden.

Die Autoren kommen zu dem Schluss, dass ihre Ergebnisse eine neue Nuancierung für das Verständnis von ICL bieten, indem sie nahelegen, dass Modelle bei Multi-Token-Aufgaben je nach Position in der Sequenz gleichzeitig in unterschiedlichen Modi (label-basiert vs. observations-basiert) operieren können.