💻 computer science

Decomposing Prediction Mechanisms for In-Context Recall

Dit artikel introduceert een nieuw triviaal probleem dat continue in-context learning combineert met discrete associatieve recall om aan te tonen dat transformer-modellen twee verschillende mechanismen hanteren met verschillende leerdynamieken: een vroeg verschijnende, label-agnostische "Bayesiaanse" voorspeller voor voortdurende sequenties en een later verschijnend, label-afhankelijk mechanisme voor het herinneren en hervatten van specifieke eerdere toestanden.

Oorspronkelijke auteurs: Sultan Daniels, Dylan Davis, Dhruv Gautam, Wentinn Liao, Gireeja Ranade, Anant Sahai

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sultan Daniels, Dylan Davis, Dhruv Gautam, Wentinn Liao, Gireeja Ranade, Anant Sahai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Twee Verschillende Breinen in Eén Model

Stel je voor dat je een zeer slimme robotassistent hebt. Je geeft hem een notitieboek vol verhalen over verschillende mensen (laten we ze "systemen" noemen). Soms gaat het verhaal over Alice, soms over Bob, en soms over Charlie. Het notitieboek gebruikt speciale gekleurde haakjes om de robot te vertellen wanneer het verhaal overgaat van Alice naar Bob.

De taak van de robot is om het verhaal te lezen en te voorspellen wat er hierna gebeurt. De onderzoekers wilden ontdekken hoe de robot dit leert doen. Ze ontdekten iets verrassends: De robot gebruikt niet één enkele manier van denken. Hij gebruikt twee volledig verschillende "modi" of "breinen", afhankelijk van welk woord hij vervolgens probeert te voorspellen.

De Opstelling: Het "Hooi"-spel

Om dit te testen, creëerden de onderzoekers een spel genaamd "Naald in een hooiberg" (Needle in a Haystack).

De Hooiberg: Een lange lijst met gemengde verhaalfragmenten. De ene minuut is het het verhaal van Alice, de volgende minuut dat van Bob, dan weer terug naar Alice, en dan Charlie.
De Labels: Elk verhaalfragment begint met een uniek "Open"-label (zoals een rood haakje [) en eindt met een "Sluit"-label (zoals een rood haakje ]).
De Test: De robot leest de hele hooiberg. Daarna laten de onderzoekers hem een specifiek "Open"-label zien (bijv. "Bobs haakje") en vragen: "Wat komt er na het label van Bob in zijn verhaal?"

De Twee "Breinen" (Mechanismen)

Het artikel stelt vast dat de robot dit puzzelstukje oplost met twee verschillende methoden die op verschillende momenten tijdens de training worden geactiveerd.

1. De "Label Lezer" (Het Eerste Brein)

Wanneer het actief wordt: Dit brein wordt laat in de training van de robot wakker.
Hoe het werkt: Het kijkt naar het "Open"-label (het rode haakje) en zegt: "Ah, dit is het verhaal van Bob! Ik herinner me de regels van Bob van eerder in het notitieboek." Vervolgens gebruikt het die specifieke regels om het allereerste woord van het nieuwe fragment te voorspellen.
De Analogie: Stel je voor dat je op een feestje bent. Je ziet een naamkaartje waarop "Bob" staat. Je herinnert je direct: "Oh, Bob vertelt altijd grappen." Je gebruikt die herinnering om Bobs eerste zin te voorspellen. Dit is Associatieve Recall.

2. De "Patroon Volger" (Het Tweede Brein)

Wanneer het actief wordt: Dit brein wordt vroeg in de training wakker.
Hoe het werkt: Het negeert de naamkaartjes (labels) bijna volledig. In plaats daarvan kijkt het naar de laatste paar woorden die het net heeft gelezen en zegt: "Op basis van het patroon van de laatste paar woorden, moet het volgende woord X zijn." Het gebruikt een "Bayesiaanse" manier van gokken (kijken naar waarschijnlijkheden op basis van de recente geschiedenis).
De Analogie: Je loopt over straat. Je hoeft niet te weten wie de persoon is om te raden wat hij nu gaat doen; je observeert gewoon zijn voetstappen. Als hij snel loopt, gok je dat hij snel zal blijven lopen. Dit is Patroonvoorspelling.

De Verrassende Ontdekking: Ze Worden Niet Samen Geactiveerd

De belangrijkste bevinding is dat deze twee breinen zich op een ander tempo ontwikkelen en verschillende delen van de "bedrading" van de robot gebruiken.

De Patroon Volger (Brein 2) leert eerst. De robot wordt heel goed in het voorspellen van het tweede, derde en vierde woord van een verhaal al heel vroeg in de training. Dit doet hij door simpelweg naar de direct voorafgaande woorden te kijken, waarbij de labels genegeerd worden.
De Label Lezer (Brein 1) leert later. Het duurt een lange tijd voordat de robot leert dat het "Open"-label een sleutel is om het eerste woord van een nieuw verhaal te ontsluiten.

De "Faseovergang":
Stel je een lichtschakelaar voor. Een lange tijd is de robot slecht in het voorspellen van het eerste woord na een label. Maar dan, rond een specifiek punt in de training, klikt hij plotseling een schakelaar om en is hij perfect in het voorspellen ervan. Maar het vermogen om het tweede woord te voorspellen, werkte al een hele tijd lang vloeiend.

Hoe Ze Dit Bewijsden (De Experimenten)

De onderzoekers speelden trucjes met de robot om te zien welk brein hij gebruikte:

De "Verkeerd Label" Truc: Ze lieten de robot een label voor "Bob" zien, maar het verhaal was eigenlijk dat van "Charlie".
- Resultaat: De robot faalde bij het voorspellen van het eerste woord (omdat hij het verkeerde label vertrouwde). Maar hij was nog steeds goed in het voorspellen van het tweede woord (omdat hij gewoon het patroon van de woorden volgde).
- Conclusie: Het eerste woord leunt op het Label; het tweede woord leunt op het Patroon.
De "Verwarrende Label" Truc: Ze lieten de robot een label zien voor een verhaal dat niet in het notitieboek voorkwam.
- Resultaat: In het begin negeerde de robot het nep-label en bleef hij het verhaal voorspellen waarin hij al zat. Maar later in de training, toen het brein van de "Label Lezer" wakker werd, raakte de robot in de war en probeerde hij een nieuw verhaal te starten op basis van het nep-label, ook al klopte het niet.
- Conclusie: De robot leerde de labels te veel te vertrouwen, zelfs als ze onzin waren.
De "Circuit Breaker" Test: Ze hebben delen van het neurale netwerk van de robot fysiek "gesnoeid" (doorgesneden).
- Resultaat: Ze ontdekten dat de draden die werden gebruikt om het eerste woord te voorspellen, volledig verschillend waren van de draden die werden gebruikt om het tweede woord te voorspellen. Het zijn twee aparte machines die in één lichaam werken.

Gebeurt Dit in Echte AI?

De onderzoekers controleerden of dit "twee-breinen-fenomeen" ook voorkomt in echte Large Language Models (zoals die gebruikt worden voor vertalingen). Ze vonden hetzelfde:

Het model wordt goed in het voortzetten van een vertaling (het voorspellen van het tweede woord) voordat het goed wordt in het starten van een nieuwe vertaling op basis van een prompt (het voorspellen van het eerste woord).
Dit suggereert dat zelfs onze meest geavanceerde AI-modellen meerdere, afzonderlijke strategieën hanteren om een enkele taak op te lossen.

Samenvatting

Dit artikel laat zien dat wanneer een AI leert om informatie uit een context op te halen, het niet simpelweg "onthoudt". Het gebruikt een Label-gebaseerde strategie om een nieuwe taak te starten (wat lang duurt om te leren) en een Patroon-gebaseerde strategie om een taak voort te zetten (die het snel leert). Deze twee strategieën zijn zo verschillend dat ze in aparte delen van het AI-brein leven en op verschillende momenten worden geactiveerd.

Technische Samenvatting: Decompositie van Voorspellingsmechanismen voor In-Context Recall

Probleemdefinitie

Dit artikel introduceert een nieuwe familie van 'toy problems' die ontworpen zijn om de kloof te overbruggen tussen continue in-context learning (ICL) taken (zoals lineaire regressie) en discrete associatieve recall taken (zoals Multi-Query Associative Recall, of MQAR). De kernopgave betreft het voorspellen van de staat van een discreet, geïnterleaved tijdsreeks-systeem.

De onderliggende data bestaat uit ruisvrije trajecten gegenereerd door willekeurige orthogonale lineaire dynamische systemen ( $x_{i+1} = U x_i$ , waarbij $U$ een willekeurige orthogonale matrix is). Deze trajecten worden gesegmenteerd en geïnterleaved binnen een enkel contextvenster, gemarkeerd door discrete "symbolische punctuatie-labels" (open en sluit-tokens). Het model wordt getraind om next-token prediction uit te voeren op deze geïnterleavedeerde traces. De uitdaging vereist dat het model:

Identificeert welk specifiek systeemtoestand moet worden teruggeroepen op basis van een symbolisch label.
Toepast de correcte onderliggende lineaire dynamica op die toestand om daaropvolgende observaties te voorspellen.
Voortzet de voorspelling voor de hervatting van de sequentie.

De auteurs stellen dat succesvolle prestaties twee verschillende vermogens vereisen te onderscheiden: het leren van de dynamica van een systeem terwijl het voor het eerst wordt gezien (ICL) en het terugroepen van de dynamica van een systeem dat eerder in de context is gezien (associatieve recall).

Methodologie

Datageneratie

De auteurs genereren een trainingsbibliotheek van 40.000 orthogonale matrices ( $U \in \mathbb{R}^{5 \times 5}$ ) en bijbehorende initiële toestanden. Trainings-traces worden geconstrueerd door segmenten van deze tijdreeksen te mengen en opnieuw samen te stellen met willekeurige "open" en "sluit" symbolische labels toegewezen aan elk systeem-instantie. Cruciaal is dat de mapping tussen een systeem en zijn symbolische label voor elke trainings-exemple wordt gerandomiseerd, wat voorkomt dat het model statische label-naar-systeem associaties onthoudt.

Interleaving: Segmenten worden uitgesneden en samengesteld met willekeurige "open" en "close" symbolische labels voor elk systeem-instantie. Cruciaal is dat de mapping tussen een systeem en zijn symbolische label voor elk trainingsvoorbeeld wordt gerandomiseerd, wat voorkomt dat het model statische label-naar-systeem associaties onthoudt.
Distributie: Het aantal systemen per trace volgt een Zipf-distributie en het aantal snijpunten volgt een Poisson-distributie, wat een "needle-in-a-haystack" scenario creëert waarbij het model een specifiek systeem moet ophalen uit een context die meerdere andere bevat.

Modelarchitectuur en Training

De auteurs trainen GPT-2 stijl Transformers (variërend van 212K tot 10,7M parameters) op next-token prediction met behulp van Mean Squared Error (MSE) loss. De input embedding dimensie is 57 (50 voor symbolische labels, 1 voor start, 1 voor payload flag, 5 voor state vectoren). De output laag voorspelt de 5-dimensionale state vector.

Evaluatieprotocollen

Uninterleaved Test: Evalueert het vermogen van het model om de dynamica van het eerste systeem dat in de context wordt gezien te leren.
Needle-in-a-Haystack (NiH) Test: Evalueert associatieve recall. Een "haystack" van $N$ systemen wordt gepresenteerd, gevolgd door een query-symbool dat aangeeft welk systeem moet worden hervat ("de naald"). Prestaties worden gemeten op het eerste token na de query (1-after) en daaropvolgende tokens (2-after, etc.).
Out-of-Distribution (OOD) Experimenten: Vier specifieke experimenten zijn ontworpen om het mechanisme van recall te testen:
- Misdirection to Incorrect Sequence: Het wisselen van het query-label naar een ander systeem in de haystack.
- Synchronized Rotations: Alle systemen in de haystack dwingen om dezelfde staat te hebben op de eerste index van het testsegment, waardoor staat-gebaseerde disambiguatie wordt weggenomen.
- Misdirection to Unseen Sequence: Een query-label gebruiken dat overeenkomt met een systeem dat niet aanwezig is in de haystack.
- Misdirection to Seen Sequence (Restart): Een label gebruiken dat wijst naar een oud systeem, terwijl het eigenlijke testsegment een nieuw onbekend systeem is.
Circuit Analyse: Edge pruning wordt toegepast op de getrainde gewichten om de specifieke computationele circuits te isoleren die worden gebruikt voor het voorspellen van respectievelijk de "1-after" token versus de "2-after" token.

Belangrijkste Bijdragen en Resultaten

1. Distincte Leerdynamica voor ICL en Recall

De trainingsdynamica onthult een duidelijke scheiding in wanneer verschillende vermogens ontstaan:

First System Learning: Het vermogen om de dynamica van het eerste systeem dat in de context wordt gezien te leren, ontwikkelt zich geleidelijk gedurende de training en convergeert naar de optimale pseudoinverse predictor.
Restarting ICL: Het vermogen om ICL te herstarten voor een nieuw systeem (na het zien van andere systemen) ontstaat relatief vroeg, maar gaat nog steeds vooraf aan volledige associatieve recall.
Associative Recall: Het vermogen om een eerder gezien systeem terug te roepen op basis van alleen zijn symbolische label ontstaat abrupt (een faseovergang) veel later in de training, specifiek voor het eerste token na de query.

2. De Multi-Mechanism Hypothese (C3)

De centrale bevinding is dat het model niet één enkel mechanisme gebruikt voor de gehele taak. In plaats daarvan hanteert het twee verschillende mechanismen die op verschillende momenten ontstaan en verschillende informatie gebruiken:

Mechanisme 1 (Label-gebaseerd): Wordt exclusief gebruikt voor het voorspellen van het eerste token na een query-symbool. Dit mechanisme vertrouwt op het discrete symbolische label om de juiste systeemtoestand op te halen. Bewijs: Wanneer het label wordt misgeleid naar een incorrect systeem, stijgt de fout voor het eerste token onmiddellijk.
Mechanisme 2 (Observatie-gebaseerd/Bayesiaans): Wordt gebruikt voor het voorspellen van het tweede token en daarna. Dit mechanisme negeert het symbolische label grotendeels en gebruikt in plaats daarvan de geobserveerde toestand van het eerste token om de onderliggende systeemdynamica af te leiden (een "Bayesiaanse" voorspelling). Bewijs: Wanneer het label wordt misgeleid, blijft de fout voor daaropvolgende tokens laag omdat het model het juiste systeem afleidt uit de geobserveerde toestand.

3. Circuit Ontwarring

Edge pruning bevestigt dat deze twee mechanismen fysiek verschillende circuits zijn in de gewichten van het model. De circuits verantwoordelijk voor het voorspellen van de "1-after" token versus de "2-after" token hebben 0% edge overlap, wat aangeeft dat het model aparte sub-netwerken leert voor het initiëren van een taakepisode versus het voortzetten ervan.

4. Generalisatie naar Natuurlijke Taal

De auteurs valideren dit fenomeen op een natuurlijke taal taak (Engels-naar-Spaans vertaling) met behulp van OLMo checkpoints. Ze observeren een vergelijkbare faseovergang: het vermogen van het model om een vertaling te initiëren op basis van een symbolische taak-label (in-context associatieve recall) ontstaat later en meer abrupt dan het vermogen om de vertaling te voortzetten zodra deze is gestart. Wanneer semantische labels (bijv. "Spanish:") worden gebruikt in plaats van symbolische labels (bijv. "X:"), verdwijnt de kloof, wat bevestigt dat de vertraging specifiek is voor het in-context leren van de taakdefinitie.

Betekenis en Claims

Het artikel claimt een mechanistische verklaring te bieden voor hoe Transformers complexe in-context taken uitvoeren, wat de visie op ICL als een monolithisch vermogen uitdaagt.

Decompositie van ICL: De auteurs argumenteren dat "in-context learning" geen enkele vaardigheid is, maar een composiet van verschillende vermogens (taakherkenning versus taakvoortzetting) die sequentieel ontstaan.
Lokale Underspecificatie: Het paper suggereert dat omdat autoregressieve training de gemiddelde loss over tokens minimaliseert, het model kan slagen door een "goed genoeg" mechanisme (observatie-gebaseerde inferentie) te gebruiken voor de meerderheid van de tokens (2e, 3e, etc.), wat de gradiëntdruk vermindert om het complexere mechanisme (label-gebaseerde retrieval) te leren dat vereist is voor het eerste token.
Faseovergangen: De resultaten ondersteunen het bestaan van duidelijke faseovergangen in leerdynamica, waarbij de opkomst van één vermogen (voortzetting) niet de onmiddellijke opkomst van een ander vermogen (initiatie) garandeert, zelfs als de theoretisch benodigde informatie vergelijkbaar is.
Mechanistische Interpreteerbaarheid: Het werk demonstreert dat edge pruning succesvol kan worden gebruikt om deze onderscheidende functionele circuits te isoleren, wat een instrument biedt om te begrijpen hoe verschillende delen van een taak door verschillende delen van het netwerk worden afgehandeld.

De auteurs concluderen dat hun bevindingen een nieuwe dimensie van nuance bieden aan het begrip van ICL, door te suggeren dat modellen voor multi-token taken tegelijkertijd in verschillende modi kunnen opereren (label-gebaseerd versus observatie-gebaseerd) afhankelijk van de positie in de sequentie.