🤖 machine learning

Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge

Dit onderzoek toont aan dat hoewel vooraf getrainde transformers feitelijke kennis verwerven, finetuning op taken die impliciete inferentie vereisen noodzakelijk is om contextuele recall te activeren door de vorming van laag-dimensionale latente coderingen van gedeelde attribuuttypes.

Oorspronkelijke auteurs: Bhavya Vasudeva, Puneesh Deora, Alberto Bietti, Vatsal Sharan, Christos Thrampoulidis

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bhavya Vasudeva, Puneesh Deora, Alberto Bietti, Vatsal Sharan, Christos Thrampoulidis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Kan een AI "leren" zonder te studeren?

Stel je een superintelligente bibliothecaris voor (de Transformer-model) die miljoenen boeken heeft gelezen (pretraining). Deze bibliothecaris kent feiten uit zijn hoofd: hij weet dat het Parthenon in Griekenland staat en dat de Colosseum in Italië staat.

Maar er is een probleem. Als je hem vraagt: "Wat is het land van het Parthenon?", geeft hij het juiste antwoord. Maar wat als je hem een nieuwe opdracht geeft zonder de vraag expliciet te stellen?
Stel, je geeft hem een lijstje:

"Niagara Falls, Canada. Colosseum, Italië. Parthenon, ?"

De bibliothecaris moet nu zelf raden: "Ah, ze geven me voorbeelden van landen, dus ik moet het land van het Parthenon raden." Dit noemen de onderzoekers Contextuele Herinnering (Contextual Recall).

De grote vraag van dit papier is: Kan de bibliothecaris dit al na het lezen van de boeken, of moet hij eerst een speciale trainingssessie (finetuning) volgen om dit te leren?

Het Experiment: De "Taal van de Grammatica"

De onderzoekers bouwden een kunstmatige wereld om dit te testen.

De Feiten: Ze leerden de AI over verschillende onderwerpen (zoals monumenten) en hun eigenschappen (land, bouwjaar, stijl).
De Hint: Tijdens het leren (pretraining) gebruikten ze een geheim codeertje. Elke eigenschap had een eigen "taal" of grammatica. Als het over "land" ging, zag de tekst eruit als een specifiek soort zin. Als het over "bouwjaar" ging, zag het er anders uit. De AI leerde feiten door naar deze grammatica te kijken.

Resultaat 1: Alleen lezen is niet genoeg.
Toen ze de AI testten op de nieuwe opdracht (de lijst met landen zonder de grammatica-hints), faalde hij volledig. Hij wist wel dat het Parthenon in Griekenland zat, maar hij kon de hint niet vinden in de nieuwe lijst. Hij was te afhankelijk van de oude codeertjes. Hij kon niet "in de context" lezen wat er bedoeld werd.

De Oplossing: De "Gymnastiek" (Finetuning)

Vervolgens gaven ze de AI een speciale trainingssessie (finetuning). Ze gaven hem een nieuwe soort oefening:

Ze gaven hem voorbeelden van lijsten (zoals de Canada/Italië/Griekenland lijst), maar dan met een klein beetje grammatica erbij, of met een wisselende opmaak.
Ze gaven hem deze training alleen op een kleine groep onderwerpen (bijvoorbeeld alleen de eerste 50 monumenten).

Het Magische Moment:
Na deze training gebeurde er iets wonderlijks. De AI kon plotseling de lijst met nieuwe monumenten (die hij nooit eerder had gezien) perfect invullen.

Hij had niet de feiten over de nieuwe monumenten geleerd tijdens de training.
Hij had geleerd hoe hij de logica moest raden. Hij leerde: "Oh, als ik een lijstje zie met land-naam paren, moet ik de volgende naam ook een land zijn."

Dit is als een student die niet alle feiten uit het hoofd leert, maar wel de methode om een examen te maken. Zodra hij de methode snapt, kan hij elk examen maken, zelfs over onderwerpen die hij niet heeft geoefend.

Hoe werkt het? De "Geheime Code" in de hersenen

De onderzoekers keken in de "hersenen" van de AI (de interne representaties) om te zien wat er veranderde.
Ze ontdekten dat de AI tijdens de training een laag-dimensionale code ontwikkelde.

Voor de training: De AI zag woorden als losse blokken.
Na de training: De AI groepeerde woorden. Alle landen werden in één hoekje van zijn brein gelegd, alle bouwjaren in een ander hoekje.
De Analogie: Stel je voor dat de AI eerst een rommelige kast had waar alles door elkaar lag. Na de training maakte hij een georganiseerd systeem met labels. Als hij nu "Canada" ziet, springt zijn brein direct naar het vakje "Landen". Hij kan dan de juiste "Landen"-informatie voor het Parthenon ophalen, zelfs als hij dat specifieke feit nooit in die specifieke volgorde heeft gezien.

De Mechanische Uitleg (De "Hoe" van de AI)

De onderzoekers bouwden ook een heel simpel model (alleen met "aandacht"-onderdelen) om te bewijzen dat dit wiskundig mogelijk is.
Ze ontdekten dat de AI twee soorten "oogjes" (attention heads) gebruikt:

Het Subject-oogje: Kijkt naar het onderwerp (bijv. "Parthenon") en zegt: "Ik zoek informatie over dit specifieke ding."
Het Type-oogje: Kijkt naar de voorbeelden in de lijst en zegt: "Ah, ik zie dat de vorige voorbeelden allemaal landen waren. Ik moet dus ook een land zoeken."

Tijdens de training leert het "Type-oogje" om de patronen in de lijst te herkennen en die te koppelen aan de juiste informatie in zijn geheugen.

Conclusie in het Kort

Pretraining (Lezen): De AI leert feiten, maar is dom over hoe hij die feiten moet toepassen in nieuwe situaties zonder duidelijke instructies.
Finetuning (Oefenen): Door op een klein deel van de data te oefenen met een nieuwe, lastige vorm van vragen, leert de AI de patronen te herkennen.
Het Resultaat: De AI ontwikkelt een soort "mentale schakelaar" (een task vector). Hierdoor kan hij feiten over nieuwe onderwerpen ophalen door simpelweg te kijken naar de context, net als een slim mens die een patroon doorziet.

Kortom: Je kunt een AI niet alleen boeken laten lezen om slim te worden in nieuwe situaties. Je moet hem ook laten oefenen met het herkennen van de vraag, zodat hij zijn kennis kan gebruiken op manieren waar hij nooit voor is getraind.

Titel: Begrip van Contextuele Herinnering in Transformers: Hoe Finetuning In-Context Redenering over Vooraf Getrainde Kennis mogelijk maakt

Auteurs: Bhavya Vasudeva, Puneesh Deora, Alberto Bietti, Vatsal Sharan, Christos Thrampoulidis.

1. Het Probleem

Transformer-gebaseerde taalmodellen (LLMs) zijn uitstekend in In-Context Learning (ICL), waarbij ze zich aanpassen aan nieuwe taken op basis van voorbeelden in de prompt zonder parameters bij te werken. Een specifieke vorm hiervan is contextuele herinnering (contextual recall). Hierbij leert een model, getraind op open tekst, feitelijke kennis (bijv. "Parthenon is in Griekenland"). Bij het testen moet het model echter een specifiek feit terugroepen voor een nieuw onderwerp, gebaseerd op een paar voorbeelden in een onbekend formaat, zonder expliciete aanwijzingen over welk attribuut (bijv. "land" vs. "bouwjaar") relevant is.

De centrale vraag is:

Ontstaat deze vaardigheid van contextuele herinnering van nature door alleen vooraf te trainen (pretraining)?
Is specifieke finetuning nodig?
Welke mechanismen binnen de Transformer-architectuur drijven deze representaties aan?

Bestaand onderzoek toont vaak aan dat modellen feitelijke kennis kunnen opslaan, maar dat ze moeite hebben om deze kennis toe te passen in een ICL-formaat waarbij de context geen expliciete aanwijzingen bevat over het type attribuut dat moet worden opgeroepen.

2. Methodologie

De auteurs introduceren een gecontroleerd synthetisch framework om dit fenomeen te bestuderen.

Data Generatie:
- Voorwerpen (Subjects): Een set van $M$ onderwerpen (bijv. monumenten).
- Attributen: Elk onderwerp heeft $L$ attributen (bijv. land, bouwjaar).
- Grammatica: Voor elk attribuuttype wordt een specifieke Markov-keten gebruikt om een reeks grammatica-tokens te genereren. De statistieken van deze grammatica-codes impliceren het type attribuut.
- Drie soorten sequenties:
  1. PT (Pretraining): Bevat tuples van [Onderwerp - Grammatica - Attribuut]. Hierin is het attribuuttype expliciet gecodeerd in de grammatica-statistieken. Dit dient om feitelijke kennis in te prenten.
  2. ICL (In-Context Learning): Bevat paren van [Onderwerp - Attribuut] voor verschillende onderwerpen, maar zonder grammatica-tokens. Het model moet het attribuuttype impliciet afleiden uit de context.
  3. ICL+Grm: Een hybride vorm met korte, variabele grammatica-tokens tussen onderwerp en attribuut, gebruikt voor finetuning om de overgang te faciliteren.
Experimenteel Opzet:
- Een decoder-only Transformer wordt eerst getraind op PT-sequenties (factuele herinnering).
- Vervolgens wordt het model gefinetuned op een subset van onderwerpen met ICL- of ICL+Grm-sequenties.
- De evaluatie test of het model kan generaliseren naar gehouden-out (held-out) onderwerpen in ICL-formaten.
Mechanistische Analyse:
- De auteurs analyseren de interne representaties (attentie-heads en laag-dimensionale encodings).
- Ze leiden een constructie af voor een alleen-attentie (attention-only) Transformer die de overgang van factuele naar contextuele herinnering theoretisch kan repliceren.

3. Belangrijkste Bijdragen en Resultaten

A. Pretraining alleen is onvoldoende (Finding 1)

Modellen die alleen op PT-sequenties zijn getraind, presteren uitstekend in het voorspellen van attributen wanneer de grammatica-statistieken aanwezig zijn (factuele herinnering). Echter, ze falen volledig bij ICL-sequenties waar de grammatica ontbreekt. Ze kunnen het attribuuttype niet impliciet afleiden uit de context alleen.

B. Finetuning activeert contextuele herinnering (Finding 2 & 3)

Finetuning op ICL: Als het model wordt gefinetuned op ICL-sequenties (zonder grammatica) met een subset van onderwerpen, leert het model om het attribuuttype impliciet af te leiden. Cruciaal is dat dit leidt tot generalisatie naar gehouden-out onderwerpen. Het model leert geen nieuwe feiten, maar een nieuw toegangsmechanisme: het afleiden van het type uit de context.
Finetuning op ICL+Grm: Zelfs finetuning op sequenties met korte, variabele grammatica (waar de statistieken onbetrouwbaar zijn) dwingt het model om zich te baseren op de contextuele attributen. Dit leidt ook tot succesvolle generalisatie op ICL-taken.

C. Representatieve Analyse en Task Vectors (Finding 4 & 5)

Laag-dimensionale encodings: Finetuning induceert de vorming van low-dimensional latent encodings (task vectors) die het gedeelde attribuuttype coderen.
Clustering: De representaties van sequenties met hetzelfde attribuuttype clusteren sterk in de attentie-representaties (vooral in laag 2).
Invloed van Pretraining: De sterkte van deze clustering en de generalisatieprestaties hangen af van de diversiteit en scheiding van de Markov-ketens tijdens pretraining. Hoe duidelijker de grammatica-statistieken tijdens pretraining waren, hoe sterker de task vectors na finetuning zijn.
Sturen van output: Deze task vectors kunnen worden gebruikt om de output van het model te sturen (output steering), wat bewijst dat ze functioneel zijn.

D. Mechanistische Inzicht (Section 4)

De auteurs presenteren een theoretische constructie voor een attention-only model:

Pretraining: Het model leert twee hoofdrollen: een "subject head" die het onderwerp identificeert en een "relation head" die het attribuuttype leest uit expliciete relation-tokens (of grammatica).
Finetuning: Tijdens finetuning op ICL-sequenties (zonder relation-tokens) past het model de "relation head" aan. In plaats van te kijken naar relation-tokens, leert deze head om te kijken naar de attribuut-tokens in de context en deze te koppelen aan alle attributen van hetzelfde type.
Dynamiek: De analyse toont aan dat na slechts een paar gradient descent-stappen de gewichten zich herschikken om deze impliciete inferentie mogelijk te maken, zelfs voor onderwerpen die niet tijdens finetuning zijn gezien.

4. Significatie en Conclusie

Dit paper biedt een fundamenteel inzicht in de rollen van pretraining en finetuning bij moderne taalmodellen:

Complementaire Rollen: Pretraining is verantwoordelijk voor het opslaan van feitelijke associaties (kennis), terwijl finetuning verantwoordelijk is voor het leren van toegangsmechanismen (hoe die kennis op te halen in een nieuwe context).
Generalisatie: Het is mogelijk om een model te finetunen op een kleine subset van data om het in staat te stellen om redenering toe te passen op een volledig nieuwe set van onderwerpen, mits de structuur van de taak (het afleiden van het type) wordt geleerd.
Mechanisme: De studie onthult dat dit proces werkt via de vorming van task vectors (lage-dimensionale representaties) die de abstracte taak (het attribuuttype) coderen, los van de specifieke voorbeelden.
Implicaties: Dit verklaart waarom LLMs vaak faalt bij "zero-shot" contextuele herinnering zonder specifieke finetuning, en benadrukt dat de kwaliteit van de pretraining-data (de duidelijkheid van de patronen) direct invloed heeft op de efficiëntie van latere finetuning en generalisatie.

Kortom, het paper toont aan dat "in-context reasoning" over geleerde kennis niet van nature ontstaat, maar een specifiek mechanisme is dat wordt geactiveerd door finetuning, waarbij het model leert om impliciete patronen in de context te gebruiken om feitelijke kennis op te halen.