💬 NLP

Learning without training: The implicit dynamics of in-context learning

Dit artikel stelt voor dat in-context leren in Large Language Models voortkomt uit een mechanisme waarbij self-attention lagen tijdens de forward pass impliciet laag-rang updates aan de MLP-gewichten induceren, wat wiskundig equivalent is aan trainen op de verstrekte contextvoorbeelden zonder daadwerkelijke wijzigingen in de gewichten.

Oorspronkelijke auteurs: Benoit Dherin, Michael Munn, Hanna Mazzawi, Michael Wunder, Javier Gonzalvo

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benoit Dherin, Michael Munn, Hanna Mazzawi, Michael Wunder, Javier Gonzalvo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Mysterie: Hoe "leert" LLM's on the fly?

Stel je voor dat je praat met een zeer slimme robot. Je geeft het een paar voorbeelden van een nieuwe regel die je hebt bedacht (bijv. "Als ik 'appel' zeg, zeg jij 'rood'. Als ik 'banaan' zeg, zeg jij 'geel'"). Zonder dat je ooit de hersenen van de robot verandert of hem opnieuw traint, begrijpt de robot de regel direct en past hij deze toe op een nieuwe vrucht die je noemt.

Dit wordt In-Context Learning (ICL) genoemd. De robot lijkt te "leren" midden in het gesprek. Maar hier is het mysterie: in standaard machine learning betekent leren het veranderen van de interne gewichten (de bedrading van de hersenen) op basis van data. In dit geval verandert de hersenstructuur van de robot nooit. De gewichten blijven exact hetzelfde. Hoe leert hij dan?

De Ontdekking van het Papier: De "Ghost" Update

De auteurs van dit papier stellen een slimme verklaring voor. Ze beweren dat hoewel de robot zijn hersenen niet fysiek verandert, de handeling van het lezen van jouw voorbeelden een "ghost" update creëert.

Denk aan de hersenen van de robot als een enorme, complexe fabriek.

De Standaard Manier: Normaal gesproken, als je wilt dat de fabriek iets nieuws doet, stuur je een team van ingenieurs om de machines fysiek te herbedraden (dit is training).
De In-Context Manier: De auteurs laten zien dat wanneer je de robot een prompt voert met voorbeelden, de interne machinerie van de robot (specifiek de Self-Attention laag) werkt als een magische projector. Het neemt de informatie uit jouw voorbeelden en projecteert een "schaduw" op de hoofdlopende band van de fabriek (de MLP-laag).

Deze schaduw is wiskundig identiek aan een fysieke herbedrading. Het is alsof de robot doet alsof hij zijn hersenen heeft bijgewerkt, speciaal voor dat specifieke moment. Het papier bewijst dat het lezen van de prompt wiskundig gelijkstaat aan het geheimzinnig updaten van de gewichten, ook al vindt er geen werkelijke update plaats op de computerhardware.

De "Minimal Patch": Een Kleine, Perfecte Fix

Het papier introduceert een concept genaamd de "Minimal Token-Patch."

Stel je voor dat je een schilderij hebt (de oorspronkelijke hersenen van de robot). Je wilt een klein detail aan dat schilderij toevoegen op basis van een nieuwe instructie.

Je zou het hele canvas opnieuw kunnen schilderen (te veel werk).
Je zou overal verf tegenaan kunnen smijten (rommelig).
Het papier laat zien dat de robot de absoluut kleinste, meest precieze sticker vindt die hij op het schilderij kan plakken om het er precies goed uit te laten zien.

Wiskundig gezien is deze "sticker" een Rank-1 Matrix. In gewone taal betekent dit dat het een zeer eenvoudige, laag-dimensionale aanpassing is. Het is de meest efficiënte, minimale verandering mogelijk om de output van de robot te laten overeenkomen met wat het zou zijn geweest als hij de regel daadwerkelijk had geleerd.

De "Thought Patch": Het Gesprek Comprimeren

De onderzoekers ontdekten ook een manier om dit praktisch te maken. Omdat de "ghost update" afhangt van de specifieke vraag die je stelt, verandert deze elke keer. Maar ze lieten zien dat je een "Static Thought Patch" kunt berekenen.

Stel je voor dat je een lang gesprek hebt met de robot. In plaats van het hele gesprek in het geheugen te houden, kun je het destilleren tot één enkele, kleine notitie (de Thought Patch). Als je deze notitie later aan de robot geeft, gedraagt hij zich precies alsof hij het hele gesprek heeft onthouden. Dit is een vorm van prompt compressie: het omzetten van een lange geschiedenis van voorbeelden in een enkele, statische gewicht-update.

Waarom Sommige Robots Beter Zijn Dan Anderen

Het papier testte deze theorie op verschillende soorten robotbreinen:

Transformers (de huidige AI-sterren): Zij hebben een "Self-Attention" mechanisme. Het papier laat zien dat dit mechanisme een vloeiende, stabiele "ghost update" creëert die mooi convergeert. Dit verklaart waarom Transformers zo goed zijn in leren van voorbeelden.
RNN's (Oudere AI-technologie): Wanneer ze dezelfde theorie testten op Recurrent Neural Networks (RNN's), waren de "ghost updates" chaotisch en instabiel. Ze kwamen niet tot rust. Dit biedt een wiskundige reden waarom RNN's moeite hebben met in-context learning vergeleken met Transformers.

De Connectie met het "Stuurwiel"

Ten slotte verbindt het papier dit met een concept genaamd Model Editing. Wetenschappers hebben eerder ontdekt dat je de hersenen van een robot handmatig kunt bijsturen met een "steering vector" om hem de waarheid te laten spreken of een specifieke stijl te laten volgen.

Het papier onthult dat In-Context Learning simpelweg de robot is die dit bij zichzelf doet. Wanneer je het voorbeelden geeft, genereert de robot automatisch zijn eigen "steering vector" (de Rank-1 update) om zijn gedrag te sturen voor de huidige taak. Het is geen magie; het is de robot die zijn eigen interne mechanismen gebruikt om zichzelf tijdelijk te herconfigureren.

Samenvatting

De Claim: Large Language Models hoeven niet opnieuw getraind te worden om te leren van voorbeelden.
Het Mechanisme: Het aandachtsmethanisme (attention mechanism) werkt als een projector, die een wiskundige "ghost update" creëert van de gewichten van het model.
Het Resultaat: Deze update is een kleine, perfecte "patch" (Rank-1 matrix) die het model laat handelen alsof het de nieuwe regel heeft geleerd.
Het Bewijs: Ze hebben dit wiskundig aangetoond en bewezen dat het "ghost"-gedrag identiek is aan het echte ding, wat verklaart waarom Transformers hier zo goed in zijn vergeleken met oudere modellen.

Technische Samenvatting: Leren zonder training: de impliciete dynamiek van in-context learning

Probleemstelling

Grote taalmodellen (LLM's) vertonen een opmerkelijke capaciteit die bekend staat als in-context learning (ICL), waarbij ze zich aanpassen aan nieuwe patronen en taken uitvoeren op basis van enkel voorbeelden in de input-prompt, zonder dat de onderliggende modelgewichten tijdens de inferentie worden bijgewerkt. Hoewel eerder onderzoek heeft gesuggereerd dat ICL een impliciete vorm van gewichtsupdates of gradiëntafdaling (gradient descent) inhoudt, blijven de precieze mechanismen grotendeels onbekend. Specifiek is het onduidelijk hoe de context (de prompt-voorbeelden) mathematisch wordt getransformeerd naar de interne staat van het model om nauwkeurige voorspellingen te genereren, en of dit proces rigoureus kan worden beschreven als een modificatie van de parameters van het model.

Methodologie

De auteurs stellen een theoretisch kader voor dat de transformer-architectuur abstraheert naar een "contextuele blok", gedefinieerd als de compositie van een contextuele laag (bijv. self-attention) en een standaard neuraal netwerk (bijv. een MLP). De kern van hun methodologie bestaat uit het bewijzen dat het effect van een context $C$ op een query-token $x$ functioneel equivalent is aan een specifieke, minimale update van de gewichten van de neurale netwerklaag, zelfs wanneer de gewichten tijdens de eigenlijke forward pass statisch blijven.

Belangrijke methodologische stappen zijn:

Definiëren van Contextuele Blokken: Het generaliseren van transformer-blokken om elke laag $A(\cdot)$ te bevatten die een vector $x$ en een optionele context $C$ accepteert.
Afleiden van de Minimale Token-Patch: Het formuleren van het probleem om een gewichtsmatrix-verplaatsing $M$ te vinden zodat de output van het netwerk met de context verwijderd ( $C \setminus Y$ ) maar met aangepaste gewichten ( $W+M$ ) identiek is aan de output met de volledige context. De auteurs zoeken de unieke oplossing die de Frobenius-norm van $M$ minimaliseert, de zogenaamde "minimale token-patch".
Theoretisch Bewijs: Het bewijzen dat voor een contextueel blok, deze minimale update een rank-1 matrix-update is naar de gewichten van de eerste dense laag, afgeleid uit het expliciete verschil in de output van de contextuele laag met en zonder de context-chunk.
Analyse van Impliciete Dynamiek: Het iteratief toepassen van dit theorema om aan te tonen dat het verwerken van een sequentie van context-tokens een sequentie van gewichtsupdates genereert die een leerproces nabootsen (specifiek, stochastic gradient descent) dat plaatsvindt tijdens de inferentie.
Experimentele Validatie: Het uitvoeren van experimenten op lineaire regressie-taken met diepe transformers om numerieke equivalentie te verifiëren, de impliciete dynamiek te vergelijken met expliciete finetuning, en architecturale verschillen (Attention vs. RNN) te testen.

Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

Het Begrip van een Contextueel Blok: Een generalisatie van transformer-blokken die mogelijk maakt hoe context interageert met standaard neurale netwerken.
De Minimale Token-Patch: Een rigoureuze definitie en expliciete formule voor de unieke, Frobenius-norm minimaliserende rank-1 matrix-update die de context transformeert in een gewichtsmodificatie. De auteurs tonen aan dat een forward pass met context wiskundig equivalent is aan een forward pass zonder context maar met deze specifieke gewichten.
Impliciete Leerdynamiek: Een demonstratie dat het iteratief consumeren van context-tokens een gewichtsupdate-sequentie induceert die equivalent is aan online gradient descent, waarbij tokens fungeren als datapunten en de loss-functie dynamisch verandert op basis van de token.
Architecturale Diagnostiek: Een theoretische en empirische verklaring voor waarom Transformers uitblinken in ICL vergeleken met RNN's. De auteurs tonen aan dat attention-gebaseerde lagen convergente, stabiele impliciete gewichtsupdates produceren, terwijl RNN-gebaseerde lagen instabiele, niet-convergente updates produceren.
Statische "Thought Patch" Approximatie: Een methode om token-afhankelijke updates te aggregeren tot een enkele, statische gewichtsupdate (een "Thought Patch") via een kleinste-kwadraten-approximatie, wat promptcompressie en query-agnostische inferentie mogelijk maakt.

Resultaten

De auteurs bieden zowel theoretische bewijzen als experimenteel bewijs dat hun kader ondersteunt:

Numerieke Equivalentie: In een 10-laagse Pre-LN transformer getraind op lineaire regressie, is de standaard forward pass met context numeriek ononderscheidbaar (precisie $10^{-6}$ ) van een context-vrije forward pass met behulp van de afgeleide impliciete gewichtsupdates.
Uitlijning met Finetuning: De afgeleide impliciete gewichtsupdates uit de theorie volgen de expliciete gewichtsupdates verkregen via Stochastic Gradient Descent (SGD) finetuning op dezelfde context-voorbeelden nauwgezet. De genormaliseerde Frobenius inproduct tussen de impliciete en expliciete gradiënten blijft sterk uitgelijnd.
Verschillen in Convergentie: Architecturale diagnostiek onthult dat attention-gebaseerde contextuele lagen gladde, convergerende impliciete updates produceren naarmate de contextlengte toeneemt. In tegen tegenstelling hiertoe produceren RNN-gebaseerde lagen zeer instabiele, niet-convergente updates, wat een mechanistische verklaring biedt voor de superieure ICL-prestaties van Transformers over RNN's.
Generalisatie van Statische Patches: Experimenten tonen aan dat een statische "Thought Patch" (een enkele gewichtsupdate die de context benadert) effectief kan generaliseren naar ongeziene query-tokens naarmate de omvang van de kalibratieset toeneemt, waardoor het gat tussen trainings- en testfout wordt verkleind.

Betekenis en Claims

Het artikel beweert een verenigende theoretische verklaring te bieden voor in-context learning die niet rust op restrictieve aannames (zoals lineaire aandacht of single-head architecturen) die vaak in eerder werk worden gevonden. Door een directe wiskundige equivalentie tussen context en low-rank gewichtsupdates vast te stellen, betogen de auteurs dat:

ICL als Impliciete Finetuning: ICL begrepen kan worden als een impliciete, low-rank finetuning van de feedforward-gewichten van het model, gedreven door de context.
Verbinding met Model Editing: De afgeleide rank-1 updates verbinden de ICL-mechanismen op natuurlijke wijze met bestaande technieken in model editing (bijv. ROME, MEND) en steering vectors, wat suggereert dat dit verschillende manifestaties zijn van hetzelfde onderliggende fenomeen: context-geïnduceerde gewichtsmodulatie.
Prompt Engineering Theorie: De algebraïsche mapping van prompt-segmenten naar lineaire operatoren legt de basis voor een formele theorie van prompt engineering, bewegend voorbij trial-and-error.
Mechanistische Interpreteerbaarheid: Het vermogen om exacte meta-gradiënten te extraheren die geassocieerd zijn met generatie biedt een nieuw instrument voor het monitoren van de gezondheid van het model, wat potentieel hallucinaties of mode collapse kan detecteren.
Architectuurontwerp: Het kader suggereert dat het vermogen om convergente impliciete leerdynamiek te genereren een cruciale factor is in architectuurontwerp voor ICL, wat het overwicht van attention-mechanismen verklaart.

De auteurs nemen een bescheiden standpunt in door te merken dat hoewel hun theorie het mechanisme van ICL als een impliciete gewichtsupdate verklaart, zij niet beweren dat het model deze updates expliciet berekent tijdens de inferentie. In plaats daarvan zijn de leerdynamieken een abstracte wiskundige equivalentie aan de standaard forward pass. Ze erkennen ook dat hoewel de exacte update query-afhankelijk is, hun voorgestelde statische approximatie de kloof overbrugt tussen theoretische beschrijving en praktische promptcompressie.