💬 NLP

An evolutionary perspective on modes of learning in Transformers

Dit artikel toont aan dat Transformers, net als organismen in de evolutionaire biologie, kiezen tussen in-weights learning (IWL) en in-context learning (ICL) op basis van de stabiliteit van de omgeving en de betrouwbaarheid van aanwijzingen, waarbij stabiele omstandigheden IWL bevorderen en volatiele omstandigheden met betrouwbare cues ICL prefereren.

Oorspronkelijke auteurs: Alexander Y. Ku, Thomas L. Griffiths, Stephanie C. Y. Chan

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Y. Ku, Thomas L. Griffiths, Stephanie C. Y. Chan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Twee Manieren om te Leren

Stel je voor dat een kunstmatige intelligentie (zoals een moderne chatbot) een student is die een nieuwe vaardigheid moet leren. Dit onderzoek kijkt naar twee manieren waarop deze student kan leren:

Het "Vaste Boek" (In-Weights Learning - IWL): De student leert iets uit zijn hoofd en schrijft het op in zijn eigen geheugen (de modelparameters). Zodra het opgeschreven is, weet hij het voor altijd, ongeacht wat er om hem heen gebeurt. Dit is als het leren van de hoofdstukken van een handboek.
Het "Snelle Hulpje" (In-Context Learning - ICL): De student leest snel de instructies op het moment zelf (de prompt) en past zijn gedrag daar direct op aan, zonder iets in zijn hoofd te veranderen. Dit is als kijken naar een voorbeeld op het bord en dat direct nabootsen.

De vraag die de auteurs stellen is: Wanneer kiest de AI voor het "Vaste Boek" en wanneer voor het "Snelle Hulpje"?

De Vergelijking met de Natuur: Evolutie vs. Aanpassing

De auteurs gebruiken een slimme vergelijking uit de biologie om dit te verklaren. Ze vergelijken de AI met een dier dat in de natuur leeft:

Evolutie (Genetische aanpassing): Als een omgeving heel stabiel is (bijvoorbeeld een woestijn die al duizenden jaren droog is), evolueert een dier langzaam om daar perfect op te passen. Het krijgt een dikke huid of kan lang zonder water. Dit kost generaties, maar het is een permanente oplossing.
- Voor de AI: Dit is IWL. Als de taak altijd hetzelfde blijft, leert de AI het uit zijn hoofd.
Plasticiteit (Aanpassing binnen het leven): Als de omgeving heel wisselvallig is (bijvoorbeeld een plek waar het soms regent en soms droog is), helpt het niet om je genen te veranderen. In plaats daarvan moet het dier flexibel zijn. Als het regent, draagt het een regenjas; als het zonnig is, een zonnebril. Het dier past zich aan op basis van wat het nu ziet.
- Voor de AI: Dit is ICL. Als de taak steeds verandert, leest de AI de prompt en past zich direct aan.

De Experimenten: Twee Spelletjes

De onderzoekers hebben twee simpele spelletjes bedacht om dit te testen:

Het Golfje (Sinusoid): De AI moet een golflijn voorspellen.
- Stabiel: De golflijn blijft steeds hetzelfde.
- Wisselvallig: De golflijn verandert elke keer.
- Betrouwbare hints: De voorbeelden die de AI krijgt zijn perfect.
- Onbetrouwbare hints: De voorbeelden zijn ruisig of foutief.
Het Tekeningenspel (Omniglot): De AI moet tekeningen van letters herkennen en een label geven (bijv. "dit is een A").
- Ook hier kunnen de regels stabiel zijn of elke keer veranderen.

Wat Vonden Ze? (De Resultaten)

De resultaten bevestigen dat de natuurwetten van evolutie ook gelden voor AI:

Stabiele omgeving = Leren uit je hoofd (IWL):
Als de wereld voorspelbaar is, stopt de AI met kijken naar de voorbeelden en schrijft hij de regels op in zijn "hersenen". Het is te duur en onnodig om elke keer weer naar de hints te kijken als je het al weet.
- Vergelijking: Als je elke dag dezelfde route naar je werk rijdt, leer je de weg uit je hoofd. Je kijkt niet meer naar het GPS-scherm.
Wisselvallige omgeving + Betrouwbare hints = Snelle aanpassing (ICL):
Als de wereld chaotisch is, maar de hints (de prompt) zijn duidelijk, gebruikt de AI de hints om zich direct aan te passen.
- Vergelijking: Als je in een nieuw land bent en de verkeersborden veranderen elke dag, maar je hebt een betrouwbare gids die je wijst, luister je naar de gids in plaats van zelf een kaart te leren.
De "Tijdsvertraging" (Transience):
Dit is het meest interessante deel. Soms begint de AI met het "Snelle Hulpje" (ICL) en schakelt later over naar het "Vaste Boek" (IWL). Soms is het andersom!
- Waarom? Omdat het kosten kost om iets te leren.
- De AI kiest eerst de methode die het makkelijkst is om te leren (de goedkoopste oplossing), zelfs als die op de lange termijn niet de beste is.
- Voorbeeld: In het Tekeningenspel is het heel moeilijk om alle 1600 letters uit je hoofd te leren (duur). Het is makkelijker om naar het voorbeeld te kijken (goedkoop). Dus de AI begint met kijken. Maar als de regels heel lang stabiel blijven, leert de AI uiteindelijk toch de letters uit zijn hoofd, omdat dat op de lange termijn efficiënter is.
- Bij het Golfje is het juist makkelijker om de golf uit je hoofd te leren dan een ingewikkeld rekenschema in je hoofd te bouwen om de hints te gebruiken. Dus daar begint de AI met het uit het hoofd leren.

De Conclusie in Eenvoudige Woorden

Dit onderzoek laat zien dat AI's niet willekeurig leren. Ze gedragen zich als slimme overlevingsstrategen uit de natuur:

Als de wereld stabiel is, bouwen ze een permanente kennisbank op (IWL).
Als de wereld chaotisch is, vertrouwen ze op snelle aanpassing via hints (ICL).
Maar ze beginnen altijd met de makkelijkste oplossing die ze kunnen vinden. Als die oplossing later blijkt niet meer te volstaan, schakelen ze over naar een zwaardere, maar betere methode.

Waarom is dit belangrijk?
Het helpt ontwikkelaars begrijpen hoe ze AI's moeten trainen. Als je wilt dat een AI flexibel blijft, moet je de omgeving wisselvallig houden. Als je wilt dat het iets permanent leert, moet je de omgeving stabiel houden. Het is een brug tussen de wereld van biologie en de wereld van computers.

Probleemstelling

Transformatoren (en Large Language Models) beschikken over twee complementaire leerstrategieën:

In-Weights Learning (IWL): Permanente verfijning van modelparameters tijdens training, waarbij kennis wordt gecodeerd in de gewichten.
In-Context Learning (ICL): Ephemere modulatie van inferenties via contextinformatie in de prompt, zonder de parameters bij te werken.

Hoewel bekend is dat ICL een emergente eigenschap is, is het mechanisme achter de dynamiek van deze strategieën onduidelijk. Bestaande theorieën focussen vaak op de asymptotisch optimale strategie (welke strategie op de lange termijn het beste werkt), maar kunnen niet goed verklaren waarom modellen soms tijdelijk afhankelijk zijn van ICL om later over te schakelen naar IWL (of vice versa), en welke factoren deze overgangen sturen. De auteurs stellen dat een evolutionair biologisch perspectief hier een verklaring kan bieden.

Methodologie

De auteurs operationaliseren twee biologische concepten in gecontroleerde taaksettings om de leer-dynamiek van transformatoren te analyseren:

Plasticiteit: De capaciteit om binnen een levensduur te adapteren op basis van cues (analoog aan ICL).
Genetische assimilatie: Het proces waarbij plasticiteit over generaties heen wordt gefixeerd in het genotype (analoog aan IWL).

Ze manipuleren twee dimensies van omgevingsvoorspelbaarheid:

Betrouwbaarheid van cues (Cue Reliability): De mate waarin de informatie in de prompt de ware taak specificeert.
Stabiliteit van de omgeving (Environmental Stability): De invariantie van de doeltaak over verschillende prompts tijdens de training.

Experimentele Opstelling:

Taken:
- Sinusoid Regression: Een continue taak waarbij de parameters van een sinusfunctie variëren.
- Omniglot Classification: Een discrete few-shot classificatietaken met een dynamische globale mapping van karakters naar labels.
Manipulaties:
- Voor Sinusoid: Variatie in ruisvariatie ( $\sigma^2$ ) voor cue-betrouwbaarheid en een AR(1)-proces ( $\alpha$ ) voor omgevingsstabiliteit.
- Voor Omniglot: Variatie in de waarschijnlijkheid van correcte labels ( $\rho$ ) en de persistentie van de globale mapping ( $\gamma$ ) over tijd.
Model: Een decoder-only Transformer (4 lagen, 4 attention heads) getraind met AdamW.
Evaluatie: Een "conflict-prompt" protocol waarbij de prompt een andere taak suggereert dan de huidige trainingsomgeving. De voorkeur voor ICL vs. IWL wordt gemeten via een score ( $S_{ICL}$ ) gebaseerd op de voorspellingsfout ten opzichte van beide doelen.

Belangrijkste Bijdragen

Evolutionair Kader: De paper introduceert een nieuw theoretisch kader dat leerstrategieën in AI koppelt aan principes uit de evolutionaire biologie (plasticiteit vs. genetische assimilatie).
Dynamiek van Overgangen: Het onthult dat de leertrajecten niet statisch zijn, maar dynamische overgangen vertonen (transiëntie) tussen ICL en IWL, afhankelijk van de taakstructuur.
Kosten-gebaseerde Arbitrage: De auteurs tonen aan dat de initiële keuze voor een strategie wordt gedreven door de leerkosten (inductieve bias), terwijl de lange termijn-keuze wordt bepaald door de asymptotische optimaliteit (omgevingsstructuur).

Resultaten

1. Bepalers van de Asymptotische Strategie (Lange Termijn)

Stabiele omgevingen bevorderen IWL. Wanneer de omgeving stabiel is ( $\alpha \to 1$ ), "assimileert" het model de taak in de gewichten, waardoor de prompt overbodig wordt (analoog aan genetische assimilatie).
Volatile omgevingen met betrouwbare cues bevorderen ICL. Als de omgeving snel verandert maar de prompt nauwkeurige informatie bevat, vertrouwt het model op context (analoog aan plasticiteit).
Uitzondering: Bij Omniglot met perfecte cues blijft ICL soms dominant zelfs in stabiele omgevingen, wat suggereert dat de kosten om IWL te leren (memoriseren van een grote vocabulaire) te hoog zijn.

2. Taakafhankelijke Transiëntie (Leertrajecten)
De richting van de overgang tijdens training hangt af van de taak:

ICL $\to$ IWL (Omniglot): Het model begint met sterke ICL-afhankelijkheid (kopieer strategie) en schakelt later over naar IWL (memoriseren). Dit komt doordat ICL in deze taak makkelijker te leren is dan het memoriseren van 1623 karakters.
IWL $\to$ ICL (Sinusoid): Het model begint met IWL (benadering van de sinusfunctie via gewichten) en ontwikkelt later ICL. Dit komt doordat het implementeren van een regressie-algoritme in de attention-mechanisme (voor ICL) complexer is dan het leren van een globale sinus-benadering.

3. Kosten van het Leren (Acquisition Cost)
De auteurs kwantificeren de kosten via Prequential Codelength (cumulatieve negatieve log-likelihood).

De strategie met de laagste initiële leerkosten (die het beste past bij de inductieve bias van het model voor die specifieke taak) wordt eerst aangenomen.
Causale validatie: Door de vocabulairegrootte in Omniglot te verkleinen (van 1623 naar 100), daalt de kostprijs van IWL. Hierdoor keert het leertraject om: het model begint nu met IWL en schakelt later over naar ICL. Dit bewijst dat de initiële strategie wordt bepaald door de acquisitiekost, niet alleen door de omgevingsstabiliteit.

Betekenis en Conclusie

Deze studie biedt een ecologisch perspectief op het gedrag van AI-modellen. Het toont aan dat transformatoren niet statisch zijn, maar dynamisch arbitrerende systemen die reageren op de statistische structuur van hun trainingsomgeving.

Theoretisch: Het verenigt mechanistische observaties (zoals "grokking" en tijdelijke ICL) met fundamentele principes van biologische adaptatie.
Praktisch: Het suggereert dat het ontwerp van trainingsmethodes rekening moet houden met de "leerkosten" van verschillende strategieën. Als men wil dat een model ICL gebruikt, moet men zorgen dat de omgevingsstructuur de kosten van IWL verhoogt of de kosten van ICL verlaagt.
Toekomst: Het kader opent de weg voor het bestuderen van het "Baldwin-effect" in AI: of vroege plasticiteit (ICL) kan dienen als een steiger om de acquisitie van complexere, gewichtsgebaseerde oplossingen (IWL) te versnellen.

Kortom, de voorkeur voor ICL of IWL wordt bepaald door een tweeledig mechanisme: de omgevingsvoorspelbaarheid bepaalt wat op de lange termijn optimaal is, terwijl de inductieve bias en leerkosten bepalen welke strategie eerst wordt ontdekt en hoe de leertrajecten verlopen.