🤖 machine learning

Investigation into In-Context Learning Capabilities of Transformers

Dit artikel presenteert een systematisch empirisch onderzoek naar in-context learning in transformers voor binaire classificatie met Gaussische mengsels, waarbij wordt geïdentificeerd hoe de inputdimensionaliteit, het aantal in-context voorbeelden en de diversiteit van de pre-training-taak de succespercentages en het ontstaan van onschadelijk overfitting bepalen.

Oorspronkelijke auteurs: Rushil Chandrupatla, Leo Bangayan, Sebastian Leng, Arya Mazumdar

Gepubliceerd 2026-04-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rushil Chandrupatla, Leo Bangayan, Sebastian Leng, Arya Mazumdar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Directe Expert"-Machine

Stel je een briljante student voor die jarenlang duizenden verschillende wiskundeproblemen heeft bestudeerd (dit is de pre-training fase). Normaal gesproken moet je, als je wilt dat deze student een nieuw type probleem oplost, wekenlang de specifieke regels voor dat nieuwe probleem aanleren.

Transformers (de AI-modellen achter tools zoals ChatGPT) hebben echter een superkracht genaamd In-Context Learning (ICL). Het is alsof je de student net voor het toetsen een spiekbriefje geeft met slechts een paar voorbeelden van het nieuwe probleem. De student kijkt naar de voorbeelden, ziet het patroon direct en lost de toetsvraag op zonder dat er nieuwe lessen of "her-training" nodig zijn.

Dit paper vraagt zich af: Hoe werkt deze spiekbrief eigenlijk? Wanneer helpt het de student om het toetsen perfect te maken, en wanneer verwart het hen?

Het Experiment: Een Spel van "Raad de Regel"

De onderzoekers stelden een gecontroleerd spel op om dit te testen. Ze gebruikten geen echte data zoals leningaanvragen of medische dossiers. In plaats daarvan creëerden ze een synthetische wereld van Gaussian Mixture Models.

De Analogie:
Stel je twee groepen mensen voor die in een enorm veld staan (de Dimensie).

Groep A (Rode shirts) staat in één cluster.
Groep B (Blauwe shirts) staat in een ander cluster.
De "signaalsterkte" is hoe ver de twee groepen uit elkaar staan. Als ze ver uit elkaar staan, is het makkelijk om ze uit elkaar te houden. Als ze in een mist door elkaar lopen, is het moeilijk.
De "ruis" is als mensen die hoeden dragen waardoor ze eruitzien als de verkeerde groep.

De taak van de AI is om naar een paar mensen te kijken (de In-Context Voorbeelden) en te raden tot welke groep een nieuwe, onbekende persoon behoort.

De Drie Hoofdvragen

De onderzoekers testten drie specifieke variabelen om te zien hoe ze de prestaties van de AI beïnvloedden:

1. De Grootte van het Veld (Dimensie)

De Opzet: Ze veranderden de grootte van het veld van een kleine kamer (50 dimensies) tot een enorm stadion (1.000 dimensies).
De Bevinding:
- In een kleine kamer is het makkelijk om de groepen te zien.
- In een enorm stadion wordt het moeilijker om het patroon te zien omdat er meer "lege ruimte" is en meer ruimte voor verwarring (ruis).
- De Oplossing: Als je de groepen verder uit elkaar zet (verhoog de Signaal-Ruisverhouding) om te passen bij de grootte van het stadion, presteert de AI perfect.
- Conclusie: Grotere, complexere problemen zijn niet onmogelijk, maar je hebt een sterker "signaal" (duidelijkere voorbeelden) nodig om ze op te lossen.

2. De Grootte van de Spiekbrief (Sequentielengte)

De Opzet: Ze veranderden hoeveel voorbeelden er op de spiekbrief stonden, van slechts 5 voorbeelden tot 80.
De Bevinding:
- Meer voorbeelden hielpen de AI om met een betere gok te beginnen.
- Echter, zodra de AI een paar voorbeelden had, zorgde het toevoegen van meer voorbeelden niet voor snellere leer; het zorgde er alleen voor dat het toetsen begon met een hoger vertrouwen.
- Conclusie: Een beetje context is meestal genoeg om het idee te begrijpen, maar een grotere spiekbrief geeft je een betere voorsprong.

3. De Variatie in Oefenopgaven (Batchgrootte)

De Opzet: Ze veranderden hoeveel verschillende "spellen" de AI tijdens de training oefende (van 50 taken tot 2.000 taken).
De Bevinding:
- Oefenen op een enorme variatie aan verschillende taken maakte de AI veel beter in generaliseren.
- Conclusie: Hoe diverser de training, hoe beter de AI is in het op het moment zelf uitzoeken van nieuwe regels.

Het "Onschuldig Overfitten"-Mysterie

Dit is het meest fascinerende deel van het paper.

De Analogie:
Stel je voor dat de leraar de student een spiekbrief geeft, maar 20% van de antwoorden op het briefje is fout (de labels zijn omgekeerd).

Klassiek Overfitten: De student leert de verkeerde antwoorden uit het hoofd en zakt voor het toetsen.
Underfitten: De student raakt in de war door de verkeerde antwoorden en leert niets.
Onschuldig Overfitten: De student leert de verkeerde antwoorden op de spiekbrief uit het hoofd (ze weten dat het briefje "Rood" zegt terwijl het eigenlijk "Blauw" is), MAAR ze slagen er toch in om het juiste antwoord voor de nieuwe toetsvraag te raden!

De Bevindingen:
De onderzoekers ontdekten dat deze "tovertrein" (Onschuldig Overfitten) plaatsvindt onder specifieke omstandigheden:

Hoge Signaalsterkte: De twee groepen (Rood vs. Blauw) moeten ver genoeg uit elkaar staan zodat de AI het ware patroon nog kan zien, zelfs als de spiekbrief rommelig is.
Context versus Vraag: Als de toetsvraag een verkeerd label heeft, heeft de AI moeite. Maar als alleen de spiekbrief verkeerde labels heeft, kan de AI de ruis vaak negeren en toch het juiste antwoord op de nieuwe vraag geven.
Het Gevaargebied: Als de groepen te dicht bij elkaar staan (laag signaal) of het veld te groot is zonder voldoende scheiding, breekt het "Onschuldig Overfitten" af en faalt de AI volledig.

Testen van Echte Wereldmodellen (RQ3)

Tot slot testten de onderzoekers deze theorie op echte, beroemde AI-modellen (zoals GPT-4o-mini en Gemini) om te zien of de regels die ze vonden in hun eenvoudige wiskundespel ook van toepassing waren in de echte wereld.

De Bevinding:
Er is een vreemde splitsing in hoe deze modellen werken:

Ze zijn geweldig in het voorspellen van het antwoord op een nieuwe vraag (Generalisatie).
Ze zijn soms slecht in het herhalen van de voorbeelden die ze zojuist zagen in de prompt (Memorisatie/Reconstructie).

De Analogie:
Het is als een student die een gloednieuw wiskundeprobleem perfect kan oplossen omdat ze het concept hebben begrepen, maar als je ze vraagt om de specifieke getallen uit het voorbeeldprobleem dat je zojuist liet zien op te zeggen, krijgen ze de getallen misschien verkeerd. Ze hebben de regel geleerd, maar ze hebben het verhaal niet perfect uit het hoofd geleerd.

Samenvattende Conclusie

Het paper concludeert dat In-Context Learning een krachtig hulpmiddel is, maar dat het rust op een delicate balans:

Geometrie telt: De data moet duidelijk gestructureerd zijn (goede scheiding).
Signaal telt: De voorbeelden moeten sterk genoeg zijn om door de ruis heen te snijden.
Context telt: Je hebt geen miljoen voorbeelden nodig, maar je hebt de juiste hoeveelheid duidelijk signaal nodig.

De onderzoekers hebben precies in kaart gebracht wanneer dit "direct leren" werkt en wanneer het faalt, en laten zien dat zelfs wanneer modellen ruisende of verkeerde voorbeelden uit het hoofd leren, ze nog steeds ongelooflijk slim en nauwkeurig kunnen zijn – mits de onderliggende data duidelijk genoeg is.

1. Probleemstelling

Het artikel adresseert de kloof tussen theoretisch inzicht en empirische realiteit met betrekking tot In-Context Learning (ICL) in Transformers. Hoewel eerdere theoretische werken (bijv. Frei en Vardi, 2024) voorwaarden hebben vastgesteld waaronder Transformers in-context lineaire classificatie kunnen uitvoeren, blijft het empirische schaalgedrag dat bepaalt wanneer dit mechanisme slaagt of faalt, onvoldoende gekarakteriseerd.

De auteurs beogen systematisch te onderzoeken:

Hoe de ICL-testnauwkeurigheid schaalt met de invoerdimensie ( $d$ ), het aantal in-context voorbeelden ( $N$ ) en het aantal pre-training taken ( $B$ ).
De voorwaarden waaronder benigne overfitting optreedt (het memoriseren van ruisachtige in-context labels terwijl er een hoge generalisatie wordt behouden op schone testdata).
Of fenomenen die worden waargenomen in vereenvoudigde lineaire attentiemodellen ook gelden voor volledige Transformer-architecturen (alleen encoder en alleen decoder).

De kerntaak is lineaire binaire classificatie op data gegenereerd vanuit een klasse-voorwaardelijk Gaussisch Mengselmodel (GMM), waarbij het doel is om het label van een querypunt $x_{N+1}$ te voorspellen op basis van een reeks van $N$ gelabelde contextvoorbeelden, zonder modelparameters bij te werken.

2. Methodologie

A. Synthetische Lineaire Transformer (RQ1 & RQ2)

Om geometrische mechanismen te isoleren zonder niet-lineaire interferentie, gebruikten de auteurs eerst een vereenvoudigde lineaire in-context classifier:

Architectuur: Een enkele leerbare matrix $W \in \mathbb{R}^{d \times d}$ .
Mechanisme: Het model berekent het label-gewogen empirisch gemiddelde van de context ( $\hat{\mu} = \frac{1}{N}\sum y_i x_i$ ) en voorspelt het querylabel via $\hat{y} = \hat{\mu}^\top W x_{N+1}$ .
Training: Stochastische Gradient Descent (SGD) op logistiek verlies, getraind op batches van synthetische GMM-taken.
Metingen: Trainingsnauwkeurigheid, Validatienauwkeurigheid (ongezien taken) en In-Context-nauwkeurigheid (memoriseren van contextvoorbeelden).

B. Experimenteel Ontwerp

De auteurs voerden gecontroleerde scans uit over vier sleutelvariabelen:

Dimensie ( $d$ ): $50, 100, 200, 500, 1000$.
Sequentielengte ( $N$ ): $5, 10, 20, 40, 80$.
Batchgrootte/Taakdiversiteit ( $B$ ): $50$ tot $2000$.
Signaal-Ruisverhouding (SNR): Er werden twee regimes getest:
- Constant Signaal: Vaste magnitude $R = 6.45$ .
- Geschaald Signaal: $R = 0.3\sqrt{d}$ (om consistente moeilijkheid over dimensies te behouden).

C. Onderzoek naar Benigne Overfitting (RQ2)

Om benigne overfitting te bestuderen, introduceerden de auteurs labelruis ( $\epsilon$ ) in de in-context voorbeelden (labels omdraaien met waarschijnlijkheid $\epsilon$ ) terwijl de querylabels schoon bleven. Ze analyseerden de afweging tussen het memoriseren van ruisachtige context en het generaliseren naar schone queries.

D. Evaluatie van Volledige Transformers (RQ3)

Om de generaliseerbaarheid van de bevindingen te testen, evalueerden de auteurs:

Commerciële LLM's: GPT-4o-mini en Gemini-2.0-mini op de GMM-classificatietaken (via tekstserialisatie van numerieke vectoren).
Open-Weights Modellen: TinyLlama-1.1B op synthetische lineaire regressietaken om impliciet gradient descent-gedrag te onderzoeken.

3. Belangrijkste Resultaten

A. Scaalwetten en Dimensie (RQ1)

Dimensie: Hogere dimensies vertragen over het algemeen de convergentie. Wanneer de signaalsterkte ( $R$ ) constant is, verslechtert de prestatie in hoge dimensies omdat de ruisvloer stijgt ten opzichte van het signaal. Echter, wanneer $R$ geschaald wordt met de dimensie ( $R \propto \sqrt{d}$ ), bereiken modellen consistent optimale nauwkeurigheid (1.0), ongeacht de dimensie.
Sequentielengte ( $N$ ): Het verhogen van $N$ verbetert de initiële validatienauwkeurigheid (startpunt), maar heeft een verwaarloosbaar effect op de snelheid van leren. Het model leert de taak snel, ongeacht $N$ , mits $N \ge 5$ .
Batchgrootte ( $B$ ): Grotere batchgroottes (meer diverse taken) verbeteren de initiële prestatie van zowel in-context als validatienauwkeurigheid significant, wat leidt tot snellere convergentie naar 1.0.

B. Benigne Overfitting (RQ2)

De studie identificeerde specifieke regimes waar benigne overfitting optreedt (hoge ruisachtige in-context nauwkeurigheid + hoge schone validatienauwkeurigheid):

Ruisinjectie: Benigne overfitting is robuust wanneer ruis alleen op contextlabels wordt toegepast. Zelfs met 20-40% labelomkeringen, memoreert het model de ruisachtige context maar generaliseert het perfect naar schone queries.
Signaalsterkte: Hoge signaalsterkte (klasse-scheiding) is cruciaal. Als $R$ te laag is, onderfit het model (prestatie als gevolg van toeval). Als $R$ voldoende hoog is, kan het model klassen scheiden ondanks ruis.
Queryruis: Wanneer ruis ook op querylabels wordt toegepast, wordt benigne overfitting fragiel. Hoge dimensies in combinatie met queryruis leiden vaak tot prestatie-inzinking in plaats van benigne overfitting, tenzij de signaalsterkte op de juiste manier wordt geschaald.

C. Volledige Architecturen (RQ3)

Asymmetrie Generalisatie vs. Memoriseren: Commerciële modellen (GPT-4o-mini, Gemini) vertonen een duidelijk patroon: ze bereiken vaak matige tot hoge querynauwkeurigheid (generalisatie) terwijl ze variabele en lagere in-context nauwkeurigheid tonen (memoriseren/reconstructie).
Implicatie: Het model vangt genoeg taaksignaal om nieuwe punten te classificeren, maar "reconstrueert" de verborgen contextlabels niet noodzakelijk perfect. Dit suggereert dat succesvolle ICL geen perfecte memorisatie van de prompt-voorbeelden vereist.
Signaalafhankelijkheid: Hogere signaalsterkte ( $R$ ) stabiliseert de querynauwkeurigheid, maar de relatie is niet strikt monotoon voor in-context reconstructie.

4. Belangrijkste Bijdragen

Empirische Skaalkaart: Biedt een uitgebreide empirische karakterisering van hoe dimensie, sequentielengte en taakdiversiteit interageren om ICL-succes te bepalen, verdergaand dan theoretische grenzen naar praktische prestatiecurves.
Voorwaarden voor Benigne Overfitting: Definieert de geometrische en ruisregimes waarin Transformers gecorrumpeerde context kunnen memoriseren zonder generalisatie te offeren, met de nadruk op de kritieke rol van signaal-ruisverhoudingen.
Architectuurvergelijking: Toont aan dat terwijl vereenvoudigde lineaire modellen de kerngeometrische mechanismen vangen, volledige Transformer-architecturen een "generalisatie-memoriseren-gat" vertonen, waarbij ze goed generaliseren naar queries zelfs als ze falen in het perfect reconstrueren van contextlabels.
Inzicht in Signaalschaling: Bewijst dat het schalen van de signaalsterkte met de dimensie essentieel is om ICL-prestaties in hoge-dimensionale ruimtes te behouden.

5. Betekenis

Dit artikel biedt een fundamentele "empirische kaart" voor In-Context Learning. De bevindingen suggereren dat:

Efficiëntie: ICL zeer effectief kan zijn zonder uitgebreide hertraining, op voorwaarde dat de signaalsterkte voldoende is ten opzichte van de dimensie.
Robuustheid: Transformers zijn verrassend robuust tegen ruisachtige contextdata (benigne overfitting), wat cruciaal is voor real-world toepassingen waar few-shot voorbeelden fouten kunnen bevatten.
Ontwerprichtlijnen: Voor praktici geven de resultaten aan dat het simpelweg verhogen van de contextlengte of batchgrootte afnemende meeropbrengst oplevert voor de leersnelheid, maar het schalen van de signaalsterkte (of featurekwaliteit) de primaire hefboom is om succes te garanderen in hoge-dimensionale taken.
Theoretische Validatie: Het studie overbrugt de kloof tussen theoretische lineaire attentiemodellen en complexe commerciële LLM's, en bevestigt dat kerngeometrische principes van ICL behouden blijven zelfs in volledige architecturen, zij het met genuanceerde verschillen in memoriserend gedrag.