🤖 machine learning

Understanding Generalization and Forgetting in In-Context Continual Learning

Dit artikel introduceert het eerste theoretische raamwerk voor contextueel continu leren, waaruit blijkt dat standaard attentiemechanismen in Transformers onvermijdelijk intertask-interferentie en systematische bias veroorzaken bij het verwerken van sequentiële heterogene taken, waardoor fundamentele grenzen aan generalisatie en het optreden van vergeten in lange prompts worden verklaard.

Oorspronkelijke auteurs: Guangyu Li, Meng Ding, Lijie Hu

Gepubliceerd 2026-05-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guangyu Li, Meng Ding, Lijie Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Super-Student" die Nooit Notities Maakt

Stel je een briljante student (het Large Language Model) voor die tijdens zijn training al een enorme bibliotheek aan boeken heeft gelezen. Hij is ongelooflijk slim, maar volgt een unieke regel: Hij mag zijn hersenen niet veranderen en mag geen notities maken.

Wanneer je hem een nieuwe toets geeft, kun je hem geen nieuwe feiten leren. In plaats daarvan moet je de antwoorden op eerdere vragen direct naast de nieuwe vraag in hetzelfde gesprek fluisteren. Dit heet In-Context Learning (ICL). De student kijkt naar de voorbeelden die je in de chat hebt gegeven en bedenkt het patroon onderweg.

Dit paper stelt een specifieke vraag: Wat gebeurt er als je deze student een lang gesprek geeft dat een mix bevat van verschillende soorten toetsen?

Stel je bijvoorbeeld een enkel chatvenster voor waarin je eerst vraagt om wiskundeproblemen op te lossen, dan overschakelt naar het vertalen van Frans, en vervolgens naar het schrijven van poëzie, allemaal zonder het gesprek te onderbreken. Wordt de student beter in wiskunde omdat hij meer voorbeelden zag? Of verwarren de Franse vertalingen zijn wiskundekennis?

De Kernontdekking: Het "Mengkom"-Probleem

De onderzoekers bouwden een wiskundig model om te begrijpen hoe de "hersenen" van de student (specifiek het Attention Mechanism) deze lange, door elkaar gehusselde conversatie verwerken.

Ze ontdekten dat de hersenen van de student werken als een mengkom. Wanneer de student naar het gesprek kijkt om een vraag te beantwoorden, kijkt hij niet alleen naar de wiskundevoorbeelden; hij kijkt naar alles in de kom (de wiskunde, het Frans, de poëzie) en mengt deze samen om een antwoord te vormen.

Hier zijn de drie belangrijkste dingen die ze vonden:

1. De "Te Veel Context"-Valstrik (Generalisatie)

De Intuïtie: Je zou denken: "Als ik de student meer voorbeelden van het wiskundeprobleem geef, wordt hij beter in wiskunde."
De Realiteit: Dit is alleen waar als de voorbeelden allemaal over wiskunde gaan. Als je hem 10 wiskundevoorbeelden geeft gevolgd door 10 Franse voorbeelden, raakt de student in de war. De Franse voorbeelden werken als "ruis" in de wiskundekom.
De Analogie: Stel je voor dat je probeert een specifiek kruid te proeven in een soep. Als de soep alleen dat kruid bevat, maakt het toevoegen van meer ervan de smaak sterker. Maar als je enorme hoeveelheden chocolade en broccoli in dezelfde pot begint te doen, helpt het toevoegen van meer kruid niet; het maakt de soep gewoon raar en rommelig van smaak.
Het Resultaat: Het paper toont aan dat het toevoegen van meer context (meer voorbeelden) niet altijd helpt. Als de taken verschillend zijn, kan het toevoegen van meer voorbeelden de student juist slechter maken in de huidige taak, omdat de "verkeerde" informatie van eerdere taken erin wordt gemengd.

2. De "Catastrofale Amnesie" (Vergeten)

De Intuïtie: Aangezien de student niets uit de chatgeschiedenis verwijdert, zou hij toch alles perfect moeten onthouden, toch?
De Realiteit: Hoewel de informatie er nog steeds is, "vergeet" de student hoe hij het moet gebruiken.
De Analogie: Stel je voor dat de student probeert een wiskundeprobleem op te lossen aan het einde van een 100-pagina's tellend document. De wiskundevoorbeelden staan op pagina 1. De Franse voorbeelden staan op pagina 50. De hersenen van de student zijn ontworpen om aandacht te besteden aan de meest recente dingen die hij heeft gelezen. Terwijl hij de Franse en Poëzie-secties leest, "dopen" die nieuwe woorden de wiskundewoorden van pagina 1 onder. De wiskunde-informatie staat nog steeds op de pagina, maar de aandachtmechanisme van de student heeft zijn focus zo zwaar verlegd naar het nieuwe materiaal dat de oude wiskunde-informatie nutteloos wordt.
Het Resultaat: De student vergeet de eerste taken niet omdat de data weg is, maar omdat de manier waarop hij de informatie weegt verandert. Hoe meer verschillende taken je toevoegt, hoe meer de student de eerdere taken vergeet.

3. De Volgorde Maakt Uit (Sequentiegevoeligheid)

De Intuïtie: Het zou niet uit moeten maken of je eerst Wiskunde vraagt en dan Frans, of Frans en dan Wiskunde.
De Realiteit: Het maakt heel veel uit.
De Analogie: Denk eraan als het schilderen van een muur. Als je een muur blauw (Taak A) schildert en hem vervolgens direct overpaint met rood (Taak B), is de uiteindelijke kleur een modderig paars. Als je eerst rood schildert en dan blauw, krijg je een andere tint paars. De volgorde waarin je de taken presenteert, verandert hoe de "kleuren" (informatie) met elkaar mengen.
Het Resultaat: Het paper bewijst wiskundig dat de volgorde van taken een specifieke "bias" creëert. Als je vergelijkbare taken bij elkaar zet (bijvoorbeeld Wiskunde dan Algebra), doet de student het goed. Als je zeer verschillende taken bij elkaar zet (Wiskunde dan Poëzie), raakt de student in de war en presteert hij slecht.

Het "Bias-Variance-Interferentie"-Recept

De auteurs splitsten de fouten van de student op in drie ingrediënten:

Variance: De student raadt gewoon omdat hij niet genoeg voorbeelden van de huidige taak heeft gezien. (Oplossing: Voeg meer voorbeelden van dezelfde taak toe).
Bias: De student is in de war omdat de voorbeelden die hij wel zag, van een andere taak waren. (Oplossing: Meng geen verschillende taken).
Interferentie: De student mengt actief de verkeerde taken met elkaar, waardoor een systematische fout ontstaat die erger wordt naarmate het gesprek langer wordt.

De Conclusie

Dit paper legt uit waarom Large Language Models soms moeite hebben wanneer je ze lange, complexe prompts geeft met veel verschillende soorten vragen.

Het is geen bug; het is een eigenschap van het ontwerp. Het mechanisme dat hen in staat stelt om in real-time te leren van voorbeelden (Attention) is exact hetzelfde mechanisme dat ervoor zorgt dat ze oude taken vergeten wanneer nieuwe, verschillende taken arriveren.
Meer is niet altijd beter. Alleen omdat je meer tekst in de prompt kunt plaatsen, betekent niet dat het model het beter zal begrijpen. Als je te veel verschillende "smaken" van taken mengt, raakt het model overweldigd en maakt het systematische fouten.
Het "Vergeten" is structureel. Het model "verwijdert" oude informatie niet; het besteedt er gewoon geen aandacht meer aan omdat de nieuwe informatie harder klinkt in de mengkom.

Kortom: Als je wilt dat een Large Language Model een uitstekende job doet op een specifieke taak, houd dan het gesprek gefocust. Als je te veel verschillende onderwerpen in één lang gesprek mengt, zal het model onvermijdelijk in de war raken en vergeten hoe het de eerdere taken moet uitvoeren.

Technische Samenvatting: Generalisatie en Vergeten begrijpen in In-Context Voortdurend Leren

Probleemstelling

Hoewel Large Language Models (LLM's) opmerkelijke In-Context Learning (ICL)-capaciteiten vertonen, waarbij ze nieuwe taken aanpassen via prompts zonder parameterupdates, analyseren bestaande theoretische kaders ICL voornamelijk in single-task scenario's. In real-world scenario's bevatten prompts vaak sequenties van heterogene taken. Dit roept een kritieke vraag op: Voeren LLM's impliciet voortdurend leren uit tijdens inferentie, en zo ja, hoe beheren ze generalisatie en vergeten over sequentiële taken?

Huidig onderzoek mist een theoretisch inzicht in hoe gedeelde attention-mechanismen meerdere sequentiële taken binnen één enkele prompt verwerken. Specifiek is het onduidelijk of LLM's taakrelevante informatie kunnen accumuleren en hergebruiken over lange contexten, of dat ze lijden aan interferentie en catastrofaal vergeten, vergelijkbaar met traditioneel voortdurend leren tijdens het trainen, ondanks de afwezigheid van parameterupdates.

Methodologie

De auteurs stellen het eerste theoretische kader voor In-Context Continual Learning (ICCL) voor. De kern van hun aanpak omvat:

Modelopstelling:
- Ze modelleren een voorgetrainde Transformer die een sequentie van $T$ taken verwerkt, samengevoegd in één enkele prompt.
- Het kader richt zich op lineaire regressietaken waarbij taakparameters ( $w_t$ ) worden bemonsterd uit een verdeling.
- Ze analyseren twee attention-mechanismen:
  - Lineaire Self-Attention (LSA): Aggregeert informatie uniform over alle tokens.
  - Gemaskeerde Lineaire Self-Attention (MSA): Past een causale masker toe om te waarborgen dat informatie alleen voorwaarts stroomt, waarbij taakvolgorde en grenzen worden gerespecteerd.
Theoretische Afleiding:
- De auteurs leiden expliciete foutexpressies af voor modelvoorspellingen onder sequentiële taakprompts.
- Ze ontleden de voorspelfout in een Bias-Variance-Interferentie-kader.
- Ze definiëren Generalisatiefout ( $G_t$ ) als de voorspellingnauwkeurigheid op de query van de huidige taak en Vergeten ( $F_t$ ) als de toename van de fout op een eerder gezien taak na het verwerken van daaropvolgende taken.
Empirische Validatie:
- Experimenten werden uitgevoerd met decoder-gebaseerde GPT-2-architecturen (standaard en tiny-configuraties) getraind op lineaire regressie.
- Theoretische voorspellingen werden gevalideerd tegen empirische Mean Squared Error (MSE) over variërende contextlengten ( $M$ ), taakgelijkenissen en taakordeningen.
- Het kader werd verder getest op niet-lineaire taken (spaarzame lineaire regressie, ReLU-netwerken) en real-world LLM's (Qwen2.5-1.5B-Instruct) met behulp van heterogene tekstclassificatietaken (SST-2 en AG News).

Belangrijkste Bijdragen

1. Eerste Theoretische Formalisering van ICCL

Het artikel formaliseert ICCL als een setting waarin een voorgetrainde Transformer sequentiële taken verwerkt via gedeelde attention zonder parameterupdates. Dit overbrugt expliciet de kloof tussen ICL en kernconcepten van voortdurend leren zoals taakvolgorde, historische accumulatie en interferentie.

2. Bias-Variance-Interferentie Ontleding

De auteurs bieden een expliciete ontleding van de voorspelfout, waaruit blijkt dat:

Variance voortkomt uit eindige in-context samples en afneemt naarmate de contextlengte ( $M$ ) toeneemt.
Bias voortkomt uit de misalignement tussen de huidige taak en historische taken.
Interferentie een structurele eigenschap is van attention-aggregatie, waarbij historische contexten systematische bias induceren.
Cruciaal tonen ze aan dat het vergroten van de contextlengte of de taakgeschiedenis niet universeel de prestaties verbetert; het kan generalisatie verslechteren wanneer taken misaligneren door toegenomen bias.

3. Theoretische Onderbouwing voor Empirische Verschijnselen

Het kader verklaart verschillende waargenomen fenomenen in real modellen:

Volgorde-afhankelijk Vergeten: Vergeten is niet louter een verlies aan informatie, maar ontstaat uit het herwegen van taakbijdragen door het attention-mechanisme. Eerdere taken ontvangen negatieve coëfficiënten in de uiteindelijke voorspelling, waardoor hun representaties actief worden gecompenseerd.
Effecten van Taakgelijkenis: Positieve transfer treedt op wanneer historische taken zijn uitgelijnd met de doeltaak. Omgekeerd versterkt het leren van toekomstige taken die statistisch vergelijkbaar zijn met de huidige taak het vergeten, terwijl orthogonale taken de prestaties behouden.
Grenzen van Lange Contexten: Het voordeel van langere contexten bereikt een plateau of keert om wanneer taakgemiddelden misaligneren, aangezien de onherleidbare bias door gemiddelde misalignering aanhoudt ongeacht de contextlengte.

Resultaten

Generalisatie: In multi-task settings vermindert het verhogen van het aantal in-context voorbeelden ( $M$ ) aanvankelijk de fout (variancereductie), maar kan uiteindelijk de fout verhogen als de toegevoegde context systematische bias introduceert van dissimilaire taken.
Vergeten: Vergeten wordt bewezen een intrinsiek gevolg te zijn van attention-gebaseerde aggregatie. Zelfs zonder parameterupdates "vergeet" het model eerdere taken omdat het attention-mechanisme historische contexten aggregeert met vaste, afnemende gewichten, wat leidt tot systematische interferentie.
Taakordening: De volgorde van taken heeft een aanzienlijke impact op de prestaties. Sequenties waarbij latere taken misaligneren met eerdere taken, veroorzaken sterkere interferentie.
Real-world Validatie: Experimenten op Qwen2.5-1.5B-Instruct bevestigden dat het introduceren van een tweede heterogene taak (Taak B) na Taak A leidt tot ernstige negatieve transfer (daling van Taak B-nauwkeurigheid met >15% bij lage $M$ ) en catastrofaal vergeten van Taak A (nauwkeurigheid daalt van 0,934 naar 0,472), wat de theoretische voorspellingen van onherleidbare gemiddelde misalignering valideert.

Betekenis en Claims

Het artikel claimt het eerste theoretische kader te bieden voor het begrijpen van in-context voortdurend leren. De primaire betekenis ligt in:

Identificeren van Fundamentele Grenzen: Het toont aan dat attention-gebaseerd voortdurend infereren inherente grenzen heeft. Zelfs zonder parameterupdates accumuleren LLM's, interfereren en vergeten ze soms taakspecifieke informatie over lange contexten.
Verklaren van Mechanismen: Het biedt een wiskundige verklaring voor waarom standaard attention-mechanismen inter-taak interferentie en systematische bias induceren, wat leidt tot volgordegevoeligheid en prestatiedegradatie in lange prompts.
Richting voor de Praktijk: De resultaten bieden concrete richtlijnen voor promptontwerp en multi-task evaluatie, waarbij wordt gesuggereerd dat het simpelweg vergroten van de contextlengte of het hergebruiken van historische prompts geen wondermiddel is en schadelijk kan zijn als taakalignement niet wordt overwogen.

De auteurs benadrukken dat hun werk uitlegt wanneer en waarom in-context generalisatie slaagt of faalt, en onderstrepen dat de "parameter-vrije" aard van ICL de fundamentele uitdagingen van voortdurend leren, zoals interferentie en vergeten, niet uitsluit.