💬 NLP

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

Dit artikel introduceert de "Information Abundance Paradox", waarbij wordt aangetoond dat het trainen van grote taalmodellen met excessief lange contexten hun vermogen kan ondermijnen om kennis parametrisch te internaliseren, wat leidt tot een overmatige afhankelijkheid van contextuele aanwijzingen en uiteindelijk de prestaties vermindert bij taken die kennisretrieval zonder ondersteuning vereisen.

Oorspronkelijke auteurs: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

Gepubliceerd 2026-08-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij verhalen moet schrijven of raadsels moet oplossen. Een lange tijd dachten wetenschappers dat de beste manier om dit te doen was door de robot een enorme bibliotheek aan boeken, code en gesprekken te voeren, in de hoop dat hij slimmer zou worden naarmate hij meer las. Dit is de wereld van Large Language Models (LLM's), het type AI dat vandaag de dag chatbots en schrijfassistenten aanstuurt. Het grote idee waar iedereen achteraan jaagt is "context": het geven van een gigantisch venster om naar te kijken. In plaats van slechts één zin tegelijk te lezen, kan de robot een hele pagina, een heel boek of zelfs een hele gesprekshistorie in één keer bekijken. De aanname was simpel: als je de robot meer informatie geeft om naar te kijken tijdens het leren, zal hij die informatie later beter kunnen gebruiken. Het is alsof je denkt dat je automatisch een betere student wordt als je met een groter tekstboek studeert.

Maar wat als dat tekstboek te behulpzaam is? Wat als je brein besluit dat het niets hoeft te onthouden omdat de antwoorden recht voor je ogen liggen terwijl je studeert? Je wordt misschien heel goed in het vinden van het antwoord in het boek, maar als iemand het boek tijdens het examen afpakt, ben je misschien compleet de weg kwijt. Dit is de lastige vraag die een team onderzoekers aan de Johns Hopkins University wilde onderzoeken. Ze wilden zien of het geven van een "supergroot" venster om te lezen tijdens de training de AI-modellen daadwerkelijk helpt om beter te leren, of dat het hen er per ongeluk toe aanzet om volledig te vertrouwen op de informatie die direct voor hen ligt in plaats van hun eigen interne kennis op te bouwen.

De Informatie-overvloed Paradox

De onderzoekers ontdekten iets wat ze de Informatie-overvloed Paradox noemen. Het klinkt chic, maar het idee is eigenlijk vrij speels en een beetje contra-intuïtief. Ze ontdekten dat wanneer je een AI traint met een enorme hoeveelheid relevante informatie direct in zijn "contextvenster" (de tekst die het kan zien tijdens het leren), het model stopt met proberen feiten te onthouden. In plaats daarvan leert het simpelweg de gegeven tekst te bekijken en het antwoord te kopiëren.

Denk aan een student die een wiskundetoets maakt.

De Oude Manier (Parametrische Kennis): De student studeert hard, onthoudt de formules en leert de regels. Wanneer hij een probleem ziet, lost hij het op met wat er in zijn hoofd zit.
De Nieuwe Manier (Contextualisering): De student mag zijn tekstboek open op de tafel laten liggen tijdens het studeren. Hij realiseert zich dat hij de formules niet hoeft te onthouden; hij kan gewoon naar de pagina bladeren en het antwoord direct vinden. Hij wordt een expert in het gebruiken van het boek.

De paradox is dat hoewel deze "open-boek" student perfecte scores haalt wanneer het boek aanwezig is, hij er hopeloos naast zit als je het boek weghaalt. De onderzoekers suggereren dat door de AI tijdens de training te overspoelen met te veel behulpzame context, we hem per ongeluk trainen om "context-verslaafd" te raken. Het stopt met het opbouwen van een sterk intern brein en begint volledig te vertrouwen op de externe tekst.

Het Bewijs: Wanneer Groter Niet Beter Is

Om dit te bewijzen, voerde het team een reeks experimenten uit die aanvoelden als een wetenschappelijke goocheltruc.

1. Het Pretraining Experiment (Leren vanaf nul)
Ze namen kleine AI-modellen en trainden ze op een enorme collectie boeken (Project Gutenberg). Ze varieerden de grootte van het "venster" dat de modellen tegelijkertijd konden zien, variërend van een klein lijstje van 512 woorden tot een enorme hoeveelheid van 32.000 woorden.

Het Resultaat: In het begin, naarmate ze het venster groter maakten, werden de modellen slimmer. Maar toen gebeurde er iets vreemds. Nadat het venster een bepaalde grootte bereikte (rond de 2.000 tot 8.000 woorden, afhankelijk van de taak), werden de modellen juist slechter.
De Analogie: Stel je een student voor die begint met een klein notitieblokje. Hij moet alles onthouden om goed te presteren. Dan krijgt hij een groter notitieblok en doet hij het nog beter. Maar dan krijgt hij een gigantische, oneindige rol papier. Plotseling onthoudt hij niets meer. Hij kijkt alleen nog maar naar de rol. Wanneer het examen komt en de rol is weg, kan hij zich niets meer herinneren. Het "sweet spot" voor leren lag in het midden, niet bij de maximale grootte.

2. Het Fine-Tuning Experiment (Leren van specifieke taken)
Vervolgens namen ze bestaande AI-modellen en leerden ze specifieke onderwerpen zoals Recht, Gezondheid en Economie. Ze controleerden precies hoeveel "behulpzame" tekst de modellen zagen tijdens de training.

Het Resultaat: Wanneer de modellen werden getraind met veel behulpzame documenten, werden ze geweldig in het beantwoorden van vragen als die documenten opnieuw werden aangeboden. Maar als de documenten werden verwijderd, of als de documenten misleidende informatie bevatten, stortten de modellen in.
Hoe meer behulpzame context ze tijdens de training zagen, hoe minder robuust ze werden. Ze werden als een GPS die perfect werkt wanneer je signaal hebt, maar als het signaal wegvalt, weet het model niet meer hoe te navigeren door naar een kaart of de zon te kijken.

Waarom Gebeurt Dit? Het "Efficiënte" Brein

De onderzoekers groeven diep in het "brein" van de AI om te zien wat er onder de motorkap gebeurde. Ze ontdekten twee hoofdoorzaken voor dit gedrag:

1. De Weg van de Minste Weerstand
Leren is hard werk. Het kost energie om een regel te onthouden en op te slaan in je brein (de "weights" van het model). Maar als het antwoord direct daar in de tekst staat, is het veel makkelijker om het gewoon even op te zoeken. De onderzoekers ontdekten dat wanneer de context rijk en behulpzaam was, de AI een "oplossing met lagere complexiteit" vond. Het was als het vinden van een kortere route. De AI realiseerde zich: "Waarom zou ik de regel voor 'het ontkennen van een bit' onthouden als ik het voorbeeld hier gewoon kan opzoeken?" Dus stopte het met onthouden en begon het met kijken.

2. De Verschuiving in Breinkracht
Ze keken ook naar welke delen van het AI-brein het werk deden.

FFNs (Feed-Forward Networks): Denk aan deze als de "geheugenbanken" van het model waar het feiten en regels opslaat.
Attention Modules: Denk aan deze als de "ogen" van het model die de tekst scannen om informatie te vinden.
De Ontdekking: Wanneer de AI werd getraind met lange, behulpzame contexten, verschoof de "druk" om te leren. De updates gingen niet langer naar de geheugenbanken (FFNs), maar gingen volledig naar de "ogen" (Attention). Het model was letterlijk zichzelf aan het herbedraden om beter te worden in het scannen van tekst en slechter in het opslaan van feiten.

De Conclusie

Het artikel suggereert dat de race om "oneindige context" modellen te bouwen — AI die hele bibliotheken in één oogopslag kan lezen — mogelijk tegen een verborgen muur aanloopt. Het is niet alleen een kwestie van meer data of grotere computers hebben. Als we deze modellen trainen met te veel informatie direct voor hun neus, creëren we misschien modellen die ongelooflijk goed zijn in lezen, maar slecht in het zelfstandig nadenken.

De onderzoekers zeggen niet dat lang-context modellen slecht zijn. Ze waarschuwen ons alleen dat het geen simpele kwestie van "meer is beter" is. Er is een afweging. Als je een model wilt dat vragen kan beantwoorden zonder een boek in handen te hebben, moet je het misschien juist trainen met minder context, om het te dwingen zijn eigen interne kennis op te bouwen. Als je alleen geïnteresseerd bent in modellen die een document kunnen lezen en samenvatten, dan is de lange context geweldig. Maar als je een echt intelligente assistent wilt die ook kan redeneren wanneer de informatie niet wordt verstrekt, suggereert de "Informatie-overvloed Paradox" dat we voorzichtig moeten zijn dat we onze AI niet te afhankelijk maken van het boek.

Technisch Samenvatting: De Paradox van Informatie-overvloed

Probleemstelling

Large Language Models (LLMs) worden steeds vaker getraind en ingezet met contextvensters die miljoenen tokens beslaan, gedreven door de impliciete aanname dat het blootstellen van modellen aan rijkere, langere contexten de prestaties lineair zal verbeteren door meer bewijs te bieden. Empirische observaties suggereren echter dat het simpelweg schalen van de contextlengte geen voortdurende vooruitgang garandeert; in sommige gevallen presteren long-context varianten van modellen (bijv. Phi-3 128K, OLMo 3 65K) slechter dan hun kortere-context tegenhangers op standaard benchmarks. Dit roept een fundamentele vraag op: Is de traject naar bijna oneindige context slechts een kwestie van het leveren van meer long-context data, of verandert het contextvenster de leerdynamiek van het model fundamenteel?

Het paper daagt het beeld uit van het contextvenster als een neutrale doorvoer voor data. In plaats daarvan stelt het dat overvloedige relevante informatie in de trainingscontext de leerstrategie van het model kan verschuiven van parametrische internalisering (het coderen van kennis in gewichten) naar contextualisering (het vertrouwen op bewijs dat in de input wordt geleverd). Deze verschuiving kan leiden tot "context-verslaving", waarbij modellen goed presteren wanneer context aanwezig is, maar significant degraderen wanneer deze afwezig of misleidend is.

Methodologie

De auteurs onderzoeken deze hypothese via een combinatie van empirische experimenten, theoretische analyse en mechanistische probing over twee trainingsregimes: pretraining en supervised fine-tuning (SFT).

1. Empirische Experimenten

Pretraining Studie: De auteurs pretrainen Llama-2 gebaseerde modellen op vier schalen (20M tot 750M parameters) op een vaste token-budget (10B tokens) van Project Gutenberg. Ze variëren systematisch het trainings-contextvenster ( $W \in \{512, \dots, 32768\}$ $W \in {512, \dots, 32768}$ ) terwijl het totale aantal tokens en de optimalisatiestappen constant blijven.
- Evaluatie: Modellen worden geëvalueerd op taalmodellering (LAMBADA, WikiSPAN, PTB), algemeen taalbegrip (SuperGLUE) en closed-book multiple-choice vraagbeantwoording (MCQA) om parametrische kennis te meten.
Supervised Fine-Tuning (SFT) Studie: Gebruikmakend van Qwen3 modellen (0.6B tot 14B), finetunen de auteurs op MMLU-Pro domeinen (Gezondheid, Economie, Recht, Psychologie). Ze fixeren het context-budget (8 documenten) maar variëren de informativiteit van de context ( $k \in \{0, 4, 8\}$ $k \in {0, 4, 8}$ target-domein documenten).
- Evaluatie: Modellen worden getest onder drie condities: ondersteunende context (correct bewijs), conflicterende context (misleidend bewijs) en geen context.
Synthetische Pretraining: Om het mechanisme te isoleren, trainen de auteurs modellen op synthetische taken (bitwise operaties, string transformaties, mod10 rekenkunde, Caesar cipher) met een variërend aantal in-context demonstraties. Ze meten de "supporting-conflicting gap" om context-afhankelijkheid te kwantificeren en gebruiken gemiddelde trainingsgradiënt-normen als een proxy voor de complexiteit van de oplossing.

2. Theoretische Analyse

De auteurs formaliseren de trade-off met behulp van informatietheorie. Ze definiëren de Parametrische Informatiefrontier ( $I_k(\rho)$ ) als de minimale taak-informatie die in de gewichten moet worden opgeslagen om een risico-drempel $\rho$ te bereiken gegeven een contextgrootte $k$ . Ze bewijzen dat voor geneste inputs, $I_m(\rho) \leq I_k(\rho)$ voor $m > k$ , wat aantoont dat langere contexten theoretisch de minimale informatie vereist in de gewichten verminderen om dezelfde prestaties te behalen.

3. Mechanistische Analyse

Gradiënt Allocatie: De auteurs analyseren de ratio van gradiënt-normen tussen Feed-Forward Networks (FFNs) en Self-Attention (SA) modules. FFNs worden geassocieerd met parametrische kennis, terwijl SA geassocieerd wordt met contextuele routing.
Causale Interventies: Ze voeren module-restrictieve fine-tuning uit, waarbij alleen FFNs of alleen SA-heads worden bijgewerkt, om causale effecten op robuustheid en context-afhankelijkheid te observeren.
Token-Level Attention: Ze meten de attention mass toegewezen aan context-tokens tijdens inferentie om de verschuiving in computatie te kwantificeren.

Belangrijkste Resultaten

1. De Inverted-U Prestatiecurve

In pretraining verbetert het vergroten van het contextvenster de prestaties tot een intermediaal optimum (bijv. ~2048 tokens voor SuperGLUE/MCQA, ~8192 voor taalmodellering) voordat de prestaties consistent dalen. Deze degradatie vindt plaats ondanks een vast token-budget en modelcapaciteit, wat aangeeft dat langere contexten niet inherent gunstig zijn voorbij een bepaits punt.

2. Context-verslaving in SFT

In supervised fine-tuning leidt het vergroten van de hoeveelheid taak-relevante context tijdens training ( $k=8$ ) tot een significante verbetering van de nauwkeurigheid wanneer er tijdens de testfase ondersteunende context beschikbaar is. Dit gaat echter gepaard met verminderde robuustheid:

No-Context Performance: Modellen getraind met een hoge context-relevantie presteren significant slechter wanneer context afwezig is vergeleken met modellen getraind met een lage context-relevantie.
Conflicting Context: Deze modellen zijn kwetsbaarder voor misleidende context, waarbij ze een grotere daling in nauwkeurigheid laten zien wanneer ze worden voorzien van conflicterend bewijs.

3. Mechanistische Verschuivingen

Oplossingscomplexiteit: In synthetische taken ontstaat "context-verslaving" (grote supporting-conflicting gaps) specifal in taken waar langere contexten leiden tot lagere complexiteit-oplossingen (geïndiceerd door dalende gemiddelde trainingsgradiënt-normen). Taken die niet profiteren van eenvoudigere contextuele oplossingen (bijv. mod10 rekenkunde) vertonen deze verschuiving niet.
Gradiënt Herallocatie: Training met informatieve context verschuift de gradiëntdruk weg van FFNs (parametrische internalisering) naar Self-Attention modules (contextualisering). Deze verschuiving wordt waargenomen in zowel pretraining als SFT.
Inference Gedrag: Modellen getraind met rijke context alloceren aanzienlijk meer attention mass aan context-tokens tijdens inferentie, met name in de middelste lagen, wat een causale afhankelijkheid van de geleverde informatie bevestigt.

Belangrijkste Bijdragen

De Paradox van Informatie-overvloed: Het paper introduceert de hypothese dat overvloedige relevante informatie in trainingscontexten de prikkel voor modellen kan verminderen om die informatie parametrisch te coderen, wat leidt tot een verschuiving van internalisering naar contextualisering.
Empirisch Bewijs van Niet-Monotone Schaling: De studie levert robuust bewijs dat het schalen van contextvensters geen "gratis lunch" is; voorbij een intermediaal optimum kunnen langere trainingscontexten de closed-book prestaties en robuustheid verslechteren.
Mechanistische Verklaring: Het werk identificeert de specifieke neurale mechanismen die dit fenomeen drijven: een verschuiving in optimalisatiedruk van FFNs naar Attention-modules en het adopteren van oplossingen met een lagere complexiteit die vertrouwen op context in plaats van gewichten.
Theoretische Formalisering: Het paper biedt een theoretisch bewijs dat langere contexten de minimale parametrische informatie verminderen die nodig is om een doel-risico te bereiken, wat verklaart waarom modellen kennis kunnen "vergeten" ten gunste van context-afhankelijkheid.

Betekenis en Claims

Het paper betoogt dat de drang naar bijna oneindige contextvensters niet uitsluitend begrepen kan worden als een data-probleem. In plaats daarvan fungeert het contextvenster als een hyperparameter die de modus van leren reguleert.

Uitdaging van Huidige Paradigma's: De bevindingen dagen de aanname uit dat "meer long-context data" altijd de juiste weg voorwaarts is. De auteurs suggereren dat de schaling van contextlengte bruikbare parametrische kennis kan inruilen voor context-afhankelijke competentie.
Implicaties voor Robuustheid: Modellen getraind met zeer informatieve lange contexten kunnen "context-verslaafden" worden, die falen wanneer de context ontbreend of corrupt is. Dit heeft kritieke implicaties voor de inzetbaarheid in scenario's waar de beschikbaarheid van context niet gegarandeerd is.
Ontwerprichtlijnen: Het paper suggereert dat optimale trainingsstrategieën de contextlengte moeten balanceren om te voorkomen dat de leermodus van het model te ver richting contextualisering verschuift, wat mogelijk curricula of beperkingen vereist die parametrische kennis behouden.

De auteurs concluderen dat hoewel lang-context verwerking een krachtige capaciteit is, het fundamenteel verandert wat modellen internaliseren en hoe sterk zij afhankelijk zijn van informatie tijdens de inferentie, wat een herwaardering van de scaling laws voor contextvensters noodzakelijk maakt.