Contextual Drag: How Errors in the Context Affect LLM Reasoning

Het onderzoek toont aan dat 'contextuele sleepkracht' (contextual drag) ervoor zorgt dat fouten in de context van grote taalmodellen leiden tot structureel vergelijkbare herhalingen van fouten, waardoor iteratieve zelfverbetering vaak resulteert in verslechtering in plaats van vooruitgang.

De kern

Het Probleem: "Contextuele Sleep"

Stel je voor dat je een heel slimme robot hebt die wiskundepuzzels oplost. Deze robot is getraind om te leren van zijn fouten. Als hij een fout maakt, kijkt hij terug, zegt: "Ah, dat was verkeerd," en probeert het opnieuw. Dat klinkt logisch, toch?

Maar onderzoekers van de Princeton-universiteit hebben ontdekt dat deze robot een vreemde zwakte heeft. Ze noemen dit "Contextuele Sleep" (in het Engels: Contextual Drag).

De Vergelijking: De Slechte Gids

Stel je voor dat je een wandeling maakt door een complex stadje (een wiskundeprobleem). Je hebt een gids bij je (de robot).

1. Schoon begin: De gids begint bij nul en vindt de juiste route.
2. De valstrik: Nu krijg je een oude kaart van een andere wandelaar die de verkeerde route heeft genomen. Die kaart zit in je hand (de "context").
3. De sleep: Zelfs als je de gids zegt: "Kijk, deze kaart is fout! De gids op de kaart is verdwaald!", blijft de gids onbewust de verkeerde route volgen. Hij blijft hangen in de patronen van de verkeerde kaart. Hij denkt: "Oh, ze probeerden hier linksaf te gaan, misschien moeten wij dat ook doen, maar dan net iets anders?"

Het resultaat? De robot maakt dezelfde soort fouten als de verkeerde kaart, zelfs als hij weet dat de kaart fout is. Hij wordt letterlijk "weggesleept" door de verkeerde informatie in zijn omgeving.

Wat hebben ze ontdekt?

De onderzoekers hebben 11 verschillende slimme modellen getest op 8 soorten taken (wiskunde, code, puzzels). Wat zagen ze?

1. De prestaties zakken: Als de robot een fout antwoord van een ander ziet, zakken zijn eigen prestaties met 10% tot 20%. Soms zelfs veel meer bij kleinere modellen.
2. Het wordt erger: Als je de robot laat oefenen door steeds zijn eigen vorige (foute) antwoorden te bekijken, wordt hij niet beter. Hij wordt juist slechter. Het is alsof je een spoor van modder achterlaat en elke keer weer in die modder stapt. De robot zakt steeds dieper weg in zijn eigen fouten.
3. Het is structureel: De robot kopieert niet alleen het antwoord, maar hij kopieert de manier waarop hij denkt. Als de fout in de context een bepaalde manier van redeneren gebruikt, gebruikt de robot diezelfde manier, ook al is het verkeerd.

Probeerde ze het op te lossen?

Ja, en dat was interessant:

• Gewoon zeggen "Dit is fout": Als je de robot hardop zegt: "Dit voorbeeld is fout, doe het niet na!", helpt dat niet echt. De robot blijft nog steeds de verkeerde route volgen. Het is alsof je tegen iemand zegt: "Kijk niet naar die rode auto, die is gestolen!" maar de persoon blijft toch naar de rode auto staren.
• Zelf controleren: Als de robot zelf zegt "Ik zie dat dit fout is", helpt het soms, maar niet altijd. Sommige modellen kunnen zich dan herstellen, maar andere blijven vastzitten.
• Nieuwe methoden: De onderzoekers probeerden de robot te trainen om, zodra hij een fout ziet, volledig te "resetten" en te beginnen alsof hij de fout nooit had gezien. Dit hielp een beetje, maar het loste het probleem niet helemaal op. De robot was dan nog steeds iets minder goed dan wanneer hij helemaal alleen begon.

Waarom is dit belangrijk?

Vandaag de dag bouwen mensen systemen die zichzelf verbeteren. Ze laten AI's met elkaar praten, fouten zoeken en oplossingen verfijnen. Dit onderzoek waarschuwt: Pas op!

Als die AI's te veel kijken naar eerdere, foutieve pogingen, kunnen ze in een vicieuze cirkel terechtkomen. Ze worden niet slimmer, maar juist dommer. Het is alsof je een team van detectives hebt die proberen een zaak op te lossen, maar ze blijven vastzitten in de theorie van een detective die al eerder faalde, in plaats van een schone lei te maken.

De Conclusie in één zin

Zelfs de slimste AI's hebben moeite om los te komen van verkeerde ideeën die ze net hebben gelezen; ze worden er onbewust door beïnvloed, alsof ze in een modderpoel zijn beland waar ze niet meer uit kunnen komen, zelfs niet als ze weten dat het modder is.

De boodschap voor de toekomst: We moeten nieuwe manieren vinden om AI's echt te laten "resetten" en niet alleen te laten kijken naar wat er eerder misging.

Technische samenvatting

Titel: Contextual Drag: Hoe Fouten in de Context de Redenering van LLM's Beïnvloeden

Auteurs: Yun Cheng, Xingyu Zhu, Haoyu Zhao, Sanjeev Arora (Princeton University)
Publicatiedatum: Maart 2026 (Preprint)

---

1. Het Probleem: Contextuele Drift (Contextual Drag)

Moderne workflows voor Large Language Models (LLM's), zoals die voor zelfverbetering en iteratieve verfijning, vertrouwen vaak op de aanname dat modellen hun output kunnen verbeteren door te reflecteren op eerdere pogingen (de "critique-verify-revise" cyclus).

De auteurs identificeren een nieuw falingspatroon genaamd Contextual Drag. Dit fenomeen treedt op wanneer een model wordt geconfronteerd met een foutieve "draft" (een eerdere poging) in de context. In plaats van deze fout volledig te negeren of correct te corrigeren, vertoont het model een bias: latere generaties worden structureel beïnvloed door de foutieve patronen in de context. Dit leidt tot:

• Een significante daling in prestaties (10-20%).
• Het herhalen van structureel vergelijkbare fouten, zelfs wanneer het model expliciet wordt gevraagd om de fout te verifiëren.
• In extreme gevallen (bij iteratieve verfijning) een proces van zelf-achteruitgang (self-deterioration), waarbij de prestaties van het model naarmate het meer iteraties uitvoert, juist verslechteren in plaats van verbeteren.

Dit gedrag lijkt op het menselijke "anker-effect" (anchoring bias), waarbij informatie die als onjuist is gemarkeerd, toch nog steeds de besluitvorming beïnvloedt.

2. Methodologie

De auteurs hebben een uitgebreide empirische evaluatie uitgevoerd om dit fenomeen te kwantificeren en te analyseren:

• Modellen en Benchmarks: Er zijn 11 modellen getest (zowel propriëtaire modellen zoals GPT-5 en Gemini, als open-weight modellen zoals GPT-OSS, Nemotron, Qwen en LlamaR1) op 8 redeneertaken. Deze taken omvatten wiskunde (AIME, HMMT), wetenschap (GPQA), code (CRUXEval-I) en puzzels (Game of 24).
• Evaluatie-Setup:
  • DIRECT: Het model lost een probleem op zonder extra context (baseline).
  • 1F/2F: Het model lost een probleem op met één of twee foutieve oplossingen in de context, waarbij het expliciet wordt gevraagd om deze te verifiëren voordat het een nieuwe oplossing genereert.
• Structurale Analyse (Game of 24): Om te meten hoe de drift werkt, gebruikten ze de "Tree Edit Distance" (TED). Oplossingen voor de Game of 24-puzzel worden omgezet in bomen. De TED meet de structurele gelijkenis tussen de nieuwe oplossing en de foutieve context. Een lagere TED betekent dat het model de structuur van de fout overneemt.
• Mitigatie-Experimenten:
  • Context Denoising: Het model wordt gevraagd om foutieve drafts te herschrijven (REVISE) of te filteren op basis van een hoog niveau strategie (FILTER).
  • Targeted Supervised Fine-Tuning (SFT): Een model (GPT-OSS-20B) werd getraind om bij het detecteren van een fout in een draft, expliciet terug te vallen op een "clean-slate" redeneertraject (het negeren van de context) in plaats van te proberen de fout te corrigeren binnen de context.

3. Belangrijkste Resultaten

• Significante Prestatieverlies: Bijna alle geteste modellen vertonen een prestatiedaling van 10% tot 20% wanneer ze worden blootgesteld aan foutieve context. Kleinere modellen (zoals GPT-OSS-20B) lijden hier het meest onder, met dalingen van bijna 50% in sommige gevallen.
• Structurale Drift: De TED-analyse toont aan dat modellen onder "contextual drag" oplossingen genereren die structureel veel dichter bij de foutieve draft staan dan bij een schone oplossing. Het model kopieert niet alleen tokens, maar volgt het foutieve rekenpad.
• Verificatie is Onvoldoende: Zelfs wanneer het model expliciet wordt gewaarschuwd dat de draft fout is (extern signaal) of wanneer het model zelf de fout correct identificeert (intern signaal), blijft de bias bestaan. Het vermogen om een fout te zien, garandeert niet dat het model de invloed van die fout kan neutraliseren.
• Zelf-achteruitgang: In iteratieve pijplijnen (waarbij een model zijn eigen output gebruikt als context voor de volgende stap) leidde de aanwezigheid van fouten bij GPT-OSS-20B tot een continue achteruitgang van de nauwkeurigheid, in plaats van verbetering.
• Beperkte Effectiviteit van Mitigatie:
  • Context Denoising: Methoden zoals FILTER en REVISE verbeteren de situatie ten opzichte van de baseline, maar herstellen de prestaties niet volledig tot het niveau van "clean-slate".
  • Targeted SFT: Het trainen van een "fallback"-gedrag (terugvallen op schone redenering bij foutdetectie) verbeterde de robuustheid aanzienlijk. Echter, dit ging ten koste van de prestaties wanneer de context wel correct was (een trade-off tussen robuustheid en nuttigheid van context).

4. Kernbijdragen

1. Definitie van Contextual Drag: Het paper introduceert en kwantificeert een specifiek falingspatroon waarbij foutieve context de redeneerstructuur van LLM's systematisch verdraait, zelfs na expliciete verificatie.
2. Structurale Bewijsvoering: Door gebruik te maken van Tree Edit Distance, wordt aangetoond dat dit probleem niet slechts een oppervlakkige fout is, maar een diepgewortelde structurele bias in de redeneertrajecten.
3. Onvoldoende Verificatie: Het weerlegt de veelgehoorde aanname dat "verificatie" (System 2-denken) voldoende is om contextuele bias te elimineren. Zelfs met foutsignalen blijft de drift bestaan.
4. Trade-off Analyse: Het paper toont aan dat het trainen van modellen om fouten te negeren (fallback) hun vermogen om juiste context te benutten kan verzwakken, wat een fundamentele uitdaging is voor toekomstige zelfverbeteringspipelines.

5. Betekenis en Conclusie

De bevindingen van dit paper hebben grote implicaties voor de ontwikkeling van geavanceerde LLM-systemen:

• Zelfverbetering en Multi-Agent Systemen: Veel veelbelovende benaderingen voor zelfverbetering (zoals iteratieve verfijning of multi-agent aggregatie) zijn kwetsbaar voor dit fenomeen. Zonder mechanismen om de context te resetten of te filteren, kunnen deze systemen in een vicieuze cirkel van fouten terechtkomen.
• Architecturale Beperkingen: De persistentie van contextual drag suggereert dat huidige attention-architecturen geen ingebouwde mechanismen hebben om de redeneertoestand volledig te resetten, ongeacht verificatie-inspanningen.
• Toekomstige Richtingen: Het paper pleit voor nieuwe architecturale of trainingsstrategieën die selectiever omgaan met context en het vermogen bieden om de "state" van het model echt te resetten bij het detecteren van fouten, zonder de voordelen van correcte context te verliezen.

Kortom, "Contextual Drag" is een persistent en fundamenteel probleem in huidige redeneermodellen dat de betrouwbaarheid van geautomatiseerde zelfverbetering in gevaar brengt.