💬 NLP

Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

Dit onderzoek toont aan dat grote taalmodellen, in tegenstelling tot mensen, eerder eerder verworven informatie behouden dan recente, wat wijst op een universele voorspellende interferentie die twee verschillende geheugmechanismen onthult.

Oorspronkelijke auteurs: Sourav Chattaraj, Kanak Raj

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sourav Chattaraj, Kanak Raj

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Wat onthouden AI's?

Stel je voor dat je een AI vraagt om een patiënt te volgen tijdens een lange, drukke dag op de spoedeisende hulp.

Ochtend: De bloeddruk is 120.
Middag: Het is 135.
Avond: Het is 128.
Slaap: Het is 118.

Als de arts vraagt: "Wat was de bloeddruk toen we begonnen?" (een vraag naar het verleden), moet de AI het oude getal onthouden, ondanks de nieuwe informatie.
Als de arts vraagt: "Wat is de bloeddruk NU?" (een vraag naar het heden), moet de AI het nieuwste getal onthouden, ondanks de oude getallen die in de weg zitten.

De onderzoekers hebben 39 verschillende AI-modellen getest op precies dit soort situaties. Wat ze ontdekten, is verrassend en precies het omgekeerde van hoe mensen werken.

1. De Mens vs. De Machine: Een Omgekeerde Wereld

Bij mensen geldt een oude regel: Nieuwe informatie wist oude informatie uit.

Vergelijking: Stel je een schoolbord voor. Als je er een nieuw tekeningetje op maakt, is het oude vaak moeilijk te zien of weggeveegd. Dit heet bij mensen retroactieve interferentie (het nieuwe blokkeert het oude).

Maar bij AI's (LLMs) gebeurt het tegenovergestelde:

Het oude blijft hangen, het nieuwe verdwijnt.
De AI's lijken een "eerste-indruk-bias" te hebben. Ze houden zo hard vast aan het eerste wat ze zagen, dat ze het nieuwe vergeten.
Vergelijking: Stel je voor dat je een AI een boek geeft. Het eerste hoofdstuk is in goud geschreven en vastgelijmd aan de kaft. De volgende 500 pagina's zijn op losse blaadjes geschreven die steeds weer wegwaaien. Als je vraagt "Wat stond er op pagina 1?", weet de AI het perfect. Vraag je "Wat staat er op de laatste pagina?", dan heeft de AI de losse blaadjes al vergeten.

Dit fenomeen noemen de onderzoekers proactieve interferentie: het oude blokkeert het nieuwe. Bij alle 39 geteste modellen was dit het geval.

2. Twee Verschillende Hersenen (of: Twee Verschillende Mechanismen)

De onderzoekers ontdekten dat het "vergeten van het oude" en het "niet kunnen onthouden van het nieuwe" twee totaal verschillende processen zijn. Ze hebben niets met elkaar te maken.

Het geheugen voor het verleden (RI): Dit hangt af van hoe groot de AI is.
- Vergelijking: Denk aan een bibliotheek. Een kleine bibliotheek (klein model) heeft weinig planken. Als je nieuwe boeken toevoegt, moet je oude boeken verplaatsen of wegdoen. Een gigantische bibliotheek (groot model) heeft zoveel planken dat het oude boekje veilig blijft staan, zelfs als er duizenden nieuwe bij komen.
- Conclusie: Hoe meer "rekenkracht" (parameters) een AI heeft, hoe beter hij oude feiten kan bewaren.
Het geheugen voor het heden (PI): Dit hangt niet af van de grootte.
- Vergelijking: Stel je voor dat je een leraar hebt die altijd naar het eerste kind in de rij kijkt, ongeacht hoe groot de klas is. Of de klas nu 10 of 1000 kinderen telt, de leraar kijkt altijd naar de eerste.
- Conclusie: De manier waarop AI's werken (de "aandacht" van de computer) is zo gebouwd dat ze automatisch naar het begin van de tekst kijken. Meer rekenkracht lost dit niet op; het is een ontwerpkeuze.

3. Waarom faalt de AI? (De Oorzaak)

Wanneer de AI een fout maakt, is de reden anders afhankelijk van de vraag:

Vraag naar het verleden: De AI zegt vaak: "Ik weet het niet meer."
- Vergelijking: Het oude boekje is echt van de plank gevallen en zoekgeraakt. Het is een passief verlies.
Vraag naar het heden: De AI zegt: "Het was toch 120?" (terwijl het nu 118 is).
- Vergelijking: De AI probeert het nieuwe boekje te pakken, maar het oude boekje (dat in goud geschreven staat) springt er actief tussen en blokkeert de weg. De AI "hoort" de oude stem harder dan de nieuwe.

Belangrijk: De AI's maken bijna nooit dingen op (hallucineren). Ze verwarren gewoon wanneer iets gebeurde. Ze weten dat de feiten bestaan, maar ze kunnen ze niet goed sorteren.

4. Wat betekent dit voor de toekomst?

De onderzoekers geven ons een belangrijke tip voor het kiezen van de juiste AI:

Voor historische taken: Als je een AI nodig hebt om oude juridische dossiers te analyseren of medische geschiedenis te raadplegen, kies dan een groot model (of een "redenerend" model). Die zijn goed in het bewaren van oude feiten.
Voor actuele taken: Als je een AI nodig hebt voor een live chatbot die de laatste updates moet volgen, moet je oppassen. Zelfs de slimste AI's hebben moeite om het nieuwste te onthouden als er veel oude informatie voorafgaat.

Samenvattend in één zin:

Terwijl mensen het nieuwe vaak beter onthouden dan het oude, houden AI's zo vast aan hun eerste indruk dat ze het nieuwe vergeten; en terwijl grotere AI's beter zijn in het bewaren van het verleden, kunnen ze het heden niet beter onthouden door simpelweg groter te worden.

Titel: Transformers Herinneren Eerst, Vergeten Laatst: Dual-Process Interferentie in LLM's

Auteurs: Sourav Chattaraj en Kanak Raj (Thomson Reuters)

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor taken die contextueel geheugen vereisen, zoals het bijhouden van patiëntgegevens of juridische dossiers waar informatie over tijd wordt bijgewerkt. Een fundamentele vraag is hoe deze modellen omgaan met interferentie: wat gebeurt er met het geheugen wanneer nieuwe informatie in conflict komt met oude informatie?

In de cognitieve psychologie onderscheidt men twee vormen van interferentie:

Retroactieve Interferentie (RI): Nieuwe informatie verstoort de herinnering aan oudere informatie.
Proactieve Interferentie (PI): Oudere informatie blokkeert het aanleren of herinneren van nieuwe informatie.

Bij mensen domineert doorgaans RI (nieuwe informatie overschrijft oude). Het paper onderzoekt of LLM's ditzelfde patroon vertonen of dat hun architectuur (Transformers) een ander geheugengedrag vertoont.

2. Methodologie

De auteurs hebben klassieke paradigmas uit de cognitieve psychologie (het AB-AC interferentieparadigma) aangepast om 39 verschillende LLM's te testen.

Opzet: Modellen kregen 46 categorie-waarde paren (bijv. "kunst: impressionisme") gepresenteerd. Vervolgens kregen ze $N$ willekeurige updates per categorie (waarbij $N$ varieerde van 3 tot 300 updates), waarbij een nieuwe waarde aan een bestaande categorie werd toegewezen.
Twee Testcondities:
1. RI-taak: Vraag om de oorspronkelijke waarde (moet de update negeren).
2. PI-taak: Vraag om de meest recente waarde (moet de oude waarden negeren).
Dataset: 39 modellen, variërend van 1 miljard tot 2,5 biljoen parameters, inclusief open-weight modellen (Llama, Mistral, Qwen) en gesloten systemen (GPT-4o, Claude, o1).
Metingen: Er werd een Interferentie-Endurance Score berekend (RIES voor RI, PIES voor PI), gebaseerd op het oppervlak onder de nauwkeurigheidscurve over verschillende niveaus van interferentie.

3. Belangrijkste Bijdragen

Dual-Process Bewijs: RI en PI vertonen geen correlatie ( $R^2 = 0,044$ ), wat suggereert dat ze verschillende computationele mechanismen activeren (consolidatie vs. ophaalproces).
Omgekeerd Interferentieprofiel: Alle 39 geteste modellen vertonen het tegenovergestelde patroon van mensen: PI > RI. LLM's vergeten recente informatie sneller dan ze oude informatie vergeten.
Foutenclassificatie: Er is een duidelijk onderscheid in faalmodi: RI-fouten zijn passief (geen toegang tot waarde), terwijl PI-fouten actief zijn (oude waarden dringen zich op).

4. Resultaten

A. Dominantie van Proactieve Interferentie (PI)

In tegenstelling tot menselijk geheugen, waar nieuwe informatie oude informatie vaak overschrijft, beschermen Transformers vroege encodings ten koste van recente informatie.

PI > RI: Alle modellen presteerden significant slechter bij het onthouden van de laatste update (PI) dan bij het onthouden van de eerste waarde (RI).
Effectgrootte: Cohen's $d = 1,73$ ( $p < 0,0001$ ). Dit is een universeel patroon over alle architecturen en schalen.

B. Rol van Modelgrootte en Architectuur

Grootte voorspelt RI-resistentie: De parametercount verklaart 49% van de variantie in RI-prestaties ( $R^2 = 0,49$ ). Grotere modellen kunnen oude informatie beter behouden tegenover updates.
Grootte voorspelt NIET PI-resistentie: Modelgrootte heeft geen significant effect op het vermogen om recente informatie te onthouden ( $R^2 = 0,06$ , niet-significant). Dit suggereert dat PI een architecturale beperking is (attention mechanism), niet een capaciteitsprobleem.
Contextlengte: De lengte van het contextvenster (8K tot 2M tokens) had geen voorspellende waarde voor interferentieresistentie.

C. Redenerende Modellen (Reasoning Models)

Modellen met Chain-of-Thought redenering (zoals o1, o3) presteren uitzonderlijk goed op RI (hoge consolidatie), maar slecht op PI.

Ze hebben een 8,5x asymmetrie: Ze zijn extreem goed in het onthouden van historische feiten, maar falen vaak bij het bijhouden van de actuele status.

D. Foutanalyse en Mechanismen

RI-fouten (Passief): 51% van de fouten is een "retrieval failure". Het model kan de waarde niet vinden; de oorspronkelijke encoding lijkt overschreven of onbereikbaar.
PI-fouten (Actief): 56% van de fouten is "same-key intrusion". Het model geeft een oude waarde terug in plaats van de nieuwe. Dit duidt op een actieve onderdrukking van recente informatie door vroege attention-signalen.
Hallucinatie: Zeer laag (<1%) voor beide soorten. Modellen verwarren posities, maar fabriceren zelden nieuwe waarden.

5. Significatie en Conclusie

Theoretische Implicaties:
De bevindingen ondersteunen een dual-process theorie voor LLM-geheugen:

RI (Consolidatie): Is afhankelijk van representatieve capaciteit (parameters). Grotere modellen hebben minder "superposition" (overlap van vectoren), waardoor vroege informatie beter behouden blijft.
PI (Retrieval/Attention): Is een architecturale beperking. De Self-Attention-mechanismen van Transformers hebben een inherente primacy bias (voorkeur voor vroege tokens). Vroege tokens accumuleren aandacht van alle latere posities, waardoor ze moeilijk te overschrijven zijn, terwijl recente tokens geen cumulatief voordeel hebben.

Praktische Implicaties:

Modelkeuze: Voor toepassingen die historische nauwkeurigheid vereisen (bijv. juridische documentanalyse), zijn grote of redenerende modellen ideaal. Voor toepassingen die actuele status vereisen (bijv. real-time chatbots of monitoring), zijn deze modellen suboptimaal vanwege hun zwakke recency-resolutie.
Contextlengte is niet de oplossing: Het vergroten van het contextvenster lost het probleem van recente informatie niet op; de parametercount en de attention-mechanismen zijn bepalender.

Conclusie:
Transformers vertonen een fundamenteel ander geheugengedrag dan biologische systemen: ze "herinneren eerst, vergeten laatst". Dit is geen bug, maar een direct gevolg van de causaliteit en attention-dynamiek in de Transformer-architectuur, wat directe gevolgen heeft voor het ontwerp en de toepassing van AI-systemen in domeinen met veel informatieve updates.