Human-like Working Memory Interference in Large Language Models

Dit onderzoek toont aan dat beperkingen in het werkgeheugen van grote taalmodellen worden veroorzaakt door representatieve interferentie, waarbij modellen taakrelevante informatie moeten selecteren uit verstrengelde representaties van meerdere items, een mechanisme dat opmerkelijk lijkt op de cognitieve beperkingen bij mensen.

De kern

Titel: Waarom hebben slimme AI's een slecht geheugen? (En waarom is dat eigenlijk heel menselijk)

Stel je voor dat je een gigantische bibliotheek hebt. Je kunt elk boek dat je ooit hebt gelezen, direct vinden. Je hebt een superkrachtige zoekmachine in je hoofd die door miljarden pagina's blust in een fractie van een seconde. Je zou denken: "Met zo'n krachtig systeem kan ik onthouden wat ik gisteren, vorige week of zelfs gisteren om 14:00 uur heb gedaan, toch?"

Nou, dat is precies wat we dachten van de nieuwste kunstmatige intelligentie (AI), zoals de grote taalmodellen (LLMs). Maar deze paper laat zien dat ze een heel menselijk probleem hebben: hun werkgeheugen is beperkt.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar begrijpelijke taal:

1. Het mysterie: Waarom vergeten ze dingen?

De AI's hebben toegang tot alles wat ze eerder hebben gelezen. Het is alsof je een boek leest en er een magische lijn naar elke zin in dat boek hebt. Toch falen ze op een simpele test: de "N-back" test.

• De test: Je krijgt een reeks letters: A, B, C, D... en je moet telkens de letter zeggen die je N stappen geleden zag. Bij een "2-back" test moet je bij 'D' zeggen 'B'.
• Het probleem: Hoe meer letters er voorbij komen (hoe groter N), hoe slechter de AI wordt. Ze vergeten de juiste letter, zelfs als die letter nog steeds in hun "herinnering" (de context) staat.

Je zou denken: "Maar de AI kan gewoon terugkijken naar de letter die 2 stappen geleden stond!" En dat kunnen ze technisch gezien wel. Maar ze doen het niet. Waarom?

2. De oorzaak: Een rommelige koffer (Interferentie)

De onderzoekers ontdekken dat het probleem niet is dat de AI de informatie niet heeft, maar dat de informatie te verward is.

De Analogie van de Koffer:
Stel je voor dat je werkgeheugen een koffer is.

• De oude theorie: Je denkt dat de AI een perfecte koffer heeft waar elke letter in een eigen vakje zit. Als je 'B' nodig hebt, pak je gewoon het vakje 'B' uit.
• De nieuwe ontdekking: De AI vult zijn koffer met alles wat hij ziet, maar hij gooit alles in één grote, rommelige hoop. De letters A, B, C en D liggen door elkaar heen, verstrengeld als een wirwar van garen.
• Het probleem: Als je nu de letter 'B' uit die hoop wilt halen, trek je per ongeluk ook 'A' of 'C' mee. De nieuwe informatie (de recente letters) "ruis"t de oude informatie uit. Dit noemen ze interferentie.

De AI probeert de juiste letter te vinden, maar de "nieuwe" letters in zijn hoofd zijn zo hard aan het schreeuwen dat ze de "oude" letter overstemmen. Het is alsof je in een drukke kamer probeert te luisteren naar iemand die 10 minuten geleden iets zei, terwijl er nu 50 mensen om je heen schreeuwen.

3. De AI doet precies wat wij doen

Het meest fascinerende is dat de AI's exact dezelfde fouten maken als mensen.

• Recentie-effect: Ze vergeten de oude letters en onthouden juist de nieuwste letters (die het hardst schreeuwen).
• Verwarring: Als de letters op elkaar lijken, maken ze meer fouten.
• Intelligentie-link: Net als bij mensen, geldt: hoe beter een AI zijn werkgeheugen beheerst (hoe beter hij de rommel in de koffer kan sorteren), hoe intelligenter hij is op andere gebieden (zoals wiskunde of logische puzzels).

4. Hoe werkt het in hun "brein"?

De onderzoekers keken in het "brein" van de AI (de lagen van het neurale netwerk) en zagen een fascinerend patroon:

1. De chaos: Aan het begin van het proces zitten alle letters door elkaar.
2. Het sorteren: In het midden van het proces probeert de AI de letters uit elkaar te halen. Hij probeert de "storing" (de letters die je niet nodig hebt) te dempen.
3. Het resultaat: Pas helemaal aan het einde, vlak voordat hij antwoordt, lukt het hem om de juiste letter te isoleren. Maar als er te veel letters zijn (te veel rommel), lukt dit sorteren niet meer goed en haalt hij de verkeerde letter.

5. Een experiment: De "ruis" weghalen

Om dit te bewijzen, deden de onderzoekers een experiment. Ze probeerden de "letter-identiteit" (de specifieke vorm van de letters) in het brein van de AI tijdelijk te dempen, zodat de AI zich minder liet afleiden door de inhoud van de letters en meer focus op de positie.
Het resultaat: De AI werd beter in de test!
Dit bewijst dat de verwarring tussen de letters zelf (de inhoud) de boosdoener was. Door die verwarring te verminderen, kon de AI de juiste informatie beter vinden.

Conclusie: Waarom is dit belangrijk?

Deze paper leert ons iets moois over zowel mensen als machines:
Het is niet zo dat we (of AI's) een gebrek aan ruimte hebben om dingen te onthouden. We hebben genoeg ruimte! Het probleem is selectie.

In een wereld vol informatie is het moeilijkste niet het opslaan van informatie, maar het filteren van de ruis. We moeten leren om de juiste informatie te pakken en de rest te negeren.

De AI's zijn niet "dom" omdat ze vergeten; ze zijn "menselijk" omdat ze worstelen met dezelfde uitdaging als wij: Hoe houd ik mijn hoofd helder als er te veel tegelijk gebeurt?

Dit betekent dat om AI's slimmer te maken, we niet alleen hun geheugen hoeven te vergroten (meer context), maar vooral hun focus moeten verbeteren. Ze moeten leren om de ruis te dempen, net zoals wij dat moeten doen.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) gebaseerd zijn op Transformer-architecturen met volledige toegang tot hun voorgaande context via zelf-attentie (self-attention), vertonen ze opmerkelijke beperkingen in hun werkgeheugen (working memory). Dit is paradoxaal, omdat biologische systemen (met ongeveer 100 miljard neuronen) en kunstmatige systemen (met vergelijkbare parameters) beide beperkt zijn in het aantal items dat ze gelijktijdig kunnen vasthouden.

De centrale vraag van het paper is: Waarom vertonen LLMs deze beperkingen, gezien ze theoretisch elk item uit de context direct kunnen ophalen via posities? Bestaande theorieën suggereren dat het probleem niet ligt in opslagcapaciteit, maar in interferentiecontrole: het vermogen om taakrelevante representaties te behouden ondanks concurrerende informatie. De auteurs hypotheseren dat LLMs niet simpelweg een "positieve pointer" gebruiken om een token te kopiëren, maar dat ze te maken hebben met representatieve interferentie (representational interference) waarbij meerdere geheugenitems in verstrengelde (entangled) representaties worden gecodeerd.

Methodologie

1. Taak: De N-back Taak
De auteurs hebben de klassieke menselijke N-back-taak aangepast voor LLMs als een multi-turn interactie:

• Setup: Een trial bestaat uit 50 beurten. Bij elke beurt $t$ geeft de gebruiker een letter. Het model moet de letter produceren die $N$ beurten eerder werd getoond.
• Variabelen: De auteurs testten $N \in \{1, 2, 3, 4\}$.
• Modellen: Er werden 10 instruction-tuned modellen geëvalueerd uit vier families (Gemma 3, Qwen 3.5, Llama-3.1, Ministral 3), variërend in grootte van 1B tot 27B parameters.
• Evaluatie: Resultaten werden gemeten onder twee condities:
  • Autoregressief: Het model gebruikt zijn eigen vorige antwoorden als context.
  • Teacher-forced: Het model krijgt de juiste antwoorden van eerdere beurten als context (om foutpropagatie uit te sluiten en het retrieval-mechanisme te isoleren).

2. Mechanistische Analyse
Om het interne werkingsmechanisme te begrijpen, analyseerden de auteurs de residu-stream (residual stream) over de lagen van de transformer:

• Letter-identiteit: Hoe sterk blijft de identiteit van de huidige stimulus (de letter) aanwezig in de representatie?
• Relatieve positie: Hoe worden items gescheiden op basis van hun tijdstip ($p = 0$ tot $N$)?
• Subruimte-overlap: Meten van de overlap tussen representaties van verschillende geheugenitems.
• Doeluitlijning: Hoe goed is de representatie van het doel-item (de $N$-e letter) uitgelijnd met de leesgewichten (readout weights) voor output?

3. Causale Interventie
Om te bewijzen dat interferentie de oorzaak is, voerden de auteurs een causale manipulatie uit: ze onderdrukten selectief de richtingen in de residu-stream die corresponderen met de letter-identiteit (via SVD en projectie), zonder de positiespecificatie te veranderen.

Belangrijkste Bijdragen en Resultaten

1. Beperkingen lijken op menselijke interferentie

• Load-afhankelijkheid: De prestaties van alle geteste LLMs daalden systematisch naarmate de geheugenlast ($N$) toenam, zelfs bij de grootste modellen (27B). Dit gedrag is kwalitatief identiek aan menselijke beperkingen.
• Recency-interferentie: Fouten waren niet willekeurig; modellen neigden om te antwoorden met recente, niet-doel-letters (bijv. $t-1$ in plaats van $t-N$). Dit suggereert dat recente items actief blijven en concurreren met het doel-item.
• Content-gebaseerde interferentie: Prestaties werden beïnvloed door de inhoud van de stimuli (bijv. "lure"-stimuli die lijken op het doel, of kleinere vocabulaires die herhalingen vergroten). Dit weerlegt het idee dat modellen puur op positie (index) vertrouwen.

2. Correlatie met Algemene Intelligentie
Er werd een sterke positieve correlatie gevonden tussen de prestaties op de N-back-taak en benchmarks voor redeneren en instructie-opvolging (MMLU Pro, GPQA Diamond, IFEval). Dit bevestigt dat werkgeheugencapaciteit in LLMs, net als bij mensen, een maatstaf is voor bredere cognitieve vaardigheden en interferentiecontrole.

3. Gemeenschappelijk Computatiemechanisme
Ondanks variatie in prestaties, volgden alle modellen een vergelijkbaar neurale traject:

• Onderdrukking: In de vroege lagen blijft de letter-identiteit van niet-doel-items aanwezig. Door de lagen heen wordt deze irrelevante informatie geleidelijk onderdrukt.
• Scheiding: In de middelste lagen worden de representaties van verschillende geheugenitems tijdelijk meer gescheiden (minder overlap in subruimtes) om interferentie te verminderen.
• Re-convergentie en Uitlijning: Pas in de late lagen wordt het doel-item sterk uitgelijnd met de output-richting. De representaties komen deels weer samen, maar het doel is dan voldoende geselecteerd.
• Conclusie: Succesvol herinneren vereist actieve selectie en onderdrukking van afleiding, niet alleen het kopiëren van een token op een specifieke positie.

4. Causaal Bewijs
De interventie waarbij letter-identiteitsinformatie werd verwijderd uit de residu-stream, leidde tot een verbetering in de N-back-prestaties. Dit bewijst causaal dat de aanwezigheid van irrelevante letter-informatie een bron van interferentie is die de prestaties beperkt.

Significantie en Conclusie

Dit paper biedt een fundamenteel nieuw perspectief op de beperkingen van LLMs:

1. Niet een opslagprobleem, maar een selectieprobleem: De beperkingen in werkgeheugen worden niet veroorzaakt door een gebrek aan contextvenster of opslagcapaciteit, maar door de moeilijkheid om de juiste informatie te selecteren uit een "verstrengeld" representatieruimte waar irrelevante informatie actief blijft.
2. Gedeelde uitdaging voor biologische en kunstmatige systemen: Zowel mensen als LLMs lijden onder dezelfde computatieprobleem: het beheersen van representatieve interferentie in gedeelde, gedistribueerde representaties. Dit verklaart waarom systemen met volledig verschillende architecturen en leerregels convergeren naar vergelijkbare geheugenlimieten.
3. Implicaties voor de toekomst: Het verbeteren van het werkgeheugen van LLMs vereist waarschijnlijk niet alleen grotere contextvensters, maar ook betere mechanismen voor selectieve herwinning en het actief onderdrukken van taak-irrelevante content. De bevindingen suggereren dat "interferentiecontrole" een kerncomponent is van intelligentie in zowel biologische als kunstmatige systemen.