Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

Technische Samenvatting: Mensachtige vluchtige geheugen verbetert taalverwerving maar verslechtert voorspelling van leestijd in Transformer-taalmodellen

Probleemstelling
De cognitiewetenschap heeft lang verondersteld dat het vluchtige karakter van het menselijke werkgeheugen—specifiek het snelle verlies van exacte woordvormen—paradoxaal genoeg de taalverwerving bevordert. Deze "minder is meer"-hypothese suggereert dat geheugenbeperkingen leerlingen dwingen zich te concentreren op lokale regulariteiten en abstracte representaties (bijvoorbeeld chunking, syntactische structuur) te ontwikkelen, in plaats van te vertrouwen op oppervlakkige statistische memorisatie. Klassiek connectionistisch werk van Elman (1993) ondersteunde dit, door aan te tonen dat het beperken van invoerwindows het leren in recurrente neurale netwerken verbeterde. De opkomst van Transformer-modellen, die een perfect geheugen binnen hun contextvensters bezitten en geen inherente recency-bias hebben, daagt dit echter uit. Transformers leren taal effectief ondanks deze "supermenselijke" geheugencapaciteiten. Dit artikel onderzoekt of het opnieuw introduceren van mensachtige geheugenbeperkingen (vluchtig geheugen) daadwerkelijk ten goede komt aan taalverwerving in moderne Transformers, en of dergelijke architecturale beperkingen het vermogen van de modellen om menselijk lesgedrag te voorspellen verbeteren.

Methodologie
De auteurs voerden nauwkeurig gecontroleerde experimenten uit met Transformer-taalmodellen (GPT-2-architectuur) getraind op de BabyLM-dataset, die ontwikkelingsrealistische dataregimes simuleert (10 miljoen en 100 miljoen tokens).

• Architecturale modificatie: De auteurs implementeerden "vluchtig geheugen" door de zelf-attentie-mechanisme te modificeren. In plaats van uniforme attentieweichten, pasten ze een vaste, niet-trainbare recency-bias (een machtsvervalfunctie) toe op de attentiescores na de softmax-operatie. Deze bias vermindert de retentie van tokens op basis van hun afstand tot het huidige woord.
• Echoïsch geheugenbuffer: Inzichtelijk makend dat naïef verval (onmiddellijk verlies vanaf het eerste token) lokale afhankelijkheden verstoorde, introduceerden de auteurs een "echoïsch geheugenbuffer". Dit zorgt voor perfecte retentie van de eerste 3–7 woorden (ongeveer 5–10 tokens) voordat het machtsverval begint, wat het menselijke zintuiglijke geheugen nabootst.
• Experimenteel ontwerp: Om het effect van de geheugenarchitectuur te isoleren, trainden de auteurs modellen met identieke willekeurige zaden (controle voor weeginitialisatie en volgorde van datamonstername) onder twee voorwaarden: Perfect Geheugen (standaard Transformer) en Vluchtig Geheugen (met variërende vervalsterktes en buffergroottes).
• Evaluatiemetrics:
  1. Taalverwerving: Gemeten via validatieverlies (cross-entropy) en gerichte syntactische evaluatie met de BLiMP-benchmark (taalkundige minimale paren).
  2. Gedragsalignatie: Gemeten door het vermogen van het model om menselijke leestijden te voorspellen (surprisal-gebaseerde voorspelling) met behulp van lineaire mixed-effects-regressie op de Natural Stories- en Dundee-corpora.
  3. Statistische strenghheid: Analyses gebruikten bootstrap t-toetsen over 10–12 zaden per conditie om ervoor te zorgen dat resultaten geen artefacten van stochasticiteit waren.

Belangrijkste Resultaten

1. Naïef verval verslechtert leren: Een "naïeve" implementatie van vluchtig geheugen (onmiddellijk verval zonder buffer) degradeerde consistent de prestaties van taalmodellering, wat leidde tot een toename van het validatieverlies.
2. Vluchtig geheugen + buffer verbetert leren: In combinatie met een echoïsch geheugenbuffer verbeterde vluchtig geheugen consistent de taalverwerving. Modellen met deze architectuur behaalden een lager validatieverlies en hogere BLiMP-scores dan controles met perfect geheugen, zowel voor de 10M- als de 100M-trainingssets. De verbeteringen waren statistisch significant en robuust over verschillende hyperparameter-instellingen.
3. Winst in syntactische kennis: De verbeteringen strekten zich uit tot abstracte syntactische fenomenen, met name die welke vertrouwen op lokale afhankelijkheden (bijvoorbeeld onderwerp-werkwoordovereenstemming, anafore-overeenstemming).
4. Verslechterde voorspelling van leestijd: In tegenstelling tot de verwachting dat betere taalmodellen menselijk gedrag beter voorspellen, presteerden de modellen met vluchtig geheugen slechter bij het voorspellen van menselijke leestijden. Deze verslechtering werd waargenomen voor zowel trainingssetgroottes als datasets (Natural Stories en Dundee).
5. Dissociatiemechanisme: De auteurs verwierpen standaardverklaringen voor het paradox "beter model, slechter gedrag". De verslechtering was niet te wijten aan supermenselijke trainingsgroottes (aangezien de data menselijk van schaal was) noch uitsluitend aan de memorisatie van低频woorden (hoewel de fout zich concentreerde op zeldzame woorden, ontbrak het specifieke signatuur van onderschatting dat geassocieerd wordt met memorisatie).

Betekenis en Claims
Het artikel claimt empirische ondersteuning te bieden voor de cognitieve hypothese dat geheugenbeperkingen dienen als een gunstige inductieve bias voor taalverwerving in neurale netwerken, zelfs binnen de Transformer-architectuur. Door de statistische prior te coderen dat taalkundige afhankelijkheden vaak lokaal zijn, verbetert vluchtig geheugen de steekproefefficiëntie en de verwerving van syntactische structuur.

Echter, de auteurs benadrukken een kritieke dissociatie: architecturale beperkingen die een model "menselijker" maken in zijn leerproces, maken het niet noodzakelijkerwijs "menselijker" in zijn voorspelling van menselijk gedrag (leestijden). De resultaten suggereren dat meerdere distincte mechanismen een divergentie kunnen veroorzaken tussen competentie in taalmodellering en gedragsalignatie. De auteurs merken bescheiden op dat deze bevindingen specifiek zijn voor dataregimes van menselijke schaal; bij hedendaagse pretrainingschalen (miljarden tokens) kunnen de voordelen van dergelijke beperkingen afnemen naarmate modellen lokale biasen direct uit de data kunnen leren. Het werk onderstreept dat het verbeteren van de interne leerefficiëntie van een model geen garantie biedt voor een betere fit met menselijke verwerkingsdata.