To model human linguistic prediction, make LLMs less superhuman

Technische Samenvatting: "Om menselijke linguïstische voorspelling te modelleren, maak LLM's minder supermenselijk"

Probleemstelling
Grote Taalmodellen (LLM's) zijn historisch gezien gebruikt als computationele modellen voor menselijke linguïstische voorspelling, gebaseerd op het uitgangspunt dat hun vermogen om aankomende woorden te voorspellen, de menselijke cognitieve processen weerspiegelt. Er is echter een paradox ontstaan: naarmate de nauwkeurigheid van de voorspelling van het volgende woord bij gangbare LLM's is verbeterd, is hun vermogen om menselijk leesgedrag (met name leestijden en oogbewegingsdata) te verklaren, afgenomen. Het artikel betoogt dat deze divergentie optreedt omdat huidige LLM's "supermenselijke" voorspellingscapaciteiten bezitten, gedreven door geheugencapaciteiten die ver buiten die van menselijke lezers reiken. Specifiek vertonen LLM's een superieure langetermijngeheugen (het behouden van enorme hoeveelheden feitelijke kennis en trainingsvoorbeelden) en een bijna perfect kortetermijngeheugen (het getrouw herinneren van woorden uit verre contexten zonder tijdsverval), wat leidt tot voorspellingen die het gemiddelde mens niet kan doen.

Methodologie en Analyse
Het artikel synthetiseert bestaande empirische literatuur en heranalyseert de relatie tussen modelprestaties en de afstemming op menselijke data.

• Synthese van literatuur: De auteurs bekijken de ontwikkeling van studies waarin LLM's worden gebruikt om de voorspelbaarheid van woorden te schatten. Ze zetten vroege bevindingen (waarbij een betere voorspelling nauwkeuriger correleerde met een betere afstemming op menselijke leestijden) af tegen recente bevindingen (na 2022) met krachtige op Transformer-architectuur gebaseerde modellen die zijn getraind op enorme datasets.
• Herbeoordeling van data: De auteurs onderzoeken resultaten uit standaard corpora, waaronder het Natural Stories Corpus (zelfgestuurd lezen) en het Dundee Corpus (oogbewegingen). Ze stellen vast dat hoewel initiële verbeteringen in modelnauwkeurigheid de afstemming versterkten, verdere winst in voorspellingsnauwkeurigheid – gedreven door een toename van modelgrootte en trainingsdata – resulteerde in een groeiende misalignering met menselijke leestijden.
• Mechanistische analyse: Het artikel ontleedt de architecturale en trainingsverschillen tussen mensen en LLM's:
  • Langetermijngeheugen: LLM's worden getraind op data die meerdere ordes van grootte groter is (bijvoorbeeld 15 biljoen woorden voor Llama 3 versus ongeveer 100 miljoen voor een kind op 12-jarige leeftijd) en behouden feitelijke kennis (bijvoorbeeld geboorteplaatsen van beroemdheden) en meerwoordige uitdrukkingen die mensen missen of hebben vergeten.
  • Kortetermijngeheugen: In tegenstelling tot het menselijke werkgeheugen, dat in de loop van de tijd verval vertoont en vatbaar is voor interferentie, handhaven Transformer-architecturen een "vervalvrije" opslag van eerdere woorden via attentiemechanismen. Dit stelt LLM's in staat om entiteiten die duizenden woorden eerder werden genoemd, perfect te herinneren, een vermogen dat leidt tot een bijna perfecte voorspelling van herhaalde tekst waar mensen verwerkingsmoeilijkheden vertonen.

Belangrijkste bijdragen

1. Identificatie van "supermenselijkheid" als barrière: Het artikel stelt dat de primaire hindernis voor het gebruik van LLM's als cognitieve modellen niet hun gebrek aan capaciteit is, maar hun overmaat aan capaciteit. Hun "supermenselijke" geheugen stelt hen in staat voorspellingsoplossingen te vinden die inherent moeilijk zijn voor mensen vanwege kennishiaten of geheugenverval.
2. Diagnose van geheugen discrepanties: De auteurs schrijven de misalignering expliciet toe aan twee specifieke geheugenfouten:
   • Vertrouwensmismatch: LLM's beschikken over feitelijke kennis en blootstelling aan specifieke teksten (bijvoorbeeld de Onafhankelijkheidsverklaring) die de gemiddelde menselijke lezer niet heeft.
   • Herinneringsmismatch: LLM's missen het tijdsverval en de interferentie-effecten die inherent zijn aan het menselijke kortetermijngeheugen, waardoor ze syntactische ambiguïteiten kunnen oplossen en herhaalde entiteiten met perfecte nauwkeurigheid kunnen herinneren, terwijl mensen hier moeite mee hebben.
3. Voorstel voor mensachtige modellering: Het artikel pleit voor een verschuiving in modelleringstargets van het maximaliseren van voorspellingsnauwkeurigheid naar het maximaliseren van menselijkheid. Dit houdt in het ontwikkelen van LLM's met geheugenbeperkingen op menselijke schaal.

Resultaten en Bewijs

• Divergentietrends: Analyse van regressiemodellen die LLM-probabiliteiten aan menselijke leestijden aanpassen, toont een niet-monotoon verband. Initiële toenames in modelnauwkeurigheid verbeteren de fit, maar boven een bepaalde drempel leiden verdere winsten in nauwkeurigheid tot een verslechtering van de fit.
• Studies naar geheugenmanipulatie: Het artikel citeert bewijs dat het beperken van de toegang van LLM's tot context de afstemming verbetert. Bijvoorbeeld, het verlagen van het gewicht van hoogfrequente woorden in diep ingebedde zinnen of het beperken van het attentievenster tot recente woorden vermindert de mismatch tussen modelprobabiliteiten en menselijke leestijden.
• Effecten van trainingsdata: Modellen die zijn getraind op kleinere, gecureerde datasets (bijvoorbeeld de BabyLM Challenge) of gespecialiseerde domeinen, tonen een betere afstemming op menselijk leesgedrag dan die welke zijn getraind op enorme, algemene corpora. Dit suggereert dat het beperken van data-exposure voorkomt dat "supermenselijke" expertise wordt verworven.

Betekenis en Toekomstige Richtingen
Het artikel concludeert dat LLM's om als geldige modellen voor menselijk taalbegrip te kunnen dienen, "minder supermenselijk" moeten worden gemaakt. De auteurs schetsen verschillende richtingen om dit te bereiken:

• Cureren van trainingsdata: Het beperken van trainingsdata tot hoeveelheden op menselijke schaal (bijvoorbeeld ~100 miljoen woorden) om het memoriseren van obscure feiten te voorkomen en de ontwikkeling van perfecte kortetermijngeheugenmechanismen te verminderen.
• Architecturale wijzigingen: Het verkennen van recurrente neurale netwerkarchitecturen die inputcompressie afdwingen en menselijkachtig verval implementeren, of het aanpassen van Transformer-attentiemechanismen om bottlenecks en vervalfuncties in te voeren.
• Trainingsdoelen: Verschuiven van doelen die "lexicaal scherpe" voorspellingen belonen (het toekennen van een hoge waarschijnlijkheid aan het enige juiste woord) naar doelen die "diffuse" voorspellingen aanmoedigen (het toekennen van waarschijnlijkheidsmassa aan semantisch vergelijkbare woorden), wat menselijke onzekerheid beter weerspiegelt.
• Post-hoc interventies: Het gebruik van modelbewerkingstechnieken om specifieke feitelijke kennis die mensen doorgaans missen, te "ontleren".
• Nieuwe experimentele paradigma's: De auteurs roepen op tot gerichte menselijke experimenten om voortgang te benchmarken. Deze experimenten moeten systematisch langetermijnkennis manipuleren (via vragenlijsten) en kortetermijngeheugenslasten (via lijstherinnering en tussenliggende tekst) om een causaal verband tussen geheugenbeperkingen en leesgedrag vast te stellen.

Het artikel benadrukt dat het dichten van de kloof tussen LLM's en mensen niet alleen betere modellen vereist, maar modellen die beperkt zijn door menselijke beperkingen in geheugen en kennis.