💬 NLP

Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

Dit artikel test de hypothese dat de onderschatting door taalkundige modellen van de menselijke verwerkingsmoeilijkheid bij syntactische ambiguïteit voortkomt uit hun vermogen om meer gelijktijdige zinsparses te handhaven dan mensen, maar stelt vast dat hoewel het verminderen van de parse-multipliciteit de voorspelde garden-path-effecten verhoogt, dit niet toereikend is om de omvang van de verschillen in menselijke leestijden volledig te verklaren.

Oorspronkelijke auteurs: William Timkey, Brian Dillon, Tal Linzen

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: William Timkey, Brian Dillon, Tal Linzen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal leest en plotseling een zin tegenkomt die je brein voor de gek houdt. Dit wordt een "tuinpad"-zin genoemd.

Hier is een voorbeeld: "Het meisje dat het lam voerde, was overstuur omdat ze om biefstuk had gevraagd."

Wanneer je voor het eerst leest "Het meisje dat het lam voerde", gaat je brein er van nature van uit dat het meisje degene is die het lam voert. Dit is de meest gebruikelijke manier om het te begrijpen. Maar dan kom je het woord "was" tegen. Plotseling beseft je brein dat het fout zat! De zin betekent eigenlijk dat het meisje gevoerd werd (iemand voerde haar), en dat ze overstuur was over de biefstuk. Dat moment van verwarring en het opnieuw lezen kost tijd. Psychologen noemen dit het "tuinpad-effect".

De Grote Vraag
Wetenschappers hebben krachtige computerprogramma's ontwikkeld, zogenaamde "Taalmodellen" (zoals degene die deze tekst schrijft), die zeer goed zijn in het raden van het volgende woord in een zin. Een theorie genaamd "Surprisal Theory" stelt dat hoe moeilijker een woord te voorspellen is, hoe langer het voor mensen duurt om het te lezen.

Het probleem? Toen wetenschappers deze computers testten op tuinpad-zinnen, waren de computers te kalm. Ze leken niet verrast genoeg door de truc. Ze voorspelden dat de verwarring minimaal zou zijn, maar mensen ervaren daadwerkelijk een enorme mentale "struikeling".

De Hypothese: De "Flitslicht"-theorie
De auteurs van dit artikel vroegen zich af: Waarom zijn de computers zo kalm?

Ze vermoedden dat dit misschien komt omdat computers te slim zijn. Wanneer een computer "Het meisje dat het lam voerde" leest, houdt het misschien wel dozenden verschillende interpretaties tegelijkertijd in zijn hoofd. Het denkt: "Misschien voert ze het lam. Misschien voedt het lam haar. Misschien is het een ander soort lam." Omdat het al deze mogelijkheden tegelijk bekijkt, voelt het woord "was" niet als een schok; het voelt gewoon als één van de vele opties die het al overwoog.

Mensen daarentegen zijn misschien wel als een flitslicht in een donkere kamer. We kunnen ons licht maar op één of twee paden tegelijk richten. We zetten in op het idee dat "het meisje voert". Wanneer we op "was" stuiten, wijst ons flitslicht de verkeerde kant op, en moeten we ons omdraaien en het nieuwe pad zoeken. Dat omdraaien kost tijd en moeite.

De auteurs noemden dit de "Parse Multiplicity Mismatch Hypothesis". In eenvoudige bewoordingen: Computers zijn minder verrast omdat ze te veel mogelijkheden tegelijk bekijken, terwijl mensen gedwongen worden om er maar één te kiezen.

Het Experiment: Het Flitslicht Dimmen
Om dit te testen, gebruikten de onderzoekers een speciaal type computermodel dat precies kan worden ingesteld hoeveel "paden" het moet bekijken. Ze lieten de modellen de tuinpad-zinnen doorlopen met verschillende instellingen:

Hoge Multipliciteit: De computer bekijkt 1.000 verschillende interpretaties tegelijk (zoals een superhelder, breed flitslicht).
Lage Multipliciteit: De computer wordt gedwongen om slechts 1 of 2 interpretaties te bekijken (zoals een gedimd, smal flitslicht).

De Resultaten

Ze hadden deels gelijk: Toen ze de computer dwongen om minder paden te bekijken (smaller flitslicht), werd het inderdaad verrast. De "struikeling" in de voorspelling van de computer werd groter.
Maar ze hadden grotendeels ongelijk: Zelfs toen ze de computer dwongen om slechts één pad te bekijken (de verkeerde, net als een mens), was de verrassing van de computer nog steeds klein in vergelijking met de menselijke reactie.

De "struikeling" van de computer was nog steeds ongeveer 40 keer kleiner dan de menselijke struikeling.

De Conclusie
Het artikel concludeert dat het simpelweg "dommer" maken van computers of hen dwingen om minder opties te bekijken, het probleem niet oplost. Het gat tussen hoe computers en mensen taal verwerken, is te groot om alleen te verklaren door het aantal ideeën dat ze tegelijk in hun hoofd kunnen houden.

De auteurs suggereren dat menselijke hersenen misschien een extra stap hebben die computers niet hebben: een specifiek "heranalyse"-mechanisme. Wanneer mensen vastlopen, voelen we niet alleen een beetje verrassing; we rukken actief ons oude begrip uit elkaar en bouwen een nieuw op. De huidige computermodellen, zelfs wanneer ze beperkt zijn, lijken die "uit elkaar rukken en herbouwen"-knop niet te hebben. Ze blijven gewoon gissen, en ze gissen te makkelijk.

In het Kort
De onderzoekers probeerden te zien of computers minder verrast waren door lastige zinnen omdat ze "te veel aan het denken waren" (te veel ideeën vasthielden). Ze ontdekten dat zelfs toen ze de computers dwongen om "minder na te denken", de computers nog steeds veel te kalm waren in vergelijking met mensen. Dit betekent dat het verschil tussen menselijk en computerlezen niet alleen gaat over hoeveel ideeën we kunnen balanceren; het gaat om iets diepers in hoe we omgaan met het hebben van ongelijk.

Technische Samenvatting: Toetsen van de Hypothese over het Ontbreken van Eenheid in de Parse-Multipliciteit

Probleemstelling
De surprijaliteitstheorie stelt dat de verwerkingsmoeilijkheid van een woord wordt bepaald door de voorspelbaarheid ervan in context (de negatieve log-waarschijnlijkheid), wat een potentiële link biedt tussen menselijke zinsverwerking en voorspellingen van het volgende woord door taalmodellen (LM's). Hoewel surprijaliteit van LM's leestijden in natuurlijke tekst succesvol voorspellen, onderschatten ze systematisch de grootte van de moeilijkheid die wordt waargenomen in gecontroleerde studies van syntactische ambiguïteit, met name in "garden path"-zinnen. In deze zinnen bevordert een tijdelijke ambiguïteit aanvankelijk één interpretatie, die later wordt ontkend ten gunste van een minder gewenste interpretatie, wat aanzienlijke verwerkingskosten veroorzaakt (bijvoorbeeld toename van leestijden van >300 ms).

Vorig onderzoek geeft aan dat LM's weliswaar de richting van garden path-effecten voorspellen, maar dat de grootte ervan orde van grootte kleiner is dan menselijke data. Zo voorspelt GPT-2 een garden path-effect van ongeveer 8 ms, terwijl menselijke data effecten toont die 300 ms overschrijden. Dit artikel onderzoekt of deze misalignering voortkomt uit verschillen in computationele beperkingen tussen mensen en LM's. Specifiek wordt de Hypothese over het Ontbreken van Eenheid in de Parse-Multipliciteit getoetst: het voorstel dat LM's gelijktijdig een groter aantal onderscheiden syntactische interpretaties (parses) in het geheugen kunnen behouden dan mensen. Als mensen beperkter zijn in hun parallelisme, kunnen ze eerder vasthouden aan één enkele, incorrecte interpretatie, wat leidt tot hogere surprijaliteit bij ontklaring in vergelijking met LM's die marginaliseren over veel concurrerende parses.

Methodologie
Om deze hypothese te toetsen, gebruikten de auteurs Recurrent Neural Network Grammars (RNNG's) (Dyer et al., 2016). In tegenstelling tot standaard autoregressieve LM's (zoals GPT-2) die syntaxis impliciet leren, baseren RNNG's voorspellingen van het volgende woord op een expliciete syntactische parse van de context. Deze architectuur maakt directe manipulatie van parse-multipliciteit mogelijk via woord-synchrone beam search.

Modelopstelling: De auteurs trainden RNNG's op de BabyLM- en BLLIP-corpora met twee parse-strategieën: top-down en left-corner.
Manipulatie van Multipliciteit: De belangrijkste variabele parameter was de woord-beam-breedte ( $k_w$ ), die het aantal onderscheiden parses bepaalt dat bij elke woordstap wordt behouden.
- $k_w = 1$ : Vertegenwoordigt een volledig seriële parser (alleen één parse behoudend).
- $k_w \to \infty$ : Vertegenwoordigt een volledig parallelle parser (benaderend volledige marginalisatie over alle parses).
- De studie testte $k_w$ -waarden variërend van 1 tot 1000.
Berekening van Surprijaliteit: De surprijaliteit van het volgende woord werd berekend door de waarschijnlijkheidsverdeling van het volgende woord te marginaliseren over de bovenste $k_w$ parses.
Contrastieve Voorwaarden: Om grenzen te stellen, introduceerden de auteurs twee specifieke voorwaarden:
- GEDWONGEN GARDEN PATH: Handmatig snoeien van de beam zodat deze alleen parses bevat die consistent zijn met de aanvankelijk geprefereerde (incorrecte) interpretatie, waardoor een bovengrens voor de voorspelde surprijaliteit wordt gecreëerd.
- VOLLEDIG-PARALLEL: Handmatig waarborgen dat de beam altijd ten minste één parse bevat die consistent is met de globaal correcte interpretatie, waardoor een ondergrens wordt gecreëerd.
Data en Evaluatie: De modellen werden geëvalueerd op de SAP-benchmark (Huang et al., 2024), specifiek op drie garden path-construkties (MV/RR, NP/S, NP/Z). De studie vergeleek voorspelde leestijden (afgeleid van surprijaliteit via lineaire mixed-effect-regressie op vullerzinnen) met empirische menselijke leestijden.

Belangrijkste Resultaten

Natuurlijke Tekst: In overeenstemming met eerdere werken leverden surprijaliteitsschattingen afgeleid van grotere beam-breedtes ( $k_w$ ) een betere fit op voor leestijden in natuurlijke vullerzinnen. Dit suggereert dat, voor algemene tekst, hoger parallelisme (meer parses) nauwkeurigere, mensachtige voorspellingen oplevert.
Garden Path-effecten: Het verminderen van de parse-multipliciteit (verlagen van $k_w$ ) verhoogde wel de grootte van de voorspelde garden path-effecten, wat de intuïtie ondersteunt dat het beperken van parallelisme de kosten van ontklaring verhoogt. De grootste effecten werden waargenomen bij intermediaire beam-breedtes ( $2 \le k_w \le 10$ ), waarbij de beam klein genoeg was om de correcte parse te verwijderen, maar groot genoeg om hoogwaardige parses te behouden.
De Kloof Bestaat: Ondanks het vergroten van de voorspelde effectgrootte door parallelisme te beperken, slaagden de resultaten er niet in de kloof met menselijke data te dichten.
- Zelfs onder de meest restrictieve voorwaarden (bijvoorbeeld $k_w=1$ of de GEDWONGEN GARDEN PATH-voorwaarde waarbij alleen de incorrecte parse werd overwogen), waren de voorspelde toenames in leestijd orde van grootte kleiner dan de empirische menselijke effecten.
- De VOLLEDIG-PARALLEL-voorwaarde (waarbij wordt gegarandeerd dat de correcte parse aanwezig is) verminderde de onderschatting niet significant in vergelijking met de ongewijzigde beam, wat aangeeft dat het probleem niet louter het aanwezig zijn van de correcte parse in de beam is.

Betekenis en Beweringen
Het artikel concludeert dat de Hypothese over het Ontbreken van Eenheid in de Parse-Multipliciteit LM-gebaseerde surprijaliteit niet volledig kan verzoenen met menselijke zinsverwerking. Hoewel het beperken van het aantal gelijktijdige parses in LM's de voorspelde moeilijkheid van garden path-zinnen verhoogt, is dit ontoereikend om de volledige grootte van menselijke verwerkingskosten te verklaren.

De auteurs betogen dat deze bevinding suggereert:

De misalignering niet uitsluitend wordt gedreven door het aantal overwogen interpretaties (parse-multipliciteit).
Zelfs wanneer een LM wordt gedwongen om alleen de aanvankelijk geprefereerde (incorrecte) interpretatie te overwegen, blijft de resulterende surprijaliteit voor het ontklarend woord te laag om menselijke leestijden te verklaren.
Daarom vereist het verklaren van de volledige grootte van garden path-effecten waarschijnlijk mechanismen die verder gaan dan enkelvoudige woordvoorspelbaarheid. De auteurs suggereren dat syntactische reanalyse (een tweede-fase herstelproces) of andere mechanismen die niet worden vastgelegd door de standaard surprijaliteitstheorie, noodzakelijk zijn om menselijke ontklarmoeilijkheid te modelleren.

Het werk impliceert dat, hoewel LM's menselijke voorspellingsmechanismen kunnen paralleleren, de specifieke computationele beperkingen van menselijk geheugen (in termen van parallelisme) niet de primaire factor zijn die de discrepantie in garden path-effecten veroorzaakt. In plaats daarvan kan de aard van de verwerkingskosten zelf processen omvatten (zoals reanalyse) die niet reduceerbaar zijn tot woordniveau-surprijaliteit.

Meer zoals dit