Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal

Technische Samenvatting: De Kloof Dichtmaken: Onderzoek naar de Reden waarom Taalmodel-Surprisal Cloze-Surprisal Overtreft

Probleemstelling
De voorspelbaarheid van een woord in context is een fundamentele maatstaf voor het begrijpen van taalbegrip en verwerkingsinspanning. Traditioneel is dit gekwantificeerd met behulp van de cloze-taak, waarbij menselijke deelnemers onvolledige zinnen aanvullen. Recentelijk zijn Taalmodel (LM)-kansen (specifiek surprisal, gedefinieerd als de negatieve log-kans) opgekomen als een alternatief. Hoewel recente studies aangeven dat LM-surprisal over het algemeen beter presteert dan cloze-surprisal als voorspeller van leestijden (RT's), is het wetenschappelijk te vroeg om de cloze-taak simpelweg te vervangen door LM's op basis van fit-maatstaven. Verschillende voorspellers kunnen leiden tot uiteenlopende conclusies met betrekking tot de cognitieve mechanismen van voorspelling (bijvoorbeeld of effecten faciliterend of kostbaar zijn). Het kernprobleem dat wordt aangepakt, is het identificeren van waarom LM-kansen een betere fit bieden met menselijke data: is dit omdat LM's echte menselijke voorspellingsmechanismen vangen, of omdat ze technische voordelen bezitten (bijvoorbeeld hogere resolutie, semantische granulariteit) die de cloze-taak mist?

Methodologie
De auteurs voerden een driedelig experimenteel onderzoek uit met behulp van vier Engelse leestijddatasets (BK21 SPR, Provo ET, UCL SPR/ET) met beschikbare cloze-responsnormen.

1. Experiment 1: Baseline Vergelijking en Optimalisatie

   • Doel: De superioriteit van LM-surprisal ten opzichte van cloze-surprisal opnieuw vaststellen en de optimale wiskundige transformatie voor cloze-kansen bepalen.
   • Methode: De auteurs pasten Lineaire Mixed-Effects (LME) regressiemodellen toe om woord-voor-woord leestijden te voorspellen. Ze vergeleken modellen met:
     • LM Surprisal: Berekend met GPT-2 (small).
     • Cloze Surprisal: Afgeleid van menselijke responsen, onderworpen aan diverse gladmakende technieken (add-one smoothing met variërende $V$) en functionele transformaties (ruwe kans, ruwe surprisal, en power-transformaties van surprisal).
   • Analyse: Modellen werden geëvalueerd met behulp van 10-voudige cross-validatie log-likelihood. De auteurs testten of LM-surprisal de voorspellende kracht van cloze-surprisal omvat en vice versa.

2. Experiment 2: Hypothese-gedreven Manipulaties

   • Doel: Isoleren van de specifieke factoren die bijdragen aan de superioriteit van LM's door GPT-2-kansen te manipuleren om overeen te komen met de beperkingen van de cloze-taak.
   • Hypothese 1 (Resolutie): LM's lijden minder onder lage resolutie (spaarzame data) dan cloze-taken.
     • Manipulatie: GPT-2-kansen werden opnieuw bemonsterd om exact overeen te komen met het aantal steekproeven ($N$) dat beschikbaar is in de cloze-normen voor elke context, waardoor de resolutie van het LM effectief werd verlaagd tot die van de menselijke data.
   • Hypothese 2 (Semantiek): LM's onderscheiden zich tussen semantisch vergelijkbare woorden (bijvoorbeeld bank vs. sofa), terwijl menselijke voorspellingen deze mogelijk groeperen.
     • Manipulatie: De GPT-2-vocabulaire werd geklonst met k-means op token-embeddings. De kans van een woord werd vervangen door de som van de kansen van alle woorden in zijn semantische cluster, waardoor semantisch vergelijkbare woorden gedwongen werden om dezelfde kansenmassa te delen.
   • Hypothese 3 (Frequentie): LM's toekennen kansen aan continuaties met lage frequentie die mensen zelden produceren.
     • Manipulatie: De vocabulaire van GPT-2 werd beperkt tot alleen tokens met hoge frequentie; kansen voor tokens met lage frequentie werden op nul gezet en de verdeling opnieuw genormaliseerd.

3. Experiment 3: Combineren van Cloze en LM-kansen

   • Doel: Verkennen of het integreren van vergelijkingsinformatie in cloze-data (Similarity-Adjusted of SA Surprisal) de prestatiekloof kan overbruggen.
   • Methode: De auteurs berekenden SA-surprisal voor zowel cloze-responsen als GPT-2-steekproeven. Deze maatstaf weegt de kans van alternatieve invullingen af op basis van hun semantische afstand tot het waargenomen woord. Dit werd vergeleken met de standaard "tellen-en-delen" cloze-surprisal.

Belangrijkste Resultaten

• Experiment 1: LM-surprisal (GPT-2) presteerde consistent beter dan cloze-surprisal bij de meeste leestijdmaten (4 van de 6), en omvatte de voorspellende kracht van cloze-data. De optimale transformatie voor cloze-data bleek de gekwadrateerde surprisal ($S(w_t)^2$) te zijn met een gladmakende factor van $V=200$, wat de aanname van lineariteit in cloze-effecten uitdaagt.
• Experiment 2: Alle drie hypothesen werden ondersteund. Toen GPT-2-kansen werden gemanipuleerd om overeen te komen met de beperkingen van de cloze-taak:
  • Resolutie: Het verlagen van de GPT-2-resolutie om overeen te komen met cloze-steekproefgroottes verlaagde de voorspellende fit aanzienlijk.
  • Semantiek: Het klonsteren van semantisch vergelijkbare woorden (verwijdering van fijnmazige onderscheidingen) verlaagde de fit aanzienlijk.
  • Frequentie: Het beperken van kansen tot woorden met hoge frequentie verlaagde de fit aanzienlijk.
  • Conclusie: Het voordeel van LM-surprisal vloeit voort uit het vermogen om schattingen met hoge resolutie te leveren, onderscheid te maken tussen semantisch vergelijkbare woorden, en continuaties met lage frequentie nauwkeurig te modelleren.
• Experiment 3: Similarity-Adjusted (SA) surprisal, of dit nu was afgeleid van cloze-responsen of GPT-2-steekproeven, presteerde slecht in vergelijking met standaard surprisal-maatstaven. Dit suggereert dat het simpelweg wegen van alternatieven op basis van semantische afstand de kloof niet oplost, en dat de methode "tellen-en-delen" een redelijke baseline blijft voor cloze-data.

Betekenis en Claims
Het artikel betoogt dat de superieure prestatie van LM-surprisal niet per se bewijs is dat LM's menselijke voorspellingsmechanismen perfect modelleren. In plaats daarvan vloeit het voordeel voort uit het feit dat LM's technische capaciteiten bezitten (hoge resolutie, semantische granulariteit en dekking van items met lage frequentie) die de traditionele cloze-taak mist vanwege haar offline, productie-gebaseerde aard en beperkte steekproefgroottes.

De auteurs claimen dat:

1. Cloze-studies hogere resolutie nodig hebben: Het simpelweg verzamelen van meer menselijke responsen (buiten de typische ~40-90 per zin) zou de voorspellende kracht van cloze-data kunnen verbeteren, waardoor de kloof met LM's mogelijk wordt verkleind.
2. Menselijke voorspellingssensitiviteit is een open vraag: Het moet nog worden vastgesteld of menselijke lezers daadwerkelijk de fijnmazige onderscheidingen maken tussen semantisch vergelijkbare of woorden met lage frequentie die LM's maken. Toekomstige experimenten moeten testen of menselijke verwachtingen even gevoelig zijn voor deze onderscheidingen.
3. Methodologische voorzichtigheid: Onderzoekers moeten de cloze-taak niet uitsluitend op basis van fit-maatstaven vervangen door LM's. Het begrijpen van de bron van het verschil in fit is cruciaal voor het trekken van geldige wetenschappelijke conclusies over de rol van voorspelling in taalbegrip. De auteurs bepleiten het ontwikkelen van alternatieve taken (bijvoorbeeld getimde cloze- of maze-taken) die realtime probabilistische intuïties beter vangen dan offline productie.