💬 NLP

On the Proper Treatment of Units in Surprisal Theory

Dit artikel stelt een verenigd raamwerk voor om de definitie van linguïstische eenheden te ontwarren van evaluatiegebieden in de verrassingstheorie, en betoogt dat tokenisatie als een implementatiedetail moet worden behandeld in plaats van als een wetenschappelijk primitief om expliciete en rigoureuze modellering van menselijke verwerkingsinspanning te waarborgen.

Oorspronkelijke auteurs: Samuel Kiegeland, Vésteinn Snæbjarnarson, Tim Vieira, Ryan Cotterell

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samuel Kiegeland, Vésteinn Snæbjarnarson, Tim Vieira, Ryan Cotterell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Verkeerde Liniaal"

Stel je voor dat je een psycholoog bent die probeert te meten hoe moeilijk het is voor een menselijk brein om een zin te lezen. Je hebt een theorie genaamd Surprisal Theory, die stelt: Hoe moeilijker een woord te voorspellen is, hoe meer mentale inspanning het kost om het te lezen.

Om dit te testen, heb je een "liniaal" nodig om die inspanning te meten. In het verleden gebruikten onderzoekers een liniaal die perfect aansloot bij de woorden (zoals het meten van een tafel in inches). Maar vandaag de dag gebruiken we krachtige AI-modellen (zoals GPT-2) om de meting te doen. Het probleem? Deze AI-modellen spreken geen "menselijke woorden". Ze spreken in "tokens".

Denk aan een token als een Lego-blokje.

Een mens ziet het woord "don't".
De AI ziet twee blokjes: "don" en "'t".
Een mens ziet het woord "words".
De AI ziet één blokje: "words".
Een mens ziet het woord "equal".
De AI ziet één blokje: "equal".

Omdat de "blokjes" (tokens) van de AI niet overeenkomen met onze "woorden", hebben onderzoekers geprobeerd de blokjes van de AI aan elkaar te lijmen om te passen bij menselijke woorden. Ze hebben "ad hoc" (tussen-de-handen) lijm gebruikt. Soms liemen ze een spatie voor een woord; soms achter een woord. Soms negeren ze leestekens.

De Hoofdbewering van het Artikel: Deze "lijmwerk" is rommelig en inconsistent. Het is alsof je probeert een kamer te meten met een liniaal die elke keer dat je er naar kijkt, van lengte verandert. De auteurs betogen dat de keuze van wat een "eenheid" telt (een woord, een letter, een zin) een wetenschappelijke beslissing is, niet zomaar een technische detail. We moeten stoppen met het toelaten dat de interne blokkenstructuur van de AI onze wetenschap dicteert.

De Oplossing: "Breng Je Eigen Eenheden"

De auteurs stellen een nieuw kader voor waarbij de onderzoeker precies bepaalt wat een "eenheid" is voordat hij naar de AI kijkt.

Jij kiest de eenheid: Wil je hele woorden bestuderen? Individuele letters? Of misschien specifieke woordsoorten?
Jij vertaalt de AI: In plaats van de AI te dwingen te veranderen, bouw je een "vertaler" (een wiskundig hulpmiddel genaamd een transducer) die de rare blokjes van de AI omzet in jouw gekozen eenheden.

De Analogie:
Stel je voor dat de AI een kok is die alleen spreekt in "grammen bloem, suiker en eieren". Jij, de wetenschapper, wilt weten hoeveel "taart" er wordt gemaakt.

Oude Manier: Je probeert te raden hoeveel grammen een taart maken op basis van de willekeurige metingen van de kok.
Nieuwe Manier: Je bouwt een machine die de grammen van de kok neemt en ze automatisch assembleert tot perfecte "taarten" (of "cupcakes", of "muffins") op basis van jouw recept. De kok verandert niet; jouw machine interpreteert de output gewoon correct voor jouw specifieke vraag.

Het Experiment: Het Testen van Verschillende Linialen

Om hun punt te bewijzen, voerden de auteurs een experiment uit met de MECO-dataset (een verzameling oogbewegingsdata van mensen die tekst lezen). Ze testten vier verschillende "linialen" (eenheidsinventarissen) om te zien welke het beste voorspelde hoe lang de ogen van mensen op een woord bleven staan:

Tokens: Het gebruik van de native blokjes van de AI (bijvoorbeeld "don" en "'t" als aparte dingen).
Karakters: Het meten van elke enkele letter (bijvoorbeeld d, o, n, ', t).
Acontextuele Woorden: Het splitsen van tekst door simpele regels (bijvoorbeeld "snijd bij elke spatie"). Dit is alsof je een snoer kralen doorsnijdt bij elke opening, ongeacht hoe de kralen eruitzien.
Contextuele Woorden: Het gebruik van slimme regels (zoals de Penn Treebank-richtlijnen) die context begrijpen. Bijvoorbeeld, weten dat een komma in "1.000" deel uitmaakt van het getal, maar dat een komma in "Hallo, wereld" een pauze is.

De Resultaten: Het Uitmaken Wat Je Meet

De studie vond dat het veranderen van de liniaal de resultaten verandert.

Hele Woorden (Contextueel): Toen ze "slimme" woodeenheden gebruikten die rekening hielden met leestekens en grammatica, kwamen de voorspellingen van de AI zeer goed overeen met de oogbewegingen van mensen.
Tokens: De native blokjes van de AI werkten redelijk, maar niet zo goed als de slimme woorden.
Karakters: Het meten letter voor letter werkte niet goed voor het voorspellen van leestijd. Waarom? Omdat mensen zelden hun ogen op een enkele letter laten rusten; ze kijken naar hele woorden.
Het "Lijm"-Probleem: Ze ontdekten dat hoe je met spaties omgaat (voorafgaand versus aanhangend) de wiskunde aanzienlijk veranderde.

De Conclusie:
Als je een slechte liniaal gebruikt, kun je concluderen dat "Surprisal Theory verkeerd is" of "AI-modellen slecht zijn", terwijl je in werkelijkheid gewoon het verkeerde ding hebt gemeten.

De Kernles

Het artikel concludeert dat tokenisatie slechts een technisch detail is, zoals het merk van de camera-lens. Het zou niet de ster van de show moeten zijn.

Oude Mindset: "De AI gebruikt tokens, dus we moeten tokens bestuderen."
Nieuwe Mindset: "Ik wil bestuderen hoe mensen woorden verwerken. Ik neem de output van de AI en zet deze wiskundig om in woorden zodat ik mijn wetenschappelijke vraag correct kan beantwoorden."

Door de definitie van een "eenheid" te behandelen als een bewuste wetenschappelijke keuze in plaats van een standaardinstelling, kunnen onderzoekers helderdere, nauwkeurigere antwoorden krijgen over hoe het menselijk brein taal verwerkt.

1. Probleemstelling

Surprisal-theorie stelt dat de cognitieve verwerkingsinspanning van mensen wordt bepaald door de negatieve log-waarschijnlijkheid (surprisal) van een aankomende linguïstische eenheid, gegeven haar context. Er bestaat echter een kritieke methodologische kloof in het huidige empirische onderzoek:

Het Mismatch: Experimentele stimuli worden doorgaans opgedeeld in linguïstisch gemotiveerde eenheden (bijvoorbeeld woorden, morfemen), maar moderne vooraf getrainde taalmmodellen (LM's) werken op vaste token-alphabetten (bijvoorbeeld Byte-Pair Encoding) die niet overeenkomen met deze linguïstische eenheden.
Het Gevolg: Onderzoekers vertrouwen momenteel op ad hoc, post-hoc heuristieken om model-tokens af te bakenen op linguïstische eenheden. Deze procedures verwarren vaak twee verschillende modelkeuzes:
1. Eenheidspool ( $U$ ): De definitie van de linguïstische eenheid (bijvoorbeeld woord, karakter, zin).
2. Interessegebieden (ROIs): De specifieke spanwijdten waarover voorspellingen worden geëvalueerd (bijvoorbeeld het aggregeren van woordniveau-surprisals tot zinsniveau-metrieken).
De Tekortkoming in Bestaande Aanpakken: Recente pogingen om deze mapping te formaliseren (bijvoorbeeld Oh & Schuler, 2024; Pimentel & Meister, 2024) gaan ervan uit dat eenheidsgrenzen kunnen worden bepaald door een vaste partitie van het symboolalphabet (bijvoorbeeld dat whitespace altijd een grens markeert). De auteurs betogen dat dit linguïstisch ontoereikend is (bijvoorbeeld: een komma is een grens in "end, he" maar intern in "1,000") en wiskundig inconsistent bij contextafhankelijke tokenisatie.

2. Methodologie

De auteurs stellen een unificerend formeel raamwerk voor om eenheidsdefinities te ontkoppelen van tokenisatie, waarbij tokenisatie wordt behandeld als een implementatiedetail in plaats van een wetenschappelijk primitief.

A. Formeel Raamwerk

Scheiding van Belangen: Het artikel onderscheidt tussen het Symboolalphabet ( $\Sigma$ ) (de native tokens/karakters van het LM) en de Eenheidspool ( $U$ ) (de door de onderzoeker gekozen linguïstische eenheden).
Eenheidsparser ( $\rho$ ): Een stochastische afbeelding $\rho: \Sigma^* \to U^*$ die symboolreeksen omzet in eenheidsreeksen. De auteurs gaan er voor praktische doeleinden van uit dat $\rho$ deterministisch is.
Pushforward-waarschijnlijkheid: Om een waarschijnlijkheidsverdeling over eenheden ( $p_U$ ) af te leiden uit een symboolniveau-model ( $p_\Sigma$ ), gebruiken zij de pushforward-operatie:
$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$
Dit somt de waarschijnlijkheden op van alle symboolreeksen die naar een specifieke eenheid $u$ worden gemapt.

B. Getransduceerde Taalmodellen

Om de computationele uitdaging van het sommeren over potentieel oneindige symboolreeksen aan te pakken, introduceren de auteurs Finite State Transducers (FST's):

Reguliere Eenheidspools: Zij gaan ervan uit dat $U$ een "reguliere" deelverzameling is van reeksen over een eindig alphabet $\Xi$ .
De Transducer ( $f$ ): Een eindige transducer $f = h \circ \rho$ mapt symboolreeksen $\Sigma^*$ af op reeksen over een eindig alphabet $\Delta = \Xi \cup \{SEP\}$ , waarbij $SEP$ een scheidingsymbool is.
Algoritme: Door het LM te compositeren met de transducer, kunnen zij de pushforward-verdeling efficiënt berekenen met behulp van beam search-benaderingen (Snæbjarnarson et al., 2026). Dit maakt het mogelijk om surprisal te berekenen voor willekeurige eenheidspools zonder het LM opnieuw te trainen.

C. Experimenteel Ontwerp

Dataset: Het Multilingual Eye-movement Corpus (MECO), specifiek het Engelse deel (46 lezers, 12 Wikipedia-fragmenten).
Geteste Eenheidspools:
1. Tokens: Native GPT-2 tokens.
2. Karakters: Individuele karakters.
3. Acontextuele Woorden: Woorden opgedeeld door vaste scheidingstekens (whitespace), waarbij zowel toewijzing van voorloop- als achterloop-whitespace wordt getest.
4. Contextuele Woorden: Woorden opgedeeld met Penn Treebank (PTB)-regels (bijvoorbeeld het afhandelen van leestekens zoals "1,000" versus "end, he").
Analyse:
- Basislijn: Log-normale Generalized Additive Mixed Models (GAMM's) die leestijden voorspellen met behulp van eenheidslengte, unigram-surprisal en spillover-effecten.
- Doel: De basislijn plus contextuele surprisal.
- Meting: Verbetering in de log-waarschijnlijkheid van de vastgehouden data ( $\Delta llh$ ) via leave-one-out cross-validatie.

3. Belangrijkste Bijdragen

Theoretische Ontkoppeling: Het artikel scheidt formeel de keuze van eenheden van de keuze van tokenisatie, en betoogt dat eenheidsselectie een primaire modelbeslissing moet zijn die wordt gedreven door de wetenschappelijke vraag, en geen bijproduct van de LM-architectuur.
Gegenereerd Formalisme: Zij bieden een "bring your own units"-raamwerk met behulp van transducers, waardoor onderzoekers willekeurige, contextgevoelige eenheidspools kunnen definiëren (bijvoorbeeld PTB-stijl tokenisatie) en surprisal direct kunnen berekenen vanuit vooraf getrainde LM's.
Kritiek op Huidige Heuristieken: Zij tonen aan dat benaderingen met vaste partities (waarbij whitespace wordt behandeld als universeel grensmarker) de linguïstische realiteit niet vatten (bijvoorbeeld leesteken-aanhechting) en wiskundige inconsistenties introduceren met betrekking tot eenheidsidentiteit.
Praktische Toolkit: De auteurs geven code en transducers vrij om token-niveau-modellen om te zetten naar karakter-niveau- of contextbewuste woordniveau-modellen.

4. Resultaten

De auteurs evalueerden de voorspellende kracht van surprisal over de vier eenheidspools op drie leestijd-maatstaven: Eerste Fixatie (FF), Gaze Duration (GD) en Totale Leestijd (TRT).

Woord-achtige Pools: Surprisal verbeterde de voorspelling van leestijden significant voor Gaze Duration en Totale Leestijd over alle woord-achtige pools (Tokens, Acontextueel, Contextueel).
Eerste Fixatie: Surprisal was significant voor Tokens, Contextuele Woorden en Acontextueel (achterloop), maar niet voor Acontextueel (voorloop). Dit suggereert dat toewijzing van voorloop-whitespace (gemeenlijk bij BPE) mogelijk niet overeenkomt met vroege cognitieve verwerking.
Karakterniveau: Karakterniveau-surprisal toonde geen significante verbetering in het voorspellen van leestijden. De auteurs schrijven dit toe aan het feit dat individuele karakters zelden individueel gefixeerd worden; de cognitieve eenheid van verwerking is groter dan een enkel karakter.
Contextueel versus Acontextueel: Contextuele woordpools (die leestekens correct afhandelen) presteerden over het algemeen even goed als of iets beter dan acontextuele, met name voor complexe leestekengevallen, wat de noodzaak van contextgevoelige segmentatie bevestigt.
Niet-vergelijkbaarheid van Absolute Scores: De studie benadrukt dat absolute log-waarschijnlijkheden en $\Delta llh$ -waarden niet direct kunnen worden vergeleken tussen verschillende eenheidspools, omdat de pools verschillende observatiegranulariteiten en basislijnvoorspellers (bijvoorbeeld eenheidslengte) induceren.

5. Betekenis

Methodologische Strenge: Het artikel stelt vast dat het behandelen van tokenisatie als een vaste beperking de geldigheid van psycholinguïstische conclusies beperkt. Onderzoekers moeten hun eenheidspool expliciet definiëren.
Reproduceerbaarheid en Flexibiliteit: Door een op transducers gebaseerd raamwerk te bieden, stellen de auteurs de gemeenschap in staat hypothesen te testen over specifieke linguïstische eenheden (morfemen, zinsdelen, discours-eenheden) zonder de prohibitieve kosten van het opnieuw trainen van LM's vanaf nul.
Linguïstische Toereikendheid: De resultaten ondersteunen het standpunt dat contextgevoelige segmentatie (zoals PTB) superieur is aan eenvoudige op scheidingstekens gebaseerde splitsing voor het modelleren van menselijk leesgedrag, met name wat betreft leestekens.
Toekomstige Richtingen: Het raamwerk is uitbreidbaar naar andere afhankelijke variabelen (neurale signalen, surprisal bij verliesrijke context) en andere talen, mits geschikte transducers kunnen worden geconstrueerd.

Kortom, het artikel betoogt dat tokenisatie een implementatiedetail is, terwijl eenheidsselectie een wetenschappelijke keuze is. Door de twee te ontkoppelen via transducers, kunnen onderzoekers ervoor zorgen dat hun surprisalmetrieken de linguïstische eenheden die zij beogen te bestuderen, nauwkeurig weerspiegelen.