💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

Om het tekort aan eye-trackingdata aan te pakken, introduceert het artikel Eyettention II, een lichtgewicht, end-to-end deep learning-model dat realistische, multi-attribuut leesscanpaden genereert door aan te sluiten bij cognitieve theorieën en de state-of-the-art modellen te overtreffen in het voorspellen van menselijk ooggedrag.

Oorspronkelijke auteurs: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een boek leest. Je ogen glijden niet vloeiend over de pagina zoals een auto op een snelweg; in plaats daarvan maken ze kleine sprongetjes die "fixaties" worden genoemd, waarbij ze landen op specifieke woorden, soms vooruit springend, soms terugspringend om opnieuw te lezen. Dit patroon van sprongen wordt een scanpad genoemd.

Decennialang hebben wetenschappers geprobeerd computermodellen te bouwen die precies kunnen voorspellen waar je ogen zullen landen en hoe lang ze daar zullen blijven. Het probleem is dat het verzamelen van echte eye-tracking data duur en traag is — het is alsof je een film probeert te maken waarbij elke acteur een speciale camera op zijn hoofd moet dragen. Omdat er niet genoeg "echte" beelden zijn, is het moeilijk om computers te trainen om goed te zijn in het voorspellen van deze sprongen.

Maak kennis met Eyettention II. Zie dit nieuwe model als een hooggeschoolde simulator of een virtuele eye-tracker. Het is een stuk software dat realistische "nep" oogbewegingsdata kan genereren voor elke tekst, inclusief waar het oog landt, precies waar op het woord het stopt, en hoe lang het pauzeert.

Hier is een uitsplitsing van hoe het werkt en wat het paper vond, gebruikmakend van eenvoudige analogieën:

1. De "Dual-Sequence" Puzzel

De meeste computermodellen behandelen lezen als een simpele lijst: Woord 1, Woord 2, Woord 3. Maar menselijk lezen is rommelig. We slaan woorden over, springen terug, en staren langer naar lange woorden dan naar korte.

De auteurs beschrijven Eyettention II als een dual-sequence architect. Stel je twee lopende banden voor die naast elkaar draaien:

Band A (De Tekst): De woorden in de volgorde waarin ze in de zin verschijnen.
Band B (De Tijd): De volgorde waarin je ogen daadwerkelijk naar dingen kijken.

Omdat je ogen de tekst niet altijd perfect volgen (je springt misschien terug naar het begin), raken deze twee banden uit de pas. Eyettention II is speciaal omdat het een "verkeersregelaar" heeft (een cross-attention mechanisme) die beide banden tegelijkertijd in de gaten houdt. Het weet dat alleen omdat de tekst zegt dat "Woord 5" de volgende is, je ogen in werkelijkheid misschien terugspringen naar "Woord 2". Dit stelt het in staat om de chaotische, niet-lineaire manier waarop mensen echt lezen, na te bootsen.

2. Wat Voorspelt het?

Oudere modellen waren als een GPS die je alleen vertelde in welke stad je was. Eyettention II is een high-definition GPS die je vertelt:

De Stad (Woordindex): Welk woord wordt er bekeken?
Het Adres (Landingspositie): Precies waar op dat woord landt het oog? (bijv. het begin, het midden, of het einde).
De Verblijftijd (Duur): Hoe lang blijft het oog daar?

Het genereert deze drie dingen in een keten, één na de ander, net zoals een mens die in realtime leest.

3. De "Personal Trainer" Modus

Het paper introduceert ook een speciale versie genaamd Eyettention IIreader.
Stel je voor dat je een algemene fitnesscoach hebt die weet hoe de gemiddelde persoon rent. Maar wat als je een coach wilt die jouw specifieke hardloopstijl kent? Deze versie van het model kan worden "afgestemd" op een specif kind persoon (of een specifieke groep mensen). Als je het data van een specifieke lezer voert, leert het hun unieke gewoonten — misschien slaan ze korte woorden vaker over, of staren ze langer naar moeilijke woorden — en kan het vervolgens de oogbewegingen van die specifieke persoon simuleren.

4. Hoe Goed Is Het?

De onderzoekers testten dit model op Engelse en Chinese teksten (twee zeer verschillende talen). Ze vergeleken het met:

Oudere AI-modellen: Het nieuwe model won en voorspelde oogbewegingen nauwkeuriger.
Klassieke "Cognitieve" modellen: Dit zijn oudere, op regels gebaseerde modellen gebouwd door psychologen om menselijk denken na te bootsen. Eyettention II versloeg deze ook, wat aantoont dat een op data gebaseerde aanpak complexe patronen kan vangen die eenvoudige regels missen.
Echte Mensen: Interessant genoeg waren de "nep" oogbewegingen van het model soms meer op elkaar lijken dan echte mensen op elkaar. Dit komt omdat echte mensen rommelig zijn en enorm variëren, terwijl het model het "gemiddelde" menselijke patroon vindt.

5. Waarom Hebben We een Nep Eye-Tracker Nodig?

Het paper benadrukt drie belangrijke redenen om deze simulator te gebruiken, die allemaal te maken hebben met het besparen van tijd en geld:

De "Pilot Test" (Experiment Planning): Voordat een wetenschapper een echt experiment uitvoert met 50 mensen, kunnen ze de simulator gebruiken om het experiment 1.000 keer virtueel te "draaien". Dit helpt hen te bepalen of hun testmateriaal goed is en hoeveel mensen ze daadwerkelijk moeten werven. Het is als een vluchtsimulator voor onderzoekers.
De "Data Augmenter" (Training van AI): Als je een AI wilt bouwen die lezen begrijpt, heb je enorme hoeveelheden eye-tracking data nodig. Omdat echte data schaars is, kun je Eyettention II gebruiken om miljoenen "nep" eye-tracking records te genereren om je AI te trainen, waardoor deze slimmer wordt zonder dat je duizenden echte mensen een camera op hun hoofd hoeft te bevestigen.
De "Wat-als" Tool: Onderzoekers kunnen het gebruiken om te zien hoe verschillende tekstlay-outs of talen het lezen kunnen beïnvloeden, zonder dat ze dure laboratoriumapparatuur hoeven op te stellen.

6. Een Verrassende Ontdekking: "Groter is Niet Beter"

De onderzoekers testten het model met verschillende groottes van "hersenen" (Language Models) om de tekst te begrijpen. Ze kwamen tot een contra-intuïtief resultaat: Kleinere modellen werkten beter.

Ze probeerden enorme, complexe AI-modellen (zoals die de geavanceerde chatbots aandrijven) te gebruiken om de tekst te begrijpen.
Ze probeerden ook kleinere, simpelere modellen.
Resultaat: De kleinere modellen voorspelden menselijke oogbewegingen juist beter. Het lijkt erop dat je voor het lezen geen supercomplexe hersenen nodig hebt die diepe filosofie begrijpen; je hebt een model nodig dat de directe, oppervlakkige structuur van de zin begrijpt.

Samenvatting

Eyettention II is een lichtgewicht, efficiënt computerprogramma dat fungeert als een "virtueel oog". Het raadt niet alleen welk woord je als volgende zult lezen; het voorspelt exact waar je oog op dat woord zal landen en hoe lang je er naar zult staren, waarbij het menselijk gedrag met hoge nauwkeurigheid nabootst. Het lost het probleem op van het gebrek aan voldoende echte eye-tracking data door hoogwaardige "nep" data te genereren, wat wetenschappers helpt bij het beter plannen van experimenten en het trainen van slimmere AI-systemen.

Technische Samenvatting: Eyettention II

Probleemstelling
Oogbewegingsdata tijdens het lezen biedt cruciale inzichten in cognitieve processen en teksteigenschappen, wat toepassingen in natuurlijke taalverwerking (NLP) aanjaagt, zoals het verbeteren van taalmodellen (LM's) en het afleiden van kenmerken van lezers. De sector kampt echter met een significante flessenhals: datascarciteit. Het verzamelen van grootschalige eye-tracking datasets is arbeidsintensief, wat de training van datagedreven modellen beperkt en de replicatie van psycholinguïstische experimenten belemmert. Bestaande computationele modellen vertrouwen vaak op heuristische, regelgebaseerde benaderingen met weinig parameters om interpreteerbaarheid te waarborgen, wat hun vermogen beperkt om complexe patronen te vangen en te generaliseren over verschillende populaties, talen en experimentele opstellingen. Bovendien richtten eerdere machine learning-benaderingen zich vaak op ofwel ruimtelijke aspecten (fixatielocatie) ofwel temporele aspecten (geaggregeerde fixatieduur) in isolatie, waardoor ze geen volledige, sequentiële scanpaden konden genereren die de volledige dynamiek van menselijk lezen vastleggen.

Methodologie
De auteurs stellen Eyettention II voor, een end-to-end getraind, lichtgewicht deep-learningmodel ontworpen om realistische scanpaden te genereren die bestaan uit een volledige set fixatie-attributen in chronologische volgorde.

Dual-Sequence Architectuur: De kerninnovatie adresseert het "dual-sequence" karakter van leesdata: de linguïstische sequentie (woorden geordend volgens grammatica) en de temporele sequentie (fixaties geordend volgens tijd). In tegen tegenstelling tot standaard sequentiemodellen of encoder-decoder architecturen die een enkele input met een enkele output uitlijnen, gebruikt Eyettention II een dual-sequence bi-encoder structuur. Het maakt gebruik van een Word-Sequence Encoder (die de stimulus tekst verwerkt) en een Fixation-Sequence Encoder (die de geschiedenis van fixaties verwerkt).
Cross-Sequence Attention: Het model lijnt deze twee sequenties uit met behulp van een cross-attention mechanisme met een lokale window. Dit simuleert het menselijk gezichtsveld door alleen aandacht te besteden aan woorden rondom het momenteel gefixeerde woord, in plaats van de gehele zin, waardoor de autoregressiviteit in de temporele dimensie behouden blijft terwijl rijke linguïstische context wordt benut.
Voorspellingsmodules: Het model voorspelt drie attributen sequentieel voor elke fixatie:
1. Woordindex ( $k$ ): Een multi-class classificatietaak die voorspelt welk woord als volgende wordt gefixeerd.
2. Landing Position ( $l$ ): Een regressietaken die de genormaliseerde horizontale offset binnen het woord voorspelt (0 tot 1).
3. Fixatieduur ( $d$ ): Een regressietaken die de tijd voorspelt die op de fixatie wordt doorgebracht.
Reader-Specific Variant: De auteurs introduceren Eyettention II $_{reader}$ , die een trainbare reader identifier embedding incorporeert. Dit stelt het model in staat om kenmerkende leespatronen van specifieke individuen of groepen te leren en te reproduceren.
Training: Het model wordt geoptimaliseerd met een gecombineerde loss function bestaande uit negative log-likelihood (NLL) voor de woordindex en mean-squared-error (MSE) voor de landing position en duur. Het maakt gebruik van pre-trained Large Language Models (LLM's) zoals BERT of RoBERTa als de kern van de Word-Sequence Encoder, die bevroren blijven tijdens de training, gevolgd door een BiLSTM-laag.

Belangrijkste Bijdragen

Omvattende Scanpath Generatie: Eyettention II is het eerste model dat gelijktijdig fixatielocatie, binnen-woord landing position en fixatieduur voorspelt in een enkel, end-to-end framework, waarmee het voorbijgaat aan de beperkingen van het voorspellen van enkel fixatie locaties of geaggregeerde duur.
State-of-the-Art Prestaties: Het model behaalt superieure prestaties in zowel binnen-dataset als cross-dataset evaluaties vergeleken met bestaande cognitieve modellen (E-Z Reader, SWIFT) en machine learning baselines.
Psycholinguïstische Validiteit: Het model spiegelt succesvol menselijk gaze-gedrag en reproduceert belangrijke psycholinguïstische fenomenen zoals de effecten van lexicale frequentie, woordlengte en surprisal op fixatieduur en regressies.
Lezer-Adaptiviteit: De introductie van de reader-specifieke variant demonstreert dat het model effectief individuele leesstijlen kan simuleren, een cruciale capaciteit voor gepersonaliseerde toepassingen.
Nut voor Experimentele Planning: De auteurs demonstreren het nut van het model voor het uitvoeren van statistische power analyses en het pilootdraaien van psycholinguïstische experimenten, waarbij zij aantonen dat gesimuleerde data realistische schattingen van effectgroottes kan bieden, vooral wanneer dit gecombineerd wordt met een pre-training en fine-tuning strategie voor kleine datasets.

Resultaten

Kwantitatieve Prestaties: Op zowel de Engelse (CELER) als de Chinese (BSC) datasets presteerde Eyettention II beter dan referentiemodellen (inclusclusief E-Z Reader, SWIFT, en eerdere Eyettention versies) over alle metrieken: woordindex voorspelling (NLL), landing position (MAE), fixatieduur (MAE), en algehele scanpath gelijkenis (MultiMatch).
Generalisatie: In cross-dataset evaluaties (getraind op CELER, getest op ZuCo) vertoonde het model significante prestatieverliezen wanneer het vanaf nul werd getraind op de doelgegevens. Echter, een pre-training en fine-tuning strategie (pre-training op een grote bron-dataset en fine-tuning op een kleine doel-dataset) herstelde de prestaties effectief, wat nauwkeurige modellering mogelijk maakte zelfs met beperkte doel-data.
Psycholinguïstische Alignment: Bayesian mixed-effects analyses bevestigden dat Eyettention II de richting en magnitude van effecten voor woordlengte, frequentie en surprisal op een vergelijkbare manier vangt als menselijke lezers, waarbij het traditionele cognitieve modellen in veel maten overtreft.
Inzichten in Modelarchitectuur:
- LM Grootte: In tegen tegenstelling tot algemene scaling laws, boden kleinere LMs (bijv. BERT/RoBERTa 110M) betere linguïstische features voor scanpath voorspelling dan grotere modellen (tot 7B parameters).
- Laagdiepte: Lagere BERT-lagen waren voorspellender voor ruimtelijke aspecten (woordindex, landing position), terwijl hogere lagen meer invloedrijk waren voor temporele aspecten (fixatieduur).
Decoding Strategieën: De keuze van de decoding strategie (Greedy, Temperature Sampling, Nucleus Sampling) maakt een trade-off mogelijk tussen het genereren van "gemiddelde" hoog-waarschijnlijkheid scanpaden en meer diverse, variabele scanpaden. Nucleus sampling ( $p=0.7$ ) en lage-temperatuur sampling ( $t=0.04$ ) leverden de beste resultaten op voor verschillende datasets.

Betekenis en Claims
Het artikel claimt dat Eyettention II een significante vooruitgang vertegenwoordigt in het modelleren van menselijk leesgedrag door de kloof te overbruggen tussen cognitieve theorie en data-gedreven deep learning. De primaire betekenis ligt in het vermogen om realistische, volledige scanpaden te genereren met beperkte datavereisten, wat het een veelzijdig instrument maakt voor:

NLP Toepassingen: Pre-training of fine-tuning van gaze-augmented taalmodellen en het afleiden van lezerskenmerken zonder dat er voor elke input real-time eye-tracking data nodig is.
Psycholinguïstisch Onderzoek: Het faciliteren van het pilootdraaien van experimenteel materiaal en het uitvoeren van statistische power analyses om de replicatiecrisis veroorzaakt door kleine steekproeven te mitigeren.
Theoretisch Inzicht: Het bieden van een data-gedreven tool om te onderzoeken welke linguïstische en visuele features het menselijk leesgedrag sturen, waarbij patronen worden blootgelegd die niet expliciet gecodeerd zijn in theoretische cognitieve modellen.

De auteurs hanteren een bescheiden standpunt en erkennen dat, hoewel het model sleutelfenomenen vangt, het niet volledig interpreteerbaar is zoals regelgebaseerde cognitieve modellen. Zij merken op dat verdere verfijning nodig is om menselijke variabiliteit in binaire maten (zoals regressiekansen) beter te matchen en om de prestaties op Chinese datasets te verbeteren ten opzichte van Engelse. Het werk benadrukt dat het model een tool is voor het genereren van hypothesen en het simuleren van data, in plaats van een volledige vervanging voor menselijke experimentatie.