Technische Samenvatting: Eye Tracking Gebaseerd Cognitieve Evaluatie van Automatische Leesbaarheid Evaluatiemethoden

Probleemstelling

Automatische Leesbaarheidsevaluatie (Automatic Readability Assessment, ARA) is al meer dan een eeuw een onderzoeksdomein en wordt breed toegepast in het onderwijs, de gezondheidszorg en de media. Historisch gezien heeft de ontwikkeling en evaluatie van ARA-methoden vertrouwd op twee primaire offline gedragsgegevensbronnen: prestaties op leesbegriptoetsen en menselijke beoordelingen van tekstuele leesbaarheidsniveaus. Deze benaderingen leggen echter offline signalen vast die niet direct een fundamenteel aspect van leesbaarheid meten: real-time leesgemak. Hoewel leesgemak al vroeg als een kernconcept werd voorgesteld (bijv. Dale en Chall 1949; Kintsch en Vipond 1979), is het in ARA onderbelicht gebleven door het gebrek aan gedragsgegevens uit het leesproces. Bovendien lijden bestaande evaluatiemethoden vaak aan de verstrengeling van tekstcomplexiteit die voortkomt uit topische variatie versus linguïstische complexiteit.

Methodologie

De auteurs introduceren een cognitief evaluatiekader dat gebruikmaakt van eye-tracking data om het vermogen van leesbaarheidsscoremethoden te kwantificeren om rekening te houden met leesgemak, waarbij specifiek wordt gecontroleerd voor inhoudelijke variatie.

Gegevensverzameling

De studie maakt gebruik van een gecombineerde dataset, OneStopL1&L2, bestaande uit meer dan 3,7 miljoen woordtokens van 638 volwassen deelnemers (360 L1 Engelse sprekers en 278 L2-sprekers met diverse moedertalen).

• Tekstmateriaal: De dataset gebruikt een parallel corpus uit de OneStopQA-dataset, bestaande uit 30 Guardian nieuwsartikelen. Elk artikel bestaat uit een originele "Advanced" versie en een door mensen vereenvoudigde "Elementary" versie, gecreëerd door ervaren taaldocenten met behulp van een intuïtieve vereenvoudigingsmethode.
• Experimenteel Ontwerp: Deelnemers lezen paragrafen in ofwel een informatiezoekende of een begripsmodus. Het ontwerp zorgt ervoor dat elke deelnemer zowel de originele als de vereenvoudigde versies van dezelfde inhoud leest, waardoor het isoleren van vereenvoudigingseffecten mogelijk is.
• Eye Tracking: De gegevens werden verzameld met een EyeLink 1000 Plus op 1000 Hz.

Evaluatiekader

De kernmetriek is leesfacilitatie, gedefinieerd als de verandering in leesgemak-maten tussen de originele en de vereenvoudigde versies van een tekst.

• Doelvariabelen (Leesgemak): De studie meet drie online oogbewegingsmetrieken die bekend staan als indicatoren voor verwerkingsmoeilijkheid:
  1. Totale Fixatieduur (TF): De som van de fixatieduren op een woord.
  2. Skip Rate (SR): Het fractie van woorden die worden overgeslagen.
  3. Regressierate (RR): Het aantal achterwaartse saccades per woord.
• Evaluatiemetriek: De kwaliteit van een leesbaarheidsscoremethode ($M$) wordt geëvalueerd door de Pearson-correlatie ($r$) tussen de verschil in scores ($\Delta Score_M$) voorspeld door de methode voor de originele versus de vereenvoudigde tekst, en het verschil in leesgemak ($\Delta ReadingEase$) waargenomen in de eye-tracking data voor dezelfde tekstparen.
  $$Eval_M = \text{Pearson\_corr}(\Delta Score_{M,T}, \Delta ReadingEase_{E,T})$$

Geëvalueerde Systemen

Het kader benchmarkt 20 prominente leesbaarheidsscoremethoden tegen theoretisch gemotiveerde psycholinguïstische maten:

1. Traditionele Formules: Flesch Reading Ease, Dale-Chall, Gunning Fog, ARI, Coleman-Liau, Flesch-Kincaid.
2. Moderne NLP-methoden: Gesuperviseerde modellen (CML2RI, CAREC, CARES, Sentence-BERT) en ongesuperviseerde maten (Perplexity, Syntactic Log-Odds Ratio).
3. Commerciële Systemen: Lexile Text Analyzer en TextEvaluator (ETS).
4. Large Language Models (LLMs): Zes frontier modellen (Llama 3.3, GPT-4o, GPT-5, Gemini 2.0/2.5, Claude Sonnet 4) geprompt voor grade-level of score-gebaseerde annotaties.
5. Psycholinguïstische Baselines: Geheugen-gerelateerde maten (Idea Density, Integration Cost, Embedding Depth) en informatie-theoretische maten (Surprisal, Entropy, Uniform Information Density, Pseudo Log Likelihood), naast standaardwoordeigenschappen (Woordlengte, Woordfrequentie).

Belangrijkste Resultaten

De evaluatie onthult een aanzienlijke kloof tussen huidige ARA-methoden en de cognitieve realiteit van leesgemak.

1. Slechte Prestaties van ARA-methoden: Traditionele formules, moderne NLP-systemen, commerciële tools en frontier LLM's vertonen allemaal lage tot niet-significante correlaties met real-time leesgemak-maten. Opvallend genoeg is er geen waargenomen patroon van verbetering in prestaties na verloop van tijd, ondanks de toenemende verfijning van LLM's. Commerciële systemen (Lexile, TextEvaluator) vertoonden bijzonder lage voorspellende kracht.
2. Superieuriteit van Psycholinguïstische Woordeigenschappen: Standaardwoordeigenschappen die in de psycholinguïstiek bekend staan als voorspellers van leestijden, presteerden beter dan alle ARA-methoden. De "grote drie" voorspellers — Woordlengte, Woordfrequentie en Surprisal — leverden consistent sterke correlaties op.
3. Surprisal als Beste Voorspeller: Surprisal (de negatieve log-waarschijnlijkheid van een woord in context) kwam naar voren als de meest voorspellende index van leesgemak in het algemeen. Het presteerde beter dan geheugen-gebaseerde voorspellers (Idea Density, Integration Cost) en andere informatie-theoretische maten.
4. Robuustheid: Deze bevindingen houden stand over:
   • Lezersgroepen (L1 en L2 sprekers).
   • Leesregimes (begrip versus informatie zoeken).
   • Teksteenheden (zinnen en passages).
   • Verschillende eye-tracking maten (inclusief First Fixation, Gaze Duration en Reading Speed).
5. Inhoudelijke Controle: De studie toont aan dat het gebrek aan inhoudelijke controle in traditionele evaluaties (directe voorspelling van leestijden) de schijnbare prestaties van veel ARA-methoden opblaast, omdat ze vaak topische moeilijkheid vangen in plaats van linguïstische complexiteit. De met inhoud gecontroleerde aanpak laat zien dat methoden zoals Surprisal, Entropy en Woordlengte stabiel blijven, terwijl anderen significant verslechteren wanneer de inhoud wordt gecontroleerd.

Betekenis en Claims

Het artikel beweert het eerste uitgebreide beeld te geven van de beperkte bekwaamheid van bijna een eeuw aan ARA-methoden om rekening te houden met hoe mensen teksten in real time ervaren.

• Beperking van Huidige Methoden: De resultaten benadrukken een kritieke beperking in veelgebruikte leesbaarheidsscoremethoden, wat suggereert dat ze slechte voorspellers zijn van leesgemak bij volwassenen vergeleken met eenvoudige psycholinguïstische woordeigenschappen.
• Waarschuwing bij Toepassing: De auteurs pleiten voor grotere voorzichtigheid bij het gebruik van bestaande ARA-methoden en LLM's voor leesbaarheidsscoring, vooral in scenario's met hoge inzet, aangezien ze de cognitieve belasting van het lezen mogelijk niet accuraat reflecteren.
• Noodzaak voor Nieuwe Benaderingen: De bevindingen pleiten voor de ontwikkeling van nieuwe, cognitief gedreven leesbaarheidsscore-benaderingen die beter rekening houden met de real-time leeservaring.
• Nut van Eye Tracking: De studie onderstreept het nut van real-time gedragscriteria (eye tracking) als een continu, interpreteerbaar alternatief voor offline begripstoetsen en discrete menselijke beoordelingen in leesbaarheidsonderzoek.
• Rol van Surprisal: Het artikel suggereert dat Surprisal, berekenbaar via breed beschikbare taalmodellen, dient als een robuuste, eenvoudige en algemene maat voor leesbaarheid die breder geadopteerd zou moeten worden.

De auteurs blijven bescheiden over de generaliseerbaarheid van hun bevindingen, waarbij zij opmerken dat de studie beperkt is tot het Engels, volwassen deelnemers en de "intuïtieve" menselijke vereenvoudigingsmethode. Zij identificeren de noodzaak voor toekomstig werk om deze evaluaties uit te breiden naar kinderen, ouderen, andere talen en geautomatiseerde vereenvoudigingscontexten.