Controlling Reading Ease with Gaze-Guided Text Generation

Technische Samenvatting: Controle van Leesgemak via Blikgestuurde Tekstgeneratie

Probleemstelling
Het beheersen van de leesbaarheid van gegenereerde tekst is cruciaal voor toepassingen variërend van tweede taalverwerving tot toegankelijkheid voor personen met communicatiebeperkingen. Hoewel Large Language Models (LLM's) zijn toegepast op tekstadaptatie via prompting of fine-tuning, schieten deze methoden vaak tekort in transparantie en precieze controle, wat regelmatig resulteert in outputs die niet overeenkomen met de gewenste leesbaarheidsniveaus. Bestaande benaderingen hebben moeite om een direct, interpreteerbaar signaal te bieden om de generatie te sturen naar specifieke cognitieve verwerkingsbelastingen.

Methodologie
De auteurs stellen een blikgestuurd tekstgeneratieframework voor dat LLM-outputs stuurt om specifieke leesgedragingen op te roepen (bijv. een toename of afname van de leestijd) door oogtracking-data te integreren in het decoderingsproces. Het systeem werkt als een ensemble van twee unidirectionele modellen:

1. Taalmodel (LM): Een standaard, instructie-getunede LLM (Llama 3.2, 3 miljard parameters) die de waarschijnlijkheidsverdeling voor het volgende token genereert op basis van de voorafgaande context.
2. Blikmodel (Gaze Model): Een gefinetuned GPT-2 model (124 miljoen parameters) dat getraind is om geaggregeerde oogtracking-maten (specifiek de woordniveau First-Pass Reading Time, of FPRT) te voorspellen voor kandidaat-tokensequenties.

Het Decoderingsmechanisme
De methode wijzigt het standaard beam search-decoderingsproces via een scoring re-ranking mechanisme:

• De LM genereert de top $k$ kandidaat-tokens (waarbij $k=8$).
• Het blikmodel voorspelt de FPRT voor elke kandidaat-sequentie.
• Een door de gebruiker gedefinieerd blikgewicht ($w$) wordt toegepast op de blikscore.
• De uiteindelijke totale score voor een token wordt berekend als:
  $$\text{Totale Score} = \text{Token Log Probability} + (w \times \text{Genormaliseerde Blikscore})$$
• Een positief blikgewicht bevoordeelt tokens die voorspeld worden om langere leestijden te induceren (hogere moeilijkheid), terwijl een negatief gewicht tokens bevoordeelt met kortere leestijden (lagere moeilijkheid). Een gewicht van 0 schakelt de bliksturing uit.

Om tokenisatie-mismatches tussen de LM en het blikmodel (dat werkt op subwoorden) aan te pakken, maken de auteurs gebruik van beam search. Dit stelt het systeem in staat om partiële woordvoorspellingen te "herzien" naarmate de tokenisatie van het blikmodel stabiliseert, waardoor de afhankelijkheid van onbetrouwbare subwoordscores wordt voorkomen.

Belangrijkste Bijdragen

1. Nieuw Controlemechanisme: De introductie van een methode die oogtracking-data gebruikt als een direct signaal om LLM-tekstgeneratie tijdens de inferentiefase te sturen, zonder dat volledige model-fine-tuning nodig is.
2. Dataset-release: De creatie en publieke release van een nieuwe dataset met oogtracking tijdens het lezen, die teksten bevat die via deze blikgestuurde methode zijn gegenereerd, samen met de ruwe en bewerkte oogtracking-data uit de evaluatiestudie.
3. Empirische Validatie: Een uitgebreide analyse die linguïstische kenmerkextractie, oogtracking-maten en menselijke subjectieve beoordelingen combineert om de effectiviteit van de methode aan te tonen.

Experimentele Resultaten
De auteurs voerden een oogtracking-studie uit met 24 deelnemers (12 moedertaalsprekers [L1] en 12 niet-moedertaalsprekers [L2]) die verhalen lazen die gegenereerd waren met blikgewichten van $-2$, $0$, en $+2$.

• Tekstkenmerken: Het verhogen van het blikgewicht resulteerde in teksten met minder maar langere woorden, een lagere woordfrequentie (hogere Zipf-scores), kortere zinnen en een hogere lexicale diversiteit. Extreme gewichten ($\pm 5$) veroorzaakten repetitieve foutmodi.
• Leesgedrag: De methode slaagde erin de leestijden te veranderen. Positieve blikgewichten verhoogden de First-Pass Reading Times (FPRT), terwijl negatieve gewichten deze verlaagden. Het effect was statistisch significant voor zowel L1- als L2-lezers ($p < 0,001$), hoewel de magnitude groter was voor L2-lezers.
• Linguïstische Drivers: Statistische analyse toonde aan dat de veranderingen in leesgedrag primair werden gedreven door lexicale verwerkingskenmerken, specifgens woordlengte en woordvoorkomen (bekendheid). Wanneer deze kenmerken werden gecontroleerd, werd het effect van het blikgewicht insignificant voor L1-lezers, maar bleef het significant voor L2-lezers, wat suggereert dat L2-lezers aanvullende verwerkingsuitdagingen ervoeren die verder gingen dan eenvoudige lexicale bekendheid.
• Subjectieve Perceptie: Lezers percipieerden teksten met hogere blikgewichten als moeilijker. De naturaliteit-beoordelingen namen af voor L2-lezers met positieve gewichten, waarschijnlijk door de waargenomen moeilijkheid in plaats van slechte vloeiendheid. De interessantheid-beoordelingen bleven grotendeels onveranderd.
• Modelprestaties: De voorspellingen van het blikmodel correleerden matig met de geobserveerde leestijden ($r \approx 0,55–0,59$), waarbij het iets beter presteerde op woorden met een lage prevalentie.

Betekenis en Claims
Het artikel beweert dat blikgestuurde tekstgeneratie een effectieve, modulaire en efficiënte aanpak is om de leesgemak te controleren zonder de tekstkwaliteit aan te tasten. De auteurs benadrukken dat de methode erin slaagt LLM's te sturen naar teksten die objectief gemakkelijker of moeilijker te lezen zijn, gemeten aan de hand van cognitieve inspanning (FPRT) en subjectieve moeilijkheid.

De auteurs hanteren een bescheiden reikwijdte met betrekking tot de beperkingen van hun bevindingen:

• De geobserveerde effecten zijn grotendeels toe te schrijven aan laagniveau lexicale kenmerken (woordlengte en frequentie) in plaats van complexe syntactische of semantische structuren. Dit wordt toegeschreven aan de keuze voor FPRT als doelmetriek, die bekend staat om het reflecteren van vroege cognitieve verwerking.
• De aanpak is momenteel beperkt tot het Engels, aangezien de trainingsdata voor het blikmodel alleen Engels is.
• Hoewel de methode veelbelovend is voor tekstvereenvoudiging en gepersonaliseerd educatief materiaal, merken de auteurs op dat hun huidige implementatie de syntactische of discours-niveau vereenvoudiging niet volledig adresseert die nodig is voor bredere toegankelijkheidsapplicaties.
• De studie bevatte geen primaire gebruikersgroepen voor toegankelijkheid (bijv. personen met specifieke communicatiebeperkingen), wat directe claims over de bruikbaarheid van de methode in die specifieke contexten beperkt.

Het werk vormt een fundamentele stap richting gepersonaliseerde tekstgeneratie die is aangepast aan specifieke lezersgroepen door gebruik te maken van oogtracking-data als een feedbacksignaal voor decoderingsstrategieën.