Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

Technische Samenvatting: Het benutten van menselijk leesgedrag voor extractie van kernwoorden

Probleemstelling
Extractie van kernwoorden (Keyphrase Extraction, KPE) is een fundamentele taak binnen informatieverwerking, maar bestaande methoden vertrouwen voornamelijk op tekstinterne aanwijzingen zoals termfrequentie, syntactische patronen en contextuele semantiek. Deze benaderingen negeren grotendeels de verbinding tussen kernwoorden en menselijk leesgedrag, specifiek hoe lezers hun aandacht verdelen tijdens het begrip. Hoewel eye-trackingstudies hebben vastgesteld dat fixatiepatronen correleren met cognitieve verwerking, wordt het toepassen van deze inzichten op KPE belemmerd door twee hoofdfactoren: de schaarste aan eye-trackingdata voor Chinese academische teksten en de hoge kosten van traditionele laboratoriumwaardige eye-trackingapparatuur. Bovendien zijn bestaande open-source corpora (bijv. ZuCo, GECO) primair gebaseerd op algemene inhoud zoals nieuws of romans, en missen zij de domeinspecifieke terminologie en structurele conventies van academische literatuur, in het bijzonder binnen de Bibliotheek- en Informatiewetenschap (LIS).

Methodologie
Om deze hiaten te adressen, ontwikkelden de auteurs een uitgebreid kader bestaande uit dataverzameling, corpusconstructie en modelintegratie:

1. Lichtgewicht Dataverzamelingplatform: De studie maakte gebruik van een kosteneffectieve, webcam-gebaseerde aanpak waarbij de open-source SearchGazer JavaScript-bibliotheek werd geïntegreerd met een Flask-backend. Dit platform maakt real-time gaze-inferentie mogelijk met consumentengraad webcams, waardoor de noodzaak voor gespecialiseerde hardware vervalt.
2. Corpusconstructie (CLIS-ET): De auteurs hebben het Chinese LIS Eye-Tracking Corpus (CLIS-ET) geconstrueerd. Data werd verzameld van tien LIS-afgestudeerden en gevorderde bachelorstudenten die 320 abstracts lazen uit kern-Chinese LIS-tijdschriften. Het experiment omvatte een negenpunts kalibratie voor elk abstract en een controle van het begrip na het lezen.
3. Kenmerkextractie: De studie richtte zich op karakter-niveau eye-trackingmetrieken om problemen met woordsegmentatie te vermijden. Drie primaire kenmerken werden geëxtraheerd en gemiddeld over de deelnemers:
   • First Fixation Duration (FFD): De duur van de eerste blik op een karakter.
   • Fixation Number (FN): Het totale aantal blikken op een karakter.
   • Total Fixation Duration (TFD): De cumulatieve tijd die aan een karakter wordt besteed.
     Data werd gefilterd om geldige fixaties (16,7 ms tot 1500 ms) te behouden, en ongeldige karakterdata (waarbij >50% van de deelnemers geen geldige data had) werd verwijderd.
4. Modelintegratie: De eye-trackingkenmerken werden geïntegreerd in twee categorieën KPE-modellen:
   • Recurrente Neurale Netwerken: BiLSTM, BiLSTM+CRF, Attention-gebaseerde BiLSTM (Att-BiLSTM) en Att-BiLSTM+CRF. Kenmerken werden gebruikt als externe inputs of aandacht-indicatoren.
   • Pre-trained Language Models: BERT, RoBERTa, MacBERT en Randeng-T5-784M.
5. Evaluatie: Experimenten werden uitgevoerd op twee datasets: een kleinere eye-trackingdataset (Abstract-320) en een grotere algemene KPE-dataset (Abstract-5190) afkomstig uit dezelfde tijdschriftbronnen. Prestaties werden geëvalueerd met behulp van F1-scores bij de top-3, top-5 en top-10 kernwoordextracties.

Belangrijkste Bijdragen

1. Toegankelijke Dataverzamelingmethode: Het artikel introduceert een lichtgewicht, schaalbaar platform voor het verzamelen van eye-trackingdata met behulp van standaard webcams, wat de drempel voor onderzoek naar domeinspecifiek leesgedrag aanzienlijk verlaagt.
2. CLIS-ET Corpus: De publicatie van het eerste domeinspecifieke eye-trackingcorpus voor Chinese LIS academische abstracts, dat karakter-niveau metrieken (FFD, FN, TFD) biedt voor cognitieve KPE-research.
3. Empirische Validatie van Cognitieve Signalen: De studie evalueert systematisch hoe individuele en gecombineerde eye-trackingkenmerken de KPE-prestaties beïnvloeden over diverse modelarchitecturen, waarmee wordt aangetoond dat menselijk leesgedrag complementaire signalen biedt aan tekstuele kenmerken.

Resultaten

• Effectiviteit van Kenmerken: Het integreren van eye-trackingkenmerken verbeterde de KPE-prestaties consistent over beide datasets en modeltypen.
  • Op de Abstract-320 dataset leverde het FFD-kenmerk de meest significante verbetering op voor BERT-gebaseerde modellen (tot +2,83%).
  • Op de grotere Abstract-5190 dataset bereikte de combinatie van het FN-kenmerk met RoBERTa de hoogste prestatie (44,51% F1@5).
• Combinaties van Kenmerken: De combinatie van Fixation Number en Total Fixation Duration (FN+TFD) behaalde de beste prestaties op het Att-BiLSTM+CRF model. Over het algemeen boden combinaties van FFD+FN en FN+TFD stabielere verbeteringen dan het gebruik van enkele kenmerken of de volledige triplet (FFD+FN+TFD).
• Statistische Significantie: Paired t-testen op de Abstract-320 dataset bevestigden dat eye-trackingkenmerken statistisch significante effecten uitoefenen over meerdere architecturen. Specifiek vertoonden FN+TFD en FFD+TFD consistente significantie, wat suggereert dat fixatiefrequentie en -duur complementaire aspecten van leesgedrag vastleggen.
• Effecten van Datagrootte: De studie observeerde dat kenmerken van vroege verwerking (zoals FFD) een grotere informatiewinst bieden wanneer data beperkt is, terwijl kenmerken van cumulatieve verwerking (zo zoals TFD) beter ondersteuning bieden aan diepe semantische modellering in grotere datasets.

Betekenis en Claims
Het artikel claimt dat het integreren van menselijk leesgedrag in computationele modellen de kloof overbrugt tussen statistische heuristieken en cognitieve processen. Door aan te tonen dat lichtgewicht webcam-gebaseerde eye-tracking effectief de KPE kan verbeteren, pleiten de auteurs voor een meer toegankelijke, kosteneffectieve aanpak voor het verzamelen van cognitieve data voor NLP. De bevindingen suggereren dat eye-trackingkenmerken dienen als waardevolle hulp-signalen die de diepte van de semantische verwerking en het belang van lexicale items reflecteren, waardoor de interpreteerbaarheid en prestaties van kernwoordextractiesystemen worden verbeterd. De studie positioneert dit werk als een stap naar het bouwen van mensgerichte informatieverwerkingsinstrumenten die nauwer aansluiten bij werkelijke patronen van de aandacht van de lezer.