Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

Technische Zusammenfassung: Nutzung des menschlichen Leseverhaltens zur Schlüsselbegriffextraktion

Problemstellung
Die Schlüsselbegriffextraktion (Keyphrase Extraction, KPE) ist eine grundlegende Aufgabe der Informationsbeschaffung, doch bestehende Methoden stützen sich überwiegend auf textinterne Merkmale wie Begriffshäufigkeit, syntaktische Muster und kontextuelle Semantik. Diese Ansätze vernachlässigen weitgehend die Verbindung zwischen Schlüsselbegriffen und dem menschlichen Leseverhalten, insbesondere die Frage, wie Leser während des Verstehens ihre Aufmerksamkeit verteilen. Während Eye-Tracking-Studien etabliert haben, dass Fixationsmuster mit kognitiver Verarbeitung korrelieren, wird die Anwendung dieser Erkenntnisse auf die KPE durch zwei Hauptfaktoren erschwert: die Knappheit an Eye-Tracking-Daten für chinesische akademische Texte und die hohen Kosten für herkömmliche Labor-Eye-Tracking-Geräte. Darüber hinaus basieren bestehende Open-Source-Korpora (z. B. ZuCo, GECO) primär auf allgemeinen Inhalten wie Nachrichten oder Romanen und lassen die domänenspezifische Terminologie und die strukturellen Konventionen der wissenschaftlichen Literatur, insbesondere der Bibliotheks- und Informationswissenschaft (LIS), vermissen.

Methodik
Um diese Lücken zu schließen, entwickelten die Autoren ein umfassendes Framework, das Datenerhebung, Korpuskonstruktion und Modellintegration umfasst:

1. Leichtgewichtige Datenerfassungsplattform: Die Studie nutzte einen kosteneffizienten, webcambasierten Ansatz, der die Open-Source-JavaScript-Bibliothek SearchGazer mit einem Flask-basierten Backend integriert. Diese Plattform ermöglicht eine Echtzeit-Blickinferenz mittels handelsüblicher Webcams und macht somit den Einsatz spezialisierter Hardware überflüssig.
2. Korpuskonstruktion (CLIS-ET): Die Autoren erstellten das Chinese LIS Eye-Tracking Corpus (CLIS-ET). Die Daten wurden von zehn LIS-Absolventen und fortgeschrittenen Bachelor-Studierenden erhoben, die 320 Abstracts aus Kernjournalen der chinesischen LIS gesamt haben. Das Experiment beinhaltete vor jedem Abstract eine Neupunktschätzung (Nine-Point-Calibration) sowie eine anschließende Verständnisprüfung.
3. Merkmalsextraktion: Die Studie konzentrierte sich auf zeichenbasierte Eye-Tracking-Metriken, um Probleme der Wortsegmentierung zu vermeiden. Drei primäre Merkmale wurden extrahiert und über die Teilnehmer gemittelt:
   • First Fixation Duration (FFD): Die Dauer des ersten Blicks auf ein Zeichen.
   • Fixation Number (FN): Die Gesamtzahl der Blickkontakte mit einem Zeichen.
   • Total Fixation Duration (TFD): Die kumulative Zeit, die mit dem Anblicken eines Zeichens verbracht wurde.
     Die Daten wurden gefiltert, um gültige Fixationen (16,7 ms bis 1500 ms) zu behalten; ungültige Zeichen-Daten (bei denen mehr als 50 % der Teilnehmer keine gültigen Daten aufwiesen) wurden verworfen.
4. Modellintegration: Die Eye-Tracking-Merkmale wurden in zwei Kategorien von KPE-Modellen integriert:
   • Rekurrente Neuronale Netze: BiLSTM, BiLSTM+CRF, Attention-basiertes BiLSTM (Att-BiLSTM) und Att-BiLSTM+CRF. Die Merkmale wurden als externe Eingaben oder als Attentionsindikatoren verwendet.
   • Prätrainierte Sprachmodelle: BERT, RoBERTa, MacBERT und Randeng-T5-784M.
5. Evaluierung: Die Experimente wurden auf zwei Datensätzen durchgeführt: einem kleineren Eye-Tracking-Datensatz (Abstract-320) und einem größeren allgemeinen KPE-Datensatz (Abstract-5190), die aus denselben Journalquellen stammen. Die Leistung wurde mittels F1-Scores bei den Top-3, Top-5 und Top-10 Schlüsselbegriff-Extraktionen bewertet.

Wesentliche Beiträge

1. Zugängliche Datenerfassungsmethode: Die Arbeit stellt eine leichtgewichtige, skalierbare Plattform zur Erfassung von Eye-Tracking-Daten mittels Standard-Webcams vor, was die Hürden für die Forschung zum kognitiven Leseverhalten in spezifischen Domänen erheblich senkt.
2. CLIS-ET Korpus: Die Veröffentlichung des ersten domänenspezifischen Eye-Tracking-Korpus für chinesische LIS-Abstracts, das zeichenbasierte Metriken (FFD, FN, TFD) für die kognitive KPE-Forschung bereitstellt.
3. Empirische Validierung kognitiver Signale: Die Studie evaluiert systematisch, wie individuelle und kombinierte Eye-Tracking-Merkmale die KPE-Leistung über verschiedene Modellarchitekturen hinweg beeinflussen, und zeigt auf, dass menschliches Leseverhalten komplementäre Signale zu textuellen Merkmalen liefert.

Ergebnisse

• Wirksamkeit der Merkmale: Die Integration von Eye-Tracking-Merkmalen verbesserte die KPE-Leistung konsistent über beide Datensätze und Modelltypen hinweg.
  • Auf dem Abstract-320 Datensatz lieferte das FFD-Merkmal die signifikanteste Verbesserung für BERT-basierte Modelle (bis zu +2,83 %).
  • Auf dem größeren Abstract-5190 Datensatz erreichte die Kombination aus FN und RoBERTa die höchste Leistung (44,51 % F1@5).
• Merkmalskombinationen: Die Kombination aus Fixationsanzahl und Gesamtfixationsdauer (FN+TFD) erzielte die beste Leistung beim Att-BiLSTM+CRF Modell. Generell boten Kombinationen aus FFD+FN und FN+TFD stabilere Verbesserungen als die Verwendung einzelner Merkmale oder des vollständigen Tripletts (FFD+FN+TFD).
• Statistische Signifikanz: Paarweise t-Tests auf dem Abstract-320 Datensatz bestätigten, dass Eye-Tracking-Merkmale über mehrere Architekturen hinweg statistisch signifikante Effekte ausüben. Insbesondere zeigten FN+TFD und FFD+TFD konsistente Signifikanz, was darauf hindeutet, dass die Fixationsfrequenz und die Fixationsdauer komplementäre Aspekte des Leseverhaltens erfassen.
• Effekte der Datensatzgröße: Die Studie beobachtete, dass Merkmale der frühen Verarbeitung (wie FFD) einen größeren Informationsgewinn bieten, wenn die Datenlage begrenzt ist, während Merkmale der kumulativen Verarbeitung (wie TFD) die tiefe semantische Modellierung in größeren Datensätzen besser unterstützen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Einbeziehung des menschlichen Leseverhaltens in computergestützte Modelle die Lücke zwischen statistischen Heuristiken und kognitiven Prozessen schließt. Durch den Nachweis, dass leichtgewichtiges Webcam-basiertes Eye-Tracking die KPE effektiv verbessern kann, plädieren die Autoren für einen zugänglicheren, kosteneffizienteren Ansatz zur Gewinnung kognitiver Daten für das NLP. Die Ergebnisse legen nahe, dass Eye-Tracking-Merkmale wertvolle Hilfssignale darstellen, die die Tiefe der semantischen Verarbeitung und die Bedeutung lexikalischer Einheiten widerspiegeln und somit die Interpretierbarkeit und Leistung von Systemen zur Schlüsselbegriffextraktion verbessern. Die Studie positioniert diese Arbeit als einen Schritt hin zum Aufbau menschenzentrierter Informationsbeschaffungswerkzeuge, die enger mit tatsächlichen Aufmerksamkeitsmustern der Leser korrespondieren.