💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

Um den Mangel an Eye-Tracking-Daten zu beheben, führt die Arbeit Eyettention II ein, ein leichtgewichtiges, End-to-End-Deep-Learning-Modell, das realistische, multi-attributive Lesescannpfade generiert, indem es sich an kognitiven Theorien ausrichtet und aktuelle State-of-the-Art-Modelle bei der Vorhersage menschenähnlichen Blickverhaltens übertrifft.

Ursprüngliche Autoren: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen ein Buch. Ihre Augen gleiten nicht wie ein Auto auf einer Autobahn sanft über die Seite; stattdessen springen sie in kleinen Schüben, den sogenannten „Fixationen“, und landen auf bestimmten Wörtern, überspringen manchmal vorwärts oder springen zurück, um erneut zu lesen. Dieses Muster von Sprüngen wird als Scanpfad bezeichnet.

Seit Jahrzehnten versuchen Wissenschaftler, Computermodelle zu entwickeln, die genau vorhersagen können, wo Ihre Augen landen werden und wie lange sie dort verweilen. Das Problem ist, dass das Sammeln echter Eye-Tracking-Daten teuer und langsam ist – es ist, als würde man versuchen, einen Film zu drehen, bei dem jeder Schauspieler eine spezielle Kamera am Kopf tragen muss. Da es nicht genug „echtes“ Filmmaterial gibt, ist es schwierig, Computer darin zu trainieren, gut darin zu werden, diese Sprünge vorherzusagen.

Hier kommt Eyettention II ins Spiel. Betrachten Sie dieses neue Modell als einen hochqualifizierten Simulator oder einen virtuellen Eye-Tracker. Es ist eine Software, die realistische „künstliche“ Augenbewegungsdaten für jeden beliebigen Text generieren kann – inklusive der Information, wo genau das Auge auf dem Wort landet, wie lange es dort verweilt und wie lange es pausiert.

Hier ist eine Aufschlüsselung der Funktionsweise und der Ergebnisse der Arbeit, erklärt anhand einfacher Analogien:

1. Das „Dual-Sequence“-Rätsel

Die meisten Computermodelle behandeln das Lesen wie eine einfache Liste: Wort 1, Wort 2, Wort 3. Aber menschliches Lesen ist chaotisch. Wir überspringen Wörter, springen zurück und starren längere Wörter länger an als kurze.

Die Autoren beschreiben Eyettention II als einen Dual-Sequence-Architekten. Stellen Sie sich zwei Förderbänder vor, die nebeneinander laufen:

Band A (Der Text): Die Wörter in der Reihenfolge, in der sie im Satz erscheinen.
Band B (Die Zeit): Die Reihenfolge, in der Ihre Augen tatsächlich Dinge ansehen.

Da Ihre Augen dem Text nicht immer perfekt folgen (Sie springen vielleicht zurück zum Anfang), geraten diese beiden Bänder aus dem Takt. Eyettention II ist deshalb besonders, weil es einen „Verkehrsleiter“ (einen Cross-Attention-Mechanismus) besitzt, der beide Bänder gleichzeitig überwacht. Er weiß, dass Ihre Augen vielleicht tatsächlich zu „Wort 2“ springen, auch wenn der Text gerade bei „Wort 5“ ist. Dies ermöglicht es dem Modell, das nicht-lineare, chaotische Wesen des menschlichen Lesens nachzuahmen.

2. Was wird vorhergesagt?

Ältere Modelle waren wie ein GPS, das Ihnen nur sagte, in welcher Stadt Sie sich befinden. Eyettention II ist ein hochauflösendes GPS, das Ihnen sagt:

Die Stadt (Wort-Index): Welches Wort wird gerade angesehen?
Die Hausnummer (Landungsposition): Genau wo auf diesem Wort landet das Auge? (z. B. am Anfang, in der Mitte oder am Ende).
Die Verweildauer (Dauer): Wie lange bleibt das Auge dort?

Es generiert diese drei Dinge in einer Kette, eines nach dem anderen, genau wie ein Mensch beim Lesen in Echtzeit.

3. Der „Personal Trainer“-Modus

Die Arbeit stellt auch eine spezielle Version namens Eyettention IIreader vor.
Stellen Sie sich vor, Sie haben einen allgemeinen Fitnesstrainer, der weiß, wie der Durchschnittsmensch läuft. Aber was ist, wenn Sie einen Trainer wollen, der Ihren spezifischen Laufstil kennt? Diese Version des Modells kann auf eine bestimmte Person (oder eine Gruppe von Menschen) „eingestellt“ werden. Wenn Sie ihm Daten eines spezifischen Lesers zufüttern, lernt es dessen einzigartige Gewohnheiten – vielleicht überspringt er kurze Wörter häufiger oder starrt länger auf schwierige Wörter – und kann dann die Augenbewegungen dieser spezifischen Person simulieren.

4. Wie gut ist es?

Die Forscher haben das Modell an englischen und chinesischen Texten getestet (zwei sehr unterschiedliche Sprachen). Sie verglichen es mit:

Älteren KI-Modellen: Das neue Modell gewann und sagte Augenbewegungen genauer voraus.
Klassischen „kognitiven“ Modellen: Dies sind ältere, regelbasierte Modelle, die von Psychologen entwickelt wurden, um das menschliche Denken nachzuahmen. Eyettention II schlug auch sie, was zeigt, dass ein datengesteuerter Ansatz komplexe Muster erfassen kann, die einfache Regeln übersehen.
Echten Menschen: Interessanterweise waren die „künstlichen“ Augenbewegungen des Modells manchmal ähnlicher untereinander als echte Menschen untereinander. Das liegt daran, dass echte Menschen chaotisch sind und stark variieren, während das Modell das „durchschnittliche“ menschliche Muster findet.

5. Warum brauchen wir einen künstlichen Eye-Tracker?

Die Arbeit hebt drei Hauptgründe für die Nutzung dieses Simulators hervor, die alle mit Zeitersparnis und Kosten zusammenhängen:

Der „Pilotversuch“ (Experimentplanung): Bevor ein Wissenschaftler ein echtes Experiment mit 50 Personen durchführt, kann er den Simulator nutzen, um das Experiment virtuell 1.000 Mal „durchzuspielen“. Dies hilft dabei, festzustellen, ob die Testmaterialien gut sind und wie viele Teilnehmer sie tatsächlich rekrutieren müssen. Es ist wie ein Flugsimulator für Forscher.
Der „Daten-Augmentierer“ (KI-Training): Wenn Sie eine KI bauen wollen, die das Lesen versteht, benötigen Sie Unmengen an Eye-Tracking-Daten. Da echte Daten knapp sind, können Sie Eyettention II nutzen, um Millionen von „künstlichen“ Eye-Tracking-Datensätzen zu generieren, um Ihre KI zu trainieren und sie intelligenter zu machen, ohne tausende echte Menschen mit Kameras auszustatten.
Das „Was-wäre-wenn“-Werkzeug: Forscher können den Simulator nutzen, um zu sehen, wie verschiedene Textlayouts oder Sprachen das Lesen beeinflussen könnten, ohne teure Laborausrüstung aufbauen zu müssen.

6. Eine überraschende Entdeckung: „Größer ist nicht besser“

Die Forscher testeten das Modell mit unterschiedlichen Größen von „Gehirnen“ (Sprachmodellen), um den Text zu verstehen. Dabei fanden sie ein kontraintuitives Ergebnis: Kleinere Modelle funktionierten besser.

Sie probierten massive, komplexe KI-Modelle aus (wie jene, die fortschrittliche Chatbots antreiben), um den Text zu verstehen.
Sie probierten auch kleinere, einfachere Modelle aus.
Ergebnis: Die kleineren Modelle sagten menschliche Augenbewegungen tatsächlich besser voraus. Es scheint, dass man für das Lesen kein superkomplexes Gehirn braucht, das tiefe Philosophie versteht; man braucht ein Modell, das die unmittelbare, oberflächliche Struktur des Satzes versteht.

Zusammenfassung

Eyettention II ist ein leichtgewichtiges, effizientes Computerprogramm, das als „virtuelles Auge“ fungiert. Es rät nicht nur, welches Wort Sie als Nächstes lesen werden; es sagt voraus, wo genau Ihr Auge auf diesem Wort landen wird und wie lange Sie dort verweilen, wobei es das menschliche Verhalten mit hoher Genauigkeit nachahmt. Es löst das Problem des Mangels an echten Eye-Tracking-Daten, indem es hochwertige „künstliche“ Daten generiert, die Wissenschaftlern helfen, bessere Experimente zu planen und intelligentere KI-Systeme zu trainieren.

Technische Zusammenfassung: Eyettention II

Problemstellung
Eye-Tracking-Daten während des Lesens bieten entscheidende Einblicke in kognitive Prozesse und Texteigenschaften, was Anwendungen in der natürlichen Sprachverarbeitung (NLP) vorantreibt, wie etwa die Verbesserung von Sprachmodellen (LMs) und die Ableitung von Lesercharakteristika. Das Feld steht jedoch vor einem erheblichen Engpass: der Datenknappheit. Die Erhebung groß angelegter Eye-Tracking-Datensätze ist ressourcenintensiv, was das Training datengesteuerter Modelle einschränkt und die Replikation psycholinguistischer Experimente behindert. Bestehende computergestützte Modelle verlassen sich oft auf heuristische, regelbasierte Ansätze mit wenigen Parametern, um die Interpretierbarkeit zu gewährleisten, was jedoch ihre Fähigkeit einschränkt, komplexe Muster zu erfassen und über verschiedene Populationen, Sprachen und experimentelle Setups hinweg zu generalisieren. Darüber hinaus konzentrierten sich frühere Ansätze des maschinellen Lernens oft entweder auf räumliche Aspekte (Fixationsort) oder zeitliche Aspekte (aggregierte Fixationsdauer) isoliert betrachtet, wodurch sie keine vollständigen, sequenziellen Scanpfade generieren konnten, welche die volle Dynamik des menschlichen Lesens erfassen.

Methodik
Die Autoren schlagen Eyettention II vor, ein end-to-end trainiertes, leichtgewichtiges Deep-Learning-Modell, das darauf ausgelegt ist, realistische Scanpfade bestehend aus einem vollständigen Satz von Fixationsattributen in chronologischer Reihenfolge zu generieren.

Dual-Sequence-Architektur: Die zentrale Innovation adressiert die „Dual-Sequence“-Natur der Lesedaten: die linguistische Sequenz (Wörter geordnet nach Grammatik) und die zeitliche Sequenz (Fixationen geordnet nach Zeit). Im Gegensatz zu Standard-Sequenzmodellen oder Encoder-Decoder-Architekturen, die eine einzelne Eingabe mit einer einzelnen Ausgabe abgleichen, verwendet Eyettention II eine duale Sequenz-Bi-Encoder-Struktur. Es nutzt einen Word-Sequence Encoder (der den Stimulus-Text verarbeitet) und einen Fixation-Sequence Encoder (der die Historie der Fixationen verarbeitet).
Cross-Sequence Attention: Das Modell richtet diese beiden Sequenzen mittels eines Cross-Attention-Mechanismus mit einem lokalen Fenster aus. Dies simuliert das menschliche Sichtfeld, indem es nur auf Wörter achtet, die das aktuell fixierte Wort umgeben, anstatt auf den gesamten Satz, wodurch die Autoregressivität in der zeitlichen Dimension gewahrt bleibt und gleichzeitig ein reicher linguistischer Kontext genutzt wird.
Vorhersagemodule: Das Modell sagt drei Attribute nacheinander für jede Fixation voraus:
1. Wortindex ( $k$ ): Eine Multi-Class-Klassifikationsaufgabe, die vorhersagt, welches Wort als nächstes fixiert wird.
2. Landungsposition ( $l$ ): Eine Regressionsaufgabe, die den normalisierten horizontalen Versatz innerhalb des Wortes (0 bis 1) vorhersagt.
3. Fixationsdauer ( $d$ ): Eine Regressionsaufgabe, die die Zeit vorhersagt, die mit der Fixation verbracht wird.
Leserspezifische Variante: Die Autoren führen Eyettention II $_{reader}$ ein, das ein trainierbares Reader-Identifier-Embedding enthält. Dies ermöglicht es dem Modell, die charakteristischen Lesemuster spezifischer Individuen oder Gruppen zu erlernen und zu reproduzieren.
Training: Das Modell wird unter Verwendung einer kombinierten Verlustfunktion optimiert, die aus der negativen Log-Likelihood (NLL) für den Wortindex und dem mittleren quadratischen Fehler (MSE) für die Landungsposition und die Dauer besteht. Es nutzt vortrainierte Large Language Models (LLMs) wie BERT oder RoBERRoTA als Kern des Word-Sequence Encoders, die während des Trainings eingefroren sind, gefolgt von einem BiLSTM-Layer.

Zentrale Beiträge

Umfassende Scanpath-Generierung: Eyettention II ist das erste Modell, das Fixationsort, innerhalb-Wort-Landungsposition und Fixationsdauer gleichzeitig in einem einzigen End-to-End-Framework vorhersagt und damit über die Beschränkungen der Vorhersage von nur Fixationsorten oder aggregierten Dauern hinausgeht.
State-of-the-Art-Leistung: Das Modell erzielt eine überlegene Leistung sowohl in Within-Dataset- als auch in Cross-Dataset-Evaluierungen im Vergleich zu bestehenden kognitiven Modellen (E-Z Reader, SWIFT) und Machine-Learning-Baselines.
Psycholinguistische Validität: Das Modell spiegelt menschliches Blickverhalten erfolgreich wider, indem es zentrale psycholinguistische Phänomene wie die Effekte von Worthäufigkeit, Wortlänge und Surprisal auf Fixationsdauern und Regressionen reproduziert.
Leser-Adaptivität: Die Einführung der leserspezifischen Variante zeigt, dass das Modell effektiv individuelle Lesestile simulieren kann, eine entscheidende Fähigkeit für personalisierte Anwendungen.
Nutzen für die Experimentplanung: Die Autoren demonstrieren den Nutzen des Modells bei der Durchführung von statistischen Power-Analysen und beim Piloting psycholinguistischer Experimente, indem sie zeigen, dass simulierte Daten realistische Effektstärken-Schätzungen liefern können, insbesondere in Kombination mit einer Pre-Training- und Fine-Tuning-Strategie für kleine Datensätze.

Ergebnisse

Quantitative Leistung: Sowohl auf englischen (CELER) als auch auf chinesischen (BSC) Datensätzen übertraf Eyettention II die Referenzmodelle (einschließlich E-Z Reader, SWIFT und früherer Eyettention-Versionen) in allen Metriken: Wortindex-Vorhersage (NLL), Landungsposition (MAE), Fixationsdauer (MAE) und allgemeine Scanpath-Ähnlichkeit (MultiMatch).
Generalisierung: In Cross-Dataset-Evaluierungen (Training auf CELER, Test auf ZuCo) zeigte das Modell signifikante Leistungseinbußen, wenn es von Grund auf auf den Ziel-Daten trainiert wurde. Eine Pre-Training- und Fine-Tuning-Strategie (Pre-Training auf einem großen Quell-Datensatz und Fine-Tuning auf einem kleinen Ziel-Datensatz) stellte die Leistung jedoch effektiv wieder her, was eine genaue Modellierung selbst mit begrenzten Ziel-Daten ermöglichte.
Psycholinguistische Ausrichtung: Bayesianische Mixed-Effects-Analysen bestätigten, dass Eyettention II die Richtung und Magnitude der Effekte von Wortlänge, Häufigkeit und Surprisal ähnlich wie menschliche Leser erfasst und traditionelle kognitive Modelle in vielen Maßen übertrifft.
Einblicke in die Modellarchitektur:
- LM-Größe: Entgegen allgemeiner Skalierungsgesetze lieferten kleinere LMs (z. B. BERT/RoBERTa 110M) bessere linguistische Merkmale für die Scanpath-Vorhersage als größere Modelle (bis zu 7B Parameter).
- Layertiefe: Niedrigere BERT-Layer waren prädiktiver für räumliche Aspekte (Wortindex, Landungsposition), während obere Layer einen größeren Einfluss auf temporale Aspekte (Fixationsdauer) hatten.
Decoding-Strategien: Die Wahl der Decoding-Strategie (Greedy, Temperature Sampling, Nucleus Sampling) ermöglicht einen Trade-off zwischen der Generierung von „durchschnittlichen“ hochwahrscheinlichen Scanpfaden und vielfältigeren, variablen Scanpfaden. Nucleus Sampling ( $p=0.7$ ) und Low-Temperature Sampling ( $t=0.04$ ) lieferten die besten Ergebnisse für unterschiedliche Datensätze.

Bedeutung und Ansprüche
Das Paper behauptet, dass Eyettention II eine signifikante Weiterentwicklung bei der Modellierung des menschlichen Leseverhaltens darstellt, indem es die Lücke zwischen kognitiver Theorie und datengesteuerter Deep-Learning-Technik schließt. Seine primäre Bedeutung liegt in der Fähigkeit, realistische, vollständige Scanpfade mit geringen Datenanforderungen zu generieren, was es zu einem vielseitigen Werkzeug macht für:

NLP-Anwendungen: Pre-Training oder Fine-Tuning von gaze-augmentierten Sprachmodellen und die Ableitung von Lesercharakteristika, ohne dass für jede Eingabe Echtzeit-Eye-Tracking-Daten erforderlich sind.
Psycholinguistische Forschung: Erleichterung des Pilotings von experimentellen Materialien und Durchführung von statistischen Power-Analysen, um die Replikationskrise aufgrund kleiner Stichprobenumfänge zu mildern.
Theoretische Einsicht: Bereitstellung eines datengesteuerten Werkzeugs zur Untersuchung, welche linguistischen und visuellen Merkmale das menschliche Lesen steuern, um Muster aufzudecken, die in theoretischen kognitiven Modellen nicht explizit kodiert sind.

Die Autoren nehmen eine moderate Haltung ein und räumen ein, dass das Modell zwar Schlüsselphänomene erfasst, aber nicht so vollständig interpretierbar ist wie regelbasierte kognitive Modelle. Sie merken an, dass weitere Verfeinerungen notwendig sind, um die menschliche Variabilität bei binären Maßen (wie Regressionswahrscheinlichkeiten) besser abzubilden und die Leistung bei chinesischen Datensätzen im Vergleich zu englischen zu verbessern. Die Arbeit betont, dass das Modell ein Werkzeug zur Generierung von Hypothesen und zur Simulation von Daten ist und kein vollständiger Ersatz für menschliche Experimente.