💬 NLP

Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading

Pour remédier à la rareté des données d'oculométrie, l'article introduit Eyettention II, un modèle d'apprentissage profond léger et de bout en bout qui génère des trajectes de lecture réalistes et multi-attributs en s'alignant sur les théories cognitives et en surpassant les modèles de pointe dans la prédiction de comportements de regard humains.

Auteurs originaux : Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Publié 2026-06-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuwen Deng, Cui Ding, David R. Reich, Paul Prasse, Lena A. Jäger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes en train de lire un livre. Vos yeux ne glissent pas de manière fluide sur la page comme une voiture sur une autoroute ; au contraire, ils font des bonds en petites rafales appelées « fixations », se posant sur des mots spécifiques, sautant parfois en avant, ou revenant parfois en arrière pour relire. Ce motif de sauts est appelé un scanpath (chemin de balayage).

Pendant des décations, les scientifiques ont tenté de construire des modèles informatiques capables de prédire exactement où vos yeux vont se poser et combien de temps ils y resteront. Le problème est que la collecte de données réelles d'oculométrie (eye-tracking) est coûteuse et lente — c'est comme essayer de filmer un film où chaque acteur devrait porter une caméra spéciale sur la tête. Parce qu'il n'y a pas assez de « vraies » séquences, il est difficile d'entraîner les ordinateurs à bien prédire ces sauts.

Voici Eyettention II. Considérez ce nouveau modèle comme un simulateur hautement qualifié ou un oculomètre virtuel. C'est un logiciel capable de générer des données de mouvement oculaire « fausses » mais réalistes pour n'importe quel texte, comprenant exactement où l'œil se pose, précisément sur quelle partie du mot, et combien de temps il fait une pause.

Voici une décomposition de son fonctionnement et de ce que l'article a révélé, en utilisant des analogies simples :

1. L'énigme de la « double séquence »

La plupart des modèles informatiques traitent la lecture comme une liste simple : Mot 1, Mot 2, Mot 3. Mais la lecture humaine est désordonnée. Nous sautons des mots, revenons en arrière et fixons les mots longs plus longtemps que les mots courts.

Les auteurs décrivent Eyettention II comme un architecte de double séquence. Imaginez deux tapis roulants fonctionnant côte à côte :

Le Tapis A (Le Texte) : Les mots dans l'ordre où ils apparaissent dans la phrase.
Le Tapis B (Le Temps) : L'ordre dans lequel vos yeux regardent réellement les choses.

Parce que vos yeux ne suivent pas toujours le texte parfaitement (vous pouvez revenir en arrière au début), ces deux tapis se désynchronisent. Eyettention II est spécial car il possède un « contrôleur de trafic » (un mécanisme d'attention croisée) qui surveille les deux tapis simultanément. Il sait que même si le texte indique que le « Mot 5 » est le suivant, vos yeux pourraient en fait revenir au « Mot 2 ». Cela lui permet de imiter la façon chaotique et non linéaire dont les humains lisent réellement.

2. Que prédit-il ?

Les anciens modèles étaient comme un GPS qui ne vous disait que dans quelle ville vous vous trouviez. Eyettention II est un GPS haute définition qui vous indique :

La Ville (Indice du mot) : Quel mot est regardé ?
L'adresse de la rue (Position d'atterrissage) : Exactement où sur ce mot l'œil se pose-t-il ? (par exemple, au début, au milieu ou à la fin).
La Durée de fixation (Durée) : Combien de temps l'œil reste-t-il là ?

Il génère ces trois éléments en chaîne, l'un après l'autre, tout comme un humain lisant en temps réel.

3. Le mode « Coach Personnel »

L'article présente également une version spéciale appelée Eyettention IIreader.
Imaginez que vous avez un coach de fitness générique qui connaît le rythme de course de la moyenne des gens. Mais que se passe-t-il si vous voulez un coach qui connaît votre style de course spécifique ? Cette version du modèle peut être « ajustée » à une personne spécifique (ou à un groupe de personnes). Si vous lui fournissez les données d'un lecteur spécifique, il apprend ses habitudes uniques — par exemple, il peut sauter les mots courts plus souvent, ou fixer plus longtemps les mots difficiles — et il peut ensuite simuler le mouvement oculaire de cette personne spécifique.

4. Quelle est sa performance ?

Les chercheurs ont testé ce modèle sur des textes anglais et chinois (deux langues très différentes). Ils l'ont comparé à :

Des modèles d'IA plus anciens : Le nouveau modèle l'emporte, prédisant les mouvements oculaires avec plus de précision.
Des modèles « cognitifs » classiques : Ce sont des modèles plus anciens, basés sur des règles, construits par des psychologues pour imiter la pensée humaine. Eyettention II les a également battus, montrant qu'une approche basée sur les données peut capturer des motifs complexes que des règles simples manquent.
Des humains réels : Curieusement, les mouvements oculaires « faux » du modèle étaient parfois plus similaires entre eux que les humains réels ne le sont entre eux. C'est parce que les vrais humains sont désordonnés et varient énormément, tandis que le modèle trouve le motif humain « moyen ».

5. Pourquoi avons-nous besoin d'un œil-tracker virtuel ?

L'article souligne trois raisons principales d'utiliser ce simulateur, toutes liées au gain de temps et d'argent :

Le « Test Pilote » (Planification d'expérience) : Avant qu'un scientifique ne lance une véritable expérience avec 50 personnes, il peut utiliser le simulateur pour « faire tourner » l'expérience 1 000 fois virtuellement. Cela l'aide à déterminer si ses supports de test sont bons et combien de personnes il doit réellement recruter. C'est comme un simulateur de vol pour les chercheurs.
L'« Augmenteur de Données » (Entraînement de l'IA) : Si vous voulez construire une IA qui comprend la lecture, vous avez besoin de tonnes de données d'oculométrie. Comme les données réelles sont rares, vous pouvez utiliser Eyettention II pour générer des millions de dossiers d'oculométrie « faux » pour entraîner votre IA, la rendant plus intelligente sans avoir besoin d'attacher des caméras à des milliers de personnes réelles.
L'outil du « Et si ? » : Les chercheurs peuvent l'utiliser pour voir comment différentes mises en page de texte ou différentes langues pourraient affecter la lecture, sans avoir à installer un équipement de laboratoire coûteux.

6. Une découverte surprenante : « Plus grand n'est pas meilleur »

Les chercheurs ont testé le modèle en utilisant différentes tailles de « cerveau » (Modèles de Langage) pour comprendre le texte. Ils ont trouvé un résultat contre-intuitif : les modèles plus petits fonctionnent mieux.

Ils ont utilisé des modèles d'IA massifs et complexes (comme ceux qui alimentent les chatbots avancés) pour comprendre le texte.
Ils ont également essayé des modèles plus petits et plus simples.
Résultat : Les modèles plus petits prédisaient mieux les mouvements oculaires humains. Il semble que pour la lecture, vous n'avez pas besoin d'un cerveau super complexe qui comprend la philosophie profonde ; vous avez besoin d'un modèle qui comprend la structure immédiate et superficielle de la phrase.

Résumé

Eyettention II est un programme informatique léger et efficace qui agit comme un « œil virtuel ». Il ne se contente pas de deviner quel mot vous allez lire ensuite ; il prédit exactement où votre œil va se poser sur ce mot et combien de temps il va fixer, imitant le comportement humain avec une grande précision. Il résout le problème du manque de données d'oculométrie réelles en générant des données « fausses » de haute qualité, ce qui aide les scientifiques à mieux planifier leurs expériences et à entraîner des systèmes d'IA plus intelligents.

Résumé Technique : Eyettention II

Énoncé du Problème
Les données d'oculométrie pendant la lecture offrent des perspectives critiques sur les processus cognitifs et les propriétés textuelles, stimulant des applications dans le traitement du langage naturel (NLP), telles que l'amélioration des modèles de langage (LM) et l'inférence des caractéristiques du lecteur. Cependant, le domaine est confronté à un goulot d'étranglement majeur : la rareté des données. La collecte de jeux de données d'oculométrie à grande échelle est gourmande en ressources, ce qui limite l'entraînement de modèles pilotés par les données et entrave la réplication des expériences psycholinguistiques. Les modèles computationnels existants reposent souvent sur des approches heuristiques et fondées sur des règles avec peu de paramètres pour garantir l'interprétabilité, ce qui limite leur capacité à capturer des motifs complexes et à se généraliser à travers différentes populations, langues et configurations expérimentales. De plus, les approches précédentes de l'apprentissage automatique se concentraient souvent soit sur les aspects spatiaux (emplacement de la fixation) soit sur les aspects temporels (durée de fixation agrégée) de manière isolée, échouant à générer des parcours de regard (scanpaths) complets et séquentiels qui capturent toute la dynamique de la lecture humaine.

Méthodologie
Les auteurs proposent Eyettention II, un modèle d'apprentissage profond léger, entraîné de bout en bout, conçu pour générer des parcours de regard réalistes consistant en un ensemble complet d'attributs de fixation dans un ordre chronologique.

Architecture à Double Séquence : L'innovation centrale traite de la nature « double séquence » de la donnée de lecture : la séquence linguistique (mots ordonnés par la grammaire) et la séquence temporelle (fixations ordonnées par le temps). Contrairement aux modèles de séquence standards ou aux architectures encodeur-décodeur qui alignent un unique entrée avec une unique sortie, Eyettention II utilise une structure à double encodeur bi-directionnel. Il utilise un Encodeur de Séquence de Mots (traitant le texte stimulus) et un Encodeur de Séquence de Fixations (traitant l'historique des fixations).
Attention Inter-Séquences : Le modèle aligne ces deux séquences à l'aide d'un mécanisme d'attention croisée avec une fenêtre locale. Cela simule le champ visuel humain en portant attention uniquement aux mots entourant le mot actuellement fixé, plutôt qu'à la phrase entière, préservant ainsi l'autoregressivité dans la dimension temporelle tout en exploitant un contexte linguistique riche.
Modules de Prédiction : Le modèle prédit trois attributs séquentiellement pour chaque fixation :
1. Indice du Mot ( $k$ ) : Une tâche de classification multi-classes prédisant quel mot sera fixé ensuite.
2. Position d'Atterrissage ( $l$ ) : Une tâche de régression prédisant le décalage horizontal normalisé au sein du mot (0 à 1).
3. Durée de Fixation ( $d$ ) : Une tâche de régression prédisant le temps passé sur la fixation.
Variante Spécifique au Lecteur : Les auteurs introduisent Eyettention II $_{reader}$ , qui incorpore un plongement (embedding) d'identifiant de lecteur entraînable. Cela permet au modèle d'apprendre et de reproduire les schémas de lecture caractéristiques d'individus ou de groupes spécifiques.
Entraînement : Le modèle est optimisé à l'aide d'une fonction de perte combinée composée de la log-vraisemblance négative (NLL) pour l'indice du mot et de l'erreur quadratique moyenne (MSE) pour la position d'atterrissage et la durée. Il utilise des modèles de langage de grande taille (LLM) pré-entraînés comme BERT ou RoBERTa comme cœur de l'Encodeur de Séquence de Mots, qui sont gelés pendant l'entraînement, suivis d'une couche BiLSTM.

Contributions Clés

Génération de Parcours de Regard Complets : Eyettention II est le premier modèle à prédire simultanément l'emplacement de la fixation, la position d'atterrissage intra-mot et la durée de fixation dans un cadre unique et de bout en bout, dépassant les limites de la prédiction de seuls les emplacements de fixation ou des durées agrégées.
Performance de l'État de l'Art : Le modèle affiche des performances supérieures tant dans les évaluations intra-jeu de données que croisées par rapport aux modèles cognitifs existants (E-Z Reader, SWIFT) et aux bases de référence de l'apprentissage automatique.
Validité Psycholinguistique : Le modèle reflète avec succès le comportement de regard humain, reproduisant des phénomènes psycholinguistiques clés tels que les effets de la fréquence lexicale, de la longueur des mots et de la surprisal sur les durées de fixation et les régressions.
Adaptabilité au Lecteur : L'introduction de la variante spécifique au lecteur démontre que le modèle peut efficacement simuler des styles de lecture individuels, une capacité cruciale pour les applications personnalisées.
Utilité pour la Planification Expérimentale : Les auteurs démontrent l'utilité du modèle pour mener des analyses de puissance statistique et piloter des expériences psycholinguistiques, montrant que les données simulées peuvent fournir des estimations réalistes de la taille d'effet, particulièrement lorsqu'elles sont combinées avec une stratégie de pré-entraînement et de fine-tuning pour les petits jeux de données.

Résultats

Performance Quantitative : Sur les jeux de données anglais (CELER) et chinois (BSC), Eyettention II a surpassé les modèles de référence (incluant E-Z Reader, SWIFT et les versions précédentes d'Eyettention) sur toutes les métriques : prédiction de l'indice du mot (NLL), position d'atterrissage (MAE), durée de fixation (MAE) et similitude globale du parcours de regard (MultiMatch).
Généralisation : Dans les évaluations croisées de jeux de données (entraînement sur CELER, test sur ZuCo), le modèle a montré des baisses de performance significatives lorsqu'il était entraîné à partir de zéro sur les données cibles. Cependant, une stratégie de pré-entraînement et de fine-tuning (pré-entraînement sur un large jeu de données source et fine-tuning sur un petit jeu de données cible) a efficacement restauré les performances, permettant une modélisation précise même avec des données cibles limitées.
Alignement Psycholinguistique : Les analyses mixtes bayésiennes ont confirmé qu'Eyettention II capture la direction et l'ampleur des effets de la longueur des mots, de la fréquence et de la surprisal de manière similaire aux lecteurs humains, surpassant les modèles cognitifs traditionnels dans de nombreuses mesures.
Aperçus de l'Architecture du Modèle :
- Taille du LM : Contrairement aux lois d'échelle générales, les modèles de langage plus petits (ex: BERT/RoBERTa 110M) fournissaient de meilleures caractéristiques linguistiques pour la prédiction du parcours de regard que les modèles plus grands (jusqu'à 7 milliards de paramètres).
- Profondeur des Couches : Les couches inférieures de BERT étaient plus prédictives des aspects spatiaux (indice du mot, position d'atterrissage), tandis que les couches supérieures étaient plus influentes pour les aspects temporels (durée de fixation).
Stratégies de Décodage : Le choix de la stratégie de décodage (Greedy, Échantillonnage de Température, Échantillonnage de Noyau/Nucleus) permet un compromis entre la génération de parcours de regard « moyens » à haute probabilité et des parcours plus diversifiés et variables. L'échantillonnage de noyau ( $p=0.7$ ) et l'échantillonnage à faible température ( $t=0.04$ ) ont donné les meilleurs résultats pour différents jeux de données.

Signification et Revendications
L'article affirme qu'Eyettention II représente une avancée significative dans la modélisation du comportement de lecture humaine en comblant le fossé entre la théorie cognitive et l'apprentissage profond piloté par les données. Sa principale importance réside dans sa capacité à générer des parcours de regard complets et réalistes avec des exigences de données limitées, ce qui en fait un outil polyvalent pour :

Applications NLP : Pré-entraînement ou fine-tuning de modèles de langage augmentés par le regard et inférence des caractéristiques du lecteur sans nécessiter de données d'oculométrie en temps réel pour chaque entrée.
Recherche Psycholinguistique : Facilitation du pilotage des matériels expérimentaux et réalisation d'analyses de puissance statistique pour atténuer la crise de la réplication causée par de petits échantillons.
Aperçu Théorique : Fournir un outil piloté par les données pour étudier quels traits linguistiques et visuels guident le comportement de lecture humaine, en découvrant des motifs non explicitement encodés dans les modèles cognitifs théoriques.

Les auteurs maintiennent une position modeste, reconnaissant que bien que le modèle capture des phénomènes clés, il n'est pas totalement interprétable comme les modèles cognitifs fondés sur des règles. Ils notent qu'un affinement supplémentaire est nécessaire pour mieux correspondre à la variabilité humaine dans les mesures binaires (comme les probabilités de régression) et pour améliorer les performances sur les jeux de données chinois par rapport aux anglais. Le travail souligne que le modèle est un outil pour générer des hypothèses et simuler des données, plutôt qu'un remplacement complet de l'expérimentation humaine.