Sure About That Line? Approaching Confidence-Based, Real-Time Line Assignment in Reading Gaze Data

1. Énoncé du problème

L'article aborde un goulot d'étranglement critique dans les technologies de lecture assistée (par exemple, la mise en surbrillance des mots pilotée par le regard, les outils de lecture à voix haute) et la recherche sur le suivi oculaire : l'affectation de ligne en temps réel et fiable dans les scénarios de lecture multi-lignes.

• Le défi central : Les données de suivi oculaire, en particulier celles provenant de systèmes à distance ou basés sur des webcams, souffrent de bruit vertical (dérive, pente, tremblement spatial). Cela rend difficile la détermination de la ligne de texte que l'utilisateur lit actuellement, en se basant uniquement sur la coordonnée $y$ d'une fixation.
• Limites des solutions existantes :
  • Méthodes a posteriori : La plupart des algorithmes actuels (par exemple, le lissage dynamique, le regroupement) nécessitent que toute la session de lecture soit enregistrée avant traitement. Ils ne peuvent pas prendre en charge l'interaction en temps réel.
  • Méthodes heuristiques ou basées sur des contraintes : Les systèmes en temps réel limitent souvent le comportement naturel de lecture (par exemple, en interdisant les régressions/relectures ou en imposant une progression séquentielle stricte) pour éviter les erreurs.
  • Méthodes basées sur l'apprentissage : Les approches d'apprentissage profond (Transformers, CNN) nécessitent souvent de grands ensembles de données étiquetés, une accélération GPU et un prétraitement, ce qui les rend inadaptés aux dispositifs d'assistance à faible latence et prêts à l'emploi.
• Vulnérabilité spécifique : Les enfants et les lecteurs débutants présentent des schémas de regard plus variables, des régressions fréquentes et des niveaux de bruit plus élevés, ce qui entraîne l'échec des algorithmes existants ou nécessite une correction manuelle.

2. Méthodologie : CONF-LA

Les auteurs proposent CONF-LA (Confidence-score-based Online Fixation-to-Line Assignment), une approche structurée et à faible latence qui intègre des preuves spatiales avec des a priori comportementaux.

Principes algorithmiques fondamentaux

CONF-LA traite l'affectation de ligne comme un problème d'inférence probabiliste plutôt que comme une correspondance géométrique déterministe. Il fonctionne sur le principe : « N'affectez une fixation à une ligne que si le score de confiance dépasse un seuil formel ; sinon, reportez la décision. »

Le système modélise la relation entre les lignes et la position du regard à l'aide d'un Modèle de Markov Caché Non Homogène (HMM) :

1. États cachés ($X_i$) : Indices de ligne discrets.
2. Observations ($Y_i$) : Position $y$ continue de la fixation.
3. Probabilité d'émission : Une distribution gaussienne centrée sur la coordonnée $y$ de la ligne. Le modèle permet un décalage adaptatif ($\mu_{shift}$) pour tenir compte de la dérive verticale, qui se met à jour dynamiquement en fonction des tendances de correction récentes.
4. Probabilité de transition : Une matrice sensible au contexte ($L$) codant les a priori comportementaux de la lecture experte :
   • Lecture standard : Forte probabilité de rester sur la même ligne ($L_{l,l} = 0,85$).
   • Transitions de ligne : Probabilité modérée de passer à la ligne suivante ($L_{l,l+1} = 0,1$).
   • Régressions : Faible probabilité de revenir en arrière ($L_{l+1,l} = 0,03$).
   • Mises à jour contextuelles : La matrice de transition s'ajuste dynamiquement en fonction de la vitesse des saccades (une vitesse élevée suggère un balayage de retour/changement de ligne) et des changements soudains de position $x$ (de grands sauts horizontaux suggèrent une transition de ligne).

Inférence et logique de décision

L'algorithme traite les données par segments de taille $S$ (où $S=1$ correspond au temps réel pur, et $S>1$ permet un lissage local) :

1. Calcul du postérieur : Pour chaque fixation, il calcule une distribution de probabilité postérieure sur toutes les lignes possibles.
2. Score de confiance : Il calcule un score de confiance ($c_i$) comme la probabilité postérieure maximale.
3. Seuillage :
   • Si $c_i \geq C$ (seuil) : La fixation est affectée à la ligne ayant le postérieur le plus élevé.
   • Si $c_i < C$ : L'affectation est reportée. La coordonnée $y$ originale est conservée et la fixation reste non affectée.
4. Résolution des cas reportés :
   • Filtre temporel local : Un passage avant-arrière à court horizon au sein du segment résout les ambiguïtés.
   • Vote des voisins : Si une fixation reste non affectée, l'algorithme vérifie les fixations voisines. Si un pourcentage suffisant de voisins s'accorde sur une ligne spécifique avec une haute confiance, la fixation non affectée est mise à jour.

3. Contributions clés

1. Stratégie de report basée sur la confiance : Contrairement aux travaux antérieurs qui imposent une affectation pour chaque fixation (entraînant des erreurs), CONF-LA modélise explicitement l'incertitude. Il ne corrige les données que lorsque le modèle est « sûr », préservant les données brutes pour les cas ambigus.
2. Faisabilité en temps réel : L'algorithme atteint une latence moyenne par fixation de 0,348 ms sur des CPU standards, comblant l'écart entre les performances hors ligne et en ligne.
3. A priori comportementaux sans entraînement : Le modèle utilise des règles de transition codées en dur et sensibles au contexte, dérivées de la théorie de la lecture (Rayner, 1998), plutôt que de nécessiter un entraînement supervisé à grande échelle. Cela le rend agnostique à la mise en page et prêt à l'emploi.
4. Robustesse aux régressions : La méthode prend explicitement en charge la relecture et les sauts en arrière, une fonctionnalité souvent exclue dans les outils d'assistance en temps réel.
5. Implémentation open-source : Les auteurs fournissent un code open-source et des benchmarks par rapport à l'ensemble de données standard de Carr et al. (2022).

4. Résultats et évaluation

Les auteurs ont évalué CONF-LA sur l'ensemble de données Carr et al. (adultes et enfants) et l'ensemble de données MECOde, en le comparant à 9 algorithmes de base (par exemple, attach, chain, cluster, DTW).

• Précision vs Latence :
  • Ad Hoc (Temps réel, $S=10$) : CONF-LA a atteint 95 % de précision pour les adultes et 94,2 % pour les enfants, surpassant nettement l'algorithme de base attach (87,7 % / 87,7 %).
  • Post Hoc ($S=N$) : Les performances étaient comparables aux méthodes post-hoc les plus avancées (96,6 % contre 93,5 % pour attach), démontrant que l'approche en ligne ne sacrifie pas la précision pour la vitesse.
• Résilience au bruit et aux distorsions :
  • CONF-LA a montré une invariance à la taille des segments, maintenant une haute précision même lors de la réduction du tampon de prévision.
  • Il a excellé sous distorsions de régression (au sein de la ligne et entre les lignes), là où d'autres algorithmes échouaient.
  • Il a démontré une robustesse dans les données de faible fidélité (conditions simulées de webcams avec échantillonnage à 30 Hz et bruit spatial), surpassant les bases de référence d'environ 10-11 %.
• Généralisation : Lorsqu'il a été testé sur l'ensemble de données MECOde sans réajustement des paramètres, CONF-LA a maintenu une performance supérieure à la base de référence, prouvant sa capacité à se généraliser à travers différents protocoles expérimentaux.
• Limites : L'algorithme a montré une sensibilité aux distorsions extrêmes de pente et de dérive, probablement en raison de la nature fixe du modèle d'émission gaussien. De plus, les scores de confiance se sont révélés mal calibrés (trop confiants à haute précision, peu confiants à basse), limitant leur utilisation directe dans des tâches probabilistes en aval sans calibration supplémentaire.

5. Importance et impact futur

• Permettre les technologies d'assistance : CONF-LA fournit la première solution robuste et en temps réel pour l'affectation de ligne qui prend en charge les comportements naturels de lecture (régressions, sauts) sans nécessiter de contraintes d'interface utilisateur restrictives ou d'infrastructure lourde d'apprentissage automatique.
• Interprétabilité : En émettant des scores de confiance et une incertitude explicite, le système permet aux développeurs de créer des interfaces qui s'adaptent à la fiabilité de l'utilisateur (par exemple, en retardant la mise en surbrillance si le système n'est pas sûr).
• Accessibilité : La nature à faible latence et compatible CPU de l'algorithme le rend accessible pour un déploiement sur des appareils grand public (ordinateurs portables, tablettes) et des suiveurs oculaires peu coûteux, démocratisant l'accès au soutien à la lecture basé sur le regard pour les enfants et les utilisateurs neurodivergents.
• Voies futures : Les auteurs suggèrent de passer vers des modèles probabilistes entièrement paramétrés (par exemple, en utilisant des distributions de Dirichlet pour les transitions) afin d'améliorer le calibrage de la confiance et de permettre un réglage adaptatif des paramètres basé sur le comportement individuel de l'utilisateur.

En résumé, CONF-LA représente un passage de la « correction forcée » à l'« inférence consciente de la confiance », offrant une fondation stable et en temps réel pour la prochaine génération de systèmes de soutien à la lecture basés sur le regard.