⚡ electrical engineering

Establishing Robust Retinal Eye Tracking: A Weakly Supervised Algorithmic Framework

Ce papier propose un cadre novateur d'apprentissage faiblement supervisé pour un suivi robuste du regard rétinien, surpassant les méthodes traditionnelles de correspondance de modèles en atteignant une erreur de regard au 95e percentile inférieure à 0,45 degré.

Auteurs originaux : Bo Wen, Dillon Lohr, Yatong An, Pushkar Anand, Alexander Fix, Ruobing Qian, Catherine A. Fromm, Yimin Ding, Truong Nguyen, Mohamed El-Haddad, Francesco La Rocca

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Wen, Dillon Lohr, Yatong An, Pushkar Anand, Alexander Fix, Ruobing Qian, Catherine A. Fromm, Yimin Ding, Truong Nguyen, Mohamed El-Haddad, Francesco La Rocca

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Voir le Monde à Travers le « Sol » de l'Œil

Imaginez que vous essayez de déterminer exactement où une personne regarde. La plupart des appareils modernes (comme les casques de réalité virtuelle) le font en observant la pupille (le point noir) ou la cornée (la surface transparente à l'avant). C'est comme essayer de deviner où va une voiture en regardant ses phares. Cela fonctionne, mais ce n'est pas super précis.

Ce document propose une approche différente : le Suivi Oculaire Rétinien. Au lieu de regarder l'avant de l'œil, cette méthode observe l'arrière de l'œil (la rétine). Imaginez la rétine comme le « sol » à l'intérieur d'une pièce. Lorsque vous tournez la tête, la vue du sol se déplace. En suivant exactement comment ce « sol » bouge, l'ordinateur peut localiser votre regard avec une précision incroyable.

Le Problème : Un Appareil Photo Tremblant dans une Chambre Brumeuse

Les auteurs expliquent que, bien que regarder la rétine soit une excellente idée, c'est difficile à mettre en pratique.

Le Défi : La rétine n'est pas un mur blanc lisse ; elle est couverte de détails minuscules comme des vaisseaux sanguins et des fibres nerveuses. Cependant, dans les systèmes de suivi haute résolution, l'appareil photo ne voit qu'une minuscule tranche de ce « sol » (un petit champ de vision).
L'Analogie : Imaginez essayer de vous orienter dans une ville en regardant une seule brique sur un trottoir. Si vous bougez ne serait-ce qu'un peu, cette brique pourrait disparaître, ou l'éclairage pourrait changer, la faisant paraître complètement différente. Les méthodes existantes tentent de faire correspondre ces « briques » en utilisant des mathématiques anciennes (correspondance de modèles), mais si l'angle change ou si l'éclairage varie, l'ordinateur se perd et perd la trace.
L'Absence de Carte : Parce que l'appareil photo voit une si petite zone, il n'y a souvent pas assez de « repères » (comme des vaisseaux sanguins) pour construire une carte fiable.

La Solution : Une « Carte Magique » et un « Super-Améliorateur »

L'équipe de Meta Reality Labs et de l'UC San Diego a construit un nouveau système pour résoudre ce problème. Ils l'appellent un Cadre Algorithmique Faiblement Supervisé. Voici comment cela fonctionne, décomposé en trois étapes simples :

1. Construire la « Carte Magique » (Espace de Caractéristiques Canonique)

Au lieu d'essayer de assembler de nombreuses photos floues en une seule image géante et parfaite (ce qui crée souvent un désordre flou et confus), ils font quelque chose de plus intelligent.

L'Analogie : Imaginez que vous avez un puzzle, mais que les pièces ont légèrement différentes couleurs selon la lumière. Au lieu de les coller ensemble pour faire une image, vous créez un système de coordonnées numériques. Vous prenez chaque « caractéristique » unique (un nœud spécifique dans le grain du bois, une veine spécifique) et vous lui attribuez une adresse permanente sur une carte maîtresse.
Le Résultat : Ils créent un « Espace de Caractéristiques Canonique ». C'est une carte partagée et stable où chaque caractéristique a un emplacement fixe, indépendamment de la photo dont elle provient. Cela évite le problème du « désordre flou » du montage d'images traditionnel.

2. Le « Super-Améliorateur » (Amélioration d'Image Conjointe)

La rétine peut avoir une apparence très différente selon la façon dont l'œil est focalisé ou comment la lumière la frappe.

L'Analogie : Imaginez essayer de lire un panneau dans le brouillard. Un appareil photo normal ne voit qu'un flou. Ce système possède un « anti-brouillard » intégré. Il utilise un réseau de neurones pour éclaircir et affiner l'image juste assez pour faire ressortir les détails cachés, sans changer la forme réelle des caractéristiques.
L'Astuce : Ils entraînent l'ordinateur à faire deux choses à la fois : rendre l'image plus claire et trouver les « points clés » (repères) dans cette image plus claire.

3. Le « Détective Intelligent » (Enregistrement Faiblement Supervisé)

Habituellement, pour entraîner un ordinateur à reconnaître des choses, vous avez besoin de milliers de photos avec des étiquettes parfaites (par exemple : « Ce pixel est une veine »). C'est très difficile à obtenir pour les yeux.

L'Analogie : Au lieu d'embaucher un professeur pour corriger chaque réponse individuelle, le système utilise un « superviseur faible ». Il n'a besoin que de quelques suppositions grossières (comme « ces deux points sont à peu près au même endroit »). L'ordinateur apprend ensuite à affiner ces suppositions grossières par lui-même.
Le Processus : Il prend une nouvelle photo, trouve les repères et les fait correspondre à la « Carte Magique » créée à l'étape 1. Il calcule ensuite exactement de combien la photo s'est déplacée par rapport au centre, ce qui indique à l'ordinateur exactement où la personne regarde.

Les Résultats : Une Nouvelle Référence

L'équipe a testé cela à la fois sur un œil factice (un fantôme) et sur de vrais volontaires humains.

La Compétition : Ils ont comparé leur méthode aux techniques anciennes (comme SIFT et ORB) et à d'autres méthodes d'apprentissage profond modernes.
Le Score : La nouvelle méthode a été une grande gagnante.
- Anciennes méthodes : Manquaient parfois le coup de plusieurs degrés (comme regarder dans la mauvaise pièce d'une maison).
- Nouvelle méthode : A atteint une erreur inférieure à 0,45 degré 95 % du temps.
L'Analogie : Si les anciennes méthodes étaient comme deviner un emplacement dans tout un pâté de maisons, cette nouvelle méthode consiste à localiser exactement la porte d'entrée d'une maison.

Pourquoi Cela Compte (Selon le Document)

Le document affirme qu'il s'agit d'une méthode robuste et précise pour suivre les yeux. Elle fonctionne même lorsque :

La vue est très petite (haute résolution).
Il n'y a pas de gros vaisseaux sanguins à observer.
L'éclairage ou la mise au point change.

En utilisant cette approche de « Carte Magique » et le « Super-Améliorateur », le système peut suivre votre regard avec un niveau de précision qui était auparavant difficile à atteindre dans des conditions réelles.

Résumé Technique : Établissement d'un Suivi Oculaire Rétinien Robuste via un Cadre Algorithmique Faiblement Supervisé

1. Énoncé du Problème

Le suivi oculaire basé sur l'imagerie rétinienne offre le potentiel d'une précision du regard significativement supérieure par rapport aux méthodes traditionnelles basées sur la pupille ou la cornée utilisées en RA/RV, car il mesure le regard directement en observant la distribution de la lumière sur la rétine par rapport à la fovéa. Cependant, les algorithmes existants reposent principalement sur l'enregistrement par appariement de modèles classiques (par exemple, corrélation croisée) ou sur des techniques d'enregistrement par apprentissage profond standard. Ces approches rencontrent des limitations critiques dans les scénarios réels de suivi rétinien :

Variabilité des Caractéristiques : Les performances se dégradent sous de grands changements de regard et d'accommodation, qui induisent des variations complexes des caractéristiques rétiniennes dues aux changements d'angle de vue et de profondeur de mise au point.
Petit Champ de Vision (FoV) : Les systèmes de suivi rétinien haute résolution ont souvent de petits champs de vision (<10°). Dans ces régions, les caractéristiques vasculaires robustes (artères et veines) sont fréquemment absentes ou clairsemées, rendant les méthodes d'enregistrement dépendantes des vaisseaux inefficaces.
Dégradation de l'Image : Les méthodes traditionnelles qui assemblent plusieurs images en une carte de référence explicite souffrent d'une dégradation des caractéristiques due aux artefacts de mélange d'images, même avec un enregistrement parfait, car l'apparence rétinienne varie d'une image à l'autre au même emplacement anatomique.

2. Méthodologie

Les auteurs proposent un cadre novateur, faiblement supervisé et basé sur l'apprentissage, conçu pour fonctionner de manière robuste avec l'imagerie rétinienne à petit champ de vision. Le système se compose de trois étapes principales :

A. Construction de l'Espace de Caractéristiques Canonique

Au lieu de créer une carte de référence explicite et mélangée, les auteurs introduisent un Espace de Caractéristiques Canonique (CFS).

Processus : Un balayage rétinien en grille rectangulaire est acquis. En partant d'une image de référence centrale (regard à 0°, 0°), un enregistrement par paires est effectué entre les images adjacentes.
Ajustement de Faisceau : Un algorithme d'ajustement de faisceau estime la pose spatiale de toutes les images au sein du balayage.
Transformation des Caractéristiques : Les points d'intérêt détectés sont conservés à leurs emplacements estimés et transformés dans un système de coordonnées canonique partagé (originaire du centre de l'image de référence). Crucialement, les descripteurs d'image originaux sont préservés sans mélange, évitant ainsi la dégradation des caractéristiques.
Estimation du Regard : Le regard est estimé en faisant correspondre une image source à ce CFS, en localisant le centre de l'image dans les coordonnées canoniques, et en convertissant le déplacement en pixels en angles de regard via l'étalonnage du système.

B. Modèle d'Enregistrement Faiblement Supervisé

Un modèle d'apprentissage profond spécialisé gère à la fois la construction du CFS et l'estimation subséquente du regard. Il présente deux innovations clés :

Amélioration d'Image et Description de Points d'Intérêt Conjoints :
- Le modèle utilise un réseau d'amélioration d'image léger (Zero-DCE) comme colonne vertébrale pour prédire des ajustements de courbes polynomiales par pixel.
- Il emploie une colonne vertébrale SuperPoint (encodeur partagé, deux têtes de décodeur) pour la détection et la description des points d'intérêt.
- Stratégie d'Entraînement : Comme l'obtention de points d'intérêt de référence (ground-truth) est irréalisable pour les images rétiniennes, l'encodeur et le détecteur sont figés en utilisant des poids préentraînés sur un ensemble de données synthétique, non rétinien. Le décodeur de descripteur est affiné en utilisant une perte triplet.
- Perte de Préservation des Points d'Intérêt : Une nouvelle fonction de perte ( $L_{kp}$ ) encourage le réseau d'amélioration à produire des images où le détecteur préentraîné identifie plus de points d'intérêt et génère des descripteurs plus robustes, sans nécessiter de nouvelles annotations de référence.
Rejet des Valeurs Aberrantes :
- Des correspondances grossières sont établies via un appariement bidirectionnel (plus proche voisin mutuel).
- Un réseau de neurones graphiques attentionnel (adapté de SuperGlue) prédit des scores de confiance pour ces correspondances.
- Faible Supervision : Le modèle est entraîné en utilisant uniquement une matrice de translation de référence grossière (dérivée de l'annotation manuelle de 3+ correspondances par paire) plutôt que des correspondances de référence denses. Un biais aléatoire est appliqué aux emplacements cibles pendant l'entraînement pour améliorer la généralisation.

C. Estimation Finale du Regard

Pour chaque image source dans une séquence vidéo, les caractéristiques sont extraites et mises en correspondance avec le CFS. L'estimation finale du regard est calculée comme une moyenne pondérée par le score de correspondance des déplacements entre le centre de l'image source et les points correspondants dans l'espace canonique.

3. Contributions Clés

L'article expose trois contributions principales :

Cadre Algorithmique Novateur : Une approche faiblement supervisée pour le suivi oculaire rétinien qui améliore significativement la robustesse et la précision par rapport aux méthodes de l'état de l'art, en s'attaquant spécifiquement aux défis du petit champ de vision et de la rareté des caractéristiques.
Enregistrement dans l'Espace de Caractéristiques Canonique : Une méthode qui construit une carte de référence dans un espace de caractéristiques plutôt que dans l'espace des pixels, préservant les caractéristiques d'image originales et évitant les artefacts de mélange tout en permettant un appariement de caractéristiques robuste.
Modèle d'Enregistrement Spécialisé : Un modèle conjoint d'amélioration d'image et de description de caractéristiques fonctionnant sous faible supervision, utilisant une perte de préservation des points d'intérêt pour adapter des détecteurs préentraînés à l'imagerie rétinienne sans nécessiter d'annotations de référence denses.

4. Résultats Expérimentaux

La méthode a été évaluée sur des ensembles de données d'yeux fantômes et d'yeux réels (6 participants humains) sur une plage de regard de ±5°.

Métriques de Performance : La méthode proposée a atteint une erreur de regard au 95e percentile ( $E_{95}$ ) de < 0,45° (spécifiquement 0,38° sur les yeux réels) sur l'ensemble de la cohorte.
Comparaisons : Comme indiqué dans le Tableau 1, la méthode proposée surpasse significativement les méthodes classiques (SIFT, ORB), les enregistreurs d'apprentissage profond généraux (SuperPoint, SuperGlue) et une méthode de suivi rétinien de l'état de l'art (Substrip NCC).
- Erreur Moyenne sur Yeux Réels : Proposée (0,18°) vs Substrip NCC (2,10°) vs SuperGlue (1,41°).
- $E_{95}$ sur Yeux Réels : Proposée (0,38°) vs Substrip NCC (8,06°) vs SuperGlue (3,55°).
Étude d'Ablation : Le Tableau 3 démontre que la suppression de n'importe quel composant dégrade les performances. Notamment, la suppression de l'Enregistrement dans l'Espace de Caractéristiques Canonique (CFSR) a provoqué une chute massive de la précision (l'erreur moyenne est passée de 0,18° à 4,51°), soulignant l'importance d'éviter le mélange d'images. Le module de rejet des valeurs aberrantes était également crucial pour maintenir des taux d'erreur faibles.

5. Importance et Revendications

Les auteurs affirment que ce travail établit un cadre robuste, précis et pratique pour le suivi oculaire basé sur l'imagerie rétinienne. L'importance réside dans :

Robustesse à la Variabilité : La capacité à suivre le regard de manière fiable malgré les changements d'angle de vue, d'accommodation et la rareté des caractéristiques vasculaires dans les images à petit champ de vision.
Évolutivité : L'algorithme « plus léger » prend en charge à la fois la construction de la carte de référence et l'estimation du regard en utilisant un seul modèle entraîné, évitant ainsi le besoin de pipelines complexes multi-étapes.
Praticité : La nature faiblement supervisée de l'entraînement réduit la dépendance aux annotations de référence denses difficiles à obtenir, rendant l'approche plus réalisable pour un déploiement dans le monde réel.

L'article conclut que, bien que les résultats actuels soient prometteurs, les travaux futurs pourraient investiguer des étapes de fine alignement (par exemple, flux optique) et étendre l'évaluation à des cohortes plus grandes et plus diversifiées avec des plages de regard plus larges.