💻 computer science

Low Latency Gaze Tracking via Latent Optical Sensing

Ce papier présente un système de suivi du regard en temps réel à ultra-faible latence qui contourne le traitement d'image traditionnel en utilisant un encodeur optique passif avec une matrice de microlentilles et un masque binaire pour capturer directement des caractéristiques latentes pertinentes pour la tâche, atteignant une latence de bout en bout de 3,4 ms et une efficacité énergétique améliorée par rapport aux approches conventionnelles basées sur des caméras.

Auteurs originaux : Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner où quelqu'un regarde. La méthode traditionnelle consiste à prendre une photographie haute définition, 4K, de son œil, à envoyer ce fichier massif à un supercalculateur et à demander à l'ordinateur d'analyser chaque pixel individuel pour déterminer la direction du regard. C'est précis, mais c'est lent, consomme beaucoup de batterie et nécessite beaucoup de données à transférer.

Ce papier propose une méthode complètement différente, un « raccourci ». Au lieu de prendre une image complète, ils ont conçu un filtre optique spécial qui agit comme un tamis intelligent.

Voici comment leur système fonctionne, décomposé en concepts simples :

1. Le « Tamis Intelligent » (L'encodeur optique)

Imaginez que vous avez un seau d'eau (la lumière provenant de l'œil) et que vous voulez savoir s'il pleut fort ou légèrement. Au lieu de capturer chaque goutte dans un filet géant et de les compter une par une (prendre une photo complète), vous versez l'eau à travers un tamis doté d'un motif de trous très spécifique et sur mesure.

Le Matériel : Les chercheurs ont construit un dispositif avec une matrice de microlentilles (une feuille de minuscules loupes) et un masque binaire (une feuille avec un motif spécifique de carrés noirs et argentés).
La Magie : Lorsque la lumière de l'œil traverse ce « tamis », elle est brouillée en un motif spécifique. Le système ne se soucie pas de l'apparence de l'œil (pas de couleur de l'iris, pas de teint de peau, pas de détails). Il ne se soucie que du motif d'intensité lumineuse qui passe à travers.
Le Résultat : Au lieu d'une image de 256x256 pixels (plus de 65 000 points de données), le système ne capture que 16 nombres. C'est comme compresser un roman entier en une seule phrase qui vous raconte toujours l'intrigue principale.

2. Le « Traducteur Léger » (Le décodeur IA)

Une fois que le système a ces 16 nombres, il ne tente pas de reconstruire l'image de l'œil. Ce serait une perte de temps. Au lieu de cela, il alimente ces 16 nombres dans un petit cerveau informatique ultra-rapide (un réseau de neurones léger).

Astuce d'Entraînement : Pour enseigner à ce petit cerveau, les chercheurs ont utilisé une IA « professeur » qui sait comment transformer les images d'yeux en codes abstraits. Ils ont appris au nouveau système à imiter le « processus de pensée » du professeur en utilisant uniquement les 16 nombres.
Bonus Vie Privée : Parce que le système ne voit ni ne stocke jamais une vraie photo de l'œil, il est naturellement plus respectueux de la vie privée. Vous ne pouvez pas identifier la personne à partir des 16 nombres, mais le système peut toujours vous dire exactement où elle regarde.

3. Le Record de Vitesse (Latence)

Le plus grand avantage ici est la vitesse.

Caméras Traditionnelles : Doivent attendre que l'image entière soit prise, puis lire tous les pixels, puis les traiter. Cela prend généralement 10 à 20 millisecondes (ou plus).
Ce Système : Parce qu'il saute l'étape de « prise de photo » et ne lit que 16 petits capteurs, l'ensemble du processus — de la lumière frappant le capteur à l'ordinateur disant « ils regardent à gauche » — prend moins de 3,4 millisecondes.

L'Analogie :
Pensez à un système de caméra traditionnel comme à un photographe qui prend une photo, l'imprime, la porte à un critique d'art et demande : « Où la personne regarde-t-elle ? »
Ce nouveau système est comme un gardien de sécurité qui ne regarde pas du tout le visage de la personne. Au lieu de cela, il regarde simplement l'ombre que la personne projette sur un mur spécifique. L'ombre est déformée et méconnaissable comme un visage, mais le gardien sait exactement dans quelle direction la personne fait face en se basant sur la forme de l'ombre. C'est instantané, ne nécessite aucune photo et utilise très peu d'énergie.

Ce Qu'ils Ont Réellement Accompli

Précision : Lors des tests, le système a deviné la direction du regard avec une erreur d'environ 6 degrés (environ la largeur d'un pouce tenu à bras tendu). C'est suffisant pour de nombreuses utilisations réelles.
Test Réel : Ils ont construit un prototype physique avec de vraies lentilles, masques et capteurs. Lorsqu'ils l'ont testé sur de vraies personnes, ils n'ont eu besoin de montrer à la personne que 12 à 15 points différents sur un écran pour « calibrer » le système pour cette personne spécifique, et cela a bien fonctionné.
Efficacité : Le système utilise une infime fraction de la puissance de calcul requise par les caméras standard. Il est si efficace qu'il pourrait fonctionner sur de très petits appareils alimentés par batterie, comme des lunettes de réalité augmentée futures.

En Résumé :
Le papier démontre que vous n'avez pas besoin d'une caméra haute définition pour suivre le mouvement des yeux. En utilisant un filtre optique astucieux pour brouiller la lumière en un petit ensemble de nombres, et une IA simple pour lire ces nombres, vous pouvez suivre où quelqu'un regarde en moins de 4 millisecondes. C'est assez rapide pour suivre le cerveau humain, ce qui le rend parfait pour les lunettes de réalité virtuelle et de réalité augmentée de nouvelle génération où le lag provoque le mal des transports.

Énoncé du problème

Les systèmes de suivi du regard conventionnels reposent sur des caméras haute résolution pour capturer des images complètes de l'œil, suivies d'une inférence par réseaux de neurones profonds. Bien que précis, cette approche introduit une surcharge significative en termes de détection, de bande passante et de calcul, due à la nécessité de lire et de traiter des millions de pixels. Cette latence dépasse souvent le seuil de 5 ms requis pour les écrans AR/VR portables de nouvelle génération afin de prendre en charge l'interaction en temps réel et le rendu fovéal sans perturber l'immersion de l'utilisateur. Les solutions légères ou basées sur les événements existantes nécessitent souvent encore une agrégation temporelle ou une reconstruction de type image, échouant ainsi à éliminer le goulot d'étranglement fondamental de l'acquisition et du traitement d'images pleine trame.

Méthodologie

Les auteurs proposent un système optique entièrement passif qui contourne totalement la formation explicite d'images. Au lieu de capturer une image dense, le système effectue un codage optique orienté tâche pour acquérir directement une représentation latente compacte et de faible dimension de l'œil.

1. Encodeur optique et architecture matérielle
Le cœur du système est un « encodeur optique latent » composé de trois éléments principaux :

Réseau de microlentilles (MLA) : Un réseau de lentilles de Fresnel qui réduit l'image de l'œil.
Masque binaire en chrome : Un masque binaire conçu conjointement, placé au plan focal du MLA.
Réseau de phototransistors : Un réseau 4×4 (16 éléments) qui capture les mesures optiques multiplexées spatialement.
La lumière provenant de l'œil traverse le MLA et est modulée par le masque binaire. L'intensité codée résultante est capturée directement par les phototransistors, produisant un vecteur de mesure à 16 dimensions. Ce matériel est intégré à un FPGA pour une acquisition rapide du signal.

2. Cadre d'entraînement de bout en bout
Le système est entraîné à l'aide d'un pipeline simulation-réalité qui optimise conjointement les masques de codage optique et le réseau d'inférence numérique :

Émulation numérique : Un encodeur numérique différentiable $\tilde{E}$ simule le processus optique en utilisant 16 masques binaires appris (résolution $256 \times 256$ ) appliqués aux images d'entrée de l'œil.
Distillation latente : Pour garantir que les 16 mesures contiennent suffisamment d'informations, le système emploie une approche de distillation « enseignant-élève ». Un réseau enseignant ( $P_T$ ) inverse un générateur StyleGAN2 préentraîné pour mapper les images de l'œil vers un espace latent à 256 dimensions ( $h_T$ ) et prédire le regard. Un décodeur élève ( $P$ ) est entraîné pour mapper le vecteur compressé de 16 mesures directement vers cet espace latent ( $h$ ), ainsi que pour prédire la direction du regard ( $\hat{g}$ ) et un indicateur de validité ( $\hat{v}$ ).
Fonction de perte : L'objectif d'entraînement combine la régression supervisée du regard, la classification de validité, la distillation du regard (correspondance avec la prédiction du regard de l'enseignant) et la distillation de caractéristiques (correspondance avec la représentation latente de l'enseignant).
Augmentation des données : Pour traiter le biais d'identité et la diversité limitée des jeux de données, les auteurs utilisent l'inpainting génératif (modèle de diffusion Flux avec SAM3 et ControlNet) pour varier l'apparence périoculaire (teint de peau, éclairage) tout en préservant l'étiquette de vérité terrain du regard.

3. Pilotage du regard
Le cadre inclut un réseau de contrôle capable de piloter le regard dans l'espace latent. En prédisant un déplacement résiduel ( $\Delta h$ ou $\Delta w^+$ ) basé sur les vecteurs de regard source et cible, le système peut modifier la représentation latente pour changer la direction du regard tout en préservant l'identité du sujet, démontrant que les caractéristiques apprises découplent efficacement le regard de l'apparence.

Contributions clés

Cadre d'espace latent de bout en bout : Un cadre novateur optimisant conjointement le codage optique passif et le décodage neuronal, permettant une inférence directe du regard à partir de 16 mesures scalaires sans reconstruire les images complètes de l'œil.
Prototype matériel compact : Un système de détection optique en une seule prise utilisant un MLA, des masques binaires optimisés et un réseau de phototransistors 4×4 avec acquisition FPGA. Cette conception atteint une latence de bout en bout de 3,4 ms (incluant la détection et le calcul).
Pipeline simulation-réalité : Une stratégie d'évaluation en deux étapes atteignant une erreur de simulation inter-sujets de 6,47° et une erreur réelle par sujet calibrée inférieure à 6° en utilisant uniquement 12 à 15 points de calibration.

Résultats

Précision vs Efficacité : Sur le jeu de données ETH-XGaze, la méthode proposée atteint une erreur angulaire de 6,47° en utilisant uniquement 16 mesures et un MLP léger (0,244 M de paramètres, 0,49 M d'opérations FLOPs).
- Comparé à une base ResNet18 16×16, elle réduit la dimensionnalité de détection par un facteur 16, les paramètres par un facteur d'environ 48 et le calcul par un facteur d'environ 573.
- Comparé à une base ResNet18 256×256, elle réduit la dimensionnalité de détection par un facteur 4096 et le calcul par un facteur d'environ 9300.
- Elle surpasse les architectures légères comme MobileNetV3 et EfficientNet-B0 en termes d'efficacité des paramètres et des FLOPs tout en maintenant une précision compétitive.
Latence : Le système démontre une latence totale de bout en bout de 3,4 ms sur un CPU (3,19 ms pour la détection/acquisition optique + 0,22 ms pour l'inférence). Cela surpasse nettement les systèmes mobiles basés sur l'image conventionnels (généralement de l'ordre de dizaines de millisecondes) et s'approche des performances des trackers commerciaux haute vitesse spécialisés (par exemple, EyeLink 1000 Plus).
Performance réelle : Avec un ajustement fin spécifique au sujet utilisant 12 points de calibration, le système atteint une erreur angulaire moyenne de 5,96°, certains sujets atteignant 4,5°.
Vie privée : Le système préserve la vie privée en ne capturant que des caractéristiques latentes pertinentes pour la tâche plutôt que des images biométriques de l'œil, comme le démontre l'impossibilité de reconstruire l'identité du sujet à partir des mesures.

Importance et revendications

L'article revendique que le déplacement de l'extraction de caractéristiques dans le domaine optique via une conception pilotée par la tâche offre une voie viable vers un suivi du regard ultra-rapide et économe en énergie. En éliminant le besoin de lecture d'images à haute bande passante et de traitement informatique lourd, le système répond aux exigences strictes de latence <5 ms pour les applications XR immersives. Les auteurs soulignent que, bien que le prototype actuel soit une preuve de concept, la réduction drastique du volume de données (des mégapixels à 16 scalaires) suggère une voie claire pour des implémentations hautement économes en énergie dans les futurs appareils portables fonctionnant sur batterie. Ce travail met en lumière le potentiel du « sensing-as-inference » (détection comme inférence) pour remplacer la formation d'images conventionnelle pour des tâches spécifiques de vision par ordinateur.