🤖 AI

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite est un prédicteur de regard à double processus, léger et embarqué, qui permet une compréhension de vidéo égocentrée efficace en termes de jetons pour les LLM multimodaux en recadrant précisément la vidéo basée sur le regard prédit, éliminant ainsi le besoin de matériel dédié d'oculométrie tout en maintenant la qualité de description et en opérant en temps réel sur du matériel grand public.

Auteurs originaux : Matteo Stoiber, Niels Buus Lassen

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matteo Stoiber, Niels Buus Lassen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez porter une paire de lunettes intelligentes capables de regarder le monde à travers vos yeux et de décrire ce que vous faites. Cette technologie promet d'aider un chirurgien à se remémorer une procédure complexe, de guider un mécanicien lors d'une réparation ou d'assister une personne malvoyante en lui racontant son environnement. Pour que cela fonctionne, les lunettes doivent envoyer un flux vidéo à un système d'intelligence artificielle puissant, capable de comprendre les images et le langage. Cependant, il existe un goulot d'étranglement important : l'envoi de vidéos en haute définition nécessite une quantité massive de données, bien plus que ce qu'un petit appareil portable peut facilement transmettre ou traiter. Les systèmes informatiques qui comprennent ces vidéos ont également du mal lorsqu'ils sont alimentés par trop d'informations visuelles à la fois, se sentant souvent submergés par le volume considérable de pixels.

Des chercheurs ont trouvé un moyen ingénieux de résoudre ce problème de données en se concentrant uniquement sur ce que la personne regarde réellement. Au lieu d'envoyer toute la vue large, le système peut recadrer la vidéo pour ne montrer que la petite zone où le regard du porteur est fixé. Cela réduit la quantité de données que l'ordinateur doit traiter d'environ quatre-vingt-dix pour cent, rendant la tâche beaucoup plus rapide et moins coûteuse. Jusqu'à présent, cette approche nécessitait un matériel spécialisé et coûteux intégré aux lunettes pour suivre précisément les mouvements oculaires. Sans ce matériel dédié, le système ne pouvait pas savoir où regarder, laissant le potentiel de ces lunettes intelligentes inexploité pour les consommateurs ordinaires.

Une équipe de chercheurs a maintenant démontré qu'un capteur de suivi oculaire dédié n'est pas réellement nécessaire. Ils ont développé un programme logiciel léger capable de prédire où une personne regarde simplement en analysant le flux vidéo lui-même. Ce programme, appelé EgoGazeLite, s'exécute directement sur un smartphone standard et est suffisamment précis pour remplacer les capteurs matériels coûteux. Les chercheurs ont testé cela en injectant des clips vidéo dans un système d'intelligence artificielle, en les recadrant soit selon les données réelles de suivi oculaire, soit selon la prédiction du logiciel. Ils ont ensuite demandé à l'intelligence artificielle de décrire les actions dans la vidéo. Les résultats ont montré que les descriptions générées à partir du regard prédit étaient pratiquement identiques à celles générées à partir du suivi oculaire réel. Dans chaque cas de test, la prédiction logicielle a fonctionné aussi bien que la mesure matérielle, prouvant que le système peut fonctionner sans le capteur spécialisé.

Le logiciel lui-même est remarquablement efficace. Il est assez petit pour s'exécuter en temps réel sur du matériel grand public, tel que le processeur d'un smartphone moderne, en complétant la prédiction et le recadrage de chaque image vidéo en moins de vingt-deux millisecondes. Cette vitesse est cruciale car elle signifie que le système peut suivre un flux vidéo en direct sans décalage. Les chercheurs ont entraîné ce logiciel sur des milliers d'heures de vidéo de personnes effectuant diverses tâches, allant de la cuisine et la réparation de bicyclettes au jeu de football et la pratique de la RCP. Lorsqu'ils ont testé le système sur de nouvelles vidéos inédites, celui-ci a réussi à identifier avec précision où la personne regardait. Le logiciel fonctionne en apprenant deux manières différentes de prêter attention : l'une basée sur ce qui est visuellement brillant ou en mouvement dans la scène, et une autre basée sur l'endroit où la personne regardait un instant auparavant. Il combine ces deux indices pour deviner le prochain point de focalisation.

Pour s'assurer de la robustesse de leurs conclusions, les chercheurs ne se sont pas appuyés sur une seule méthode d'évaluation. Ils ont utilisé deux grands modèles de langage différents pour générer les descriptions vidéo et ont fait juger ces descriptions par des systèmes de notation automatisés ainsi que par d'autres modèles d'intelligence artificielle avancés. Ils ont comparé la qualité des descriptions issues du regard prédit par rapport à la vérité terrain des capteurs matériels, ainsi que par rapport à une ligne de base simple qui se contentait de recadrer le centre de l'écran. Les résultats étaient clairs : le regard prédit produisait des descriptions nettement meilleures que le recadrage central et statistiquement indiscernables du regard basé sur le matériel. En fait, la prédiction logicielle était si proche des données de suivi oculaire réelles que la différence était trop faible pour être mesurée comme significative dans les dix scénarios de test différents qu'ils ont menés.

Ce travail lève un obstacle majeur à l'adoption généralisée de l'intelligence artificielle sensible au regard. En prouvant qu'un modèle logiciel peut remplacer le capteur matériel, les chercheurs ont montré que les futures lunettes intelligentes n'ont pas besoin d'être encombrées de composants de suivi oculaire coûteux et gourmands en énergie pour être utiles. Le système peut désormais être déployé sur n'importe quel appareil doté d'une caméra et d'un processeur standard, ouvrant la voie à une assistance abordable et en temps réel pour une large gamme d'activités quotidiennes. Bien que l'étude ait été menée sur des ensembles de données et des modèles spécifiques, les résultats suggèrent un changement fondamental dans la manière dont nous pouvons construire ces systèmes, passant d'un matériel spécialisé vers un logiciel intelligent et léger capable de comprendre l'attention humaine simplement en observant ce que nous voyons.

Résumé Technique : EgoGazeLite

Énoncé du Problème

Le déploiement de modèles de langage de grande taille multimodaux (MLLM) pour la compréhension de vidéos égocentriques sur des appareils portables est limité par un budget de jetons (tokens) strict. Les MLLM encodent généralement l'entrée visuelle via des Vision Transformers, où les coûts de mémoire et de calcul augmentent linéairement avec le nombre de jetons visuels, lesquels dépendent de la résolution et de la durée de la vidéo. La vidéo haute résolution est prohibitvement coûteuse à transmettre et à traiter à grande échelle.

Un travail antérieur, spécifiquement GazeLLM, a abordé ce problème en recadrant les images vidéo autour du point de regard de l'utilisateur avant le traitement, réduisant ainsi les jetons visuels d'environ dix fois tout en maintenant la qualité de la description. Cependant, GazeLLM repose entièrement sur un matériel de suivi oculaire dédié, absent des lunettes intelligentes grand public actuelles. Cela crée une barrière à l'entrée pour une compréhension conditionnée par le regard et efficace en termes de jetons. Le défi central est de déterminer si un prédicteur de regard uniquement logiciel peut remplacer avec précision le regard mesuré par matériel sans dégrader les performances du MLLM en aval, tout en restant assez léger pour s'exécuter sur l'appareil dans les budgets de puissance et de calcul d'un smartphone.

Méthodologie

Architecture EgoGazeLite

Les auteurs proposent EgoGazeLite, un prédicteur de regard léger à double processus conçu pour un déploiement sur l'appareil. Il s'appuie sur la structure à double processus identifiée par Huang et al. [10] comme une base solide non-Transformer, mais introduit trois modifications architecturales pour réduire le coût de calcul :

Backbone Partagé : Remplace les flux spatiaux et temporels séparés par un unique backbone EfficientNet-Lite4 partagé, initialisé à partir de poids ImageNet.
Différence Temporelle au Niveau des Caractéristiques : Remplace le flux optique dense par une simple soustraction au niveau des caractéristiques ( $\Delta F = \text{BatchNorm}(F_t - F_{t-1})$ ) pour capturer le mouvement.
Fusion Résiduelle : Remplace la fusion convolutionnelle non linéaire par un module de fusion résiduelle qui opère dans l'espace des logits, permettant à la carte d'attention de s'affiner ou de supprimer la prédiction de saillance sans saturation.

L'architecture se compose de :

Chemin Bottom-up : Calcule une carte de chaleur de saillance ( $G^s_t$ ) à partir de l'entrée visuelle seule, en incorporant un biais de centre Gaussien 2D apprenable pour tenir compte du biais de regard égocentrique.
Chemin Top-down : Suit l'attention basée sur l'historique de fixation. Il extrait les poids de canaux de l'emplacement du regard précédent, les propage via un LSTM à porte (porté par une décision de fixation/saccade I-DT en ligne) et les applique aux caractéristiques de l'image actuelle pour générer une carte d'attention ( $G^a_t$ ).
Fusion : Combine $G^s_t$ et $G^a_t$ en utilisant un module résiduel pour produire la carte de chaleur de prédiction finale $G_t$ , à partir de laquelle la coordonnée du regard est extraite via l'argmax.

Pipeline de Recadrage Guidé par le Regard

Le système suit le protocole GazeLLM :

Entrée : Clips sources de 1404×1404 à 30 fps provenant du jeu de données Ego-Exo4D.
Traitement : Les images sont échantillonnées à 1 fps. Une fenêtre fixe de 448×448 est centrée sur la coordonnée du regard (soit prédite par EgoGazeLite, soit issue de la vérité terrain d'un eye-tracker).
Conditions : L'étude compare quatre conditions : Pleine résolution, Recadrage par regard (vérité terrain), Recadrage par regard (prédit), et un Recadrage central (référence).
Évaluation : Les clips recadrés sont injectés dans des MLLM (Gemini 2.5 Flash et Pro) pour générer des descriptions d'activités étape par étape. Ceux-ci sont évalués par rapport à des références en pleine résolution via des métriques automatisées (BLEU, ROUGE-L, SBERT) et des juges LLM (Claude Sonnet 4.6, GPT-4o).

Configuration Expérimentale

Jeu de Données : Ego-Exo4D (lunettes Project Aria Gen 1). Entraînement sur sept domaines (Cuisine, Soccer, Santé, Réparation de vélo, Danse, Escalade, Musique) ; le Basketball a été mis de côté.
Ensemble de Test de Substitution : Un ensemble de 138 clips mis de côté couvrant six catégories de tâches, assurant aucune superposition avec l'ensemble d'entraînement.
Évaluation Matérielle : Le pipeline complet a été testé sur un iPhone 15 Pro pour mesurer la latence de bout en bout.

Principales Contributions

Substitution du Regard Mesuré par le Regard Prédit : L'article démontre que le regard prédit par un modèle léger peut remplacer le regard mesuré par matériel dans le pipeline GazeLLM. À travers deux MLLM, trois métriques automatisées et deux juges LLM, les recadrages par regard prédit ne présentent aucune différence significative avec les recadrages par regard de vérité terrain en termes de qualité de description en aval.
Confirmation de l'Équivalence : En utilisant des tests à un seul côté (TOST), les auteurs ont confirmé l'équivalence dans les dix cellules d'évaluation (2 MLLM × 5 métriques/juges). La différence entre les conditions prédites et de vérité terrain est inférieure à la moitié de l'écart-type combiné, satisfaisant la marge d'équivalence primaire.
Efficacité d'EgoGazeLite : Le modèle atteint cette performance avec 15,7 M de paramètres et 6,71 GFLOPs, représentant une réduction de 8,6 fois des FLOPs par rapport aux modèles de regard égocentrique de pointe précédents (Huang et al. [10] et Lai et al. [13]).
Performance Temps Réel sur Appareil : Le pipeline complet de regard et de recadrage s'exécute de bout en bout en 21,6 ms/image (environ 46 FPS) sur du matériel accélérateur de consommation (Neural Engine de l'iPhone 15 Pro), ce qui le rend viable pour un déploiement en temps réel.

Résultats

Précision : Sur l'ensemble de validation in-distribution, EgoGazeLite a atteint une erreur angulaire moyenne (AAE) de 8,33° et une AUC de 0,9655.
Qualité en Aval :
- Les recadrages par regard prédit et par vérité terrain surpassent tous deux significativement le baseline de recadrage central sur toutes les métriques.
- La différence entre les recadrages prédits et de vérité terrain est statistiquement non significative (plus petit p-value corrigé = 0,054).
- Les tailles d'effet ( $d_z$ ) sont systématiquement faibles (< 0,17), bien en dessous de la convention de Cohen pour des effets négligeables.
- Les tests d'équivalence (TOST) confirment que les deux conditions sont statistiquement équivalentes dans les dix cas sous une marge d'effet moyen (0,5× écart-type combiné), et dans quatre cas sous une marge d'effet strict (0,2× écart-type combiné).
Latence : Le passage direct (forward pass) d'EgoGazeLite représente environ 41 % du temps du pipeline (8,9 ms), le reste du temps étant consacré au traitement d'image (recadrage, réduction d'échelle). Le pipeline supporte des taux d'échantillonnage allant jusqu'à 30 FPS, dépassant largement l'exigence de 1 FPS pour le MLLM en aval.

Signification et Revendications

L'article affirme qu'EgoGazeLite supprime la condition stricte de matériel de suivi oculaire dédié pour la compréhension de vidéos égocentriques conditionnée par le regard avec des MLLM. En prouisant qu'un prédicteur de regard léger, uniquement logiciel, peut remplacer le regard mesuré par matériel sans dégrader la qualité des descriptions générées par le MLLM, ce travail permet un traitement vidéo guidé par le regard et efficace en jetons sur les lunettes intelligentes et les smartphones de consommation courante.

Les auteurs soulignent que ce résultat boucle la boucle entre la prédiction du regard et l'entrée du MLLM sur l'appareil. Bien que l'étude soit modeste quant à son étendue — reconnaissant qu'une comparaison directe de précision avec les modèles précédents sous des divisions identiques n'a pas été effectuée, et que la généralisation à des domaines non vus ou à d'autres familles de MLLM reste à tester — la conclusion centrale est que la substitution est empiriquement valide pour les tâches et modèles testés. Cela déplace le paradigme des systèmes de regard dépendants du matériel vers des solutions pilotées par logiciel accessibles à toute caméra de première personne.