💻 computer science

Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering

Ce papier présente EgoPointVQA, un nouveau jeu de données et benchmark pour la réponse aux questions dans des vidéos égocentriques basées sur des gestes, ainsi que le modèle HINT qui intègre des tokens d'intention manuelle pour surpasser l'état de l'art en inférant avec précision les intentions de pointage.

Auteurs originaux : Yura Choi, Roy Miles, Rolandos Alexandros Potamias, Ismail Elezi, Jiankang Deng, Stefanos Zafeiriou

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yura Choi, Roy Miles, Rolandos Alexandros Potamias, Ismail Elezi, Jiankang Deng, Stefanos Zafeiriou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous portez des lunettes intelligentes (comme celles de Meta Ray-Ban) et que vous parlez à un assistant IA. Vous pointez du doigt vers un objet sur une étagère et vous demandez : « Celui-ci, est-ce que ça va bien avec mes pâtes ? »

Pour un humain, c'est évident : vous parlez de l'objet que votre doigt touche. Mais pour une intelligence artificielle (IA) actuelle, c'est un cauchemar. L'IA voit l'image, elle voit votre main, mais elle ne comprend pas le lien entre votre doigt et le mot « celui-ci ». Elle essaie de deviner au hasard ou regarde l'objet le plus gros au centre de l'image, ce qui mène souvent à des erreurs.

C'est exactement le problème que résout cette nouvelle recherche, baptisée EGOPOINTVQA. Voici une explication simple de leur solution, avec quelques images mentales pour mieux comprendre.

1. Le Problème : L'IA est « aveugle » au doigt qui pointe

Imaginez que vous êtes dans une pièce remplie de 100 objets différents. Vous dites à l'IA : « Regarde ça ! » en pointant un petit bouton rouge.

L'IA actuelle : Elle entend « Regarde ça ! » mais elle ne sait pas où « ça » est. Elle regarde tout autour, panique, et finit par dire : « Je pense que vous parlez du gros vase bleu, non ? » (C'est ce qu'on appelle un biais de centralité : elle regarde ce qui est au milieu).
La réalité : L'IA manque d'entraînement. Elle n'a jamais vu assez de vidéos où quelqu'un pointe du doigt pour comprendre que le doigt est la clé de la réponse.

2. La Solution : Créer un « Dictionnaire du Doigt » (Le Dataset)

Les chercheurs ont créé une immense bibliothèque de vidéos appelée EGOPOINTVQA.

L'analogie : C'est comme si on entraînait un élève pour un examen de géométrie en lui donnant 4 000 exercices fabriqués par ordinateur (très parfaits) et 400 exercices filmés dans la vraie vie (un peu désordonnés).
Dans ces vidéos, les gens pointent des objets et posent des questions comme : « Combien y a-t-il de ces objets ? », « De quelle couleur est celui-là ? » ou « Quel est le deuxième objet que j'ai touché ? ».
Cela force l'IA à apprendre que le doigt n'est pas juste une main qui bouge, mais un pointeur laser qui donne du sens aux mots.

3. La Magie : Les « Tokens d'Intention de la Main » (HINT)

C'est la partie la plus ingénieuse. Les chercheurs ont inventé une nouvelle façon de parler à l'IA.

L'analogie du traducteur :
Imaginez que l'IA parle une langue où elle comprend les images (les pixels) et les mots (le texte), mais elle ne comprend pas le langage des mains.
Les chercheurs ont créé un petit traducteur automatique (qu'ils appellent HINT).
1. Ce traducteur regarde la vidéo et repère les 21 points clés de votre main (les articulations, le bout du doigt, etc.) en 3D.
2. Il transforme ces points géométriques en de petits « messages » spéciaux (des tokens).
3. Il insère ces messages directement dans la conversation de l'IA, juste à côté de l'image et de la question.
Le résultat : Au lieu de dire seulement « Voici une image de cuisine et la question : "Qu'est-ce que c'est ?" », l'IA reçoit : « Voici une image, et voici un message secret disant : "Le doigt pointe exactement vers la casserole noire à la seconde 3", et la question : "Qu'est-ce que c'est ?" ».
Grâce à ce message secret, l'IA ne devine plus. Elle sait exactement où regarder.

4. Les Résultats : Un bond en avant

Avant cette invention, les meilleures IA (comme GPT-4o) avaient du mal à répondre correctement à ces questions (environ 47% de réussite).
Avec leur méthode HINT :

Les IA ont appris à suivre le doigt comme un chien suit un bâton lancé.
Leur précision est passée à 68,1% (et jusqu'à 75% pour certaines tâches simples).
C'est comme passer d'un élève qui triche en regardant autour de lui à un élève qui lit vraiment la question et regarde ce que le professeur pointe.

En résumé

Cette recherche est un pas de géant pour les assistants personnels du futur (dans nos lunettes connectées ou nos montres). Elle permet à l'IA de comprendre que quand vous dites « Ce livre », vous ne parlez pas de n'importe quel livre, mais de celui que votre doigt touche.

Ils ont créé le terrain de jeu (les vidéos), l'outil d'entraînement (les tokens HINT) et ont prouvé que si on donne à l'IA les bons outils pour « voir » votre intention, elle peut enfin comprendre ce que vous lui demandez vraiment.

1. Problématique et Contexte

L'intégration croissante de l'IA dans les dispositifs portables (lunettes intelligentes, AR/VR) nécessite des assistants capables de comprendre non seulement ce qu'ils voient, mais aussi où l'utilisateur porte son attention. Une forme de communication naturelle et cruciale est l'utilisation de gestes de pointage combinés à des expressions déictiques (ex: "Dois-je utiliser celui-ci ?", "Lequel de ces deux pots est plus proche ?").

Le problème central identifié par les auteurs est que les Modèles de Langage Multimodaux (MLLM) actuels, même les plus avancés (comme GPT-4o ou Qwen3-VL), échouent à interpréter ces références déictiques dans des vidéos égocentriques. Les raisons principales sont :

Manque de données : Les ensembles de données existants contiennent peu de vidéos riches en gestes de pointage naturels.
Architecture inadéquate : Les modèles actuels traitent les entrées visuelles et textuelles de manière globale, sans mécanisme explicite pour encoder la position de la main ou la direction du pointage, ce qui les empêche de relier le pronom ("ceci", "celui-là") à l'objet visé.

2. Méthodologie

Pour résoudre ce problème, les auteurs proposent une approche en deux volets : la création d'un nouveau dataset et l'introduction d'une nouvelle architecture de modèle.

A. Le Dataset : EGOPOINTVQA

C'est le premier dataset conçu spécifiquement pour la réponse aux questions déictiques basées sur les gestes en vidéo égocentrique.

Composition : Il comprend 4 000 vidéos synthétiques (générées via le simulateur AI2-THOR) et 400 vidéos réelles (capturées avec des lunettes Meta Ray-Ban).
Tâches : Le dataset couvre six catégories de raisonnement nécessitant la résolution de la référence gestuelle :
1. Référence : Identifier l'objet pointé.
2. Comptage : Déterminer le nombre d'objets similaires pointés.
3. Spatial : Comprendre la position relative de l'objet.
4. Temporel : Gérer la séquence de plusieurs gestes de pointage (ex: "le deuxième objet").
5. Attribut : Décrire les propriétés (couleur, forme) de l'objet.
6. Feedback : Évaluer la fonction ou l'utilité de l'objet.
Génération : Un pipeline automatisé génère des paires question-réponse à choix multiples, en s'assurant que la question est ambiguë sans le contexte visuel du geste.

B. L'Architecture : Hand Intent Tokens (HINT)

Les auteurs proposent HINT, une méthode pour intégrer explicitement l'intention gestuelle dans le flux de données du modèle.

Extraction de keypoints 3D : Pour chaque image de la vidéo, un modèle de reconstruction de main hors boîte (WiLoR) extrait 21 points clés 3D de la main.
Adaptateur de Keypoints (Keypoint Adapter) : Un module léger (MLP) transforme ces coordonnées 3D en un Token d'Intention Manuelle (Hand Intent Token) compact ( $H_t$ ). Ce token représente l'état global de la main (posture et direction) pour cette image.
Interleaving (Entrelacement) : Contrairement aux méthodes qui ajoutent des superpositions visuelles (flèches, boîtes), HINT insère ces tokens gestuels directement dans la séquence d'entrée du LLM, entrelacés avec les tokens visuels ( $V_t$ $V_{t}$ ) et textuels.
- Formulation : Le modèle reçoit une séquence alternée : [Token Visuel, Token Gestuel, Token Visuel, Token Gestuel, ...].
Avantage : Cela permet au modèle d'associer temporellement et spatialement le mouvement de la main à la question posée, offrant un contexte explicite pour désambiguïser les pronoms déictiques.

3. Contributions Clés

EGOPOINTVQA : Le premier benchmark dédié au raisonnement déictique fondé sur les gestes en vidéo égocentrique, comblant le vide entre la compréhension de scène générale et l'interaction gestuelle fine.
Hand Intent Tokens (HINT) : Une approche novatrice qui encode les gestes non pas comme des images modifiées, mais comme des tokens sémantiques 3D intégrés nativement au langage du modèle, permettant une compréhension fine de l'intention de pointage.
Performance SOTA : Démonstration qu'une architecture simple mais efficace, enrichie par des tokens gestuels, surpasse les modèles de base les plus puissants.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données de test (300 vidéos réelles, 672 paires Q-R) en comparant HINT avec des modèles propriétaires (GPT-4o, GPT-5) et open-source (Qwen3-VL, InternVL, LLaVA).

Performance Globale : Le modèle HINT-14B (basé sur InternVL3-14B) atteint une précision moyenne de 68,1 %, surpassant le modèle de référence (InternVL3-14B) de 6,6 % et tous les autres modèles de base.
Amélioration par tâche :
- La tâche de Référence (identification de l'objet) bénéficie le plus, avec une augmentation de +10,7 points pour le modèle 14B (passant de 63,1 % à 73,8 %).
- Les tâches Temporelles et Attributs montrent également des gains significatifs (jusqu'à +9,7 points).
Comparaison avec l'état de l'art : Même les modèles géants comme GPT-4o (46,8 %) ou Qwen3-VL-32B (67,5 %) sont dépassés par HINT-14B, soulignant que la taille du modèle ne compense pas l'absence de mécanisme de compréhension gestuelle.
Analyse d'ablation :
- Le simple fine-tuning sans tokens gestuels n'apporte qu'une amélioration marginale.
- L'utilisation de tokens gestuels est cruciale : sans eux, la précision chute drastiquement.
- L'encodage 3D appris (HINT) est supérieur aux méthodes alternatives comme l'ajout de flèches visuelles ou la description textuelle des coordonnées.
Robustesse : Le modèle conserve ses capacités générales de compréhension vidéo sur d'autres benchmarks (Video-MME, MVBench), indiquant qu'il n'y a pas d'oubli catastrophique (catastrophic forgetting).

5. Signification et Impact

Ce travail marque une avancée significative pour les assistants IA de nouvelle génération destinés aux dispositifs portables.

Passage de la vision passive à l'interaction active : Il démontre que pour des assistants véritablement utiles, le modèle doit comprendre l'intention humaine (le "où" et le "quoi" du pointage) et non pas seulement décrire la scène.
Efficacité des données structurées : L'étude prouve que l'ajout de signaux géométriques 3D (keystones de la main) sous forme de tokens est plus efficace que l'augmentation de la complexité visuelle ou textuelle.
Fondation pour la recherche future : En libérant le dataset, le code et le modèle, les auteurs ouvrent la voie à des recherches plus poussées sur l'interaction humain-machine naturelle, la désambiguïsation de référence et la compréhension de l'intention dans des environnements dynamiques.

En résumé, ce papier établit que la compréhension des gestes de pointage est un défi fondamental non résolu par les MLLMs actuels, et propose une solution architecturale élégante (HINT) qui améliore considérablement la capacité des systèmes à répondre aux questions "pointées" dans des vidéos égocentriques.