💻 computer science

Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

Cet article propose une méthode novatrice pour anticiper les interactions humain-objet dans les vidéos égo-centriques en exploitant les modèles de langage-vision, le guidage par regard, le prompting « Set-of-Mark » et un échantillonnage temporel inverse exponentiel, surpassant ainsi les approches actuelles sur le jeu de données HD-EPIC.

Auteurs originaux : Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous portez des lunettes intelligentes capables de lire vos pensées avant même que vous ne les exprimiez. C'est exactement ce que les chercheurs de l'Université de Catane (en Italie) ont tenté de réaliser avec leur nouvelle invention.

Voici l'explication de leur travail, découpée en concepts simples, comme si on racontait une histoire autour d'un café.

🎬 Le Scénario : "Que va-t-il faire ensuite ?"

Imaginez que vous êtes dans votre cuisine. Vous regardez une casserole, puis votre main se dirige vers un torchon. Une intelligence artificielle (IA) qui vous observe doit deviner : "Va-t-il verser de l'eau ? Va-t-il éteindre le feu ? Ou va-t-il juste attraper l'assiette à côté ?"

C'est ce qu'on appelle l'anticipation d'interaction. Le but est d'aider les robots ou les assistants personnels à savoir ce que vous allez faire avant que vous ne le fassiez, pour vous aider ou vous prévenir d'un danger (comme toucher une casserole brûlante sans gant).

Le problème ? Les IA actuelles sont souvent un peu "distraites". Elles voient la scène, mais elles ne comprennent pas toujours ce que vous regardez ni ce que vous allez faire.

🧠 La Solution : Une IA avec des "Super-Pouvoirs"

Les chercheurs ont utilisé un type d'IA très puissant appelé VLLM (un grand modèle de langage qui voit et comprend les images). Mais pour le rendre vraiment efficace, ils lui ont donné trois "super-pouvoirs" (ou outils) :

1. Le "Post-it Magique" (Set-of-Mark)

Imaginez que vous montrez une photo complexe à un ami et que vous dites : "Regarde, il y a une casserole ici, une cuillère là, et un œuf ici." Vous collez des post-it virtuels sur les objets pour les aider à se repérer.

C'est ce que fait le module Set-of-Mark. Au lieu de laisser l'IA deviner où sont les objets dans l'image, le système dessine des contours et des étiquettes autour de chaque objet important (casserole, poêle, œuf) sur la dernière image. Cela aide l'IA à ne pas se perdre dans le décor et à se concentrer sur les vrais acteurs de la scène.

2. La "Trace de Regard" (Gaze Trajectory)

C'est le pouvoir le plus fascinant. Quand vous allez attraper quelque chose, vos yeux s'y posent d'abord. C'est un indice crucial !

Le système trace le chemin de vos yeux sur l'écran, comme un sillage de couleur :

Bleu : Ce que vous avez regardé il y a un moment.
Rouge : Ce que vous regardez maintenant.

En voyant cette "traînée" rouge qui pointe vers un objet, l'IA comprend : "Ah ! Il regarde ce bol, donc il va probablement le prendre." C'est comme si l'IA lisait vos intentions à travers vos yeux.

3. Le "Ralentisseur Intelligent" (Échantillonnage Inverse)

Regarder une vidéo de 10 secondes image par image, c'est trop d'informations pour l'IA, un peu comme essayer de lire tout un livre en une seconde.

Les chercheurs ont inventé une astuce : au lieu de regarder les images de manière uniforme, ils regardent plus intensément les dernières secondes avant l'action.

Imaginez un film où l'action se passe à la fin. Au lieu de regarder les 10 premières minutes en accéléré, on regarde les 10 dernières secondes en ralenti.
Cela permet à l'IA de se concentrer sur le moment précis où vous allez agir, sans se fatiguer avec des images inutiles du début.

🏆 Le Résultat : Une IA qui devine mieux que les autres

Les chercheurs ont testé leur système sur une base de données célèbre appelée HD-EPIC (des milliers de vidéos de gens cuisinant).

Les anciennes méthodes : L'IA devinait juste, comme si elle jouait à pile ou face (environ 21 % de réussite).
La nouvelle méthode : En combinant les "post-it" (pour voir les objets) et la "trace de regard" (pour comprendre l'intention), l'IA a bondi à 27,5 % de réussite.

Ce n'est pas juste une petite amélioration, c'est un saut en avant. Et le plus beau, c'est que cette méthode fonctionne avec n'importe quel modèle d'IA moderne. C'est comme ajouter un kit de super-héros à n'importe quel super-héros existant.

🎯 En résumé

Cette recherche, c'est comme donner à une IA :

Des lunettes de réalité augmentée pour bien voir les objets (Set-of-Mark).
Un lecteur de pensées basé sur vos yeux (Gaze).
Un caméscope intelligent qui ralentit l'action au moment crucial (Sampling).

Le résultat ? Un assistant virtuel qui ne se contente pas de regarder ce que vous faites, mais qui comprend ce que vous allez faire, pour mieux vous aider au quotidien. C'est un pas de géant vers des robots domestiques qui nous comprennent vraiment !

Titre de l'article

Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
(Exploitation du regard et du "Set-of-Mark" dans les VLLM pour l'anticipation des interactions humain-objet à partir de vidéos égo-centrées)

1. Problématique

L'objectif de ce travail est de résoudre le problème de l'anticipation des interactions humain-objet (HOI) dans des vidéos égo-centrées (prises de vue par la personne elle-même).

Contexte : Dans les systèmes d'assistance intelligente (cuisines, usines, loisirs), il est crucial de prédire les intentions à court terme d'un utilisateur pour l'assister ou prévenir des accidents (ex: toucher une casserole chaude sans protection).
Défi : Anticiper l'objet avec lequel l'utilisateur va interagir prochainement nécessite de comprendre non seulement le contexte visuel, mais aussi l'intention de l'utilisateur. Les approches existantes peinent souvent à intégrer efficacement les signaux de regard (gaze) et à gérer la dynamique temporelle des vidéos pour les modèles de langage-vision (VLLM).
Tâche spécifique : Le problème est formulé comme une tâche de Réponse à une Question Visuelle (VQA). Le modèle doit choisir le bon objet cible parmi une liste de candidats, en se basant sur le contexte visuel et les séquences de regard précédant l'interaction.

2. Méthodologie

Les auteurs proposent une architecture modulaire agnostique au modèle (applicable à n'importe quel VLLM) composée de quatre modules clés :

A. Module Set-of-Mark (SoM)

Fonction : Améliorer l'ancrage visuel (visual grounding) et la compréhension de la scène.
Implémentation : La dernière image de la séquence vidéo est traitée par Semantic-SAM pour générer des masques sémantiques superposés à l'image. Ces masques segmentent la scène en régions sémantiques sans utiliser d'étiquettes alphanumériques (car le modèle doit prédire le nom de l'objet à partir d'une liste fournie dans le prompt).
But : Aider le VLLM à localiser précisément les objets dans l'espace.

B. Module Gaze (Regard)

Fonction : Modéliser l'intention de l'utilisateur via la trajectoire de son regard.
Implémentation : Pour chaque frame, une fenêtre glissante de W = 15 fixations de regard (ground-truth) est projetée. Cette trajectoire est rendue visuellement sous forme de cercles connectés, changeant de couleur du rouge (fixation la plus récente) au bleu (la plus ancienne).
But : Fournir un indice visuel fort sur l'attention de l'utilisateur, car le regard précède souvent l'action manuelle.

C. Module d'Échantillonnage (Sampling)

Fonction : Optimiser l'entrée vidéo en sélectionnant les frames les plus pertinentes tout en réduisant la charge computationnelle (les VLLM ont une complexité $O(N^2)$ ).
Stratégie : Introduction d'une stratégie d'échantillonnage exponentiel inverse.
- La dernière frame est toujours incluse.
- Les $n-1$ frames restantes sont sélectionnées probabilistiquement avec une probabilité $p_i$ biaisée vers la fin de la séquence (plus proche de l'interaction).
- Un paramètre $\lambda$ contrôle l'intensité de ce biais temporel.
But : Se concentrer sur la fenêtre temporelle critique immédiatement précédant l'interaction, en ignorant les données non pertinentes.

D. Module VLLM

Fonction : Effectuer la prédiction finale.
Entrée : Le modèle reçoit les $n$ frames échantillonnées (enrichies par les masques SoM et la trajectoire de regard) ainsi qu'un prompt textuel contenant la question, les candidats et des instructions explicites sur l'utilisation des indices visuels (regard et segmentation).
Sortie : Le nom de l'objet cible.

3. Contributions Clés

Nouvelle approche multimodale : Intégration simultanée d'informations spatiales (via SoM) et d'indices d'intention (via les trajectoires de regard) dans les VLLM pour l'anticipation HOI.
Stratégie d'échantillonnage innovante : Proposition d'un échantillonnage exponentiel inverse pour capturer efficacement la dynamique temporelle critique avant l'interaction.
Agnosticisme du modèle : La méthode est conçue pour fonctionner avec n'importe quel VLLM (démontré avec LLaVA-OneVision et Gemini).
État de l'art (SOTA) : La méthode établit un nouveau record sur le benchmark HD-EPIC Gaze Interaction Anticipation.
Ressources ouvertes : Le code source est rendu public sur GitHub.

4. Résultats Expérimentaux

Les expériences ont été menées sur le sous-ensemble Gaze Interaction Anticipation du dataset HD-EPIC (1000 questions, clips vidéo de 10s).

Performance globale :
- L'approche proposée atteint 27,2 % de précision avec LLaVA-OneVision 7B et 27,5 % avec Gemini 2.0 Flash.
- Cela dépasse l'approche précédente de référence (Qwen2.5VL-Ricoh) de plus de 5 points de pourcentage (22,0 %).
- Les gains par rapport aux modèles de base (sans les modules proposés) sont significatifs (+6,8 % pour LLaVA, +6,5 % pour Gemini).
Études d'ablation (Analyse des composants) :
- Modules individuels : L'utilisation seule de SoM ou du module Gaze améliore les performances par rapport au VLLM seul, mais la combinaison des deux est optimale.
- Échantillonnage : Le paramètre $\lambda = 1/10$ (biais fort vers la fin) avec une taille d'échantillon de 15 frames donne les meilleurs résultats. Un échantillonnage trop dense (oversampling) dégrade les performances.
- Synergie : Les résultats qualitatifs montrent que dans des cas ambigus, ni SoM ni Gaze seuls ne suffisent, mais leur combinaison permet de désambiguïser correctement l'objet cible.

5. Signification et Impact

Avancée technique : Ce travail démontre que l'intégration explicite de signaux physiologiques (le regard) et de techniques de prompting spatial (SoM) dans les grands modèles de langage-vision améliore considérablement leur capacité à comprendre les intentions humaines complexes.
Applications réelles : La méthode ouvre la voie à des systèmes d'assistance plus sûrs et réactifs dans les environnements domestiques et industriels, capables d'anticiper les actions dangereuses ou les besoins de l'utilisateur avant qu'ils ne se produisent.
Efficacité : La stratégie d'échantillonnage prouve qu'il est possible d'obtenir de meilleures performances avec moins de données visuelles (frames) si celles-ci sont sélectionnées intelligemment, rendant le système plus viable pour des applications en temps réel.

En conclusion, cette étude valide l'hypothèse que l'anticipation des interactions humain-objet bénéficie grandement d'une approche multimodale combinant la vision spatiale, l'attention humaine (regard) et une gestion temporelle optimisée au sein des VLLM.