💻 computer science

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

L'article propose TextGaze, une architecture cross-modale unifiée qui exploite un grand modèle vision-langage pour fournir des indices de scène textuels scalables, permettant une estimation robuste et efficace en termes d'annotation de la cible du regard qui équilibre la saillance visuelle avec l'intention réelle du regard à travers divers ensembles de données.

Auteurs originaux : Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

Publié 2026-07-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de deviner où regarde une personne sur une photo de foule. C'est comme essayer de comprendre quel ami, dans un selfie de groupe, fixe un cookie caché. Pendant longtemps, les informaticiens ont tenté de résoudre ce problème en construisant des machines à « branches multiples ». Voyez cela comme une équipe de détectives, chacun ayant une tâche spécifique : l'un vérifie la tête de la personne, un autre mesure la profondeur de la pièce, un troisième analyse sa posture, et un quatrième observe ses yeux. Bien que cela semble approfondi, l'article soutient que c'est un peu comme embaucher toute une force de police juste pour retrouver une clé perdue. Cela nécessite une quantité massive de données d'entraînement supplémentaires (annotations) pour chaque détective, ce qui rend le système lent à apprendre et difficile à déplacer vers de nouveaux contextes.

D'un autre côté, des méthodes plus récentes et plus simples tentent d'être un « spectacle en solo ». Elles regardent l'image et devinent en se basant sur ce qui semble brillant ou intéressant. Mais l'article souligne une faille majeure ici : ces méthodes simples sont souvent distraites par le « bruit visuel ». Elles pourraient penser qu'une personne regarde un chapeau rouge vif parce que c'est l'objet le plus coloré, même si la personne regarde en réalité un mur gris ennuyeux. L'article appelle cela le « flou sémantique » : l'ordinateur voit l'objet mais rate l'intention.

Entrez en scène TextGaze, le nouveau héros de cette histoire. Les auteurs proposent un juste milieu ingénieux qui n'a pas besoin d'une immense équipe de détectives, mais qui ne se laisse pas non plus facilement distraire. Ils utilisent un « Grand Modèle de Vision-Langage » (LVLM) — imaginez un bibliothécaire super intelligent et très cultivé capable de regarder une image et de la décrire avec des mots.

Voici comment fonctionne TextGaze :

La description du bibliothécaire : Au lieu de simplement fixer des pixels, le système demande au LVLM d'écrire une courte histoire sur la scène. Par exemple, il pourrait dire : « L'homme au maillot jaune regarde vers le bas, sur sa droite. »
La fusion : Le système prend ces mots et les mélange avec l'image visuelle. C'est comme donner une carte à l'ordinateur (le texte) pendant qu'il explore le terrain (l'image). Cela aide l'ordinateur à comprendre pourquoi quelqu'un regarde quelque part, et pas seulement où se trouve l'objet brillant.
Le filet de sécurité : Pour s'assurer que l'ordinateur n'oublie pas l'histoire pendant qu'il fait ses calculs, les auteurs ont ajouté une étape de « supervision » spéciale. C'est comme un professeur qui vérifie les notes de l'élève à chaque étape de la leçon pour s'assurer qu'il n'a pas dévié du sujet.

L'article a testé cette idée sur quatre ensembles de données, qui sont essentiellement de vastes collections de photos et de vidéos utilisées pour entraîner ces cerveaux d'IA. Les résultats sont très prometteurs. Sur l'ensemble de données GazeFollow, la nouvelle méthode a atteint une AUC de 0,956 (un score où plus élevé est meilleur, 1,0 étant la perfection) et une distance d'erreur moyenne (Avg L2) de seulement 0,099 pixels en utilisant le support plus large « ViT-L ». Cela signifie qu'elle était très proche des meilleures méthodes existantes, mais sans avoir besoin des données supplémentaires de « profondeur » ou de « posture » requises par les autres modèles de pointe.

Ce qui est vraiment cool, c'est la façon dont elle a géré de nouvelles situations inédites. Lorsque l'équipe a testé TextGaze sur l'ensemble de données GOO-Real (qui présente des personnes faisant des courses dans des scénarios de la vie quotidienne) sans lui donner d'entraînement supplémentaire, elle est restée au sommet des classements, avec une AUC de 0,918 et une erreur L2 de 0,159. Cela suggère que l'approche du « bibliothécaire » aide l'ordinateur à mieux généraliser qu'en mémorisant simplement des motifs visuels.

Les auteurs notent prudemment que, bien que leur méthode soit rationalisée et efficace, elle n'est pas une baguette magique qui résout tout instantanément. Ils excluent explicitement l'idée que nous ayons besoin de systèmes complexes à branches multiples avec des capteurs supplémentaires pour obtenir de bons résultats. Ils argumentent également contre le fait de s'appuyer uniquement sur des astuces visuelles de bas niveau. Au lieu de cela, ils suggèrent que l'ajout d'une couche de « compréhension textuelle » est la clé pour combler le fossé entre voir une image et comprendre l'intention humaine.

En résumé, TextGaze montre qu'en donnant à un ordinateur une petite capacité de « narration », on peut l'aider à comprendre où quelqu'un regarde bien mieux qu'en le laissant simplement fixer l'image seule. C'est une façon ludique, efficace et étonnamment précise d'apprendre aux machines à lire la salle.

Résumé Technique : TextGaze

Énoncé du Problème

L'estimation de la cible du regard vise à inférer la position du regard d'une personne au sein d'une scène ou à déterminer si la cible du regard se trouve dans le cadre de l'image. L'article identifie deux limitations principales des approches existantes :

Méthodes multi-branches : Ces architectures intègrent des indices auxiliaires (ex. : profondeur, pose, caractéristiques de la tête) via des branches séparées. Bien qu'elles enrichissent les représentations visuelles, elles introduisent une charge d'annotation significative, ralentissent la convergence en raison de la complexité structurelle et entravent le transfert de domaine. De plus, elles fonctionnent souvent comme des filtres géométriques incapables de raisonner sur les cibles de regard valides, ce qui conduit à une « sous-spécification sémantique ».
Méthodes simplifiées / par ajustement de prompt (Prompt-tuning) : Des approches récentes tentent de simplifier les architectures en utilisant des prompts positionnels avec des modèles de fondation. Cependant, ces méthodes souffrent souvent de « défocalisation sémantique », où le modèle se repose sur la saillance visuelle de bas niveau (proximité spatiale, saillance visuelle) plutôt que sur l'intention réelle du regard, entraînant un désalignement entre l'attention prédite et les cibles de regard réelles.

Le défi central est de trouver l'équilibre entre le besoin de guidage sémantique et la simplicité architecturale, en allant au-delà de la simple régression géométrique pour tendre vers un raisonnement au niveau de l'intention sans réintroduire de structures multi-branches complexes.

Méthodologie : TextGaze

Les auteurs proposent TextGaze, une architecture cross-modale unifiée qui exploite un Grand Modèle Vision-Langage (LVLM) comme guidage sémantique évolutif. Le cadre déplace l'estimation du regard d'une régression géométrique directe vers un processus de reconnaissance d'intention via une couche sémantique.

1. Aperçu de l'Architecture

Le modèle se compose de trois composants principaux :

Module de indices de scène textuels basé sur un LVLM : Un LVLM gelé (spécifiquement Qwen2.5-VL-7B-Instruct dans les expériences) est sollicité par un prompt pour générer des descriptions textuelles structurées de l'apparence, du comportement et de l'orientation approximative du regard du sujet. Ces sorties en langage naturel sont encodées par un encodeur de texte BERT gelé en embeddings denses ( $S_t$ ). Ce module fournit des priors sémantiques de haut niveau (objets, actions) sans nécessiter de localisation explicite de la cible du regard par le LVLM, ce qui peut être peu fiable pour les cibles hors cadre.
Module de traitement de séquence de tokens de caractéristiques :
- Flux Visuel : Un encodeur DINOv2 gelé extrait les caractéristiques fines de la scène ( $F_v$ ). Pour améliorer la sensibilité à la cible, un embedding de token de tête apprenable est ajouté via une modulation masquée basée sur la boîte englobante de la tête.
- Fusion : Les séquences de tokens textuels et visuels sont concaténées. Un token apprenable ( $z_{in/out}$ ) est pré-ajouté pour la tâche de classification de présence dans/hors cadre.
Module de Fusion Cross-Modale et de Prédiction :
- Transformer de Fusion : Un transformer empilé de trois couches avec post-normalisation intègre les tokens visuels et textuels. Il utilise l'Attention Multi-Têtes (MHSA) pour permettre une interaction sans restriction entre les modalités.
- Supervision Textuelle Hiérarchique : Pour éviter la dégradation des sémantiques textuelles pertinentes à la tâche lors de la fusion profonde, les auteurs introduisent un mécanisme de supervision de cohérence textuelle couche par couche. Cela impose un alignement sémantique à travers toutes les couches du transformer en projetant les tokens textuels intermédiaires vers les caractéristiques de l'encodeur de texte original et en minimisant l'Erreur Quadratique Moyenne (MSE).
- Têtes de Prédiction : Un décodeur léger produit une carte de chaleur (heatmap) du regard (supervisée par une perte BCE par pixel avec des cibles gaussiennes) et une probabilité scalaire pour le statut de présence dans/hors cadre (supervisée par l'entropie croisée binaire).

2. Objectif d'Entraînement

La fonction de perte globale combine la perte de heatmap ( $L_{heat}$ ), la perte de classification in/out ( $L_{in/out}$ ) et la perte de supervision textuelle hiérarchique ( $L_{text}$ ) :
$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$

Contributions Clés

Indices de Scène Textuels : L'article introduit l'intégration d'indices de scène textuels dans l'estimation de la cible du regard pour atténuer la défocalisation sémantique. En utilisant des LVLM pour générer des informations sémantiques auxiliaires (apparence, action, intention), le modèle gagne des priors de haut niveau sans la complexité des conceptions multi-branches.
Benchmarks Améliorés : Les auteurs renforcent les benchmarks GazeFollow et VideoAttentionTarget en intégrant des champs d'attention scène-cible-personne avec des prompts orientés LVLM, générant des indices contextuels robustes qui améliorent la précision de l'estimation du regard assistée par le texte.
Cadre Dual-Stream Unifié : Un nouveau cadre de fusion cross-modale est conçu, combinant des embeddings textuels avec des représentations visuelles fines. Cette approche imite l'attention descendante (top-down) humaine, améliorant le raisonnement spatial et l'adaptabilité à la scène tout en maintenant un pipeline rationalisé.

Résultats Expérimentaux

La méthode a été évaluée sur quatre jeux de données principaux : GazeFollow, VideoAttentionTarget, ChildPlay, et GOO-Real.

Performance de l'État de l'Art : Sur GazeFollow, TextGaze (utilisant DINOv2 ViT-L) a obtenu des résultats compétitifs, atteignant l'erreur L2 moyenne la plus faible (0,099) et égalant le meilleur L2 minimum (0,043), tout en maintenant un AUC élevé (0,956). Sur VideoAttentionTarget, il a surpassé les approches existantes en termes d'AUC, d'erreur L2 et de métrique AP pour la prédiction de présence dans/hors cadre.
Généralisation Cross-Dataset : Sans ajustement fin (fine-tuning) ni modification de prompt, TextGaze a démontré une généralisation robuste :
- Sur GOO-Real (scénarios de shopping en conditions réelles), il a atteint des performances de l'état de l'art tant en AUC qu'en métriques L2.
- Sur ChildPlay (regard des enfants), il a surpassé tous les modèles de référence pour la métrique AP de la classification de présence dans/hors cadre, soulignant l'efficacité des indices dérivés des LVLM pour la détection de présence.
Études d'Ablation : Les expériences ont confirmé que la stratégie de fusion par transformer surpasse la fusion additive ou par attention croisée. De plus, l'activation simultanée de la supervision textuelle hiérarchique, des connexions résiduelles visuelles et des embeddings positionnels spécifiques a produit des performances optimales, validant la nature complémentaire de ces composants.

Signification et Revendications

L'article affirme que TextGaze fournit une alternative rationalisée aux conceptions multi-branches traditionnelles. En exploitant les LVLM comme guidage auxiliaire accessible, la méthode équilibre avec succès le compromis entre les coûts d'annotation élevés des systèmes multi-branches et les limites sémantiques des modèles visuels simplifiés.

Les auteurs insistent sur le fait que le suivi du regard est intrinsèquement un problème de raisonnement au niveau de l'intention plutôt qu'une simple tâche de régression géométrique. TextGaze répond à cela en déplaçant le paradigme de « pixels vers coordonnées » vers « pixels vers intention sémantique vers cible du regard ». Les résultats valident que les LVLM peuvent efficacement connecter la vision aux intentions de haut niveau, offrant une solution évolutive pour l'estimation du regard dans des scènes complexes sans nécessiter de branches redondantes ou d'annotations étendues spécifiques au domaine.