💬 NLP

Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

Ce papier révèle que les modèles vision-langage sous-performent considérablement les humains dans l'inférence de la direction du regard car ils s'appuient à tort sur l'orientation de la tête plutôt que sur l'apparence des yeux, un biais attribué aux données d'entraînement plutôt qu'à l'architecture du modèle.

Auteurs originaux : Zory Zhang, Pinyuan Feng, Bingyang Wang, Tianwei Zhao, Suyang Yu, Qingying Gao, Hokin Deng, Ziqiao Ma, Yijiang Li, Dezhi Luo

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zory Zhang, Pinyuan Feng, Bingyang Wang, Tianwei Zhao, Suyang Yu, Qingying Gao, Hokin Deng, Ziqiao Ma, Yijiang Li, Dezhi Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le jeu de devinettes « Tête d'abord »

Imaginez que vous jouez à un jeu où vous devez deviner sur quel objet une personne sur une photo est en train de regarder. Il y a trois objets sur la table : un lapin, une bouilloire et des tulipes.

Si la personne regarde le lapin, mais que sa tête est légèrement tournée vers la bouilloire, que faites-vous ?

Un humain observe attentivement les yeux de la personne, voit que les pupilles sont dirigées vers le lapin et dit : « Elle regarde le lapin. »
L'IA actuelle (les modèles vision-langue) ignore souvent les yeux. Au lieu de cela, elle regarde la direction du visage de la personne (sa tête) et dit : « Elle regarde la bouilloire. »

L'article soutient que ces modèles d'IA sont des devineurs « paresseux ». Ils s'appuient sur une ruse : Si la tête fait face à un objet, les yeux doivent aussi regarder dans cette direction. Ils ne font pas l'effort difficile de lire réellement les yeux.

Comment les chercheurs ont testé cela

Les chercheurs ont construit un « laboratoire du regard » spécial pour tester cela. Ils ont pris 1 360 photos réelles de personnes assises à une table avec différents objets. Ils ont mis en place trois scénarios spécifiques pour piéger l'IA :

Le scénario « Accord » : La personne regarde le lapin, et sa tête fait aussi face au lapin. (Facile pour tout le monde).
Le scénario « Naturel » : La personne regarde le lapin, et sa tête est orientée naturellement là où elle se sent à l'aise (généralement vers le lapin).
Le scénario « Piège » (Incongru) : C'est la clé. La personne garde sa tête face à la bouilloire, mais elle bouge ses yeux pour regarder le lapin.

Le Résultat :

Les humains ont eu raison presque à chaque fois (environ 89 % de précision). Ils ont regardé les yeux.
Les modèles d'IA (comme GPT-4o, GPT-5.2, Qwen3) ont très mal performé, souvent à peine mieux que le hasard. Lorsque la tête et les yeux ne s'accordaient pas, l'IA devinait presque toujours l'objet vers lequel était tournée la tête, et non l'objet vers lequel regardaient les yeux.

Pourquoi l'IA a-t-elle échoué ? (Le travail d'enquête)

Les chercheurs ne se sont pas contentés de dire « l'IA est mauvaise ». Ils ont joué aux détectives pour comprendre pourquoi. Ils ont écarté plusieurs excuses :

Est-ce parce que les photos sont trop floues ? Non. Lorsqu'ils ont rendu les photos ultra haute définition, l'IA a quand même échoué.
Est-ce parce que l'IA ne peut pas nommer les objets ? Non. L'IA pouvait correctement identifier le « lapin » et la « bouilloire » lorsqu'on le lui demandait.
Est-ce parce que l'IA est trop petite ? Non. Les modèles plus grands et plus puissants ont échoué tout autant que les plus petits.

Le vrai coupable : Les données d'entraînement
Les chercheurs pensent que le problème vient de ce que l'IA a appris sur Internet.

L'analogie : Imaginez un enfant qui n'a jamais vu que des gens regardant les objets vers lesquels ils font face. Dans le monde réel, il est rare de voir quelqu'un fixer quelque chose sur le côté tout en ayant le visage tourné vers l'avant.
Parce que les données d'Internet regorgent d'exemples où « la tête et les yeux sont d'accord », l'IA a appris une règle : « Direction de la tête = Direction du regard. » Elle n'a jamais appris que les yeux peuvent bouger indépendamment de la tête.

Le test de la « pièce de monnaie »

Pour prouver que l'IA n'était pas simplement confuse, les chercheurs ont mené un test spécifique. Ils ont demandé : L'IA se soucie-t-elle le moins du monde des yeux ?

Ils ont constaté que le comportement de l'IA était comme un lancer de pièce ou une balance biaisée :

Lorsque la tête et les yeux s'accordaient, l'IA était confiante.
Lorsqu'ils ne s'accordaient pas, l'IA ne tentait pas de comprendre les yeux. Elle se contentait de se rabattre sur la tête.
Même lorsque les chercheurs tentaient d'« enseigner » à l'IA de regarder les yeux en ajoutant des instructions comme « Concentrez-vous sur les yeux », l'IA les ignorait majoritairement et revenait à deviner en se basant sur la tête.

L'expérience de « preuve de concept »

Pour montrer qu'il ne s'agit pas d'un défaut permanent dans le « cerveau » de l'IA (son architecture), mais simplement d'une mauvaise habitude issue de son entraînement, les chercheurs ont mené une petite expérience :

Ils ont pris l'un des modèles d'IA et l'ont re-entraîné spécifiquement sur leurs photos de « Piège » (où la tête et les yeux ne s'accordaient pas).

Avant le re-entraînement : Le modèle était terrible dans le scénario de piège (15 % de précision).
Après le re-entraînement : Le modèle s'est beaucoup amélioré (34 % de précision). Il a appris à cesser de s'appuyer uniquement sur la tête et à regarder réellement les yeux.

La leçon : L'IA peut apprendre à lire les yeux, mais elle a besoin de données spécifiques qui lui apprennent à le faire. Les données Internet standard sur lesquelles elle apprend habituellement ne contiennent pas assez de ces exemples de « piège ».

Résumé

Le Problème : Les modèles d'IA actuels sont terribles pour dire où quelqu'un regarde si sa tête est tournée dans une direction différente. Ils confondent la direction du visage avec la direction des yeux.
La Cause : Ils ont été entraînés sur des données où les têtes et les yeux pointent généralement dans la même direction, si bien qu'ils ont appris une ruse paresseuse.
La Solution : Nous devons fournir à l'IA davantage de données où les gens regardent sur le côté ou vers le haut tandis que leur tête reste immobile, forçant ainsi l'IA à apprendre à réellement lire les yeux.

L'article conclut qu'à moins que nous ne résolvions ce problème de données, l'IA aura du mal à comprendre les signaux non verbaux humains, ce qui est essentiel pour que les robots et les ordinateurs interagissent naturellement avec les gens.

1. Énoncé du problème

Les modèles vision-langage (VLM) sont de plus en plus attendus pour comprendre les indices de communication non verbale, tels que le regard, afin de faciliter l'interaction humain-robot et l'intelligence artificielle sociale. Bien qu'il existe des modèles spécialisés dans l'estimation du regard, ils manquent des capacités de raisonnement général des VLM. Cependant, il reste à déterminer si les VLM peuvent inférer avec précision les cibles du regard (ce qu'une personne regarde) dans des configurations zero-shot, en particulier lorsqu'il s'agit de distinguer l'apparence des yeux (la direction réelle des yeux) de l'orientation de la tête (la direction vers laquelle le visage est pointé).

Le problème central investigué est de savoir si les VLM possèdent la capacité fondamentale d'inférer le regard à partir d'indices oculaires subtils, ou s'ils reposent sur un biais heuristique où ils supposent qu'une personne regarde dans la direction vers laquelle sa tête est tournée, même lorsque les yeux regardent ailleurs.

2. Méthodologie

A. Construction de l'ensemble de données et des stimuli

Les auteurs ont construit un ensemble de données contrôlé de 1 360 photographies du monde réel représentant une seule personne assise à une table avec 2 à 4 objets.

Variables contrôlées :
- Cible du regard : L'objet spécifique que la personne regarde.
- Cible de la tête : La direction vers laquelle la tête de la personne est orientée.
- Conditions :
  - Congruente : La tête et les yeux pointent vers le même objet.
  - Incongruente : La tête pointe vers un objet, mais les yeux regardent un objet différent (le cas de test critique).
  - Naturelle : L'orientation de la tête est non contrainte mais confortable.
- Manipulations : Angle de vue (Face, Gauche, Droite), Proximité des objets (1–3, où 3 est le plus proche) et Nombre d'objets (2–4).
Nouveauté : Les images sont des photographies du monde réel (et non synthétiques) pour garantir les régularités statistiques de la lumière et de l'ombre, mais elles sont suffisamment nouvelles pour minimiser le chevauchement avec les données d'entraînement.

B. Conception expérimentale

Modèles évalués : L'étude a testé 111 VLM lors d'une pré-pilote, avec une étude principale se concentrant sur les meilleurs performeurs : GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2 et GLM-4.6V.
Lignes de base : Incluaient des modèles spécialisés comme Moondream2 (hybride avec une fonction de regard spécialisée) et GazeLLE (modèle de vision affiné).
Tâche : Un format de question à choix multiples demandant : « Quel objet cette personne regarde-t-elle ? » avec des options randomisées.
Protocole d'évaluation : Chaque VLM a vu 1 360 images 16 fois avec différents modèles de prompts (soit environ 21 760 essais par modèle) pour assurer la puissance statistique.

C. Cadre de caractérisation

Les auteurs ont proposé une série de tests empiriques pour catégoriser le comportement des modèles en cinq types hypothétiques (visualisés dans la Figure 2 de l'article) :

Compétent en regard : Précision au niveau humain.
Conscient des yeux : Précision inférieure à l'humain mais pas fortement biaisée par l'orientation de la tête.
Dominé par la tête : Ne peut pas résoudre le regard avec précision ; repose fortement sur l'orientation de la tête comme heuristique.
Exclusivement tête : Ignore largement l'apparence des yeux.
Ambivalent tête-yeux : Alterne aléatoirement entre les cibles de la tête et du regard.

Tests clés :

Test 1 (Écart de performance) : Comparer la précision des VLM avec celle des participants humains.
Test 2 (Biais de la tête) : Le modèle choisit-il la cible de la tête plus souvent que la cible du regard lorsqu'elles diffèrent ? La performance chute-t-elle significativement dans la condition incongruente ?
Test 3 (Réactivité au regard) : La distance d'erreur du modèle augmente-t-elle à mesure que la distance entre la cible de la tête et la cible du regard augmente ?
Test 4 (Lancer de pièce) : La distribution des choix du modèle change-t-elle en fonction du nombre d'objets situés entre la cible de la tête et la cible du regard ?

D. Expérience de mitigation (Preuve de concept)

Pour déterminer si le biais est architectural ou basé sur les données, les auteurs ont affiné GazeLLE sur leur ensemble de stimuli spécifique (répartition 7:1:2 entraînement/validation/test).

3. Résultats clés

A. Écart de performance

Humains : Ont atteint 89 % de précision sur les stimuli pilotes.
VLM : La plupart des modèles ont performé près du hasard (~42 %). Même les meilleurs modèles (GPT-5.2, GPT-4o) n'ont atteint que 30–46 % de précision sur les stimuli de l'étude principale (Condition Naturelle).
Modèles spécialisés : Moondream2 et GazeLLE n'ont pas non plus atteint les niveaux humains en configuration zero-shot, bien que GazeLLE ait mieux performé que les VLM généraux.

B. Le biais d'orientation de la tête

Mode d'échec dominant : La plupart des VLM ont exhibé un fort biais Dominé par la tête.
- Dans la Condition Incongruente, les modèles ont fréquemment sélectionné l'objet vers lequel la tête était tournée plutôt que l'objet vers lequel les yeux regardaient.
- Test 2.1 : GPT-5.2 et Qwen3 ont choisi la Cible de la tête plutôt que la Cible du regard significativement plus souvent que par hasard (62 % et 57 % respectivement).
- Test 2.3 : La performance a chuté drastiquement lorsque la Cible de la tête ≠ Cible du regard (par exemple, GPT-5.2 est passé de 45 % de précision dans la condition congruente à 28 % dans la condition incongruente).
Effet de proximité : Les modèles ont moins bien performé lorsque les objets étaient plus proches les uns des autres, indiquant qu'ils utilisent des informations visuelles mais peinent avec une discrimination fine.
Effet de la vue : Les modèles ont montré une sensibilité réduite à l'apparence des yeux lorsqu'ils étaient vus de profil par rapport à face, contrairement aux humains qui maintiennent une haute précision.

C. Analyse des causes

Les auteurs ont écarté plusieurs explications alternatives :

Résolution : L'augmentation de la résolution (jusqu'à 1024x1024) n'a pas amélioré la précision.
Nomination des objets : Les modèles pouvaient identifier correctement les objets ; l'erreur résidait dans le lien entre le regard et l'objet.
Architecture/Taille : Les modèles plus grands (plus de paramètres) et les versions plus récentes n'ont pas montré d'améliorations significatives.
Conclusion : Le biais est probablement basé sur les données. Les données d'entraînement (images d'internet) sur-représentent probablement les cas où la tête et le regard sont alignés et sous-représentent les « regards obliques » ou les indices incongruents, échouant à enseigner au modèle la nuance sociale du découplage tête-yeux.

D. Résultats de l'affinage

L'affinage de GazeLLE sur l'ensemble de données spécifique a considérablement atténué le biais.
Condition Incongruente : La précision a bondi de 15,65 % (pré-entraîné) à 34,15 % (affiné).
Condition Congruente : Amélioration modeste (62,82 % $\to$ 70,00 %).
Implication : Le modèle peut apprendre à se fier à l'apparence des yeux s'il est exposé à suffisamment de contre-exemples, confirmant l'hypothèse de la distribution des données.

4. Contributions clés

Caractérisation empirique : Introduction d'un cadre rigoureux pour catégoriser les comportements d'inférence du regard des VLM, allant au-delà des simples benchmarks de précision pour comprendre comment les modèles échouent (par exemple, Dominé par la tête vs Conscient des yeux).
Création d'ensemble de données : Publication d'un ensemble de données contrôlé de haute qualité de 1 360 images du monde réel spécifiquement conçu pour découpler l'orientation de la tête de la direction du regard.
Identification du biais : Fourniture de preuves solides que les VLM actuels de l'état de l'art reposent sur une « heuristique d'orientation de la tête » plutôt que sur l'analyse de l'apparence des yeux, entraînant un écart de performance significatif par rapport aux humains.
Insight centré sur les données : Démonstration via l'affinage que ce biais n'est pas une limitation architecturale inhérente mais le résultat de la distribution des données d'entraînement, offrant une voie claire pour l'amélioration.

5. Importance et perspectives futures

IA Sociale : Pour que les robots et agents conversationnels interagissent naturellement, ils doivent comprendre le regard pour résoudre l'ambiguïté de la référence et inférer l'intention. Les VLM actuels sont peu fiables pour cette tâche.
Méthodologie d'évaluation : L'article plaide pour une « évaluation guidée par l'hypothèse » et une sonde comportementale contrôlée (similaire aux sciences cognitives) plutôt que pour un simple benchmarking sur des images d'internet, où les heuristiques de la tête suffisent souvent.
Recommandations d'entraînement : Les futurs VLM nécessitent des données d'entraînement qui capturent explicitement l'interplay entre l'orientation du corps/de la tête et l'apparence des yeux, incluant spécifiquement des cas « incongruents » où la tête et les yeux pointent dans des directions différentes.
Considérations éthiques : Les auteurs avertissent que si les modèles actuels manquent de cette compétence, le potentiel pour les machines d'interpréter les indices non verbaux sans consentement constitue un risque sociétal qui doit être géré à mesure que la technologie s'améliore.

En résumé, l'article révèle que malgré leurs capacités avancées, les VLM actuels sont « aveugles » aux indices subtils du regard humain, se rabattant sur une heuristique d'orientation de la tête plus simple, souvent incorrecte. Cette limitation est soluble grâce à une curation ciblée des données et à l'affinage.