💬 NLP

Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue

Cet article étudie comment les gestes et la parole transmettent conjointement des informations référentielles dans le cadre de dialogues médiatisés par vidéo sous diverses conditions de visibilité, démontrant que le geste seul est prédictif, que la fusion multimodale est la plus bénéfique lorsque la parole est ambiguë, et que la visibilité du partenaire influence à la fois la production de gestes et l'entraînement interactionnel.

Auteurs originaux : Esam Ghaleb, Hugh Mee Wong, Kristina Kobrock

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Esam Ghaleb, Hugh Mee Wong, Kristina Kobrock

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner un objet secret auquel votre ami pense, mais que vous ne pouvez entendre que sa voix. Parfois, il dit : « C'est celui avec le bout pointu », ce qui est assez vague. Mais si vous pouvez aussi le voir, il pourrait pointer l'air du doigt ou agiter ses doigts pour montrer la forme. C'est là toute la magie de la conversation humaine : nous n'utilisons pas seulement des mots ; nous utilisons tout notre corps pour combler les lacunes. Les scientifiques qui étudient la façon dont les ordinateurs comprennent le langage (un domaine appelé Traitement du Langage Naturel) ont été très doués pour lire les transcriptions de ce que les gens disent, mais ils ont souvent du mal à comprendre les parties non dites et désordonnées d'une conversation, comme les gestes de la main. La grande question est : un ordinateur peut-il apprendre à « lire » ces mouvements de mains pour comprendre de quoi quelqu'un parle, surtout quand les mots seuls ne sont pas assez clairs ? Et est-ce important que l'ordinateur puisse « voir » la personne faisant les gestes, ou seulement l'entendre ?

Cet article plonge dans ce mystère exact en mettant en place un jeu numérique. Les chercheurs ont créé un scénario où deux personnes devaient identifier l'une des 16 formes étranges et de type extraterrestre (appelées « Fribbles ») qui n'ont pas de vrais noms. Elles devaient décrire et choisir la bonne parmi une file d'attente. L'équipe a testé cela dans trois contextes de « visibilité » différents : là où les partenaires ne pouvaient s'entendre que par la voix, là où ils pouvaient se voir d'un côté, et là où ils pouvaient se voir pleinement. Ils ont construit des modèles informatiques pour jouer le rôle du devineur, en les nourrissant soit uniquement des mots prononcés, soit uniquement du mouvement squelettique des mains, soit d'un mélange des deux.

Voici ce qu'ils ont trouvé : les gestes de la main seuls étaient en fait étonnamment bons pour deviner le bon objet. Les modèles informatiques pouvaient choisir le bon Fribble simplement en regardant les mouvements de la main environ 20 % du temps, ce qui est bien meilleur qu'un choix aléatoire (qui ne le réussirait que 5,9 % du temps). Cependant, les mots restaient la star du spectacle, réussissant environ 46,5 % du temps. La véritable magie opérait lorsque l'ordinateur combinait les deux. Les gestes de la main n'apportaient pas seulement un petit coup de pouce ; ils agissaient comme un filet de sécurité. Quand l'ordinateur était confus par les mots et ne savait pas quoi deviner, les mouvements de la main fournissaient l'indice supplémentaire nécessaire pour résoudre l'énigme.

Les chercheurs ont également découvert que la « visibilité » des partenaires changeait la façon dont les humains agissaient. Lorsque les partenaires pouvaient se voir, ils utilisaient plus de gestes, et ces gestes étaient chargés d'informations plus utiles. Mais lorsqu'ils ne pouvaient pas se voir, les gestes devenaient un peu plus semblables à des mouvements d'auto-apaisement et moins utiles pour que l'ordinateur devine l'objet. Curieusement, à mesure que les partenaires jouaient au jeu de manière répétée, ils devenaient meilleurs pour décrire les objets avec des mots, mais leurs gestes de la main ne devenaient pas meilleurs ou plus spécifiques au fil du temps.

Enfin, l'équipe a tenté un tour de passe-passe sophistiqué pour aider l'ordinateur à mieux comprendre les gestes. Ils ont appris au modèle à « faire correspondre » mentalement la forme d'un mouvement de main à l'image de l'objet qu'il décrivait. Cela n'a pas rendu les gestes de la main meilleurs en soi, mais cela a rendu la combinaison des mots et des gestes encore plus précise, faisant grimper le taux de réussite de quelques points de pourcentage supplémentaires. En bref, l'article suggère que si les ordinateurs deviennent bons pour écouter, ils doivent encore apprendre à regarder nos mouvements pour vraiment comprendre ce que nous voulons dire, surtout quand nos mots deviennent un peu flous.

Résumé technique : Investigation de l'informativité multimodale sous différentes conditions de visibilité du partenaire dans le dialogue médiatisé par la vidéo

Énoncé du problème

La communication humaine est intrinsèquement multimodale et incarnée, où les gestes portent souvent des informations absentes ou sous-spécifiées dans le discours. Cependant, les modèles de dialogue contemporains s'appuient généralement uniquement sur des transcriptions textuelles, échouant ainsi à exploiter tout le spectre des indices communicatifs. Bien que des travaux antérieurs aient établi que les gestes peuvent faciliter la résolution de références, il reste peu clair quelle quantité d'information référentielle les gestes transportent de manière indépendante, comment ils complètent la parole, et comment ces dynamiques évoluent selon différentes conditions de visibilité du partenaire (par exemple, audio seul vs vidéo-médiation). De plus, les benchmarks existants manquent souvent de la granularité nécessaire pour distinguer quand le geste apporte une valeur unique par rapport à un simple renforcement du discours. Cette étude aborde ces lacunes en quantifiant l'informativité des gestes iconiques et leur fusion avec la parole dans une tâche de communication référentielle contrôlée.

Méthodologie

Jeu de données et tâche

L'étude utilise l'extension vidéo du jeu de données CABB (Akamine et al., 2025a,b), comprenant 90 participants néerlandophones organisés en 45 dyades. La tâche est un jeu de communication référentielle où un « Directeur » décrit l'un des 16 objets visuels inédits (Fribbles) à un « Associateur », qui doit identifier l'objet cible.

Conditions : Les dyades ont interagi sous trois conditions de visibilité : Audio Seul (AO), Vidéo Asymétrique (ASYM) et Vidéo Symétrique (SYM).
Données : Le jeu de données comprend de l'audio de haute qualité, des transcriptions orthographiques alignées temporellement (néerlandais/anglais), de la vidéo multi-angles et des données de suivi de mouvement.
Formulation de la tâche : Le problème est formulé comme une classification de référent sur 16 candidats (plus une classe « AUTRE »). Les modèles prédisent la cible donnée une transcription de la parole, une séquence de gestes squelettiques, ou les deux.

Approche de modélisation

Les auteurs ont développé un pipeline comparant des architectures unimodales et multimodales :

Représentations gestuelles : Deux configurations squelettiques ont été comparées :
- MediaPipe-3D : 51 points clés (coordonnées 3D).
- MMPose-2D : 69 points clés (coordonnées 2D incluant le visage).
- Encodeur : Les deux configurations ont été traitées à l'aide de Réseaux de Graphes Spatio-Temporels (ST-GCN) pour capturer les dépendances anatomiques et temporelles.
Représentations de la parole : Les transcriptions ont été encodées à l'aide d'une projection textuelle CLIP ViT-L/14 gelée.
Représentations de référents : Les images des 16 Fribbles ont été encodées à l'aide de la projection d'image CLIP gelée pour servir de prototypes de classe.
Mécanisme de fusion : Un module de fusion résiduelle à porte (gated residual fusion) intègre les représentations gestuelles et de la parole. La fusion est ancrée sur la parole, permettant au modèle de filtrer sélectivement l'information gestuelle en fonction du signal de parole.
Alignement uniquement lors de l'entraînement : Un composant novateur implique un alignement Pose-vers-Image (P→V). Pendant l'entraînement, une perte contrastive (InfoNCE) aligne les représentations gestuelles apprises avec les représentations d'images CLIP gelées des objets cibles. Cet alignement est écarté lors de l'inférence.
Baselines : L'étude se compare à un modèle de langage-vision généraliste (Qwen3-VL) et à des bases unimodales.

Protocole d'évaluation

Métriques : Précision Top-k ( $k \in \{1, 2, 3, 4, 5\}$ ), Macro-F1, et une métrique d'utilité $U_{1:5}$ mesurant la qualité du classement.
Validation : Validation croisée en cinq plis (five-fold), groupée par essai pour éviter les fuites de données. Les données en face-à-face n'ont été utilisées que pour l'entraînement auxiliaire.
Analyse statistique : Une régression logistique binaire bayésienne a été employée pour analyser les effets de la visibilité et des tours d'interaction sur la performance du modèle et la production de gestes humains.

Résultats clés

1. Le geste comme canal référentiel authentique

Les modèles basés uniquement sur le geste ont obtenu des performances significativement supérieures au hasard :

Précision Top-1 : ~19,5–20,4 % (Hasard : 5,9 %).
Précision Top-5 : ~55,5–56,4 %, plaçant le référent correct dans une liste restreinte dans plus de la moitié des cas.
Cela confirme que les gestes iconiques contiennent à eux seuls une information référentielle récupérable, indépendamment de la parole.

2. Complémentarité sélective du geste

Bien que les modèles de parole seule soient performants (46,5 % Top-1), l'ajout du geste apporte une amélioration constante, bien que modeste (~1,6–1,7 point de pourcentage).

Gain piloté par l'incertitude : Le bénéfice de la fusion était sélectif. Dans le quartile le moins confiant des prédictions de parole (où la précision de la parole était d'environ 20 %), l'ajout du geste a amélioré la précision de +7,5 points de pourcentage. Dans les segments de parole à haute confiance, le gain était négligeable.
Cela indique que le geste aide principalement la résolution de référence lorsque le signal verbal est ambigu ou sous-spécifié.

3. Impact de l'alignement Pose-vers-Image

L'alignement P→V, utilisé uniquement durant l'entraînement, a davantage amélioré la performance multimodale :

La précision Top-1 a augmenté de 1,7 point de pourcentage (passant de 48,1 % à 49,8 %) pour le meilleur modèle de fusion.
Crucialement, cet alignement n'a pas amélioré la performance du modèle basé uniquement sur le geste, suggérant que son rôle principal est de faciliter l'intégration du geste dans la représentation de la parole plutôt que d'améliorer la discrimination gestuelle isolée.

4. Effets de la visibilité du partenaire et de l'entraînement

Visibilité : La production et l'informativité des gestes étaient significativement plus élevées lorsque les interlocuteurs pouvaient se voir (vidéo symétrique/asymétrique) par rapport à l'audio seul. Cependant, la performance de la parole et du modèle de fusion est restée stable à travers les conditions de visibilité.
Entraînement (Entrainment) : À travers six tours d'interaction, la précision de la parole s'est améliorée de manière significative (de 40,3 % à 60,4 %), reflétant l'entraînement lexical (conventionnalisation des expressions référentielles). En revanche, la précision du geste seul est restée stable, et aucun effet d'entraînement indépendant du geste n'a été observé.

Signification et contributions

L'article apporte des contributions tant à la modélisation technique qu'à l'analyse de l'interaction humaine :

Modélisation technique : Il démontre que le geste est un canal d'information récupérable et complémentaire dans le dialogue multimodal. L'étude établit que les gains de fusion sont concentrés dans les régions d'incertitude de la parole, offrant une vue plus nuancée de l'intégration multimodale que les métriques de performance agrégées. L'introduction de l'alignement sémantique uniquement à l'entraînement (P→V) offre une méthode pour améliorer la fusion sans modifier les entrées lors de l'inférence.
Analyse de l'interaction humaine : En reliant la performance des modèles aux données humaines, l'étude quantifie les effets pragmatiques. Elle confirme que la visibilité du partenaire module la production et l'informativité des gestes, tandis que l'interaction répétée favorise l'entraînement lexical dans la parole mais pas nécessairement dans le geste.
Rigueur méthodologique : L'utilisation de représentations squelettiques contrôlées (plutôt que de la vidéo brute) permet une évaluation directe de l'informativité du geste, en la distinguant des complexités des modèles de langage-vision généralistes qui, comme le montre la baseline Qwen3-VL, peuvent échouer à utiliser efficacement les cadres gestuels sans contraintes architecturales spécifiques.

Les auteurs concluent que bien que les gestes soient informatifs, leur utilité dans les modèles computationnels est plus marquée lorsqu'ils résolvent l'ambiguïté du signal verbal, et que leur production est fortement influencée par le contexte visuel de l'interaction.