💻 computer science

Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

Ce papier présente Know-Show, un nouveau benchmark et une méthode d'inférence sans entraînement (GRAM) conçus pour évaluer et améliorer la capacité des modèles vidéo-langage à raisonner de manière ancrée dans l'espace et le temps en reliant la compréhension sémantique à des preuves visuelles et temporelles précises.

Auteurs originaux : Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

Publié 2026-04-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Les Films qui Racontent des Mensonges

Imaginez que vous avez un ami très intelligent, disons un robot super-savant (c'est ce qu'on appelle un "Modèle Langage-Vidéo" ou Video-LM). Ce robot a vu des millions de vidéos sur Internet. Il connaît le nom de tous les objets, il sait distinguer un chat d'un chien, et il peut même vous raconter l'histoire d'un film.

Mais il y a un gros problème : ce robot est un peu comme un acteur qui a oublié son script.

Il peut vous dire : "Dans cette vidéo, quelqu'un coupe une pomme." (C'est la connaissance).
Mais si vous lui demandez : "Montrez-moi exactement où se trouve la pomme et à quelle seconde précise elle est coupée ?" (C'est le montrer), il se trompe souvent. Il pointe peut-être la pomme, mais à la mauvaise seconde, ou il confond la personne qui coupe avec celle qui regarde.

En résumé : Il sait "ce qu'il sait", mais il ne sait pas "montrer ce qu'il sait". C'est comme si un détective vous disait : "Le voleur est entré par la fenêtre à 14h00", mais qu'il ne pouvait pas vous montrer la fenêtre ni l'heure exacte sur la montre.

🧪 La Solution : Le Test "Savoir-Montrer" (Know-Show)

Les chercheurs ont créé un nouveau test, appelé Know-Show, pour vérifier si ces robots sont vraiment intelligents ou s'ils devinent juste.

Imaginez que vous donnez au robot une vidéo de cuisine et une question : "Qui a pris le beurre et quand ?"

Pour réussir le test Know-Show, le robot doit faire deux choses en même temps :

Répondre correctement (Savoir) : "C'est Marie qui a pris le beurre."
Prouver sa réponse (Montrer) : "Voici le cadre exact où Marie est visible (le 'où') et voici l'heure exacte sur la vidéo où elle attrape le beurre (le 'quand')."

Si le robot donne la bonne réponse mais ne peut pas pointer du doigt le moment exact, il échoue.

🧩 Les 5 Défis du Test

Le test est divisé en 5 niveaux de difficulté, comme un jeu vidéo :

La Personne : "Qui fait l'action ?" (Facile, les robots sont bons là-dessus).
L'Objet : "Quel objet est manipulé ?" (Plus dur, les objets sont petits).
La Duo (Personne + Objet) : "Qui fait quoi à quel objet ?" (Il faut relier les deux).
La Main + Objet : "Quelle main (gauche ou droite) touche l'objet ?" (C'est le niveau "Expert" : très difficile car les mains bougent vite et sont petites).
Le Temps : "Dans quel ordre les actions se passent-elles ?" (Il faut comprendre la chronologie).

📉 Les Résultats : Les Robots sont encore des Bébés

Les chercheurs ont testé les meilleurs robots du monde (comme GPT-4o, Gemini, etc.) avec ce test.

Les Humains : Ils obtiennent plus de 75% de réussite. Nous, humains, voyons naturellement qui fait quoi, où et quand.
Les Robots : Ils obtiennent souvent moins de 20 à 30%.
- Ils sont souvent confus entre la main gauche et la main droite.
- Ils savent qu'une action a eu lieu, mais ils ne savent pas quand exactement.
- Ils mélangent souvent les personnes dans une foule.

C'est comme si le robot regardait un film en accéléré et essayait de deviner l'intrigue sans voir les détails.

🛠️ L'Innovation : Le "GRAM" (Le Soutien-Gorge de la Mémoire)

Pour aider les robots à faire mieux, les chercheurs ont inventé un petit outil gratuit et facile à installer, appelé GRAM.

Imaginez que le robot a une mémoire un peu floue. GRAM agit comme un surligneur magique :

Quand le robot commence à réfléchir à une réponse, GRAM lui dit : "Attends, arrête-toi ! Regarde cette partie précise de la vidéo maintenant."
Il force le robot à se concentrer sur les pixels exacts (l'image) et les secondes exactes (le temps) qui prouvent sa réponse.
Il ajoute aussi des étiquettes de temps claires (comme "0:05", "0:10") pour que le robot ne se perde pas dans le temps.

Résultat : Avec GRAM, les robots deviennent beaucoup plus précis. Ils ne devinent plus, ils prouvent. Ils commencent enfin à "montrer ce qu'ils savent".

🚀 Pourquoi est-ce important ?

Pourquoi se soucier de savoir si un robot peut pointer du doigt un objet dans une vidéo ?

Parce que dans le monde réel, la précision sauve des vies :

Pour un robot dans une maison de retraite : S'il doit aider une personne à prendre un médicament, il ne doit pas juste "penser" que c'est l'heure. Il doit voir la main de la personne, voir le verre, et savoir à quelle seconde elle le porte à sa bouche.
Pour la sécurité : Si une caméra de surveillance doit alerter en cas de chute, elle doit pouvoir dire : "La personne est tombée à 14h32, dans ce coin précis", et pas juste "Il y a eu une chute quelque part".

En Résumé

L'article Know-Show nous dit : "Nos robots sont devenus de grands bavards, mais ils sont encore de mauvais observateurs."

Ils savent raconter des histoires, mais ils ne savent pas encore prouver leurs dires avec des preuves visuelles et temporelles solides. Grâce au test Know-Show et à l'outil GRAM, les chercheurs nous donnent la boussole pour construire des robots qui ne se contentent pas de parler, mais qui comprennent vraiment le monde qui les entoure, ici et maintenant.

1. Problématique

Les modèles de langage-vision vidéo (Video-LMs) ont réalisé des progrès impressionnants dans la compréhension multimodale, permettant d'interpréter et de discuter de vidéos en langage naturel. Cependant, leur capacité de raisonnement ancré (grounded reasoning) reste faible.

Le problème central identifié par les auteurs est la déconnexion entre le raisonnement sémantique et la preuve visuelle temporelle/spatiale. Bien que les modèles puissent reconnaître des objets ou capturer un ordre temporel grossier, ils échouent souvent à :

Associer correctement une action à l'entité spécifique (personne, objet, main) qui la réalise.
Ancrer leurs inférences dans les dimensions spatiales (où ?) et temporelles (quand ?) précises de la vidéo.
"Montrer ce qu'ils savent" (fournir des preuves visuelles) tout en "sachant ce qu'ils montrent" (raisonner correctement sur ces preuves).

Les benchmarks existants se divisent généralement en deux catégories disjointes : ceux axés sur la localisation (focalisés sur la détection) et ceux axés sur le raisonnement (souvent abstraits, sans exigence de localisation précise). Il manque un cadre unifié évaluant la capacité d'un modèle à raisonner tout en s'ancrant dans la vidéo.

2. Méthodologie

Pour répondre à ce défi, les auteurs proposent une double approche : un nouveau benchmark (Know-Show) et une méthode d'amélioration sans réentraînement (GRAM).

A. Le Benchmark Know-Show

Know-Show est un benchmark conçu pour évaluer le raisonnement ancré spatio-temporel. Il repose sur 2 500 questions de haute qualité, rédigées par des humains, extraites des jeux de données Charades, Action Genome et Ego4D.

Le benchmark unifie le raisonnement et la localisation dans cinq scénarios complémentaires, divisés en deux catégories :

Raisonnement Spatial Ancré Conditionné par l'Action (Spatial Grounded Reasoning) :
- Personne (PGR) : Associer une action à la personne qui la réalise et localiser cette personne.
- Objet (OGR) : Associer une action à l'objet impliqué et le localiser.
- Personne-Objet (POCoGR) : Associer l'action à la fois à la personne et à l'objet, en gérant leurs interactions.
- Main-Objet (HOCoGR) : Raisonnement fin au niveau du contact, distinguant les mains gauche/droite et l'objet manipulé (scénario particulièrement difficile).
Raisonnement Temporel Ancré Conditionné par l'Action (Temporal Grounded Reasoning - TGR) :
- Évaluer la capacité à déterminer l'ordre relatif des actions et à localiser leurs moments absolus (début/fin) dans la vidéo.

Critère d'évaluation : Un modèle n'est crédité que s'il réussit à la fois le raisonnement (réponse correcte) et la localisation (boîte englobante et timestamp précis).

B. Le Framework GRAM (Grounded Reasoning Augmentation Module)

Pour combler le fossé entre les modèles actuels et le raisonnement humain, les auteurs proposent GRAM, un module plug-and-play sans réentraînement (training-free). GRAM améliore les Video-LMs existants via deux mécanismes :

Sélection de tokens vidéo basée sur l'attention : Lors de la génération d'une étape de raisonnement, le modèle agrège les cartes d'attention à travers toutes les couches et têtes du modèle pour identifier les $N$ tokens vidéo les plus pertinents. Ces tokens sont ensuite réinjectés dans le processus de décodage pour ancrer l'étape de raisonnement dans la preuve visuelle pertinente.
Encodage explicite des timestamps : Pour améliorer l'alignement temporel absolu (souvent faible avec les encodages de position implicites), GRAM insère des tokens de timestamps explicites (ex: <0.0s>, <5.1s>) intercalés avec les tokens des images dans la séquence d'entrée. Cela sert d'ancres temporelles directes pour le modèle.

3. Contributions Clés

Introduction du Benchmark Know-Show : Un cadre d'évaluation unifié qui force les modèles à prouver leurs inférences par des preuves spatio-temporelles, comblant le vide entre les tâches de localisation et de raisonnement.
Évaluation Systématique : Une évaluation complète de modèles Video-LMs ouverts (Qwen, VideoR1, etc.) et fermés (GPT-4o, Gemini), révélant des faiblesses systémiques dans l'alignement raisonnement-preuve.
Proposition de GRAM : Une méthode simple et efficace qui améliore significativement les capacités de raisonnement ancré sans nécessiter de réentraînement coûteux, en alignant explicitement les étapes de raisonnement avec les preuves visuelles et temporelles.
Analyse des Limites : Identification que les modèles actuels échouent particulièrement sur les interactions fines (main-objet) et le raisonnement conditionnel complexe, contrairement aux humains qui excellent (>75% de précision).

4. Résultats

Les expériences menées sur le benchmark Know-Show révèlent les faits suivants :

Écart Humain vs IA : Les humains obtiennent plus de 75% de précision sur l'ensemble des métriques. Les meilleurs modèles actuels (même GPT-4o et Gemini) restent loin de ce niveau, avec des scores souvent inférieurs à 30-40% sur les tâches combinées.
Hiérarchie de Difficulté : La performance décroît avec la complexité :
- Personne (PGR) > Objet (OGR) > Personne-Objet (POCoGR) > Main-Objet (HOCoGR).
- Le scénario Main-Objet est le plus critique : la plupart des modèles échouent presque totalement, manquant de finesse pour distinguer les mains et les interactions physiques précises.
Raisonnement Temporel : Les modèles gèrent mieux l'ordre relatif des actions que la localisation temporelle absolue. Même les modèles performants ont des erreurs de timestamp significatives (MAD élevé).
Impact de GRAM : L'ajout de GRAM au modèle de base (Qwen2.5-VL) améliore systématiquement les performances :
- Augmentation de la précision de localisation spatiale (IoU).
- Meilleure alignement temporel grâce aux tokens explicites.
- GRAM atteint les meilleurs scores parmi les modèles testés, bien qu'il reste encore en dessous des performances humaines.
Échec du Prompting seul : Les expériences montrent que le Zero-shot, le Chain-of-Thought (CoT) ou les stratégies multi-étapes n'améliorent pas significativement les performances sans l'ajout de mécanismes d'ancrage visuel comme GRAM.

5. Signification et Impact

Ce travail met en lumière une limitation fondamentale des Video-LMs actuels : ils sont souvent capables de "deviner" la réponse basée sur des biais linguistiques ou des corrélations globales, mais ne peuvent pas justifier cette réponse par des preuves visuelles précises dans le temps et l'espace.

Pour la recherche : Know-Show établit un nouveau standard pour évaluer la fiabilité et l'interprétabilité des modèles multimodaux. Il force la communauté à développer des architectures capables de lier le raisonnement logique à la perception visuelle fine.
Pour les applications réelles : Un raisonnement ancré robuste est crucial pour des domaines critiques comme la robotique, l'IA incarnée, la surveillance de sécurité et les soins aux personnes âgées. Par exemple, un robot ne doit pas seulement savoir qu'une personne a éteint un four, mais doit pouvoir montrer à quel moment précis et sur quel bouton l'action a été effectuée pour garantir la sécurité.

En conclusion, l'article démontre que pour passer de modèles qui "devinent" à des systèmes qui "comprennent et prouvent", il est nécessaire d'intégrer des mécanismes explicites d'ancrage spatio-temporel, comme le propose GRAM, et d'évaluer les modèles avec des benchmarks rigoureux comme Know-Show.