🤖 AI

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

Cet article introduit le Visual Dependency Gap (VDG) pour démontrer que la haute précision des benchmarks dans les modèles de langage de grande taille pour la vidéo provient souvent de priors linguistiques plutôt que d'une véritable compréhension visuelle, révélant que l'ordre temporel contribue de manière minimale à la performance tandis que la diversité des images en est le principal moteur.

Auteurs originaux : Jae Joong Lee

Publié 2026-07-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jae Joong Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde. Vous lui donnez une caméra et un cerveau, et vous lui posez des questions sur ce qu'il voit. Pendant longtemps, les scientifiques ont mesuré à quel point ces robots sont « intelligents » en leur faisant passer un test : montrez-leur une vidéo, posez une question, et voyez s'ils trouvent la bonne réponse. Si le robot obtient un score élevé, nous supposons qu'il « voit » vraiment et comprend la vidéo. Mais voici le piège : le simple fait qu'un robot trouve la bonne réponse ne signifie pas qu'il a regardé l'image. Il pourrait simplement avoir deviné en se basant sur les mots de la question, comme un élève qui sait que le professeur pose toujours des questions sur les « chats » le mardi et répond simplement « chat » sans regarder le tableau noir. Ce document plonge dans le monde complexe et confus des « Modèles de Langage de Grande Taille Vidéo » — des ordinateurs super intelligents capables de lire du texte et de regarder des vidéos — pour poser une question effrayante : ces robots sont-ils réellement en train de regarder les films, ou sont-ils simplement très doués pour deviner les réponses en utilisant uniquement le texte ?

Les chercheurs ont décidé de jouer un petit tour à vingt robots visionnaires différents, allant des plus petits aux plus massifs avec des cerveaux gigantesques. Ils ont pris un test standard appelé MVBench, qui contient des centaines de questions sur des vidéos, et ils ont passé le test deux fois pour chaque question. La première fois, ils ont montré au robot la vraie vidéo. La seconde fois, ils ont montré au robot exactement la même question, mais la vidéo a été remplacée par un écran noir uni. Si le robot « voyait » vraiment, son score devrait tomber proche de zéro lorsque la vidéo disparaît. Si le robot continuait à donner les bonnes réponses même avec un écran noir, cela signifiait qu'il ne regardait pas du tout ; il utilisait simplement des astuces linguistiques pour deviner.

Les résultats ont été un choc. L'équipe a découvert que pour de nombreuses questions, les robots performaient presque exactement de la même manière qu'ils regardaient une vidéo ou qu'ils fixaient un vide noir. Ils ont introduit une nouvelle façon de mesurer cela appelée « Écart de Dépendance Visuelle » (VDG pour Visual Dependency Gap), qui est essentiellement la différence entre la performance d'un robot avec une vidéo et sans elle. Ils ont découvert que pour certains types de questions, comme « De quelle couleur est la voiture ? » (Perception d'Attributs), les robots avaient réellement besoin de la vidéo pour réussir. Mais pour d'autres types, comme « Que se passe-t-il ensuite ? » (Raisonnement Temporel), les robots donnaaient les bonnes réponses même lorsque l'écran était noir. Cela signifie que les questions du test ne testaient pas réellement si les robots comprenaient le temps ou la séquence ; elles testaient simplement si les robots pouvaient deviner la réponse en se basant sur la formulation de la question.

Les chercheurs ont également essayé de comprendre pourquoi ces robots obtenaient ces réponses. Ils ont décomposé la vidéo en différentes parties : juste une seule image (frame), un groupe d'images mélangées dans le désordre, et la vidéo complète avec le temps qui s'écoule. Ils ont découvert que les robots ne se souciaient pas du tout de l'ordre des événements. Que la vidéo soit jouée à l'endroit, à l'envers ou qu'il s'agisse d'un fouillis d'images, les robots obtenaient le même score. La seule chose qui semblait aider était de voir des images différentes (diversité des images), et non de les voir dans le bon ordre. En fait, pour certains des modèles les plus récents et les plus avancés, l'entrée vidéo semblait même les confondre, les faisant performer légèrement moins bien que s'ils avaient simplement ignoré la vidéo pour deviner à partir du texte.

L'une des découvertes les plus intéressantes concerne la façon dont ces robots gèrent la compression. Habituellement, si vous écrasez un fichier vidéo pour le rendre plus petit, la qualité se dégrade. Les chercheurs s'attendaient à ce que, si un robot « voyait » vraiment, une vidéo floue et compressée le fasse échouer. Mais les scores des robots sont restés stables et constants, même lorsque la vidéo était fortement compressée. L'équipe a réalisé que ce n'était pas parce que les robots étaient super robustes, mais parce que les questions étaient si faciles à deviner à partir du texte que les robots n'avaient pas besoin des détails visuels du tout. La « robustesse » était une illusion créée par de mauvaises questions de test.

Enfin, ils ont observé comment ces robots changeaient à mesure qu'ils devenaient plus gros et plus intelligents. Ils ont découvert que, bien que les modèles plus grands soient généralement meilleurs pour utiliser la vidéo, certains des modèles les plus récents devenaient en fait moins bons pour s'appuyer sur l'information visuelle. Un modèle, Qwen3-VL, semblait avoir oublié comment utiliser efficacement les images de la vidéo, se reposant presque entièrement sur la devinette à partir du texte, même si ses scores globaux semblaient bons. Le document conclut que nous ne pouvons plus simplement faire confiance aux scores des classements. Un score élevé ne signifie pas qu'un robot est un grand observateur ; il peut simplement signifier qu'il est un excellent devineur. Pour savoir si un robot voit vraiment, nous devons vérifier s'il échoue lorsque l'écran devient noir. S'il n'échoue pas, c'est qu'il ne regardait pas en premier lieu.

Résumé technique : La précision sans ancrage

Énoncé du problème

L'hypothèse prédominante dans l'évaluation des modèles de langage de grande taille (LLM) vidéo est qu'une précision plus élevée aux benchmarks équivaut à une meilleure compréhension visuelle. Cet article conteste cette hypothèse, arguant que la précision des benchmarks confond souvent l'ancrage visuel véritable avec l'exploitation des priors linguistiques (résolvabilité par le texte seul). Bien que des travaux antérieurs aient identifié que certaines questions vidéo peuvent être répondues sans la vision, ces études n'ont pas quantifié ce phénomène par question ni prouvé statistiquement que la précision et la dépendance visuelle sont des axes séparables. Par conséquent, les améliorations sur les classements peuvent signaler un meilleur modelage du langage plutôt qu'un progrès réel dans le raisonnement spatio-temporel.

Méthodologie

Les auteurs introduisent le Visual Dependency Gap (VDG - Écart de Dépendance Visuelle), une métrique de diagnostic par question définie comme la différence de correction entre une condition vidéo originale et une condition d'écran noir (où tous les cadres sont remplacés par des images noires solides, préservant le texte et les options).
$VDG(q) = \mathbb{1}[\text{correct}_{\text{original}}] - \mathbb{1}[\text{correct}_{\text{noir}}]$
L'étude évalue 20 LLM vidéo allant de 2 à 78 milliards de paramètres et couvrant 10 familles d'architectures (incluant des modèles à poids ouverts comme Qwen, InternVL, LLaVA et des modèles d'API propriétaires comme GPT-4o et Gemini) à travers trois benchmarks : Video-MME, MVBench et EgoSchema.

Les protocoles expérimentaux clés incluent :

Test de dissociation de McNemar : Des tests de McNemar appariés sont appliqués aux résultats de correction binaires pour déterminer si les modèles diffèrent dans leur dépendance visuelle indépendamment de la précision globale.
Échelle de diagnostic à quatre conditions : Pour décomposer la dépendance visuelle, les auteurs testent les modèles sous quatre conditions : (1) Écran noir, (2) Image unique (répétée), (3) Images mélangées (contenu diversifié, pas d'ordre temporel), et (4) Vidéo originale. Cela isole les contributions de la reconnaissance spatiale, de la diversité des images et de l'ordre temporel.
Analyse de la robustesse à la compression : Les vidéos sont réencodées en H.264 avec différents niveaux de CRF (18–38) pour tester si la stabilité de la précision globale masque des basculements de réponses bidirectionnels.
Ablation de l'IPS (FPS) : Les taux d'images par seconde sont variés de 0,5 à 24 FPS pour écarter la parcité de trames comme cause d'un faible score de raisonnement temporel.

Contributions clés

Dissociation statistique de la précision et de l'ancrage : En utilisant des tests de McNemar appariés, l'article prouve que la précision et la dépendance visuelle sont statistiquement séparables. Par exemple, sur MVBench, InternVL2-8B surpasse significativement Qwen2-VL-7B sur la vidéo originale ( $p=0,0003$ ) mais est statistiquement indiscernable sur les écrans noirs ( $p=0,53$ ).
Spectre de VDG par type de tâche : Les auteurs établissent une hiérarchie stable de la dépendance visuelle à travers les types de tâches. La Perception d'attributs est la catégorie la plus ancrée visuellement (VDG $\approx$ 0,41), tandis que le Raisonnement temporel se rapproche de la ligne de base linguistique (VDG $\approx$ 0,06). Ce classement se maintient de manière cohérente sur 20 modèles et trois benchmarks distincts.
Décomposition des signaux visuels : L'échelle de diagnostic révèle que la diversité des images (observer plusieurs images distinctes) fournit la grande majorité du bénéfice visuel, tandis que l'ordre temporel contribue de manière quasi nulle à la précision sur 16 modèles à poids ouverts.
Illusion de robustesse à la compression : L'étude démontre que les courbes de précision plates sous la compression H.264 sont des artefacts de l'annulation bidirectionnelle (les questions passant de correctes à incorrectes s'annulant avec celles passant d'incorrectes à correctes), plutôt qu'une véritable robustesse du modèle. Les questions sensibles à la compression sont disproportionnellement ancrées visuellement.

Résultats clés

Dissociation : Les modèles qui performent le mieux sur la vidéo originale ne sont pas nécessairement ceux qui performent le mieux sur écran noir, indiquant que les classements reflètent souvent l'exploitation des priors linguistiques plutôt que la capacité visuelle.
Échec du raisonnement temporel : À travers tous les modèles, l'ordre temporel apporte des gains de précision négligeables. Le VDG pour les tâches de raisonnement temporel est proche de zéro, suggérant que les benchmarks actuels ne testent pas efficacement la compréhension temporelle.
Dominance de la diversité des images : Le "delta de diversité" (gain de précision des images mélangées par rapport à l'image unique) est le signal visuel dominant (allant de +0,075 à +0,185), tandis que le "delta temporel" (original vs mélangé) est proche de zéro.
Régression générationnelle : Bien que le passage à l'échelle améliore généralement le VDG (par exemple, le passage de Qwen2.5-VL de 3B à 7B augmente le VDG de 0,210 à 0,297), la nouvelle série Qwen3-VL montre une régression du VDG (par exemple, un VDG de 0,107 pour Qwen3-VL-8B contre 0,297 pour Qwen2.5-VL-7B). Ceci est attribué à un effondrement de l'extraction de la diversité des images ( $\Delta_{diversité} \approx 0,034$ ), malgré une précision sur écran noir plus élevée (priors linguistiques plus forts).
Artefacts de quantification : Les grands modèles (ex: InternVL2.5-78B) sous quantification 4-bit peuvent présenter un VDG négatif ou nul, indiquant que leur précision au benchmark est entièrement pilotée par les priors linguistiques.
Généralisation inter-benchmarks : La taxonomie des paliers de VDG (Perception > Action > Temporel/Linguistique) prédit avec succès la performance par type de tâche sur EgoSchema, un benchmark sans chevauchement de source vidéo avec les données d'entraînement, confirmant la généralisabilité de la métrique.

Signification et revendications

L'article affirme que la précision des benchmarks est un mauvais indicateur de l'ancrage visuel. Les auteurs soutiennent que le domaine risque d'optimiser l'exploitation des priors linguistiques plutôt que la compréhension visuelle réelle. En introduisant le VDG comme instrument d'audit standard, l'article vise à :

Distinguer les modèles qui dépendent réellement de l'entrée visuelle de ceux qui résolvent les tâches via le texte.
Révéler que les benchmarks actuels de "Raisonnement Temporel" échouent largement à tester la compréhension temporelle, car l'ordre temporel contribue à une précision proche de zéro.
Souligner que la "robustesse" à la compression est souvent une illusion causée par la composition du benchmark plutôt que par la capacité du modèle.

Les auteurs positionnent le VDG non pas comme une mesure de la capacité du modèle, mais comme un diagnostic de la validité du benchmark. Ils concluent que pour que les benchmarks vidéo mesurent une capacité visuellement ancrée, ils doivent aller au-delà de la précision globale et intégrer des diagnostics comme le VDG pour garantir que les questions nécessitent un apport visuel. Le code et les annotations sont rendus publics pour faciliter cet audit.