What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation
Cet article introduit une métrique de « chute par inversion » (reversal-drop) sans étiquetage pour décomposer les scores des benchmarks de VLM vidéo temporels, révélant que les modèles s'appuient souvent sur les encodages positionnels plutôt que sur le contenu visuel et démontrant que les scores agrégés masquent des modes d'échec distincts et non interchangeables entre les architectures dominées par la position et celles dominées par la séquence visuelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le malentendu du Grand Détective de la Vidéo : Pourquoi deux modèles avec le même score sont en réalité différents
Imaginez que vous testez deux détectives, Molmo2 et Qwen3-VL, pour voir qui est le meilleur pour résoudre des mystères vidéo. Vous leur donnez une série de courts clips et posez des questions comme : « Le chat a-t-il sauté avant ou après que le chien ait aboyé ? » Les deux détectives obtiennent un score élevé à votre test, disons environ 0,96 (ou 96 % de précision). Vous pourriez penser : « Génial ! Ils comprennent tous les deux parfaitement le temps. »
Mais cet article soutient que votre test est en fait un piège. C'est comme demander à un détective : « As-tu résolu l'affaire ? » sans lui demander comment il l'a résolue. L'article révèle que si les deux détectives ont trouvé la bonne réponse, ils ont utilisé des méthodes complètement différentes, et opposées, pour y parvenir. L'un est un « Voyageur Temporel » qui ignore ce qu'il voit, et l'autre est un « Réaliste » qui fait confiance à ses yeux.
Les deux questions cachées dans un seul score
Les auteurs affirment qu'un score de test vidéo standard est en réalité un cocktail confus de deux questions différentes :
- La Question de la Tâche : La question nécessite-t-elle réellement de regarder la vidéo dans l'ordre ? (ex : « Est-ce que la balle a rebondi ? » peut ne nécessiter qu'une seule image, mais « Est-ce que la balle a rebondi puis a roulé ? » nécessite la séquence.)
- La Question du Canal : Quand le modèle a réellement besoin de l'ordre, d'où tire-t-il cette information ? Lit-il les pixels (le mouvement réel à l'écran) ou triche-t-il en lisant les numéros de position (les étiquettes invisibles qui indiquent à l'ordinateur quel est le cadre n°1, n°2, n°3) ?
La plupart des tests ne vérifient que la première question. Ils mélangent les images et regardent si le score chute. Si le score chute, ils disent : « D'accord, le modèle a besoin de l'ordre. » Mais ils ne vérifient pas quelle partie du modèle fait le plus gros du travail.
Le tour de magie : La « Chute de Réversion » (Reversal-Drop)
Pour découvrir comment les modèles fonctionnent réellement, les auteurs ont réalisé un tour de magie appelé la reversal-drop (chute de réversion).
Imaginez que vous avez une vidéo d'un ballon qui se gonfle.
- Les Pixels : Les images visuelles montrent le ballon qui grossit.
- Les Étiquettes de Position (RoPE) : Ce sont des étiquettes invisibles attachées à chaque image disant « Image 1 », « Image 2 », « Image 3 ».
Les auteurs ont pris une vidéo, ont inversé les pixels (le ballon semble donc se dégonfler, rétrécissant de grand à petit), mais ont gardé les étiquettes de position vers l'avant (l'ordinateur pense toujours qu'il regarde l'Image 1, puis l'Image 2, puis l'Image 3).
Maintenant, les pixels disent « Dégonflement », mais les étiquettes disent « Gonflement ». Les deux canaux se battent.
- Molmo2 (Le Détective Dominé par la Position) : Quand les pixels et les étiquettes se battent, Molmo2 ignore les pixels. Il regarde les étiquettes, voit « Image 1, 2, 3 », et répond comme si le ballon était en train de se gonfler. Même s'il regarde un ballon qui se dégonfle, il dit : « Il se gonfle ! » parce que les étiquettes lui ont dit de le faire.
- Le Résultat : Sa précision a presque pas changé. Il ne s'est pas soucié du fait que la vidéo soit inversée. Il lisait les indices de position.
- Qwen3-VL (Le Détective Dominé par la Séquence Visuelle) : Quand les pixels et les étiquettes se battent, Qwen3-VL ignore les étiquettes. Il regarde les pixels, voit le ballon rétrécir, et répond : « Il se dégonfle ! »
- Le Résultat : Sa précision s'est effondrée. Il a donné la mauvaise réponse parce qu'il a été trompé par la vidéo inversée. Il lisait l'ordre visuel.
Les chiffres ne mentent pas
L'article a mesuré cette « chute » de précision pour prouver la différence :
- Sur un benchmark appelé TVBench, quand la vidéo était inversée mais les étiquettes restaient vers l'avant :
- Molmo2 a chuté de presque rien (environ +0,00 à +0,08 point). Il était tout à fait serein.
- Qwen3-VL a chuté de façon énorme (entre +0,24 et +0,55 points). Il s'est effondré.
- Sur TempCompass, en utilisant un test de « vérité de terrain appariée » (où l'on connaît la réponse pour la vidéo normale et la vidéo inversée) :
- Molmo2 a répondu à l'événement « vers l'avant » (en ignorant la vidéo inversée) avec un score de 0,965 dans les deux cas.
- Qwen3-VL est passé de 0,944 (normal) à 0,576 (inversé).
Cela prouve que deux modèles peuvent avoir exactement le même score élevé sur un test normal, mais que l'un repose sur la « carte » (étiquettes) et l'autre sur le « terrain » (pixels). Si vous remplacez la carte par une fausse, le premier modèle échoue, mais le second pourrait encore être correct.
Ce que l'article écarte
Les auteurs ont été très prudents pour s'assurer qu'il ne s'agissait pas d'un simple bug ou d'un artefact étrange de leur test.
- Ce n'est pas juste de la « confusion » : Ils ont utilisé une technique appelée activation patching (qui consiste à échanger les cellules cérébrales d'un modèle avec les cellules cérébrales « correctes » d'un autre) pour prouver que la différence est réelle.
- Lorsqu'ils ont « réparé » le « cerveau » de Molmo2 à la toute première couche, il s'est rétabli parfaitement.
- Lorsqu'ils ont « réparé » le « cerveau » de Qwen3-VL à la première couche, il a encore échoué un peu. Ils ont dû le réparer jusqu'aux couches 0, 1 et 2 (où une caractéristique appelée DeepStack injecte des données visuelles supplémentaires) pour qu'il se rétablisse.
- Cela prouve que la différence est une propriété profonde et interne de la construction des modèles, et non un simple effet de surface.
- Ce n'est pas juste une question de « horodatage » : Ils ont vérifié si les modèles lisaient simplement l'heure écrite sur l'écran (comme « 00:01 », « 00:02 »). Ils ont découvert que, bien que les horodatages aident, les modèles reposent toujours lourdement sur les étiquettes de position ou les pixels, même lorsque les horodatages sont supprimés.
- Ce n'est pas une triche par « image unique » : Ils ont montré que les deux modèles ont réellement besoin de plusieurs images pour résoudre ces problèmes (ils obtiennent un bonus de +0,20 en voyant la vidéo entière par rapport à une seule image). Ils ne font donc pas que deviner à partir d'une seule image ; ils traitent réellement la séquence, mais de manières différentes.
La grande conclusion
L'article conclut qu'un simple « score temporel » est trompeur. C'est comme dire que deux voitures ont la même vitesse de pointe, mais que l'une roule à l'essence et l'autre à l'électricité. Si vous conduisez sur une route sans stations d'essence, la voiture électrique échouera, même si elles avaient le même score au test de vitesse.
- Molmo2 est dominé par la position : Il fait plus confiance aux étiquettes invisibles (RoPE) qu'à ce qu'il voit.
- Qwen3-VL est dominé par la séquence visuelle : Il fait plus confiance à ce qu'il voit (les pixels) qu'aux étiquettes.
Les auteurs suggèrent que les futurs tests ne devraient pas se contenter de donner un chiffre unique. Au lieu de cela, ils devraient rapporter la « chute de réversion » pour voir si un modèle lit la carte ou le terrain. Cela nous aide à comprendre comment un modèle échoue, et pas seulement qu'il échoue. Si vous avez besoin d'un modèle qui prête attention au contenu réel de la vidéo, vous ne voulez pas celui qui se contente de lire les étiquettes. Si vous avez besoin d'un modèle qui suit un programme strict, vous pourriez préférer le lecteur d'étiquettes. Mais vous ne pouvez pas faire la différence simplement en regardant le score final.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.