Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

Résumé Technique : « Des chaînes qui voient, des réponses qui ne voient pas : Une recette d'évaluation multi-aspects pour le Chain-of-Thought forcé sur Video-MME »

Énoncé du Problème
L'article traite d'une hypothèse prédominante dans l'adaptation des modèles de vision-langage (VLM) à l'interrogation de vidéos (Video-QA) : l'idée que forcer les modèles à générer des étapes de raisonnement par chaîne de pensée (Chain-of-Thought ou CoT) avant de répondre améliore la fiabilité et la précision. Bien que la CoT soit largement adoptée, son utilité fonctionnelle dans les contextes vidéo reste non vérifiée. Les auteurs contestent l'hypothèse nulle de la « chaîne générique » (boilerplate-chain) — la prédiction selon laquelle les chaînes de CoT forcées pourraient être largement invariantes par rapport à l'entrée (c'est-à-dire que le texte de raisonnement reste similaire quel que soit l'apport vidéo) tout en modifiant la réponse finale par des effets de format, sans que le modèle ne « lise » réellement l'entrée visuelle. À l'inverse, ils questionnent également si le fait que les chaînes soient effectivement conditionnées par la vidéo se traduit nécessairement par une amélioration de la précision des questions à choix multiples (MCQ).

Méthodologie : Une recette d'évaluation à trois sondes
Les auteurs proposent une recette d'évaluation spécifique à trois sondes, instanciée sur le benchmark Video-MME en utilisant la famille Qwen2.5-VL (variantes de 7B et 32B paramètres). Le pipeline est conçu pour découpler la qualité de la génération de la chaîne de l'utilité de la réponse finale.

1. Sonde 1 : Précision appariée avec contrôles de format

   • Conception : Évalue la performance sous quatre conditions : Directe (réponse seule), CoT (étapes de raisonnement forcées), Réponse-en-premier (réponse puis raisonnement), et Sans-Vidéo (texte uniquement).
   • Notation : Utilise deux scoreurs basés sur des expressions régulières (regex) pour extraire les réponses :
     • Strict : Exige des balises explicites (ex: « Réponse : X ») ou un formatage spécifique en début de ligne.
     • Permissif : Inclut une règle de repli pour contraindre les sorties de type refus à un choix de lettre.
   • Statistiques : Rapporte des tests de McNemar appariés, des intervalles de confiance (CI) de bootstrap de 50k, et des valeurs $p$ corrigées par la méthode de Holm sur une famille primaire de quatre tests déclarée dans le manuscrit.

2. Sonde 2 : Diagnostic de substitution vidéo contrefactuelle

   • Conception : Réévalue les réponses CoT où la vidéo originale est remplacée par une vidéo différente du même type de tâche.
   • Métriques :
     • Jaccard des tokens de la chaîne : Mesure le chevauchement entre la chaîne de raisonnement de la vidéo réelle et celle de la vidéo substituée.
     • Taux de bascule de la lettre finale : Mesure la fréquence à laquelle la réponse prédite change lorsque la vidéo change.
     • Rétention de l'étiquette originale : Vérifie si le modèle conserve la réponse pour la vidéo originale lorsqu'on lui présente la vidéo substituée (un diagnostic de refus vs coïncidence).
   • Objectif : Tester si les chaînes sont réellement conditionnées par l'entrée. Une chaîne « générique » présenterait une similitude de Jaccard élevée et de faibles taux de bascule ; une chaîne conditionnée par l'entrée montrerait l'inverse.

3. Sonde 3 : Échelle de dégradation visuelle

   • Conception : Évalue la performance de la CoT à travers une échelle de signal visuel décroissant de manière monotone : Réel $\to$ Images mélangées $\to$ Image unique (répétée) $\to$ Écrans noirs. Deux conditions de contamination (tâche/domaine permuté) sont rapportées séparément.
   • Métriques : Corrélation de Spearman ($\rho$) entre la dégradation visuelle et la précision/similitude de la chaîne.
   • Objectif : Déterminer si la chaîne de raisonnement utilise le signal visuel et si la précision diminue de concert avec la perte d'information visuelle.

Résultats Clés
L'évaluation sur Qwen2.5-VL (7B et 32B) produit une conclusion en deux parties :

1. Les chaînes sont fortement conditionnées par la vidéo :

   • L'hypothèse nulle de la « chaîne générique » est rejetée. Lorsque la vidéo est substituée, la similitude de Jaccard des tokens de la chaîne chute significativement (à 0,14 pour 32B et ~0,12 pour 7B), et les taux de bascule de la lettre finale sont élevés (67 % pour 32B, ~60 % pour 7B).
   • Des exemples qualitatifs montrent que le modèle décrit explicitement le contenu de la vidéo substituée et refuse de répondre si le contenu ne correspond pas aux options, plutôt que de générer un modèle générique.

2. Les chaînes conditionnées par la vidéo n'améliorent pas la précision (et peuvent la nuire) :

   • Modèle 32B : La CoT forcée n'améliore pas la précision MCQ par rapport à la réponse directe. Sous un scoreur strict, la CoT montre une légère baisse (-5,33 pp, $p=0,048$) qui ne survit pas à la correction de Holm. Sous un scoreur permissif, la baisse est plus faible (-2,33 pp) et non significative. Un renversement de signe se produit dans les sous-ensembles analysés uniquement, attribué à des effets de sélection du taux d'analyse (parse-rate) plutôt qu'à une véritable amélioration.
   • Modèle 7B : La CoT forcée produit une baisse de précision statistiquement supportée. Sous le scoreur strict, la baisse est de -7,32 points de pourcentage ($p=0,003$, $p$ ajusté par Holm = $0,012$). C'est le seul résultat de la famille primaire qui survit à la correction de Holm à $\alpha=0,05$. Les auteurs supposent que cela est dû à la propagation d'erreurs, où le plus petit modèle s'engage dans des inférences intermédiaires qui dégradent la réponse finale.
   • Échelle Visuelle : La précision et la similitude de la chaîne diminuent toutes deux de manière monotone à mesure que le signal visuel se dégrade (Réel $\to$ Noir), confirmant que les chaînes utilisent l'entrée visuelle, mais cet ancrage ne corrèle pas avec des gains de précision dans le format CoT.

Signification et Revendications
L'article ne prétend pas que la CoT est universellement inutile, ni que ces résultats se généralisent au-delà de l'instanciation Qwen2.5-VL / Video-MME. Sa signification réside plutôt dans la méthodologie d'évaluation et la découverte spécifique du découplage entre l'ancrage de la chaîne et l'utilité de la tâche.

• Contribution Méthodologique : Les auteurs fournissent une « recette de trois sondes » pour tester rigoureusement la CoT dans les contextes multimodaux. Ils soutiennent que les comparaisons de précision standard sont insuffisantes ; les évaluateurs doivent mesurer séparément le conditionnement par l'entrée (via les sondes de substitution) et la sensibilité au taux d'analyse (via les scoreurs strict vs permissif).
• Constat Empirique : L'article démontre qu'un modèle peut générer des traces de raisonnement hautement sensibles à l'entrée visuelle (prouvant qu'il « voit » la vidéo) tout en échouant à exploiter ce raisonnement pour améliorer les réponses finales, et dans le cas des plus petits modèles, à dégrader activement les performances.
• Leçon d'Évaluation : Les auteurs mettent en garde contre le fait que les « traces de raisonnement ancrées » ne sont pas une condition suffisante pour des gains en aval. Ils préconisent de rapporter les taux d'analyse parallèlement à la précision, d'utiliser des sondes de substitution d'entrée pour vérifier le conditionnement de la chaîne, et de traiter la question « la CoT aide ou n'aide pas » comme une question multidimensionnelle nécessitant des outils de diagnostic spécifiques plutôt qu'un simple score agrégé.

Les auteurs précisent explicitement que leur scoreur regex personnalisé n'est pas l'évaluateur officiel de Video-MME et que leur choix de signification primaire (score strict) a été fait a posteriori. Ils publient les réponses brutes et un script de recomputation pour garantir que tous les chiffres sont reproductibles, invitant les travaux futurs à valider ces découvertes sur l'ensemble du benchmark et sur d'autres familles de modèles.