Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

技術要約：「見る連鎖、答えない回答：Video-MMEにおける強制的な思考の連鎖（Chain-of-Thought）に対する多角的評価レシピ」

問題提起
本論文は、視覚言語モデル（VLM）をビデオ質問応答（Video-QA）に適応させる際の一般的な仮定、すなわち、モデルに回答の前に思考の連鎖（CoT）の推論ステップを強制的に生成させることが信頼性と正確性を向上させるという仮定に対処している。CoTは広く採用されているが、ビデオの文脈におけるその機能的な有用性は未検証である。著者らは、「定型的な連鎖（boilerplate-chain）」という帰無仮説――すなわち、強制されたCoTの連鎖は、入力に対して不変（つまり、ビデオ入力に関わらず推論テキストが同様である）でありながら、モデルが視覚入力を意味のある形で「読み取ることなく」、フォーマットの効果によって最終的な回答のみが変化するという予測――に異を唱えている。逆に、たとえ連鎖がビデオに条件付けられていたとしても、それが必ずしも多肢選択式（MCQ）の精度向上につながるのかについても疑問を投げかけている。

手法：3つのプローブによる評価レシピ
著者らは、Qwen2.5-VLファミリー（7Bおよび32Bパラメータ・バリアント）を用いて、Video-MMEベンチマーク上に実装された特定の「3つのプローブによる評価レシピ」を提案している。このパイプラインは、連鎖の生成品質と最終的な回答の有用性を切り離すように設計されている。

1. プローブ1：フォーマット制御を伴うペア精度

   • 設計: 4つの条件下でのパフォーマンスを評価する：Direct（回答のみ）、CoT（強制された推論ステップ）、Answer-First（回答の後に推論）、No-Video（テキストのみ）。
   • スコアリング: 回答を抽出するために2種類の正規表現ベースのスコアラーを使用する：
     • Strict (厳格): 明示的なタグ（例：「Answer: X」）または特定の行開始フォーマットを要求する。
     • Permissive (寛容): 拒否スタイルの出力を文字選択へと強制するためのフォールバック・ルールを含む。
   • 統計: ペアのMcNemar検定、50kのブートストラップ信頼区間（CI）、および原稿で宣言された主要な4つのテスト群に対するHolm補正済み$p$値を報告する。

2. プローブ2：反事実的なビデオ入れ替え診断

   • 設計: 元のビデオを、同じタスクタイプの異なるビデオと入れ替えた状態でCoTの応答を再評価する。
   • 指標:
     • Chain Token-Jaccard: 本物のビデオの推論連鎖と、入れ替えられたビデオの推論連鎖の間のオーバーラップを測定する。
     • Final Letter Flip Rate: ビデオが変化したときに、予測される回答がどの程度変化するかを測定する。
     • Original-Label Retention: 入れ替えられたビデオを見せている際に、モデルが元のビデオに対する回答を保持しているかを確認する（拒否か偶然かを判断する診断）。
   • 目的: 連鎖が真に入力に条件付けられているかをテストすること。 「定型的な（boilerplate）」連鎖は、高いJaccard類似度と低いFlip率を示す。一方、入力に条件付けられた連鎖は、その逆を示す。

3. プローブ3：視覚的劣化ラダー

   • 設計: 単調に減少する視覚信号のラダー（Real $\to$ Shuffled Frames $\to$ Single Frame (repeated) $\to$ Black Frames）にわたってCoTの性能を評価する。2つの汚染条件（入れ替えられたタスク/ドメイン）は別途報告される。
   • 指標: 視覚的劣化と精度/連鎖の類似性の間のSpearman相関（$\rho$）。
   • 目的: 推論の連鎖が視覚信号を利用しているか、また、視覚情報の損失に伴って精度が連動して低下するかを判断すること。

主な結果
Qwen2.5-VL（7Bおよび32B）を用いた評価により、2部構成の知見が得られた：

1. 連鎖は強力にビデオに条件付けられている:

   • 「定型的な連鎖」という帰無仮説は棄却された。ビデオを入れ替えると、連鎖のToken-Jaccardは大幅に低下し（32Bで0.14、7Bで0.12）、最終的な文字のFlip率は高くなる（32Bで67%、7Bで60%）。
   • 定性的な例では、モデルは汎用的なテンプレートを生成するのではなく、入れ替えられたビデオの内容を明示的に記述したり、内容が選択肢と一致しない場合に回答を拒否したりしていることが示されている。

2. ビデオに条件付けられた連鎖は精度を向上させない（あるいは低下させる可能性がある）:

   • 32Bモデル: 強制されたCoTは、直接回答する場合と比較してMCQの精度を向上させない。厳格なスコアリングの下では、CoTはわずかな低下（-5.33 pp、$p=0.048$）を示すが、これはHolm補正を通過しない。寛容なスコアリングの下では、低下はより小さく（-2.33 pp）、有意ではない。パースされたサブセットにおいて符号の反転が見られるが、これは真の改善ではなく、パース率の選択効果に起因する。
   • 7Bモデル: 強制されたCoTは、統計的に支持される精度の低下を引き起こす。厳格なスコアラーの下では、低下は-7.32パーセントポイントである（$p=0.003$, Holm補正後 $p=0.012$）。これは、主要なテスト群の中でHolm補正（$\alpha=0.05$）を通過した唯一の結果である。著者らは、これをエラーの伝播（中間的な推論で誤った判断を下し、それが最終的な回答を悪化させること）によるものと仮定している。
   • 視覚ラダー: 視覚信号が劣化するにつれて（Real $\to$ Black）、精度と連鎖の類似性は共に単調に減少する。これは、連鎖が視覚入力を使用していることを裏付けているが、このグラウンディング（接地）がCoT形式における精度向上と相関することはない。

意義と主張
本論文は、CoTが普遍的に無用であると主張しているわけでも、これらの結果がQwen2.5-VL / Video-MMEのインスタンスを超えて一般化できると主張しているわけでもない。その意義は、評価手法、および連鎖のグラウンディング（接地）とタスクの有用性の間のデカップリング（分離）の発見にある。

• 方法論的貢献: 著者らは、マルチモーダル設定においてCoTを厳密にテストするための「3つのプローブによるレシピ」を提供している。彼らは、標準的な精度比較だけでは不十分であると主張する。評価者は、入力置換プローブ（swap probes）を介して入力条件付けを検証し、パース率の感度（厳格なスコアリング vs 寛容なスコアリング）を個別に測定しなければならない。
• 経験的知見: 本論文は、モデルが視覚入力に高度に敏感な推論の痕跡を生成できる一方で、その推論を最終的な回答の向上に活用できず、場合によっては（より小さなモデルにおいて）積極的に性能を低下させることを示している。
• 評価の教訓: 著者らは、「グラウンディングされた推論の痕跡」は、ダウンストリームの利得のための十分条件ではないと警告している。彼らは、パース率を精度と共に報告すること、入力置換プローブを使用して連鎖の条件付けを検証すること、そして「CoTが役立つか否か」を単一の集計スコアではなく、特定の診断ツールを必要とする多面的な問いとして扱うことを推奨している。

著者らは、独自の正規表現スコアラーはVideo-MMEの公式エバリュエーターではないこと、および主要な選択基準である厳格なスコアリングが事後的（post-hoc）な決定であることを明記している。彼らは、すべての数値が再現可能であることを保証するために、生の応答と再計算スクリプトを公開しており、これらの知見を完全なベンチマークや他のモデルファミリーで検証する今後の研究を歓迎している。