テクニカルサマリー：精度から視覚的依存性へ：交通ビデオVideoQAにおけるモダリティ崩壊の監査とフィルタリング

1. 問題提起

VideoQA（ビデオ質問応答）における高いベンチマーク精度は、モデルが視覚的な証拠を活用していることを保証するものではない。交通事故分析の領域では、正解は理論的にシーン固有の視覚的キュー（例：車両の相互作用、時間的ダイナミクス、因果構造）に依存すべきである。しかし、モデルはしばしば**モダリティ崩壊（modality collapse）**を示し、視覚入力を事実上無視して、テキストのショートカット、言語的プライア、あるいはデータセット固有のアーティファクトに頼って正解を導き出してしまう。

この失敗モードは、交通事故分析のような安全性が極めて重要なアプリケーションにおいて特に重要である。なぜなら、システムは、注釈のアーティファクトを悪用して正解を出すのではなく、視覚的なシーンを理解することによって成功しなければならないからである。本論文は、現在のベンチマークが、ビデオ入力を削除した場合や、フレーム数を増やすことで性能が低下する場合でも高い精度が得られることから、真の視覚的推論とショートカットの悪用を区別できていないことが多いと主張している。

2. 手法

著者らは、データセットおよびインスタンスの両レベルでモダリティ崩壊を監査し、フィルタリングするための診断フレームワークを提案している。

2.1 データセットレベルの診断

著者らは、ベンチマーク全体の視覚的依存性を定量化するために2つの指標を導入している。

• ブラインド・ギャップ (Blind Gap: BG): テキストのみによる精度がランダムな選択をどの程度上回っているかを測定する。
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  高いBGは、そのベンチマークがテキストのみで解けてしまうことを示している。
• 視覚的利得 (Visual Gain: VG): ビデオ入力を追加することによる限界的な利益を測定する。
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  正のVGは有用な視覚的証拠を示し、負のVGはビデオ入力が性能を積極的に低下させているか、あるいは無視されていることを示唆する。

2.2 インスタンスレベルのショートカット診断

ショートカット行動を誘発する特定の質問を特定するために、著者らは各質問 $q$ に対して連続的なショートカット・スコア ($S(q)$) を定義している。

• テキスト的証拠スコア ($T(q)$): テキストのみのLLM（大規模言語モデル）の確信度と正解率を測定する。これは、パネル化されたテキストのみのモデル群における、確信度重み付きの正解予測の平均として計算される。
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• 視覚的必要性スコア ($V(q)$): ビデオを追加することで、正解に割り当てられる確率が増加するかどうかを測定する。
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  ここで $\Delta_m(q)$ は、ビデオ追加時における正解への確率利得である。
• ショートカット・スコア ($S(q)$): これらの信号を組み合わせる：
  $$S(q) = T(q) - V(q)$$
  高い $S(q)$ は、ショートカットが発生しやすい質問（高いテキスト解決能、低い視覚的必要性）を示し、低いまたは負の $S(q)$ は、視覚的に有用な質問であることを示す。

2.3 ショートカットを考慮したフィルタリング

著者らは、$S(q) \leq \tau$ である質問のみを保持することで、データセットの「グラウンデッド（根拠に基づいた）」サブセットを構築することを提案している。このフィルタリングはトレーニングフリーかつ連続的であり、データの網羅性とショートカットに陥りやすいサンプルの除去との間のトレードオフを可能にする。

3. 主な貢献

1. 交通VideoQAベンチマークの監査: オープンウェイトの視覚言語モデル（VLM）およびテキストのみのLLMを用いて、4つの公開ベンチマーク（MM-AU, VRU-Accident, SUTD-TrafficQA, AccidentBench）を監査した。
2. 診断指標: データセットレベルでのモダリティ崩壊を定量化するためのBlind GapおよびVisual Gainの導入。
3. ショートカット・スコア: テキストのみの確信度と視覚的必要性の信号を組み合わせ、補助的な学習なしにショートカットに陥りやすい質問を特定・フィルタリングするための、新しい連続的なインスタンスレベルの指標。
4. フィルタリング・フレームワーク: ショートカット・バイアスを軽減し、視覚的グラウンディング指標を向上させる「グラウンデッド」な評価サブセットを生成する手法。

4. 実験結果

著者らは、複数のVLM（例：InternVL, Qwen-VL, LLaVA-OneVision）およびテキストのみのLLMを4つのベンチマークに対して評価した。

• ベンチマーク間の差異:
  • MM-AU: 極端なモダリティ崩壊を示している。ビデオを削除すると一貫して精度が向上し、フレーム数を増やす（最大256フレーム）とさらに性能が低下した。Blind Gapは高く（最大40.33%）、Visual GainはすべてのVLMで負であった。テキストのみのLLMはVLMと同等以上の性能を示した。
  • VRU-Accident: 正のVisual Gainを示したが、依然として高いBlind Gap（最大25%）を抱えており、部分的なテキスト解決能があることを示した。
  • SUTD-TrafficQA: 最も強い視覚的依存性を示し、低いBlind Gap（<9%）と一貫して正のVisual Gain（~11-12%）を示した。
  • AccidentBench: 低いBlind Gapと緩やかなVisual Gainを示し、これらの中間に位置した。
• フィルタリングの有効性:
  • MM-AUおよびVRU-Accidentに対してショートカット・スコアのフィルタ（$\tau = 0.1$）を適用すると、Blind Gapが大幅に減少し、負のVisual Gainが正の値に転じた。
  • MM-AUにおいて、フィルタリングによりBGは25.70%から10.38%に減少し、VGは-0.24%から7.42%へとシフトした。
  • 二値分類ベースライン（LLM-Inspector, B-Clean）は効果が低かった。例えばB-Cleanは、ショートカットと共に視覚的に有用な質問も削除してしまい、結果として強い負のVisual Gainをもたらした。
• 根本原因の分析: 論文では、繰り返されるテキストパターンや回答の言い回し（例：数百回出現する特定の文章構造）が、MM-AUにおけるショートカットの主要な要因であると特定している。
• 学習への影響: 交通データでモデルをファインチューニングするとビデオの精度は向上したが、必ずしも視覚的グラウンディングが向上するわけではない（標準的なサブセットにおいてBGとVGは横ばい、または負のまま）。これは、精度向上が必ずしも真の視覚的推論を意味しないことを示唆している。

5. 重要性と主張

本論文は、ベンチマークの精度単体では、安全性に関わるVideoQAにおける進歩を評価するには不十分であると主張している。知見は以下の通りである：

• 広く使用されている交通事故ベンチマークのいくつかは、モデルが視覚的証拠ではなく、テキストのショートカットを悪用することで成功することを許容している。
• 視覚的グラウンディングの評価には、Blind GapやVisual Gainのような指標を用いた、視覚的に根拠付けられた評価が不可欠である。
• 提案されたショートカット・スコアは、学習を必要とせずに、モデルの視覚的証拠への依存度をより正確に反映する評価サブセットをキュレーションするための実用的なメカニズムを提供する。
• 将来のデータセット構築においては、モデルが頻出パターンを悪用することを防ぐため、繰り返しの多い質問形式や同一の回答フレーズを避ける必要がある。

著者らは、マルチモーダルシステムが安全性が重要な領域で信頼されるためには、最終的な精度スコアだけでなく、視覚的証拠に依存する能力によって評価されなければならないと結論付けている。