Counterfactual Sensitivity Is Not Repairability: Auditing Replay Probes for Video Evidence

技術要約：CARVE – 検索された視覚的証拠に対する反事実的監査

問題提起
ツールを使用するビデオエージェントは、質問に答えるために視覚的証拠（フレーム、時間窓）を検索するが、そのアーキテクチャは、最終的な回答が検索された証拠に依存していることを強制する仕組みを持っていない。既存の診断手法は、アノテーションされた時間間隔を必要とするか、あるいはエージェントが幻覚（ハルシネーション）を起こしているのか、それとも視覚入力ではなく言語的バイアスに依存しているのかを判断するために、別途「判定モデル」を必要とする。著者らは、実務者が固定された（おそらくクローズドな）エージェント・システムを保持している場合、モデルを変更したり、勾配にアクセスしたり、外部のアノテーションに頼ったりすることなく、証拠への依存性を監査する方法が必要であるというギャップを特定した。

手法：CARVEプローブ
本論文では、検索された視覚的証拠が意味論的に破壊されたときに、エージェントの確定した回答が変化するかどうかを測定するために設計された、ブラックボックス型のマッチド反事実的プローブであるCARVE（Counterfactual Auditing of Retrieved Visual Evidence）を導入する。

1. 介入設計:

   • SHAM（コントロール）: 検索されたフレームは保持されるが、パイプラインを再実行（ピクセルの実現、パース、および回答の再生成）することで、固有のパイプラインの変動性を捉える。
   • DESTROY（介入）: 同じ検索されたフレームに対してフーリエ位相のランダム化を行う。これにより、位相依存的な視覚構造（意味的内容）を破壊する一方で、レイアウト、振幅スペクトル、およびフレーム数は保持する。
   • 比較: エージェントの元の回答（$\hat{a}$）を固定する。SHAMとDESTROYの両方の条件を$k$回再生する。スコア$\hat{\Delta}$は、DESTROYとSHAMにおける回答変化率の差である：$\hat{\Delta} = \hat{\delta}_{destroy} - \hat{\delta}_{sham}$。

2. 理論的枠組み:

   • 推定値$\hat{\Delta}$は、2つの二項比率の差としてモデル化される。
   • 著者らは正確な有限再生則（finite-replay law）を導出し、スコアが離散的な支持集合（$1/k$の間隔）を持ち、集団のスコアがゼロでない場合でも、正確なタイ（同値）が発生する非ゼロの確率を持つことを示した。
   • この分析は、重要な区別を浮き彫りにする。すなわち、プローブは集計としては信頼可能（大きな平均効果を示す）であっても、低リプレイ予算（$k$）における分散と離散性のために、個々の質問に対する決定ルールとしては不安定であり得るということである。

3. ルーティング・ポリシー:

   • 主要なポリシーは、$\hat{\Delta} \leq 0$の場合（これは、破壊の下で回答の変化が、正常な再生の下での変化よりも有意に大きくなかったことを示し、元の回答が証拠に依存していない可能性を示唆する）、質問を二次的な回答者へ委譲する。
   • 本研究では、異なるリプレイ予算（$k=3$および$k=10$）におけるこのポリシーを評価する。

主な貢献

1. マッチド反事実的監査: CARVEは、モデルの重み、ロジット、再学習、またはアノテーションされた間隔を必要とせずに、介入への感度をパイプラインの変動性から分離する。
2. 有限再生理論: 本論文は、反事実的プローブの分散、離散性、およびタイの確率に関する理論的な説明を提供し、なぜ集計的な安定性が必ずしも安定した質問ごとの閾値を保証しないのかを明らかにしている。
3. スコア解像度と決定有用性のデカップリング: 著者らは、リプレイ予算（$k$）を増やすことでスコアの曖昧さは解消される（タイを減少させる）が、逆説的に固定されたルーティング・ポリシーを弱める可能性があることを示している。測定の精度を高めることが、必ずしも優れたコントローラーを生むわけではない。これは、アクション可能なケースの分布が決定境界に対してシフトする場合である。
4. 経験的特性評価: 本研究は、時間的カバレッジ、再生の安定性、および修復可能性を分離し、CARVEが直接的なグラウンディング分類器ではなく、ルーティング信号であることを示している。

結果

• 集計効果: LVBenchデータセット（$n=1,258$）を用いたVideoExplorerスタイルの凍結されたエージェントに対する3回の独立した実行において、DESTROYはSHAMよりも回答を29.3パーセントポイント多く変化させた。これは、大規模で再現可能な集計的介入効果を確認するものである。
• ルーティング性能:
  • $k=3$において、包括的ポリシー（$\hat{\Delta} \leq 0$）は538問（全セットの42.8%）を選択し、精度を3.26パーセントポイント向上させた（45.47%から48.73%へ）。
  • このポリシーは、100回のフォールバック呼び出しあたり7.62件の純粋な修復をもたらし、マッチド・ランダム・ルーティングのサブセットを上回った。
  • 安定性 vs. 有用性: $k$を3から10に増やすと、ほとんどのタイが解消された（タイの質量が減少した）が、ルーティング・ポリシーは弱まった。$k=10$のポリシーは、より少ない質問を選択し、精度の向上も低くなった。これは、$k=3$において「タイ」となり（したがって選択された）多くの質問が、$k=10$では正の値となり（したがって除外された）ためである。
• 構成妥当性:
  • スコア$\hat{\Delta}$は、アノテーションされた時間的カバレッジとの弱い関連性しか示さなかった（ROC-AUC $\approx$ 0.53）。
  • その関係は条件的である。正解については、カバレッジのある質問が高いスコアを示した。不正解については、カバレッジのある質問が低いスコアを示した。これは、$\hat{\Delta}$が証拠が正解のインターバルと重なっているかどうかを直接測る指標ではないことを示している。
• 転移性: ルーティング・ルールは、異なる回答者バックボーン（Qwen2.5-VL）およびVideo-MMEベンチマークに適用した場合、正の平均転移利得を示したが、その大きさは非対称であった。

意義と主張
本論文は、CARVEが、凍結されたビデオエージェントの回答が検索された証拠に依存しているかどうかを監査するための、実用的でアノテーション不要な方法を提供するものであると控えめに主張している。

• グラウンディング証明書ではない: 著者らは、CARVEは直接的なグラウンディング分類器や正解ラベルではないことを明示している。低いスコアは、ビデオからの独立性を証明するものではなく、高いスコアが回答の正当性を保証するものでもない。
• ルーティング信号である: CARIVEの主な有用性は、予算依存のルーティング信号としての機能にある。それは、フォールバック・メカニズムが修復をもたらす可能性が高い質問のサブセットを特定し、ランダムな選択よりも優れた結果をもたらす。
• ポリシー設計への洞察: 主要な知見は、「より精密な」反事実的測定（高い$k$）が自動的に意思決定を改善するわけではないということである。プローブの有用性は、特定の動作点（例：$k=3$のタイ・ブロック）および、分布が決定閾値とどのように一致するかに依存する。

要約すると、CARVEはビデオエージェントにおける証拠依存性を検出するための堅牢なブラックボックス手法を提供しており、証拠破壊の集計的な効果は強力である一方で、質問ごとのスコアは揮発的であり、詳細な診断ツールというよりも粗いルーティング・メカニズムとして利用するのが最適であることを明らかにしている。