技術要約: 信頼性を考慮したツール・オーケストレーションのための Robust-TO

1. 問題定義: ブラインド・トラスト（盲目的信頼）問題

本論文は、現代のビデオ大規模言語モデル（Video-LLM）における決定的な欠陥、すなわちブラインド・トラスト（盲目的信頼）問題を特定している。現在のモデルは、すべての入力フレームが等しく信頼でき、情報に富んでいると暗黙的に仮定している。モーションブラー、グレア（眩しさ）、低照度ノイズ、あるいは遮蔽といった摂動を伴う実世界のシナリオにおいて、この仮定は大幅な性能低下を招く。最先端のモデルは、このような条件下ではエンボディド（身体性）ベンチマークにおいて15〜30パーセントポイントの精度低下に見舞われる可能性があるが、彼らの自己報告された信頼度はほとんど変化しない。この「サイレント・フェイラー（静かなる失敗）」は、法医学的分析、監視、自動運転などの安全性が極めて重要な領域において特に危険である。なぜなら、モデルは視覚的エビデンスが劣化しているにもかかわらず、高い信頼度を持って推論を進めてしまうからである。

既存のアプローチは通常、視覚信号の固有の品質を評価することなく、一様またはクエリ類似性に基づいたフレームサンプリングに依存している。その結果、破損したフレームが有効なエビデンスとして扱われ、最終的な予測を歪めてしまう。

2. メソドロジー: Robust-TO フレームワーク

これに対処するため、著者らは、各フレームの信頼性をあらゆる推論段階に明示的に統合するエージェンティックなビデオ理解フレームワークである Robust-TO を提案する。本システムは、Group Relative Policy Optimization (GRPO) で訓練されたホスト・ビデオ言語モデル（VLM）によって導かれる3段階のパイプラインを通じて動作する。

A. 品質プロファイリングによるフレーム選択

推論を行う前に、システムはビデオストリーム $\tilde{V}$ の品質を評価する。

• 品質プロファイリング: パラメータフリーのツール（assess_quality）が、ブラー、輝度偏差、遮蔽という3つの主要な摂動タイプに基づき、各フレームを分析して摂動プロファイル $d(f_i)$ を推定する。これらは、学習データを必要とせず、信号レベルの統計量（例：ブラーに対する逆ラプラシアン分散、遮蔽に対するSobelマグニチュード）を介して計算される。
• 信頼性・関連性スコアリング: フレームは、視覚的な信頼性とクエリへの関連性のバランスをとる複合指標 $s(f_i) = (1 - d(f_i)) \cdot \text{sim}(\phi(f_i), \psi(q))$ を用いてスコアリングされる。
• 選択: 下流の処理のために、最も信頼できる上位 $K$ 個のフレームが選択され、クエリとの類似度が高いという理由で破損したフレームが選択されてしまう事態を防ぐ。

B. 信頼度に基づいたツール・ルーティング

ホストVLMは、元のクエリを原子的なサブクエリに分解し、それらを特化した知覚ツールへとルーティングする。

• 適応的ルーティング: ルーティングの決定は、選択されたフレームにおける支配的な摂動タイプを考慮する。例えば、ブラーが支配的な場合、システムは鋭い境界を必要とするツール（例：物体検出）よりも、空間的な劣化に強いツール（例：キャプション生成）を優先する。
• 較正された信頼度の出力: 各ツールは、結果 $r_j$ と較正された信頼度スコア $c_j$ のタプル $(r_j, c_j)$ を返す。
  • $c_j = c_j^{\text{intrinsic}} \times \rho(F_j)$
  • $c_j^{\text{intrinsic}}$ はツールの自己評価（例：検出スコア）である。
  • $\rho(F_j)$ は入力の信頼性であり、そのツール呼び出しで使用された中で「最もパフォーマンスが悪かった」サブセットの平均信頼性として計算される。これにより、少数のクリーンなフレームが、深刻に破損した入力の存在を覆い隠してしまうことを防ぐ。

C. 信頼性を考慮したエビデンス合成

最終的な回答は、エビデンスを High（高）、Medium（中）、Low（低） の3つのティア（階層）にグループ化することで合成される。

• High-tier: 主要な結論を導く。
• Medium-tier: High-tierの結論と一致する場合のみ保持され、一致しない場合は破棄される。
• Low-tier: より強力なエビデンスが存在しない場合のフォールバックとしてのみ使用され、明示的な不確実性の報告を伴う。
  この階層的アプローチにより、最終的な予測が、利用可能な最も信頼性の高い視覚的エビデンスに基づいていることが保証される。

D. 訓練目的関数: Confidence-Cost GRPO

ホストVLMは、以下の4つの信号のバランスをとる複合報酬関数 $R_{\text{total}}$ を用いて、GRPOによりエンドツーエンドで訓練される。

1. 正確性 ($R_{\text{acc}}$): 最終回答の正確さ。
2. 信頼度コスト ($R_{\text{cc}}$): 高い信頼度の出力を促すと同時に、劣化したフレームに対する高価なツール呼び出しにペナルティを与える（$c_j - \lambda \cdot \text{cost}(T_j)$）。
3. サブクエリ効率 ($R_{\text{subq}}$): 過剰な分解（無駄な呼び出し）と過少な分解（情報の欠落）の両方にペナルティを課す。これは、凍結されたVLMによって推定された目標数に基づいている。
4. フォーマット報酬 ($R_{\text{fmt}}$): 構造化された出力形式への準拠を保証する。

3. 主な貢献

1. ブラインド・トラスト問題の定式化: 本論文は、実世界の摂動下におけるモデルの信頼度と視覚的エビデンスの信頼性の乖離を、明確に定義し定量化した。
2. Robust-TO フレームワーク: フレームレベルの品質プロファイリングと、適応的なツール・ルーティングおよび階層的なエビデンス合成を結合した、新しいエージェンティック・パイプライン。
3. 統一された信頼度インターフェース: ツールの確信度と入力フレームの信頼性を乗算することで、較正された信頼度スコアを出力するメカニズムを提供し、推論モデルがエビデンスを動的に重み付けできるようにした。
4. Confidence-Cost 最適化: 正確性、エビデンスの信頼性、および推論効率を共同で最適化するGRPO訓練戦略を提供し、破損したデータに対して高価なツールに過度に依存することを防ぐ。

4. 実験結果

本フレームワークは、UrbanVideo-Bench および VSI-Bench において、8つのタスク（ランドマークの位置、ルート計画、アクション生成など）を、クリーンな条件と（RoVAを介して生成された）破損条件の両方で評価した。

• クリーンなデータの性能: Qwen3-VL-7BをバックボーンとするRobust-TOは、平均精度 56.4% を達成し、最強のオープンソース・ベースライン（Video-R1）を10.6%上回り、独自のGemini-2.5-Pro（46.2%）をも凌駕した。
• 破損データの性能: 5種類の現実的な摂動タイプ（モーションブラー、ガウスノイズ、グレア、遮蔽、低照度）の下で、Robust-TOは平均精度 54.3% を維持した。これは、最強のオープンソース・ベースライン（Video-R1）に対して5.8%、Gemini-2.5-Proに対して16.2%の向上である。
• 堅牢性: Robust-TOは、比較されたすべての手法の中で、クリーンな状態から破損した状態への精度低下が最も小さかった。
• 効率性: 適応的なキーフレーム・セレクターにより、処理される平均フレーム数を 35%（32から20.7へ）削減し、精度を向上させると同時に、サンプルあたりの推論時間を35%以上短縮した。

5. 意義と主張

本論文は、Robust-TOがビデオ推論を「ブラインド・トラスト（盲目的信頼）」パラダイムから「コンフィデンス・アウェア（信頼性考慮）」パラダイムへと根本的に転換させるものであると主張している。視覚的エビデンスの信頼性を明示的にモデル化することで、システムは実世界のビデオ破損に直面しても、サイレント・フェイラーではなく**優雅な劣化（graceful degradation）**を実現する。

著者らは、彼らのアプローチが単にパラメータやデータをスケールアップするのではなく、エビデンスの取得と合成の方法における構造的な変化を導入していることを強調している。実験結果は、適応的な視覚ツールの使用が、破損したビデオとクリーンなビデオの両方に利益をもたらし、安全性に敏感なアプリケーションのための、より堅牢で信頼できるマルチモーダル推論システムへの道筋を示すものであることを証明している。本研究のコードとチェックポイントは、将来の拡張をサポートするために公開されている。