技術的概要：ビデオ理解のための Chain-of-Glimpse

問題定義

ビデオ理解には、時間的にわたって意味的に識別可能な視覚的対象を特定し、それらについて推論を行うモデルが求められる。しかし、既存のオブジェクト非依存のソリューションは、時間経過に伴う著しい対象の変化に対処することに苦慮している。現在の最先端のアプローチは一般的に、決定的な限界を有する 2 つのパラダイムに分類される。

1. 従来の RL ベース手法: 意思決定を洗練させるために強化学習（RL）を使用するが、視覚的符号化を一度だけ行う単一ステップ知覚レジームの下で動作することが多い。これは、視覚的証拠との動的かつ多段階の相互作用を欠いている。
2. Chain-of-Thought（CoT）ベース手法: 段階的な推論を採用するが、本質的に言語中心である。これらは静的な推論フレームワークに依存し、推論プロセス中に微細な視覚的証拠への明示的なグラウンディングを欠いている。

その結果、両方のパラダイムは、予測を微妙だが決定的な視覚的証拠に固定するのではなく、表面的で視覚的に顕著な（注目度駆動型の）手がかりに依存する傾向がある。これにより、一貫性のない推論、偏った結論、そして複雑な時間的および対象レベルの依存関係の捕捉失敗が生じる。

手法：Chain-of-Glimpse

これらの限界に対処するため、著者らは、アクティブにフレーム間で視覚的証拠を探し出し検証することで、マルチモーダル大規模言語モデル（MLLM）が「ビデオと共に思考する」ことを可能にする、検索ガイド型の漸進的対象グラウンディング推論フレームワークであるChain-of-Glimpseを提案する。このフレームワークは、密接に結合された 2 つのコンポーネントから構成される。

1. 対象グラウンディングビデオ推論定式化（OGVRF）

このコンポーネントは、ビデオ推論をワンショットマッピングではなく、対象レベル表現における多段階プロセスとして再定義する。

• 状態定義: ステップ $k$ における推論状態 $h^{(k)}$ は、以前に選択された証拠とマルチモーダルコンテキストを要約する。
• 行動空間: 行動は、フレーム $t_k$ で検出された対象から特定の対象インスタンス $(t_k, m_k)$ を選択することとして定義される。
• 検索メカニズム: 単一の自己回帰パスにコミットするのではなく、モデルは**モンテカルロ木探索（MCTS）**を採用して、複数の対象グラウンディング推論軌跡を探索する。これにより、モデルは探索と利用のバランスを取り、視覚的に顕著だがタスクと無関係な証拠への早期コミットを緩和する。
• 時間的制約: 単調な制約（$t_{k+1} \ge t_k$）により、推論が時間的に前進することを保証するが、検索木は代替ブランチを介して以前にグラウンディングされた対象への再訪問を可能にする。
• 教師あり初期化: MCTS によって特定された高品質な軌跡は、参照方策（$\pi_{ref}$）を作成するために教師あり微調整（SFT）を介してモデルに蒸留される。

2. 多ターン意思決定方策学習（MTDP）

このコンポーネントは、安定した多段階推論を確保するために、スパースなタスクレベル報酬の下で推論方策を最適化する。

• アルゴリズム: 著者らは**Group Relative Policy Optimization（GRPO）**を利用する。各トレーニングサンプルに対して、対象グラウンディング推論軌跡のグループがサンプリングされる。
• 報酬設計: 視覚的顕著性ではなく、タスクレベルの正しさと証拠選択を整合させるために、複合報酬関数が使用される。
  $$R = R_{ans} + \alpha \cdot \frac{1}{K} \sum R_{evid}$$
  ここで、$R_{ans}$ は回答の正しさを示す報酬、$R_{evid}$ は対象レベルの証拠品質を示す報酬であり、$\alpha$ は両者のバランスを取る。これにより、モデルは顕著だが無関係な手がかりを抑制し、タスクに関連する証拠に焦点を当てるように誘導される。
• 最適化: 方策は、参照方策に対する KL 正則化を伴うクリップされた重要度重み付け目的関数を用いて更新され、モデルが高報酬軌跡を探索しつつ安定性を維持することを促す。

主要な貢献

本論文は、以下の 3 つの主要な貢献を概説している。

1. 対象グラウンディングビデオ推論定式化（OGVRF）: ビデオ推論を対象レベル表現における多段階プロセスとしてモデル化する原理的なフレームワーク。これはフレーム間でタスクに関連する視覚的証拠を明示的にグラウンディングし、注目度駆動型の手がかりへの過剰依存を緩和する。
2. 多ターン意思決定方策（MTDP）: 多段階推論を確率的軌跡最適化問題として定式化する学習メカニズム。グラウンディング認識型報酬による方策最適化を通じて、MLLM が高報酬推論軌跡を反復的に探索し、統合することを可能にし、解釈可能かつ自己修正可能な意思決定を支援する。
3. 広範な実証的検証: 汎用（NExTQA、Video-Holmes、CG-Bench-Reasoning、VRBench）およびグラウンディング（NExT-GQA）ビデオ推論ベンチマークにおける包括的な評価により、一貫した性能向上と強力な一般化能力が示された。

実験結果

著者らは、Chain-of-Glimpse を Qwen2.5-VL バックボーン（3B および 7B パラメータ）を用いて評価し、GPT-4o や OpenAI o4-mini などのプロプライエタリモデルを含む、各種オープンソース MLLM と比較した。

• 汎用ビデオ推論（NExTQA）: Chain-of-Glimpse-7B は**83.3%**の精度を達成し、ベースラインの Qwen2.5-VL-7B（79.7%）や VideoAgent（71.3%）、LLoVi（66.3%）などのプロプライエタリシステムを上回った。特に因果推論（83.7% vs 79.8%）および時間的推論（80.4% vs 77.6%）カテゴリでの改善が顕著であった。
• 複雑な推論ベンチマーク: Video-Holmes、CG-Bench-Reasoning、VRBench において、本手法は一貫した改善を示した。例えば、Video-Holmes において Chain-of-Glimpse-7B は**42.5%**の平均精度に達し、ベースラインの Qwen2.5-VL-7B（38.8%）を上回り、GPT-4o（42.0%）に迫った。さらに、意図と動機の連鎖（IMC）や時間的因果推論（TCI）といった特定のカテゴリでは GPT-4o を上回った。
• アブレーション研究:
  • コンポーネント: MCTS、SFT、GRPO のいずれかを個別に除去すると性能が低下し、フルパイプラインの必要性が確認された。
  • 検索深さ: 中程度の MCTS ローリング（例：8 回）は、大きな計算オーバーヘッドなしに性能を向上させた。8 回を超えるローリングを増加させると、逓減するリターンまたはレイテンシの増加が見られた。
  • 報酬設計: 回答の正しさと証拠品質の間のバランスの取れた報酬（$\alpha=0.5$）が最良の結果をもたらした。中間証拠への過度な焦点は、最終精度を低下させた。
  • ビデオ長: 本手法は長編ビデオ（≥1,000 フレーム）の性能を大幅に向上させ、ベースラインで観察された短編と長編ビデオの性能差を縮小した。

意義と主張

本論文は、Chain-of-Glimpse がビデオ理解における低レベルの視覚知覚と高レベルの論理的推論の間のギャップを成功裡に埋めたと主張している。各推論ステップを特定の視覚的証拠領域に明示的に固定することにより、このフレームワークは、正確かつ解釈可能な構成的かつ多段階の意思決定を可能にする。

著者らは、自らのアプローチが受動的な知覚を超えて能動的な推論へと移行し、人間のような対象グラウンディング認知を模倣することを強調している。結果は、漸進的対象グラウンディング意思決定モデルが、多様なビデオ推論タスクにおけるドメイン外一般化と堅牢性を大幅に向上させることを示唆しており、大規模なプロプライエタリモデルにのみ依存することなく、より信頼性の高いマルチモーダル AI システムへの実現可能な道筋を提供している。