Incentivizing Vision Language Models to Search for Long Video Question Answering

2. 検索: <search> または <search subtitle> ツールを介して自然言語の検索クエリを発行し、候補となるクリップを取得する。
3. 観察: 取得されたクリップから、限られた予算（1ターンあたり16フレーム）のフレームを受け取る。
4. 洗練: 最終的な回答を策定する前に、取得されたエビデンスに基づいてコンテキストを更新する。

このシステムは、以下のデュアルインデックス・インフラストラクチャを利用している：

• セマンティック・ビジュアル・インデックス: ビデオを8秒間のクリップに分割し、ViCLIPエンコーダを使用して埋め込みを行う。
• 字幕インデックス: テキスト文字起こしを正確なフレームウィンドウにマッピングすることで、視覚的埋め込みでは見落とされる可能性のある特定の対話や固有名詞をエージェントが検索できるようにする。

2.2 VETL: テンポラル・ロジックによる視覚的エビデンス

報酬の疎性の問題を解決するために、著者らは、オープンエンドな自然言語と離散的な視覚的検証を橋渡しするニューロ・シンボリック・パイプラインである VETL を提案している。

• 仕様生成: 複雑なユーザーのクエリは、形式的な テンポラル・ロジック (TL) 仕様へとコンパイルされる。LLMジェネレータは、一連の原子的な視覚プリミティブ（例：「女性」、「水を注ぐ」、「イチゴを加える」）に対するTL式 $\phi$ を提案する。判定モデルは、この仕様におけるエンティティの網羅性と時間的な忠実度を検証する。
• 意味論と時間の分離: TL仕様は、視覚的なグラウンディング・イベント（プリミティブ）とその時間的依存関係を分離する。これにより、長期間にわたる問いを、必要な視覚要素の正確なチェックリストへと変換する。
• 高密度な報酬信号: 強化学習（RL）のポストトレーニング中、エージェントが取得したビデオ・コンテキストは、TL仕様に対して評価される。決定論的な視覚チェッカー（ViCLIPを使用）が、取得されたフレーム内に特定のプリミティブが存在するかどうかを検出する。報酬 $R_{VETL}$ は、全軌跡を通じて観察された必須プリミティブの割合として計算される。これにより、エージェントに対して、単に最終回答を推測するのではなく、特定のエビデンスを集めるよう動機付ける、高密度でステップごとのフィードバックが提供される。

2.3 強化学習

本フレームワークは、ポストトレーニングに Group Relative Policy Optimization (GRPO) を採用している。総報酬は、最終回答の正確性（Exact Match, $R_{EM}$）とVETLエビデンス報酬（$R_{VETL}$）の加重結合である：
$$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$$
ここで $\lambda_1=0.7$ および $\lambda_2=0.3$ である。この目的関数は、モデルに対し、回答する前にコンテキストを厳格に検証する検索ポリシーを学習することを促す。

3. 主な貢献

本論文は、主に4つの貢献を概説している：

1. VSeekフレームワーク: 長期ビデオ理解（LVQA）を、自然言語を主要な検索インターフェースとする能動的なマルチターン探索プロセスへと変換し、厳格なタイムスタンプ予測の必要性を回避するエージェンティック・システム。
2. VETLパイプライン: オープンエンドな質問を検証可能なテンポラル・ロジック仕様へと変換し、コンテキスト構築のための「視覚的ユニットテスト」を効果的に作成するニューロ・シンボリック手法。
3. 検証済みRL報酬: エージェントのエビデンス収集の軌跡を抽出された視覚プリミティブに対してスコアリングする、新しい報酬シェイピング・メカニック。これにより、結果のみの監督を超えた、チェック可能なステップごとのフィードバックを可能にする。
4. 実証的検証: 検証済みのコンテキスト構築を最適化することが、長期間の長時間ビデオ理解のパフォーマンスを大幅に向上させることを実証。

4. 実験結果

著者らは、複数のイン・ドメイン（LongVideoBench, MLVU, Video-MME）およびアウト・オブ・ドメイン（LVBench, CGBench-mini）ベンチマークでVSeekを評価した。

• パフォーマンスの向上: ベースモデル（Qwen3-VL-4B-Thinking）と比較して、VSeekのバリアントは顕著な改善を示した。具体的には、VSeek-VETL は、長時間ビデオ理解ベンチマークにおいて Pass@1スコアを最大8%、Pass@4スコアを15% 向上させた。
• 報酬の有効性: VETL報酬の導入は、Exact Match報酬のみで訓練されたモデル（VSeek-EM）に対して明確な優位性を提供した。これは、エビデンスの網羅性が極めて重要となるイン・ドメインのデータセットにおいて特に顕著であった。
• 長時間ビデオへの堅牢性: ビデオの長さが増加した場合（例：10分以上）、VSeekのバリアントは、VideoTreeやNaive RAGといったベースラインと比較して、より高い推論の安定性を維持した。VSeek-VETLは、無関係なクリップを招きやすい一般的なクエリを避け、非常に具体的な検索キーワードを生成することを学習した。
• 効率性: VSeekのバリアントは、標準的なVLMやRAGのベースラインが持つ固定の64フレームの予算と比較して、大幅に少ないフレーム数（平均約30〜32フレーム）を処理しながら、最先端のパフォーマンスを達成した。
• アルゴリズムの堅牢性: 検証済み報酬の恩恵は、GRPOおよびRLOOアルゴリズムの両方で一貫していたが、GSPOでは性能の低下が観察された。

5. 意義と主張

本論文は、エージェンティックな長時間ビデオQAの進むべき道は、数学やプログラミングにおけるLLMの推論におけるブレイクスルーと同様に、検証可能な報酬によって促進されるものであると主張している。

• 受動から能動へ: VSeekは、人間が長い文書を読む際にランダムなフレームサンプリングに頼らないことを認め、フィールドを受動的な一様サンプリングから、能動的かつ反復的なエビデンス探索へと移行させる。
• 検証のギャップを埋める: VETLを導入することで、著者らはビデオへのRL適用における決定的なボトルネック、すなわち「コンテキスト構築」を検証するためのシグナルの欠如を解決したと主張している。これにより、単に「正しい」最終回答を見つけるだけでなく、「正しい」視覚的エビデンスを見つけるよう動機付けられるエージェントの訓練が可能になる。
• 将来のエージェントの基盤: 著者らは、VSeekとVETLを強力なビデオエージェントのための基礎的なステップとして位置づけており、検証可能なエビデンス探索行動を明示的に最適化することが、長時間ビデオ理解をスケールさせるために不可欠であると示唆している。

本論文は、課題（逐次的な検索の制限やリトリーバーのボトルネックなど）は残されているものの、エージェンティックな検索とニューロ・シンボリックな検証の組み合わせが、複雑で長期的なビデオ推論タスクを解決するための堅牢な道筋を提供すると結論づけている。