技術的概要：ACT2SEE – ビデオ推論のための創発的能動的視覚知覚

問題定義

現在のビデオ推論を行うビジョン・ランゲージモデル（VLM）は、通常、静的な初期フレームまたは固定されたフレーム毎秒（fps）サンプリングに依存しています。この静的入力パラダイムは、推論プロセスが進化するにつれて、本質的な動的情報を取り込むモデルの能力を制限します。最近の手法は、追加のフレーム情報（例えば、事前に決定されたキーフレームや視覚ツール呼び出し）を用いて思考連鎖（CoT）推論を強化しようと試みていますが、2 つの主要な限界に直面しています：

1. CoT の質の最適化不足：既存の手法は、厳密な人間の検証なしに自動化された VLM 生成の正解からフレーム拡張型 CoT を導出することが多く、ノイズの多い一貫性のない推論痕跡につながっています。
2. 仮説的シナリオの統合 inability：現在の手法は、反事実的または仮説的な質問（例：「時間的順序が入れ替わったらどうなるか？」）に対処するために、CoT 内で新しい視覚フレームを生成できません。既存の視覚的証拠の検索に限定されており、元のビデオに存在しないシナリオを「想像」することを妨げています。

手法

著者らは、VLM に能動的視覚知覚を付与するために設計されたフレームワーク**Act-to-See（ACT2SEE）**を導入します。この能力により、モデルは推論プロセス中に、既存のフレームを取得するか仮説的なフレームを生成するかを問わず、いつ、どのように新しい視覚情報を収集するかを動的に決定できるようになります。

1. 教師あり微調整（SFT）によるデータセット構築

ACT2SEE の核心は、インタリーブされたビデオ・テキスト CoTを特徴とする高品質な SFT データセットです。構築パイプラインは以下の通りです：

• 最先端モデルによるプロンプト作成：最先端の VLM（Gemini 2.5 Pro）にビデオ推論を実行するようにプロンプトします。重要なのは、モデルが既存の視覚情報が不十分と判断するたびに、特定のクエリと共に専門的なツール呼び出しトークン（<retrieve> または <generate>）を出力するよう指示されている点です。
• ツール実行：
  • 取得：TFVTG（トレーニングフリーのビデオ時間的グラウンディング）を使用して、クエリに一致する関連フレームを見つけるために、より高いサンプリングレート（3 fps）で全ビデオを検索します。
  • 生成：Stable Diffusion 3.5 Large を使用して、取得したフレームを条件として視覚的一貫性を確保しつつ、クエリに基づいて新しいフレームを合成します。
• 2 ラウンド完了：プロセスは 2 ラウンドに分割されます。ラウンド 1 では、モデルがツール呼び出しまで推論を生成します。ツールが実行され、新しいフレームが挿入されます。ラウンド 2 では、モデルが新しい視覚的証拠を使用して推論痕跡を完了します。
• 品質管理：高品質なトレーニングデータを確保するために、生成された CoT は、MINERVA、CausalVQA、Social Genome などのベンチマークからの人間が注釈した正解 CoT に対してフィルタリングされます。テキスト埋め込み類似度（BGE M3）が人間による正解に対して 80% を超える場合のみ、痕跡が保持されます。誤った答えにつながる CoT は再生成されます。

2. 学習と推論

• 学習：ベースモデル（Qwen3-VL-8B-Thinking）を構築されたインタリーブデータセットを使用して微調整します。損失関数は、実際の取得/生成された画像トークンを除く、テキスト推論とツール呼び出しクエリを含む、全体のロールアウト全体でトークンレベルの損失を計算します。
• 推論：学習済みモデルは、同じアルゴリズムフローに従います。応答を生成し、<retrieve> または <generate> トークンが検出された場合、対応するオフラインツールが実行され、新しいフレームがコンテキストに注入され、モデルは最終的な答えを生成するために推論を続けます。

主要な貢献

1. 創発的能動的知覚：ACT2SEE は、VLM が推論時にテキスト CoT 内でビデオフレームを能動的にインタリーブすることを可能にし、欠落している事実的証拠の検索や反事実的シナリオの合成を動的に行えるようにします。
2. 高品質なインタリーブデータセット：著者らは、47.67% が取得または生成されたフレームを含む 3,373 の推論痕跡のデータセットをキュレーションしました。このデータセットは、以前の自動化された CoT 生成におけるノイズの問題に対処し、推論の質を確保するために、人間の注釈に対して厳密にフィルタリングされています。
3. 二重機能（取得＋生成）：取得または静的キーフレームのみに焦点を当てた先行研究とは異なり、ACT2SEE は、推論ループ内で既存のビデオコンテンツの取得と仮説的視覚証拠の生成的合成の両方を統合しています。

実験結果

ACT2SEE は、5 つの多様なビデオ推論ベンチマーク（Video-MME、VideoEspresso、EgoNormia、VCR-Bench、ViTIB）で評価されました。

• 性能向上：ACT2SEE は、VideoEspresso と ViTIB において新しい最先端の結果を確立しました。これは、同等または大規模なオープンソースモデル（例：InternVL2.5-8B、Video-LLaMA3-7B、Qwen3-VL-8B-Thinking）を上回り、より少ないフレームを使用しているにもかかわらず、VideoEspresso においてクローズドソースの GPT-4o さえも凌駕しています。
• SOTA CoT 手法との比較：このモデルは、Chain-of-Shot、FrameMind、ReWatch-R1 などの他のビデオ・テキストインタリーブ型 CoT 手法を上回ります。
• アブレーション研究：
  • データソース：VLM 生成の CoT ではなく、人間が注釈した正解を使用してフィルタリングすることで、性能が大幅に向上します。
  • ツール使用：取得と生成の両方を組み合わせることは、どちらか一方のツールを単独で使用する場合よりも良い結果をもたらします。
  • プロンプトにおける正解：初期プロンプトフェーズから正解 CoT を除外すると、ツール呼び出しの割合が増加し、下流の性能が向上します。
• 効率性：ACT2SEE は、入力フレーム数を半分にした場合でも、ベースラインと比較してより高い精度をより低い遅延と少ない FLOPs で達成し、パレート支配を示しています。

意義と主張

本論文は、ACT2SEE が複雑なビデオ推論のための VLM に能動的視覚知覚を可能にする重要な進歩であると主張しています。モデルが視覚的証拠の検索または合成のタイミングを能動的に決定できるようにすることで、このフレームワークは静的入力と最適化されていない推論痕跡の限界を克服します。

著者らは、創発的機能を強調しています：推論時に、モデルは曖昧さを解消したり反事実的な質問に答えたりするために、フレームの取得または生成を自発的に決定します。これは明示的にプログラムされた行動ではなく、SFT プロセスを通じて学習された行動です。このアプローチは、静的知覚と複雑な現実世界のシナリオに必要な微妙な時空間ダイナミクスとの間のギャップを埋め、ビデオ推論をより因果的に根ざした動的な理解へと移行させます。この研究は、これらの能力を解き放つために、自動化されたデータ合成に依存するのではなく、高品質で人間が検証したインタリーブデータが不可欠であることを示唆しています。