💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

Video-o3 は、タスク非依存の注意マスクと検証可能な軌道誘導報酬によるネイティブで反復的な手掛かり探索を可能にすることで均一サンプリングの限界を克服し、MLVU や Video-Holmes などのベンチマークで最先端の性能を達成する、長動画の多ホップ推論のための新規フレームワークである。

原著者： Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

30 分の映画で謎を解こうとしているが、視聴できるのは数秒だけだと想像してみてください。現在のほとんどの AI モデルは、この問題を解決するために、数秒ごとに映画全体を素早くぼんやりとスナップショットで捉え、即座に答えを推測しようとします。これは、藁の山全体を一度ちらりと見ただけで、その中に特定の針を見つけようとし、たまたまそれを見たことに期待するのと同じです。針は「藁」（退屈な部分）に隠れていることが多く見逃したり、情報が多すぎて圧倒されたりすることがよくあります。

Video-o3 は、このゲームのルールを変える新しい AI フレームワークです。ちらりと見るのではなく、拡大鏡を持った探偵のように行動します。その仕組みを簡単な概念に分解して説明します。

1. 探偵のアプローチ（ネイティブな交互のヒント探索）

全体を見てから推測するのではなく、Video-o3 は少しだけ見て考え、その後、「この特定の 5 秒間を拡大して、何が起きているか確認する必要がある」と判断します。

仕組み: システムに動画の特定のセグメントを「切り取る」（フィルムリールから小さな断片を切り取るようなもの）よう指示し、それを詳しく観察させます。
ループ: このプロセスを繰り返します。少し見る $\rightarrow$ 考える $\rightarrow$ ヒントを拡大 $\rightarrow$ 再度考える $\rightarrow$ 別のヒントを拡大。
結果: 答えを一つずつ組み立てていき、実際に重要な動画の部分だけを見て、残りは無視します。

2. 「分裂した注意」の問題（タスク分離型アテンションマスキング）

犯罪現場を見ながら同時に報告書を書こうとする探偵を想像してみてください。もし完全に同時に両方をやろうとすれば、混乱するかもしれません。犯罪現場を見ていても、実際に見ていることではなく記憶からの何かを書き記してしまう可能性があります。これを「偽の思考」と呼びます。

対策: Video-o3 は特別な「マスキング」技術を使用します。
- AI がヒントを探している（動画をスキャンしている）間、書きかけの最終的な答えを無視するように強制されます。完全に証拠の発見に集中します。
- AI が答えを書いている間、生の動画映像を無視し、今見つけたヒントだけに集中するように強制されます。
比喩: これは、学生が「勉強」フェーズの間だけ教科書を見ることを許され、「試験」フェーズの間だけノートを見ることを許されるようなものです。これにより、カンニングや混乱を防ぎ、最終的な答えが確固たる証拠に基づいていることを保証します。

3. 「停止サイン」（検証可能な軌道誘導型報酬）

探偵は理論上、無限に拡大し続け、すべてのフレームを見続けることができますが、それは時間がかかりすぎ、コスト（計算資源）が高すぎます。

対策: Video-o3 は特別な報酬システムで訓練されています。
- AI が素早く正確に答えを見つけると、大きな「金賞（ゴールドスター）」（報酬）が与えられます。
- AI がすでに答えを持っているにもかかわらず不要に拡大し続けると、「ペナルティ」（報酬が減少）が科されます。
比喩: これは「ホット＆コールド」ゲームのようです。AI は「ホット」（十分な証拠がある）と感じた瞬間に探索を停止することを学びます。無駄な部屋を見る時間を費やすのではなく、パズルを解いた瞬間に正確に停止するよう、効率性を学びます。

4. 訓練場（Seeker-173K）

AI に探偵になることを教えるには、教科書を与えるだけでは不十分です。ヒントを探す必要がある数千の練習ケースを与える必要があります。

データセット: 研究者たちは、Seeker-173K という巨大なデータセットを作成しました。これには、AI が見る $\rightarrow$ 拡大 $\rightarrow$ 考える $\rightarrow$ 再度見る $\rightarrow$ 解決というサイクルを実践することを強制される「動画ミステリー」の 173,000 件の例が含まれています。
結果: これらの特定の「ヒント探索」タスクでこれほど多く練習したため、以前のモデルよりも複雑な動画の質問を解決する能力が大幅に向上しました。

結論

Video-o3 は、コンピュータが長い動画を視聴するためのより賢い方法です。一度に映画全体を暗記しようとするのではなく、人間の探偵のように行動します。現場をスキャンし、重要な詳細にズームインし、点と点を結びつけ、証拠が揃った瞬間に停止します。これにより、はるかに高速で、正確であり、長い動画に隠された複雑なパズルを解決する能力が向上します。

パフォーマンス: テストにおいて、このアプローチにより、動画に「ちらりと」見るだけであった従来の方法と比較して、AI は動画パズルを大幅に高い精度（例えば、主要なベンチマークの 72.1% など）で解決することができました。

技術概要：Video-o3

問題定義

長動画理解のための既存のマルチモーダル大規模言語モデル（MLLM）は、主に均一なフレームサンプリングに続いて単一ターン推論を行うことに依存している。このアプローチは、広範な冗長な背景コンテンツ内に散在する重要な証拠を特定することに苦慮し、結果として計算コストの大幅な増大と推論精度の低下を招いている。初期の「手がかり探索＋答え推論」のプロトタイプが存在するものの、それらは多くの場合、手作業で設計されたヒューリスティックに依存し、エンドツーエンドの最適化が欠如しており、手がかり探索と推論が分離されているため、結合された多段推論を必要とする複雑で長編の動画へのスケーリングに失敗している。さらに、ネイティブなマルチターンツール呼び出しは、共有コンテキスト内の推論タスクとツール呼び出しタスクの異質性によって引き起こされる注意の分散、および制御されていないツール相互作用が過剰なトークン消費と冗長な探索をもたらすコンテキストの非効率性という 2 つの中核的な課題を導入する。

手法

著者らは、長動画におけるネイティブな交差型の手がかり探索と多段推論のために設計されたVideo-o3というフレームワークを導入する。このシステムは、モデルが重要な視覚的手がかりを反復的に発見し、VideoCrop ツールを介して重要なセグメントを微細に検査し、十分な証拠が得られた時点で探索を適応的に終了することを可能にする。

1. タスク分離型注意マスク（TDAM）

手がかり発見と答え推論という異質なタスクによって引き起こされる注意の分散を軽減するため、著者らは TDAM を提案する。このメカニズムは、教師あり微調整（SFT）中に明示的な可視性制約を課す：

手がかり探索フェーズ： モデルはグローバルな動画入力にのみ注意を向けるように制限され、グローバルなコンテキストに基づいた計画戦略を学習することを強制する。
答え推論フェーズ： グローバルな概要はマスクされ、モデルが高解像度のツール観測からのみ答えを導き出すことを強制する。
この戦略は、分離された専門性と包括的な推論の必要性のバランスを取るために、トレーニングデータの 10% のみに適用され、これにより 2 つのモードのトレーニングを効果的に分離しつつ、共有されたグローバルコンテキストを維持する。

2. 検証可能軌道ガイド型報酬（VTGR）

コンテキスト長の増大を制御し、効率的な探索を促進するため、強化学習（RL）用の新しい報酬関数が導入される。報酬 $R$ は、答えの正しさ、形式の妥当性、および軌道ガイド乗数 $\beta$ の複合体である：
$R = r_a \cdot (1 + \beta) + r_f$

ハイブリッド手がかりスコア（ $S_{clue}$ ）： 真の区間と整合する軌道（IoU、IoP、IoG を使用）に報酬を与えるか、「自由探索」サンプルの多様性を促進することにより、正確な局所化をインセンティブ化する。
ターン減衰因子（ $\gamma$ ）： 基準となるターン数を超える軌道にペナルティを課し、俊敏な終了を促進し、冗長なループを防ぐ。
モデルは、サンプリングされたグループ内で相対的な利点を最大化するために、GRPO の変種である DAPO アルゴリズムを使用して最適化される。

3. データ合成と Seeker-173K

ネイティブな交差型ツール呼び出しのトレーニングにおけるデータ不足を克服するため、著者らはスケーラブルな自動化データ合成パイプラインを開発した。このパイプラインは、「動画 - 質問 - 答え」のトリプレットを、手がかり局所化、妥当性検証、軌道生成、論理的整合性チェックの 4 つの段階で処理する。このプロセスにより、堅牢なネイティブな交差型ツール呼び出し能力を育成するために明示的に設計された 173,000 のツール相互作用軌道からなる高品質なコーパスSeeker-173Kが生成される。

主要な貢献

タスク分離型注意マスク： 手がかり局所化と答え推論を分離して注意の干渉を防ぎ、エンドツーエンドのモデルがグローバルコンテキストを維持しながら特定の探索段階に集中することを可能にするメカニズム。
検証可能軌道ガイド型報酬： 網羅的な探索と計算効率のバランスを取り、モデルが正確に手がかりを局所化し、証拠が十分であるときに推論を正確に終了することを促す報酬定式化。
Seeker-173K データセット： 自動化合成パイプラインを通じて構築された、長動画推論のための教師あり学習および強化学習をサポートする、17 万 3 千のツール相互作用軌道からなる大規模で高品質なトレーニングコーパス。

実験結果

多様な長動画理解および推論ベンチマークにおける広範な評価により、Video-o3 が最先端の手法を大幅に上回ることが示された：

MLVU： **72.1%**の精度（SFT+RL）を達成し、これまでの最高記録を上回った。
Video-Holmes： **46.5%**の精度を達成し、強力な多段証拠探索能力を示した。
LVBench： **47.6%**の精度を達成した。
時間的グラウンディング： Charades-STA ベンチマークにおいて、Video-o3 は mIoU 60.7を達成し、LongVT（27.2）や Qwen2.5-VL（43.6）などのベースラインを大幅に上回った。
効率性： 分離型反復推論手法と比較して、Video-o3 は KV キャッシュを介した冗長計算を排除する統一された共有コンテキストを活用し、より少ない視覚トークンを使用しながら、推論時間を LOVE-R1 に対して32.9%、VideoChat-R1.5 に対して**46.0%**削減した。

このフレームワークは、より小さなベースモデル（Qwen3-VL-4B）への汎化も示し、テストされたすべてのベンチマークで一貫した改善をもたらした。

意義と主張

本論文は、Video-o3 がこれらのシナリオにおけるネイティブなツール呼び出しの有効性を検証することで、長編動画理解における新たな最先端を確立すると主張している。静的な入力を受動的に処理するのではなく、モデルが反復的なマルチターン相互作用を通じてタスクに関連する証拠を積極的に探索することを可能にすることで、Video-o3 は均一サンプリングと単一ターン推論の根本的な限界に対処する。この研究は、次世代の自律型 MLLM を進展させるにおけるネイティブなツール使用パラダイムの変革的な可能性を強調し、特に複雑なクエリを管理可能なサブゴールに分解し、堅牢な多段推論チェーンを通じて曖昧さを解決する能力を浮き彫りにしている。著者らは、彼らのアプローチが探索のカバレッジと推論効率の間のトレードオフを成功裏にバランスさせており、スケーラブルな長動画分析にとって重要な要件であると強調している。