💻 computer science

Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

本論文は、計算効率と局在精度の強力なバランスを実現するために、秒単位のトラッキングと秒間クロス・スムージング、思考の連鎖による軌跡合成、および強化学習による検証を組み合わせた、長尺ビデオのための効率的な時空間グラウンディング・フレームワークを提案する。

原著者： Tianshu Zhang, Yan Wang, Ji Qi, Lijie Wen

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tianshu Zhang, Yan Wang, Ji Qi, Lijie Wen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2時間の映画があり、コンピュータに「主人公が赤いバックパックを手に取る正確な瞬間を見つけ、彼が部屋を出るまで彼を追いかけろ」と頼んだとします。

これを行うことは、標準的なAIにとって非常に困難なことです。もしAIがその一瞬を見つけるために、すべてのフレーム（例えば1秒間に30枚の画像）を調べようとすれば、AIは圧倒されてしまいます。それは、図書館にあるすべての本を一文字ずつ読み進めることで、特定の単語を探そうとするようなものです。それはあまりにも遅く、コストがかかりすぎ、しかもAIは混乱して、対象を見失ったり、激しく飛び跳ねたりしてしまいます。

この論文は、AIにこの仕事をさせるための、よりスマートで効率的な方法を提案しています。以下に、シンプルな比喩を用いた彼らの解決策の解説をまとめます。

1. 「秒単位」のショートカット

AIにすべてのフレームを強制的に見せる代わりに、著者たちはAIに1秒ごとにビデオを見るように指示します。

比喩: 小説を読む場面を想像してください。プロットを理解するために、一文字一文字を分析するのではなく、1つの文章（あるいは1秒間）を読み進めます。細部にこだわりすぎることなく、何が起きているかの要点をつかむのです。
メリット: これにより、AIが処理しなければならないデータ量が劇的に減少します（例：1秒間に30フレームから、わずか1つの「秒単位ユニット」へ）。これにより、タスクは高速かつ管理可能なものになります。
修正策: AIがフレームを飛ばすことで「カクカク」したり、動きが不自然になったりしないように、最後に「スムージング（平滑化）」のステップを追加します。これは、秒と秒の間を線でつなぎ、動きを滑らかで連続的なものにするような作業です。

2. 「3段階のトレーニングキャンプ」

AIは一晩でこれを習得するわけではありません。著者たちは、学校の学年が進んでいくように、3つの特定のステージでAIを訓練しました。

ステージ1：一般的な観察者 (CPT)
AIには、さまざまなビデオ、トラッキングゲーム、物体探索タスクが提示されます。AIは基礎を学びます。「これは人である」「これは車である」「物体が動くときにどうやって追跡するか」といったことです。これは、子供に物体を認識させ、視線でそれを追う方法を教えるようなものです。
ステージ2：推論する学生 (SFT)
ここでは、AIは行動する前に考えることを学びます。彼らは「思考の連鎖（Chain of Thought）」という手法を用います。AIは自分の推論を書き出すよう求められます。例：「青いパーカーを着た人が見える。近くに赤い服の人もいるが、クエリが求めているのは青い服の人だ。アクションは5秒付近から始まる。」
- 重要なトリック: AIは推論を書くことが許されますが、物体を囲むボックスを描く段階になると、教師（研究者たち）はAIの予想を完璧に正しい答えに置き換えます。これにより、学習フェーズにおいて、AIが小さな描画ミスをしたとしても、論理的に考える方法を学ぶことができます。
ステージ3：スコアボードを持つコーチ (RL)
最後に、AIは一人でゲームに挑戦します。AIが推測を行い、「検証器（厳格なコーチ）」がその答えをチェックします。コーチは単に「よくできました」と言うだけではありません。以下の2つの要素に基づいてスコアを付けます。
1. 時間: 正しい開始時刻と終了時刻を選んだか？
2. 空間: 正しい人物を、見失うことなく追跡できたか？
  AIが正解すれば報酬が得られます。失敗すれば、別の戦略を試すことを学びます。これは、ターゲットを完璧に射抜いたときのみレベルアップできるビデオゲームのようなものです。

3. なぜこれがより優れているのか

この論文は、この手法がスピードと精度の間の「スイートスポット（最適解）」であることを示しています。

結果: 彼らのAIは、実際にはかなり小規模（90億パラメータ）ですが、標準的なビデオテストにおいて、はるかに大規模で高価なAIモデル（数百億のパラメータを持つものもある）を打ち負かしました。
教訓: 大切なのは、最大の脳を持つことではなく、正しい戦略を持つことです。「フレーム・バイ・フレーム」から「秒単位」へと切り替え、座標を推測する前に論理的に推論するように教えることで、彼らはスーパーコンピュータを必要とせずに長いビデオの問題を解決したのです。

まとめ

著者たちは、長いビデオを生のデータのストリームとしてではなく、短い要約の連続として扱うシステムを構築しました。AIに対し、誰や何を追っているのかを考え、余分なフレームという不要なノイズを無視し、正確な瞬間と場所をピンポイントで特定できるようになるまで練習させる方法を教えたのです。これは、AIによるビデオ探偵を、より速く、より安く、より賢くするための実用的な方法です。

技術要約：セカンドレベル・トラッキングとRL検証による、マルチモーダル大規模モデルを用いた効率的な時空間グラウンディング

1. 問題定義

時空間ビデオグラウンディング（STVG）は、自然言語のクエリに対して、時間（イベント区間の特定）と空間（その区間全体を通じた参照対象の追跡）の両面でローカライズすることをモデルに要求する。マルチモーダル大規模言語モデル（MLLM）は強力な推論能力を備えているが、長尺ビデオに対してフレーム単位の推論を直接適用することは、計算コストが極めて高く、不安定である。

特定された主な課題は以下の通りである：

計算コスト： 高密度のフレームレベルのサンプリングは、視覚トークンの爆発的な増加を招き、長尺ビデオの処理を極めて高価なものにする。
不安定性： 密な座標を直接生成すると、「ドリフト」が発生しやすくなる。つまり、モデルが対象物のアイデンティティを見失ったり、テキスト生成されたボックスの微小な数値誤差によって軌跡がジッター（震え）を起こしたりする。
教師あり学習のミスマッチ： 標準的な教師あり微調整（SFT）は、時間的重複や空間的軌跡の一貫性といったタスク固有のメトリクスではなく、トークンの尤度を最適化してしまう。

2. 手法

著者らは、推論ユニットを「フレーム」から「秒（second）」へと移行させ、3段階のトレーニング戦略と強化学習（RL）による検証を組み合わせた実用的なパイプラインを提案している。

A. セカンドレベルの定式化
$T$ フレームを処理する代わりに、ビデオを $K$ 個の秒単位のユニット（ $K = \lceil T/F \rceil$ ）に変換する。

入力： モデルは、秒ごとに集約されたビデオユニットを処理する。
出力： モデルは、時間的スパン $[\hat{t}_s, \hat{t}_e]$ と、1秒につき1つのバウンディングボックスで構成されるコンパクトな軌跡 $\hat{B}$ を予測する。
平滑化： 推論時には、予測された時間的境界を維持しつつ、連続性を回復させジッターを低減するために、軽量なインターセカンド（秒間）平滑化ステップが適用される。

B. 3段階のトレーニングパイプライン
本手法は、GLM-Vスタイルのアーキテクチャを用い、以下の3つの異なる段階を経て学習を行う。

継続的事前学習（CPT）：
- 目的： 広範な時空間グラウンディング能力を構築する。
- データ： STVG、マルチオブジェクト・トラッキング（MOT）、シングルオブジェクト・トラッキング（SOT）、およびセグメンテーションデータの混合データ。
- 戦略： セカンドレベルの定式化に合わせて、ビデオを1 FPSでサンプリングする。一般的なビデオキャプション生成やQAデータを含めることで、モデルが狭い座標予測タスクだけに陥るのを防ぎ、一般的な対話能力や推論能力を維持する。
修正された推論による教師あり微調整（SFT）：
- 目的： 構造化されたターゲット選択と時間的推論を教える。
- データ： VidSTGおよびHC-STVGから抽出した2万例。
- メカニズム： 高度なMLLM（Geminiなど）を用いて、「何を」追跡すべきか、および「いつ」イベントが発生するかという点に焦点を当てた思考の連鎖（CoT）のトレースを生成させる。
- 修正： 極めて重要な点として、最終出力における空間座標と時間的スパンは、グランドトゥルース（正解）のアノテーションに置き換えられる。これにより、有用な意味的推論と信頼性の低い幾何学的生成を分離し、モデルが幾何学的なノイズに対してペナルティを受けることなく、正しい推論プロセスを学習できるようにする。
検証器を用いた強化学習（RL）：
- 目的： グラウンディングの品質メトリクスを直接最適化する。
- 報酬関数： 検証器が、以下の加重和を用いて予測をスコアリングする：
  - tIoU： 時間的Intersection over Union（予測された時間窓と正解の時間窓の重複）。
  - mvIoU： モーション認識型空間IoU（一致した時間的交差におけるボックスの平均IoU）。
- 最適化： 方策は、非対称クリッピングを用いたGRPOスタイルの目的関数を用いて最適化される。組み合わせられた報酬（$tIoU + mvIoU $）は、$ mvIoU$ 単独で使用する場合よりも密な学習信号を提供し、モデルが軌跡を精緻化する前に、まず正しいイベントウィンドウを特定するのを助ける。

C. 推論
モデルは、時間的スパンとセカンドレベルの軌跡を含む構造化された回答を出力する。無効な状態は破棄され、インターセカンド平滑化が適用される。出力は、セカンドレベルの粒度のままでもよいし、ベンチマークによって要求される場合はフレームレベルのボックスへと補間することも可能である。

3. 主な貢献

セカンドレベル・トラッキングの定式化： フレームレベルからセカンドレベルのユニットへの転換により、イベント構造とトラックの連続性を平滑化によって維持しながら、シーケンス長と視覚トークンのコストを大幅に削減した。
修正された推論の教師あり学習： 生成されたCoTトレースを意味的推論に利用しつつ、生成された座標をグランドトゥルースに置き換えることで、ノイズの多い幾何学的指導からモデルが学習してしまうのを防ぐトレーニング戦略。
検証器駆動型RL： $tIoU + mvIoU$ に基づく検証器を使用して、トークンの尤度だけに頼るのではなく、モデルの出力をSTVGの評価指標に直接適合させる最適化段階。
効率的な高性能モデル： 9Bパラメータのタスク特化型モデルが、より大規模な汎用MLLM（例：397BのQwen3.5）をSTVGタスクにおいて凌駕できることを示した。

4. 実験結果

本手法は、VidSTG、HC-STVG、および一般的なビデオ理解を評価するための Video-MME-v2 ベンチマークで評価された。

STVGの性能：
- VidSTGにおいて： 最終的なRLモデルは mtIoU 31.35、mvIoU 23.79 を達成し、397Bや1Tパラメータのモデルを含むすべてのベースラインを上回った。
- HC-STVGにおいて： モデルは mtIoU 60.04、mvIoB 40.99 を達成し、ここでも大規模な汎用モデルを凌駕した。
- SFTからRLへの進展は、SFTがフォーマットを適応させる一方で、RLがメトリクスとの整合性を大幅に向上させることを示した。組み合わせられた $tIoU + mvIoU $報酬は、$ mvIoU$ 単独よりも早く収束し、より良い結果をもたらした。
一般的なビデオ理解：
- Video-MME-v2での評価では、非線形推論（12.6 vs 9.4）および単純な正確性（28.0 vs 23.7）の両方において、GLM-4.1V-Thinkingのベースラインを改善しており、トレーニングパイプラインがローカリゼーションのために一般的な推論能力を犠牲にしてオーバーフィットしていないことを示している。
アブレーション研究：
- FPSの感度： 1 FPS でのトレーニングが、コストと時間的証拠のバランスが最も良く、最良の結果をもたらした。
- 報酬設計： 時間的報酬とモーション認識型報酬の組み合わせが極めて重要であった。モーション認識型報酬のみを使用した場合、初期の学習信号が弱くなった。

5. 意義と主張

本論文は、MLLMベースのSTVGにおけるボトルネックは、単なるモデルの規模ではなく、タスクの定式化と教師信号の設計にあると主張している。幾何学的生成から意味的推論を切り離し、RLを通じてタスク指標を直接最適化することで、著者らは、より小さな特化型モデルが、大規模な汎用モデルと比較して、長尺ビデオのグラウンディングにおいて優れた性能を発揮できることを証明した。

著者らは、本研究を、長尺ビデオを効率的に扱いながら、使用可能で安定した時間的・空間的グラウンディングを生成するという、MLLMベースのSTVGにおける「欠けているピース」に対する実用的な解決策として位置づけている。また、この手法は効果的であるが、将来的には、これらの推論能力をイベント解析やインタラクティブなビデオエージェントのようなより広範なタスクへ拡張したり、リアルタイムかつノイズの多いオープンワールドの設定に適応させたりできる可能性があると述べている。