技術概要：TORM - ビデオ言語モデルにおける空間・時間推論のための内部化モデリング

問題定義

ビデオ推論タスクでは、モデルがフレーム間で運動、時間的順序、および変化する視覚状態を追跡する必要があります。大規模視覚言語モデル（LVLM）は静的な画像理解において成功を収めていますが、これをビデオに拡張することは依然として課題です。既存のアプローチは、テキストによる思考連鎖（CoT）、フレームの繰り返し再挿入、時間的分解、または外部ツールの使用を通じて「推論の外部化」に依存することが多いです。

本論文は、これらの外部パイプラインにおける重要な限界を特定しています：

1. 非効率性：これらは推論時の大幅な遅延と工学的な複雑さを導入します。
2. 情報損失：これらは、豊かで連続的な時間的・視覚的証拠を離散的なテキストトークンにシリアライズするか、繰り返し再エンコードすることを強制し、微細な動的な情報が失われる可能性があります。
3. トレードオフ：推論に有益な豊かで中間的な視覚・時間的情報を保持することと、テスト時に明示的証拠を生成または取得することによって妨げられる推論の効率性との間に、根本的な緊張関係が存在します。

手法：TORM

著者は、明示的なテキスト CoT や外部ツールではなく、有界な連続潜在軌道を通じて LVLM が推論を行うように教えるための 2 段階フレームワークである TORM（Spatial-Temporal reasOning via inteRnalized Modeling）を提案します。核心的な直観は、視覚推論が言語化される前に隠れ状態内で暗黙的に起こり得るというものです。

コアアーキテクチャ

TORM は、標準的なビデオ質問から回答を生成するプロセスに、$K$個の潜在トークン（実験では $K=8$ に設定）を含む短い潜在シミュレーションセグメントを追加します。

• 推論：モデルが特別な <|latent_start|> トークンを生成すると、「潜在シミュレーションモード」に入ります。離散的なテキストトークンを予測する代わりに、デコーダは連続的な隠れ状態（潜在トークン）を生成し、これらが後続のステップの入力埋め込みとしてフィードバックされます。これは <|latent_end|> が生成されるまで続き、その後、最終的な回答のために通常のテキストデコーディングが再開されます。このプロセスは固定された遅延を確保するために有界化されています。
• 外部ツールの不使用：他の手法とは異なり、TORM は推論中にビデオを再生成したり、フレームを再挿入したり、外部ツールを呼び出したりしません。

データパイプライン

モデルに推論を内部化させるために、著者は各 QA ペアに対して 3 つの整合した信号を持つトレーニングシーケンスを構築します：

1. キーフレーム：ソースビデオから抽出された質問に関連するフレーム。
2. 思考ビデオ：質問に関連する運動と状態変化を視覚化する、生成された短い動的ビデオ（教師 CoT プランと Wan 2.1 などのビデオ生成モデルを使用して生成）。
3. 回答：ターゲットとなる回答トークンシーケンス。

2 段階トレーニング戦略

トレーニングプロセスは、まず潜在空間を接地し、次に推論を内部化するために 2 つの段階に分かれます：

• 段階 I：潜在接地教師ありトレーニング

  • モデルは、予測された潜在状態（$z_i$）を生成された思考ビデオの機能（$g_i$）と整合するようにトレーニングされます。
  • 思考ビデオはエンコードされ、その機能は固定された潜在スロット数（$K$）に一致するようにプーリングされます。
  • 損失関数は、標準的な回答トークン交差エントロピー（$L_{ans}$）と MSE 損失（$L_{latent}$）を組み合わせ、潜在状態と思考ビデオの機能間の距離を最小化します。
  • 目的：明示的なテキスト CoT 教師なしで、動的視覚証拠に潜在スロットを接地すること。

• 段階 II：回答のみの統合

  • 直接の潜在教師（MSE 損失）が除去されます。
  • モデルは回答トークン損失（$L_{ans}$）のみでトレーニングされますが、潜在スロットは入力シーケンスに残ります。
  • 目的：段階 I で学習された推論行動をモデルに内部化させ、明示的なターゲットなしで推論時に自律的かつ堅牢な潜在プロセスを確立すること。

主要な貢献

1. TORM フレームワーク：明示的なテキスト CoT や重厚なツールベースの推論を必要とせず、連続潜在空間内で内部動的シミュレーションを実行するビデオ推論フレームワーク。
2. 2 段階トレーニング戦略：潜在アライメントと思考ビデオ教師（段階 I）および回答焦点型の統合（段階 II）を組み合わせ、空間・時間推論を内部化するための新規アプローチ。
3. 思考ビデオ教師パイプライン：生成された動的トレース、キーフレーム、QA アノテーションを整合させ、潜在ビデオ推論をトレーニングするためのスケーラブルな手法。
4. 効率性と性能：ツール依存型またはビデオ生成ベースのパイプラインと比較して、推論オーバーヘッドを大幅に削減しながら高い精度を達成できる内部化推論を実証。

実験結果

著者は、TORM を 6 つのベンチマーク（VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso, MMVU）で評価しました。

• 性能：TORM は、すべてのベンチマークで標準的な教師あり微調整（SFT）ベースライン（例：Qwen2.5-VL-7B-SFT）を一貫して上回りました。また、高価なテスト時計算パイプラインに依存する専門モデル（例：LongVT, Video-Thinker）と同等かそれ以上の性能を示しました。
  • 例：VideoMME において、TORM は 61.0% の精度を達成し、SFT ベースライン（55.4%）を上回り、オープンソースのバックボーンを使用しながら GPT-4o（71.9%）や Gemini-1.5-Pro（75.0%）などのプロプライエタリモデルと競合しました。
  • 例：MMVU において、TORM は 65.9% を達成し、Video-R1（64.2%）や Qwen2.5-VL-CoT（60.0%）を上回りました。
• 遅延：TORM は推論遅延の大幅な削減を実証しました。
  • LongVT と Video-Thinker は項目あたり約 15〜17 秒を要しました。
  • TORM は項目あたり約 0.47 秒（2.14 項目/秒）で処理し、フレームの繰り返し取得や外部ツール呼び出しを回避することで、約 30 倍の高速化を実現しました。
• アブレーション研究：
  • 潜在サイズ：8 個の潜在トークンの予算が最適なバランスを提供しました。より大きな予算（16 または 256）は性能を低下させ、冗長な視覚トークンを保持するよりもコンパクトな潜在軌道の方が効果的であることを示唆しています。
  • トレーニング段階：段階 I（接地）と段階 II（統合）の両方が必要でした。いずれかの段階のみを使用すると、性能が低下しました。
  • 検索分析：プローブ調査により、学習された潜在状態はテキスト表現よりもビデオ固有の時間的情報を保持しており、テキストの 29% に対して同一ビデオ検索で 71% の Hit@1 を達成しました。

意義と主張

本論文は、TORM がビデオ言語モデルにおける効率的なネイティブ視覚推論への実用的な一歩を表すと主張しています。動的推論の負担を推論時のツール編成から内部化された潜在プロセスへとシフトさせることで、TORM は推論の質と計算効率の間のトレードオフに対処します。

著者は以下を強調しています：

• 動的視覚証拠は、潜在状態を教えるためにトレーニング中のみで使用されます。
• 推論時には、モデルは新しいビデオを生成したり外部ツールを呼び出したりすることなく、コンパクトで固定予算の潜在軌道を通じてこの学習された行動を再利用します。
• このアプローチにより、LVLM は外部推論パイプラインの遅延や複雑さを回避しつつ、単一モデルデコーディングプロセスの効率性で複雑な空間・時間推論タスクを処理できます。

本論文は限界を認め、トレーニングの質が生成された思考ビデオに依存すること、および現在の評価が多肢選択 QA に焦点を当てていることを指摘しています。今後の研究として、オープンエンドの推論や他のアーキテクチャへの適用が提案されています。