技術概要：LLaVA-OneVision-2：次世代知覚知能に向けて

1. 問題定義

現在のオープンな大規模視覚言語モデル（LVLM）は、主にフレーム中心の観察パラダイムの下で動作しています。これらは通常、固定されたトークン予算を満たすために、均一なフレームサンプリングまたは混合解像度戦略（疎な高解像度のキーフレーム＋密な低解像度のコンテキスト）を採用しています。著者らは、このアプローチが動画をデコードされたフレームの集合に還元し、動画を独自に情報豊かにする連続的な空間構造、運動ダイナミクス、予測ストリーム信号を捉え損ねていると主張しています。

既存の手法は、動画を静的な画像の連続として扱うことが多く、圧縮動画ストリームでは、ほとんどのピクセルが文脈的連続性を維持し、わずかな疎な偏差のみが、識別可能な意味、空間、時間的構造を符号化しているという事実を見落としています。その結果、現在のモデルは以下の点で困難に直面しています：

• 時間的グラウンディング: 均一にサンプリングされたフレームの間に存在する重要な瞬間を見逃す。
• 長動画の効率性: 長動画において、比例した情報増加なしに高いトークン数を要する。
• 微細な運動: 隣接フレームが視覚的にほぼ同一であるが、サイクルの境界が重要な、高周波で密に繰り返される運動サイクル（例：縄跳び）における動作の局在化が困難である。

2. 手法

LLaVA-OneVision-2（LLaVA-OV-2）は、デコードされたフレームの観察から予測視覚ストリームの観察へと移行するコーデック整合型アーキテクチャを導入します。

2.1 コアアーキテクチャ

• ネイティブ OneVision エンコーダ: このモデルは、サンプリングされたフレーム、静的画像、コーデックストリーム動画を統一された視覚トークンインターフェースにマッピングする共有バックボーン（OV-Encoder）を使用します。すべての入力（画像、サンプリングフレーム、コーデックキャンバス）を統一された時空間座標系に配置するために、3D RoPE（回転位置埋め込み）を採用しています。
• ウィンドウドアテンション: ネイティブ解像度の効率を維持するため、モデルは局所計算のために空間ウィンドウドアテンションを利用し、時間的グループ化に基づいてトークンの可視性を定義するグループ可視マスクと組み合わせています。
• 統一コネクタとデコーダ: 軽量な MLP が視覚トークンを言語モデル空間（Qwen3-8B）に投影します。重要なのは、コネクタとデコーダがインターフェース不変であることであり、コーデック固有のアダプタを必要としないことです。違いは、入力によって提供される証拠の選択とアテンショングループの割り当てにのみあります。

2.2 コーデックストリームトークナイズ

中心的な革新は、圧縮動画をフレームの連続ではなく、連続的なビットコストストリームとして扱うことです。

• 適応的時間グループ化（GOP）: 固定された時間間隔の代わりに、動画を圧縮ストリームのビットコストダイナミクスに基づいて時間的グループに分割します。
  • メカニズム: システムは、時間ビン内の予測フレーム（P/B フレーム）のパケットサイズを集約します。高いビットコスト（運動やシーン変化を示す）は短いグループをトリガーし、低いビットコスト（予測可能な間隔）はより長いグループを可能にします。
  • 境界の精緻化: ローカルバレーサーチによりグループ境界を精緻化し、それらが低ビットコスト領域と整合するようにすることで、イベントを伴うコンテンツを維持しつつ圧縮効率を最大化します。
• 運動残差空間選択: 各適応グループ内で、空間的証拠は運動ベクトルと輝度残差に基づいて選択されます。
  • ブロックレベル選択: 個々のパッチを選択する代わりに、モデルは正規化された運動の大きさと残差の偏差から導出されたセマンティクススコアに基づいて2×2 パッチブロックを選択します。
  • 層別割り当て: 単一の高応答フレームがグループを支配するのを防ぐため、システムは層別された時間的割り当て戦略を使用します。候補ブロックをフレームごとにソートし、同じフレームからの繰り返し候補を減衰させることで、P-キャンバスがグループの時間的範囲を効果的にカバーするようにします。
• 視覚キャンバス: このプロセスの出力は、運動残差証拠を運ぶコンパクトな視覚キャンバス（I-キャンバスと P-キャンバス）のセットであり、トークン密度はストリームのビットコスト残差プロファイルに従います。

2.3 学習レシピ

このモデルは、大規模なオープン監視を用いた段階的な 4 段階のレシピで学習されます：

1. ステージ 1（ブートストラップ）: 約 8500 万の画像 - テキストサンプルと 420 万の短編動画キャプション（30 秒）を混合します。標準的なフレームサンプリングを使用します。
2. ステージ 2（インストラクションチューニング）: 約 4600 万のインストラクションサンプルを追加し、動画キャプションを 30〜180 秒に拡張します。フレーム予算は 90 に増加します。
3. ステージ 3（長動画）: 10〜15 分動画のキャプション（35 万サンプル）に拡張し、フレーム予算を 384 に設定します。
4. ステージ 4（コーデックと空間）:
   • コーデック統合: 可変長 GOP コーデックパイプラインを使用して、10〜15 分動画コーパスを 384 フレームおよび 768 フレームで再エンコードします。
   • 空間的監視: 2D/3D 空間推論、ポイントトラッキング、参照表現を網羅する400 万サンプルの空間コーパス（LLaVA-OneVision-2-Spatial-4M）を導入します。
   • データ混合: 学習では、コーデックストリーム動画、均一サンプリング動画、静的画像を交互に使用します（コーデック約 50%、均一 37.5%、画像 12.5%）。

3. 主要な貢献

1. コーデック整合型 MLLM: 動画を連続的なビットコストストリームとして扱い、視覚トークンの割り当てをビットコストダイナミクスと運動残差証拠に整合させる初のモデルです。これにより、固定された GOP（Picture Group）や均一サンプリングを上回る安定した長動画トークン圧縮が可能になります。
2. JumpScore ベンチマーク: 高周波で密に繰り返される運動（例：縄跳び）における微細なグラウンディングをターゲットとした新しい時間的局在ベンチマークです。既存のベンチマークで過小評価されている、視覚的に類似したサイクル間の動作インスタンスの局在化能力を評価します。
3. 大規模データと学習スタック: 約 800 万の再キャプション化された動画サンプルと 400 万サンプルの空間コーパスの公開、ならびに画像グラウンディングから長動画および空間推論へとスケールする 4 段階の学習レシピの提供。
4. 統一知覚: 動画理解、時間的グラウンディング、空間的グラウンディング、操作痕跡推論において、単一のアーキテクチャが統一された性能を発揮することを示しています。

4. 結果

LLaVA-OneVision-2-8B は、8B クラスのモデル間で複数のドメインにおいて最先端の性能を達成しました：

• 時間的グラウンディングと JumpScore:
  • JumpScoreにおいて、LLaVA-OV-2-8B は74.9 mAPを達成し、Qwen3-VL-8B（30.1）を**+44.8 ポイント**上回りました。
  • 一致した視覚トークン予算の下では、コーデックストリーム入力は標準ベンチマーク（Charades-STA、ActivityNet、QVHighlights）全体でフレームサンプリングよりも時間的グラウンディングを平均**+9.7 ポイント**改善しました。
  • JumpScore においては、コーデックストリーム入力がフレームサンプリングを**+17.3 ポイント**上回りました。
• 動画理解:
  • 18 の動画タスク全体で、Qwen3-VL-8B を**+4.3 ポイント**平均で上回りました（62.5 vs. 58.2）。
  • 時間的グラウンディング（+5.2〜+7.0 ポイント）および視覚空間動画推論において顕著な改善が見られました。
• 空間推論:
  • 11 の空間タスク全体で、Qwen3-VL-8B を**+5.3 ポイント**平均で上回りました（63.5 vs. 58.2）。
  • CrossPoint（Qwen3-VL より +35.0 ポイント）およびTraceSpatial-3D（次点の 8B スコアのほぼ 4 倍）で顕著な改善が見られました。
• トラッキング（参照動画オブジェクトセグメンテーション）:
  • トラッキングベンチマーク（DAVIS、MeViSU、ReVOS）において、Qwen3-VL-8B より平均**+15.6 J&F**の改善を達成しました。
  • 総トラッキングスコアは41.0で、Qwen3-VL-8B の 30.8 を上回りました。
• 画像とドキュメント:
  • 画像およびドキュメントベンチマーク（例：DocVQA 95.2、V*-Bench 85.9）では競争力がありますが、テキストが密集したタスクでは専門的な OCR/ドキュメントモデルに劣ります。

5. 意義と主張

本論文は、LLaVA-OneVision-2 が「フレーム中心」から「ストリーム認識型」の知覚知能への転換を表していると主張しています。

• 知覚割り当て原則: 著者らは、コーデックストリームトークナイズが単なるトークン削減メカニズムではなく、知覚割り当て原則であると論じています。これは、高ビットコスト間隔と高残差領域にトークンを集中させることで長動画推論におけるイベントレベルのカバレッジを拡大し、詳細に敏感な知覚のための補完的なパスとしてフレームサンプリングを維持します。
• 効率性と詳細のトレードオフ: 分析により、コーデックストリーム入力はイベント順序や時間的グラウンディングなど、粗い時間的構造に支配されるタスクを優位に扱いますが、高密度な軌跡連続性を必要とする詳細に敏感なクエリにはフレームサンプリングが依然として好ましいことが示されました。
• 将来の方向性: この研究は、視覚的証拠が超長期的な時間的視野にわたって継続的に更新、圧縮、検索される「コーデックネイティブ時代」への一歩として位置づけられており、固定フレーム観察の限界を超えています。

著者らは、彼らのアプローチがコネクタや言語モデルの既存の改善と直交しており、現在のシステムは理論的には下流スタックを変更することなく、入力側でコーデックストリームトークナイズを採用できることを強調しています。