技術サマリー：Cambrian-P - ポーズに基づく動画理解

問題定義

現在のマルチモーダル大規模言語モデル（MLLM）は、動作認識や物語の要約などの意味的な動画理解においては卓越していますが、視覚的空間知能を必要とするタスクでは一貫して困難に直面しています。特定された核心的な限界は、標準的な MLLM が動画フレームを、シーンの永続的な 3 次元空間構造から切り離された孤立した 2 次元スナップショットとして処理している点にあります。3 次元幾何学への明示的なグラウンディングが欠如しているため、モデルは空間的関係、カメラの動き、およびグローバルなシーンの整合性について推論することができません。カメラポーズ（位置と向き）は長年、3 次元ビジョンやロボティクス（例：Structure from Motion、SLAM）の基盤となってきましたが、動画 MLLM のトレーニングシグナルからは依然としてほぼ欠落しています。

手法：Cambrian-P

著者らは、ネイティブなカメラポーズ予測機能を備えた動画 MLLM であるCambrian-Pを提案します。このアプローチは軽量に設計されており、既存の MLLM に対するアーキテクチャの変更を最小限に抑えつつ、新しいトレーニングパラダイムを導入します。

1. アーキテクチャ

• ベースモデル: SigLIP2-SO400m 視覚エンコーダと Qwen2.5 LLM を MLP プロジェクタを介して組み合わせるCambrian-Sアーキテクチャを基盤としています。
• カメラポーズトークン: LLM の特徴空間内でポーズ推定を可能にするため、モデルは各フレームの視覚トークンに、LLM に入る前に少量の学習可能なカメラポーズトークンを付加します。
  • 2 つの異なる学習可能なクエリが使用されます：最初のフレーム用$c_{first}$と、それ以降のすべてのフレーム用$c_{rest}$です。これにより、モデルは最初のフレームを区別し、すべてのポーズを最初のカメラの座標系に対する相対的に表現できます。
  • これらのトークンは、因果的アテンション機構を尊重するため、視覚トークンの後、テキスト埋め込みの前に配置されます。
• ポーズヘッド: 軽量なプロジェクタが、ポーズトークンの LLM の隠れ状態をポーズ特徴次元にマッピングします。VGGT に着想を得た専用のカメラヘッドは、4 層の自己アテンション層に続いて線形層で構成され、最終的なカメラパラメータを回帰します。

2. トレーニング目的

総損失関数は、VQA 用の標準的な次のトークン予測（NTP）とカメラポーズ推定損失を組み合わせます：
$$\mathcal{L} = \mathcal{L}_{NTP} + \lambda_{pose} \cdot \mathcal{L}_{pose}$$

• ポーズ損失（$\mathcal{L}_{pose}$）: 予測されたポーズエンコーディング（並進$t$、回転クォータニオン$q$、および視野$f$）を、重み付けされた L1 損失を用いて真値に対して監督します。
  • スケール正規化: 物理的スケールが異なるデータセット（メトリック対ノンメトリック）を処理するために、並進損失は軌跡の長さで正規化されます。ノンメトリックデータの場合、予測された軌跡の形状を真値に整合させつつスケールを崩壊させないよう、閉形式の最小二乗法スケール因子が計算されます。
• インターリーブトレーニング戦略: 著者らは、VQA とポーズ推定のトレーニングダイナミクス間に競合があることを特定しました。
  • VQAは通常、事実の正確性を維持するために均一なフレームサンプリングを使用し、重みのある拡張を避けます。
  • ポーズ推定は、頑健な幾何学的特徴を学習するために、ランダムな時間的サンプリング、動的な間隔、および重みのある拡張（例：カラージッター、ブラー）を必要とします。
  • 解決策: インターリーブトレーニング方式は、3 種類のバッチを混合します。
    1. VQA のみ: 標準的な均一サンプリングと NTP 損失を使用。
    2. ポーズのみ: 動的/ランダムサンプリングと重みのある拡張を用いたサンプルを、ポーズ損失のみで監督（不完全なコンテキストでの幻覚を防ぐため VQA 損失を省略）。
    3. Joint: 両方の損失を持つサンプル。
• ランダムジッター: 均一サンプリングにおける固定されたフレーム - ポーズ対応をモデルが暗記するのを防ぐため、VQA トレーニング中にフレームインデックスにランダムジッターが適用されます。

3. データスケーリング

• 真値: トレーニングには、VSI-590K（ScanNet、ScanNet++、ARKitScenes）およびMapAnythingからのポーズ注釈付きデータが利用されます。
• 疑似注釈: 限られた真値データを超えてスケーリングするため、著者らは一般ドメインの動画（例：Cambrian-S-3M コーパスから）に対してVIPE（フィードフォワードのストリーミング動画ポーズエンジン）を使用して疑似ポーズ注釈を生成します。これらの疑似ラベルは品質でフィルタリングされ、インターリーブトレーニングレシピで使用されます。

主要な貢献

1. ポーズに基づく MLLM: カメラポーズを軽量な監督シグナルとして導入することが、MLLM の空間推論能力を大幅に向上させることを実証しました。
2. アーキテクチャの効率性: 重たいデュアルエンコーダ設計や専門的な 3 次元バックボーンを回避し、学習可能なトークンと小さなヘッドのみという最小限のオーバーヘッドで最先端の結果を達成しました。
3. トレーニングダイナミクス: VQA とポーズ推定の競合する要件を調和させるためのインターリーブトレーニング戦略とランダムジッターサンプリングを提案しました。
4. 二重能力: このモデルは、専門モデル（ScanNet における StreamVGGT や CUT3R）を上回る競争力のあるストリーミングカメラポーズ推定を達成すると同時に、Video QAのパフォーマンスも向上させています。
5. 一般化: 空間固有のデータでトレーニングされた場合でも、ポーズ監督が一般的な動画ベンチマーク（MVBench、EgoSchema など）を向上させることを示し、ポーズが物理世界理解のための基本的なシグナルであることを示唆しています。

結果

空間推論（VQA）

• VSI-Bench: Cambrian-P は**73.7%の精度を達成し、ポーズを持たない対照モデル（Cambrian-S）を4.5%**上回り、他の空間専門モデルをも凌駕しました。
• VSTemporalI-Bench: ポーズを持たないベースラインと比較して、カメラ移動方向のサブタスクで20% の改善を示しました。
• 分布外（OOD）: 主に VSI-590K でトレーニングされたにもかかわらず、MindCube、MVBench、EgoSchemaを含む8つのベンチマークで改善が観察されました。
• 疑似ポーズスケーリング: 一般動画からの疑似注釈付きポーズデータを追加することで、空間タスクでの改善を維持しつつ、一般的な VQA ベンチマークのパフォーマンスがさらに向上しました。

カメラポーズ推定

• ScanNet（ストリーミング）: ストリーミングモデルの中で絶対軌跡誤差（ATE）0.078という最先端の結果を達成し、StreamVGGT（0.127）や CUT3R（0.096）を上回りました。
• 効率性: 82 億パラメータ（専門モデルより大きい）を有しているにもかかわらず、コンパクトな SigLIP エンコーダと因果的トランスフォーマーアーキテクチャにより、オフラインモードでフレームあたり 0.02 秒という低いレイテンシを達成しました。

スケーリング則

• モデルサイズ: モデルサイズが 0.5B から 7B にスケールするにつれて、VQA とポーズ推定の両方のパフォーマンスが一貫して向上しました。
• データサイズ: ポーズ注釈付きデータの割合を増やすと、VSI-Bench の精度とポーズ推定誤差の両方で単調な改善が見られました。
• トレーニング反復: ポーズ固有のトレーニング反復を増やすことで、VQA パフォーマンスを低下させることなくポーズ精度が向上しました。

意義と主張

本論文は、カメラポーズが物理世界について推論する動画モデルにとって基本的なシグナルであると主張しています。ピクセルを共有された 3 次元座標フレームにグラウンディングすることにより、ポーズ監督は以下の効果をもたらします。

1. グローバルな整合性の強制: 孤立したフレームを整合した 3 次元シーンに接続し、モデルがカメラの動きをシーンのダイナミクスから分離することを可能にします。
2. 空間推論の向上: 空間的に離れた物体や経路計画に関する質問で顕著なパフォーマンス向上が見られることから、MLLM がよりグローバルに推論できるようになります。
3. 相乗効果: 双方向的な利益が存在します。より良い動画 - 言語の整合性（VQA プレトレーニングを通じて）がポーズ推定を改善し、ポーズ監督が VQA を改善します。

著者らは、Cambrian-P が MLLM を現実世界にグラウンディングされた動画理解へと前進させ、カメラポーズを単なる補助的な手がかりではなく、次世代の動画モデルのための基礎的な帰納的バイアスとして位置づけていると結論付けています。