技術的サマリー：どの事前学習パラダイムが空間知能に最適か？

問題定義

空間知能は、具身型 AI、自動運転、ロボティクスにとって不可欠な要素であり、意味的物体情報と幾何学的構造を同時に捉える視覚表現を必要とする。現在、これらタスクの基盤バックボーンとして、2 つの支配的な事前学習パラダイムが存在する：

1. 視覚言語モデル（VLMs）： 言語監督を用いて視覚的観察と意味的概念を整合させる。
2. 動画生成モデル（VGMs）： 時間的に変化する視覚的世界から学習し、動的性質や幾何学的整合性に関する事前知識を獲得する可能性がある。

両方のファミリーが知覚バックボーンとしてますます利用されているが、どのパラダイムが空間知能に対して優れた表現基盤を提供するかは依然として不明である。従来の比較研究では、視覚言語行動（Vision-Language-Action）フレームワークなど、完全なポリシーを評価することが多く、その性能は行動デコーダ、ロボットデータの混合、およびポストトレーニング手法と混在していた。本論文は、任意の下游タスクの微調整以前に、どの空間情報が本質的に符号化されているかを決定するために、凍結された視覚表現そのものを分離する必要性に対応するものである。

手法

著者は、空間知能の 3 つの補完的な軸にわたって VLM と VGM を比較するための制御された凍結特徴プロービング研究を提案する。中核的な設計は、基盤モデルを凍結し、特定の情報を読み出すために統合されたアーキテクチャを持つ軽量プローブを訓練することである。

1. 実験設定

• モデル： 本研究では、両ファミリーから代表的なモデルを評価する：
  • VGMs： WAN2.1（T2V/I2V）、CogVideoX、OpenSora-2.0、Aether。
  • VLMs： InternVL3/3.5、Qwen2.5-VL、Qwen3-VL。
• 特徴抽出：
  • 76 フレームの動画コンテキストをサンプリングする。
  • VGMsの場合、特徴は、空のテキスト条件または画像から動画への条件付けを用いた単一のノイズ除去パス中に、選択されたトランスフォーマーブロックの隠れ活性化から抽出される。VAE による時間的圧縮により、76 フレームが 20 の潜在位置に整合される。
  • VLMsの場合、20 フレームのクエリフレームを直接入力し、言語モデル層から視覚トークンの隠れ状態を収集する。
• 統合プロービングバックボーン： 軽量で同一のトランスフォーマーバックボーン（N 層の交互アテンション）がサンプリングされた特徴を処理する。これはフレームレベルのアテンションに続き、フレーム間でのグローバルアテンションを実行する。
• タスク固有の読み出しヘッド： 凍結されたバックボーンの上に 3 つの独立したヘッドが訓練される：
  1. 意味的タグ付け： 動画内の物体カテゴリの存在を予測するマルチラベル分類器（ScanNet20 語彙）。
  2. インスタンスグルーピング： 複数ビューのコントラストプッシュプル損失を用いて訓練されたピクセル単位のプロジェクションヘッドであり、複数ビューにわたって同一の物体インスタンスに属するピクセルをグループ化する。
  3. 3D 幾何学予測： ポイントマップと深度予測のための密なヘッド（DPT スタイル）と、姿勢推定のためのカメラヘッド。これらは VGGT によって生成された真値（DL3DV データセット）によって監督される。

2. 評価指標

• 意味的タグ付け： mAP、APmid（頻度の低いカテゴリにおける性能）、および Mid Ratio。
• インスタンスグルーピング： T-mIoU（複数ビューにわたる平均 IoU）および T-SR（全ビューでインスタンスをグループ化する成功率）。
• 3D 幾何学： P-map Err.（整合後のポイントマップ誤差）、AbsRel（相対深度誤差）、および AUC@30（カメラ姿勢精度）。

主要な結果

1. 明確な強みの分断

実験により、単一の優位なパラダイムではなく、2 つのモデルファミリー間の明確な相補性が明らかになった：

• VLMs は意味とインスタンスに優れる：
  • 意味的タグ付け： VLMs は VGMs を大幅に上回る（平均 mAP：92.08% 対 69.89%）。特に頻度の低いカテゴリにおいて強力である（APmid：87.28 対 58.63）。
  • インスタンスグルーピング： VLMs は複数ビューにわたるピクセルのグルーピングでも先行する（T-mIoU：22.66 対 13.24）。これは、インスタンスの永続性が幾何学的連続性だけでなく、物体中心の意味表現に依存することを示唆している。
• VGMs は 3D 幾何学に優れる：
  • 幾何学予測： VGMs は密な幾何学とカメラ運動の復元において優れた結果を達成する（低い P-map Err：0.152 対 0.223；低い AbsRel：0.072 対 0.113；高い AUC@30：0.527 対 0.330）。
  • これは、動画生成による事前学習が、言語整合トレーニングよりも空間的整合性と幾何学的事前知識を本質的に効果的に符号化していることを示している。

2. 単純な特徴融合

著者は、強力な VGM（WAN2.1-T2V-14B）と強力な VLM（Qwen3-VL-8B）から得られた正規化された特徴を連結し、同一のプローブに入力する「単純な」特徴レベルの融合をテストした。

• 結果： 融合された表現は、VLM の意味的優位性を維持し（タグ付けにおいて VGM を凌駕し、グルーピングにおいて VLM に接近）、VGM の幾何学的強さを回復した（深度とカメラ指標において VGM と同等かわずかに上回る）。
• 示唆： これは、両ファミリーの強みが相補的であり、意味と幾何学の両方に優れた表現を構築するために組み合わせることができることを示している。

3. 知見の安定性

プローブの深さ（軽量読み出しの容量を変化させる）に関するアブレーション研究により、モデルの相対的なランキングは安定していることが示された。これは、観察された差異が、タスクをゼロから学習するプローブの容量によるものではなく、凍結された特徴自体に符号化された情報によるものであることを確認する。

意義と主張

本論文は、空間知能は単一の軸では捉えられないと主張する。

• 相補性： 現在の基盤モデルはトレードオフを示す：VLMs は強力な意味的および物体中心の表現を提供する一方、VGMs はアクセス可能な密な幾何学的および運動信号を提供する。
• 方法論的貢献： 凍結された表現を分離することにより、本研究は下游の微調整からの交絡因子を回避し、事前学習スキームが本質的に何を符号化しているかをより明確に示す。
• 将来の方向性： 単純な特徴融合の成功は、言語整合された物体意味と生成によって誘発された幾何学的表現を効果的に統合することで、より強力な空間知能バックボーンを構築するための有望な道筋を示唆している。

著者は、将来の空間理解システムは、認識（VLMs）または再構成（VGMs）のいずれかだけに依存するのではなく、堅牢な空間知能を達成するために両パラダイムを統合することを目指すべきであると結論づけている。