技術概要：DepthVLM

問題定義

視覚言語モデル（VLM）は、視覚的グラウンディングや画像キャプション生成などの 2D タスクにおいて顕著な成功を収めていますが、3D 理解においては本質的に限界に直面しています。主なボトルネックは、視覚入力を消費して自己回帰的なテキスト出力を生成する、 prevailing な「テキストのみの教師ありパラダイム」です。この設計は、微細な視覚知覚を本質的に過小制約とし、密なシーン幾何の明示的モデリングを妨げています。

このギャップを埋める既存のアプローチは、以下のような重大な欠点を抱えています：

1. 知識蒸留パイプライン：外部の事前学習済み 3D モデルから幾何学的信号（例えば深度マップ）を注入する手法は、誤差の蓄積に依存し、ネイティブな統合を欠いています。
2. 非効率な直接予測：VLM が幾何学を直接予測できるようにする最近の試みは、効率性か品質のトレードオフに直面しています。例えば、DepthLM は高い精度を達成しますが、ピクセルごとのクエリを必要とし、推論が許容できないほど遅くなります（$O(HW)$）。Youtu-VL は 1 パスで全画像予測を可能にしますが、粗いトークンレベルの出力を生成し、事後の補間を必要とします。さらに、これらの手法の多くは、テキスト中心の教師信号やゼロからトレーニングする必要性により、VLM の汎用的なマルチモーダル能力を劣化させます。

本論文が取り組む核心的な課題は以下の通りです：VLM は、最小限のアーキテクチャ変更で、その汎用的なマルチモーダル能力を維持しつつ、ネイティブな密な幾何予測器として機能できるか？

手法：DepthVLM

著者らは、単一の VLM バックボーンを、単一のフォワードパスで密なメトリック深度マップと言語応答の両方を生成できる統合基盤モデルへと変換するフレームワーク DepthVLM を提案します。

1. 統合アーキテクチャ

DepthVLM は、大規模言語モデル（LLM）バックボーンに軽量な深度ヘッドを接続することで、標準的な VLM アーキテクチャを拡張します。

• 特徴抽出：最終的な LLM 隠れ状態のみに依存するのではなく、モデルはマルチスケール特徴ピラミッドを抽出します。これには、ビジョントランスフォーマー（ViT）エンコーダからの 3 つの中間層と、画像トークン位置における LLM の最終隠れ状態が含まれます。
• 深度ヘッドの設計：DPT（密な予測のためのビジョントランスフォーマー）に触発され、このヘッドはこれらのマルチスケール特徴を処理します。重要なのは、VLM の視覚トークンはすでにパッチマージャーによってダウンサンプリングされているため、著者らはさらなるダウンサンプリングを回避することです。代わりに、アップサンプリングを通じてボトムアップ型のピラミッドを構築し、より早期の ViT レイヤーに高い空間解像度を割り当てます。
• 出力：融合された特徴は、テキスト応答（$\hat{T}$） alongside に、密なフル解像度のメトリック深度マップ（$\hat{D} \in \mathbb{R}^{H \times W}$）にデコードされます。Softplus 活性化関数は、厳密に正の深度値を確保します。

2. 2 段階トレーニング戦略

VLM の事前学習済みマルチモーダル理解を損なうことなく密な幾何予測を導入するために、著者らは 2 段階のトレーニングスケジュールを採用します：

• ステージ 1（深度ヘッドの初期化）：VLM バックボーンは固定されます。新たに追加された深度ヘッドのみが、メトリック深度データに対するスケール不変対数損失（SILog）を用いてトレーニングされます。これにより、事前学習済み知識を乱すことなく初期の深度予測能力が確立されます。
• ステージ 2（エンドツーエンドの微調整）：LLM バックボーンの固定を解除し、モデル全体を指令追従データの混合上でエンドツーエンドに微調整します。目的関数は、標準的な自己回帰言語モデリング損失（$L_{text}$）と深度損失（$L_{depth}$）を組み合わせ、係数 $\alpha$ によってバランスを取ります。

3. データのキュレーションと正規化

• 焦点距離の正規化：異質なデータセット（屋内対屋外、異なるセンサーなど）間でのカメラ起因のスケール曖昧性を軽減するために、すべての画像は統一された標準的な焦点距離（$f_c$）に再スケーリングされます。これにより、射影幾何学が整合し、一貫したピクセルからメトリックへのマッピングが強制されます。
• DepthVLM-Bench：著者らは、8 つのトレーニングデータセット（屋内および屋外シーンをカバー）と 9 つの評価データセットを統合した統一ベンチマーク DepthVLM-Bench を導入します。これにより、一貫したプロトコル下での VLM と専門的な純粋視覚モデル間の公平な比較が可能になります。

主要な貢献

1. ネイティブな密な予測：本論文は、VLM がネイティブな密な幾何予測器として機能し得ることを実証しています。軽量なヘッドを接続することで、DepthVLM はテキスト生成経路を変更することなく、密なピクセルレベルの深度推定を達成します。
2. 効率性と能力の維持：汎用能力を劣化させたり、遅い推論に悩まされたりする先行手法とは異なり、DepthVLM は $O(1)$ の推論コスト（フル解像度に対する単一のフォワードパス）を達成し、2 段階トレーニング戦略を通じて VLM の元のマルチモーダル性能を維持します。
3. 統一ベンチマーク：DepthVLM-Bench の導入により、メトリック深度推定における VLM と専門的な純粋視覚モデル間の効果的なトレーニングと、直接的かつ公平な比較が可能になります。

実験結果

多様なデータセット（Waymo、NuScenes、ETH3D、sunRGBD など）にわたる広範な実験は、以下を浮き彫りにしています：

• VLM に対する優位性：DepthVLM は、汎用モデル（例：GPT-5.5、Qwen3-VL）や空間強化型 VLM を含む既存の VLM を大幅に凌駕します。GPT-5.5 が平均で $\delta_1$ 精度わずか約 0.41 を達成するのに対し、DepthVLM-4B は 0.868 に達します。
• 純粋視覚モデルの凌駕：統合モデルであるにもかかわらず、DepthVLM は最先端の専門的な純粋視覚モデルを上回ります。例えば、DepthAnythingV3（平均 $\delta_1$ 0.877 対 0.884）や Metric3Dv2（0.812 対 0.884）を凌駕します。
• 推論効率：DepthVLM は、先行する VLM ベースのアプローチよりも大幅に高速です。256×192 の深度マップを生成する時間が 0.42 秒 であるのに対し、Youtu-VL は 2.48 秒、DepthLM は（ピクセルごとのクエリに起因して）13 時間かかります。
• マルチモーダル能力：一般的な視覚ベンチマーク（MMBench、OCRBench、POPE）での評価は、DepthVLM がベース VLM バックボーンと同等か、わずかに上回る性能を示すことを示しており、深度ヘッドの追加が汎用的なマルチモーダル理解を劣化させないことを確認しています。
• 3D 空間推論：モデルは、ポイント深度推定、3D 物体寸法推定、深度順序ランキングなどの複雑な下流 3D タスクにおいて向上した性能を示しており、ネイティブな密な幾何予測が高度な空間推論のための堅固な基盤となることを示唆しています。

意義と主張

本論文は、DepthVLM が低レベルの密な幾何予測と高レベルのマルチモーダル理解の両方で卓越する真に統合された基盤モデルへの一歩を表すと主張しています。

• パラダイムシフト：密な幾何予測には、個別の専門視覚モデルや非効率なクエリベースの VLM が必要であるという概念に挑戦します。代わりに、幾何学が単一の VLM バックボーン内でネイティブに出現し得ることを示しています。
• 実用性：最小限のアーキテクチャ変更で高い精度を達成し、汎用能力を維持することで、DepthVLM は既存の VLM エコシステムに 3D 知覚を統合するための実用的なレシピを提供します。
• 限界：著者らは控えめに、現在の作業は密なメトリック深度推定に特化していることに言及しています。物体検出や姿勢推定などのより広範な 3D 知覚タスクは、今後の課題です。

要約すると、DepthVLM は、VLM における密なメトリック深度推定を解き放つための軽量で効率的かつ効果的な解決策を提供し、2D マルチモーダル理解と 3D 空間知能の間のギャップを埋めます。