Vanishing Depth: Training Generalized Depth Adapters with Sinusoidal Depth Preprocessing for Pretrained RGB Encoders

技術要約：Vanishing Depth: 事前学習済みRGBエンコーダーのための正弦波深度前処理を用いた汎用深度アダプターの学習

問題提起

DINOv2のような自己教師あり学習（SSL）に基づく現在の最先端（SOTA）ビジョン基盤モデルは、RGB画像から汎用的な特徴を抽出することに長けている。しかし、これらはメトリックな深度理解、すなわちロボティクス、ポーズ推定、深度補完といった絶対的な3D位置情報を必要とするダウンストリームタスクに不可欠な能力を欠いている。深度を統合する既存のアプローチは、以下のいずれかに依存している：

1. タスク固有のファインチューニング： これにより、事前学習中に学習された汎用的な特徴が損なわれる可能性がある。
2. 深度エンコーダーのランダム初期化： これにより、異なるデータセット間での汎用性が失われる。
3. マルチモーダル事前学習： OmniVecやMultiMAEのような手法はモダリティを整列させるが、分類やセグメンテーションのための一般的なコンテキストに焦点を当てており、ピクセル単位のメトリックな深度精度を強制することには失敗することが多い。

その結果、タスク固有のファインチューニングを必要とせず、深度の密度、分布、ノイズの変化に対して堅牢でありながら、事前学習済みのRGB潜在空間にメトリックな深度を組み込むことができる汎用RGBDエンコーダーに関する文献上の空白が存在している。

手法

著者らは、Vanishing Depthパイプラインを通じて学習される、**深度アダプター（DA）と正弦波深度前処理（SDP）**という2つの主要なコンポーネントからなるフレームワークを提案している。

1. 深度アダプター（DA）アーキテクチャ

• ベース： 本手法は、既存の事前学習済みRGBエンコーダー（例：DINOv2に基づくViT-B）を拡張し、並列の深度エンコーダーブランチを追加する。
• 融合： 特定の中間層（例：レイヤー3, 6, 9, 12）でRGB信号と深度信号を融合するために、「スキップ＆エンベッド（Skip & Embed; S&E）」メカニメントを採用している。これにより、深度エンコーダーは凍結されたRGBエンコーダーの汎用的な意味的特徴を活用できる。
• 学習戦略： 事前学習済みのRGBエンコーダーは、その汎用的な特徴を保持するために凍結される。深度アダプターとデコーダーヘッドのみが学習される。これにより、モデルが堅牢なRGB表現を「忘れてしまう（unlearn）」ことを防ぐ。
• デコーダー： 軽量なU-Netデコーダーと4つの特徴ピラミッドネットワーク（FPN）ヘッドが、高密度なメトリック深度予測のためのマルチスケールデコーディングを行う。

2. 正弦波深度前処理（SDP）

• 動機： 標準的な深度正規化（例：[0,1]へのスケーリングやディスパリティマップの使用）は、変動する深度分布、密度、および摂動に対して苦慮する。
• メカニズム： SDPは連続的な深度値 $d_j$ を一連の正弦波特徴へとエンコードする：
  $$SDP(d_j, 2i) = \sin(l/T^{2i/c}), \quad SDP(d_j, 2i+1) = \cos(l/T^{2i/c})$$
  ここで $l = 2\pi(d_j / \max(d))$ である。
• 正規化： SDPは、グローバル最大深度（GSDP）とローカル最大深度（LSDP）の両方をサポートする。LSDPの場合、最大深度値はベクトルとしてエンコードされ、CLSトークンに加算されることで、モデルが動的にメトリック深度をデコードすることを可能にする。
• 利点： このアプローチは、古典的な位置エンコーディング（トークンの局在化のために設計されているもの）とは異なり、入力の深度分布や絶対的なスケールに関わらず、[-1, 1]の範囲内で安定した特徴抽出を提供する。

3. Vanishing Depth 学習パイプライン
モデルが深度の密度および分布に不変な表現を学習することを確実にするため、学習パイプラインはインペインティングに着想を得た「消失深度（vanishing depth）」戦略を採用している：

• データ拡張： パーリンノイズやランダムなリサイズノイズを使用して深度マップを操作し、変動する割合（1%〜99%）の深度ピクセルを除去する。
• 分布の不変性： モデルがRGBのみからの単眼深度の手がかりに依存することを防ぐため、深度サンプルに対してランダムなオフセット、スカラー、および再スケーリングを適用する。
• 損失関数： マルチスケール・バランス・スケール不変（SI）損失を使用する。これは、存在する深度ピクセルの再構成と、欠落（マスク）された深度ピクセルの予測のバランスを取り、モデルが高密度および疎な入力の両方で良好に動作することを保証する。

主な貢献

1. 汎用深度アダプター： ベースとなるエンコーダーをファインチューニングすることなく、メトリックな深度を扱うために事前学習済みRGBエンコーダーを拡張する手法を提供し、「アウトオブザボックス」での様々なRGBDタスクへの適応を可能にする。
2. 正弦波深度前処理（SDP）： 多様な深度分布、密度、およびノイズレベルを扱う上で、標準的な正規化よりも優れた性能を示す新しい前処理技術。
3. 消失深度学習： 訓練中に疎でノイズの多い深度入力をシミュレートすることで、欠落したデータや分布の変化に対してアダプターを堅牢にする自己教師あり学習パイプライン。
4. ゼロ・ファインチューニング適応性： 得られたモデルは、凍結されたエンコーダーと軽量なデコーダーヘッドのみを使用して、セグメンテーション、深度補完、6D物体ポーズ推定などのダウンストリームタスクに適用でき、フルファインチューニングの計算コストと過学習のリスクを回避できる。

実験結果

著者らは、SUN-RGBD、NYU-v2、KITTI、Void、YCBVなどのデータセットを含む、セグメンテーション、深度補完、および6D物体ポーズ推定にわたって彼らのアプローチを評価した。

• セグメンテーション： 提案手法はSUN-RGBDデータセットにおいて56.05 mIoUを達成し、最先端の深度認識型およびマルチモーダルエンコーダー（例：OmniSegmentor, DFormerV2）を上回り、RGBベースライン（DINOv2）を大幅に改善した。また、単眼推定によって合成されたRGBのみのデータセットにおいても有効性を示した。
• 深度補完： 疎な深度補完タスク（KITTI, Void）において、SDPベースのアダプターは、正規化ベースの深度エンコーディングや他のSOTA手法と比較して、特に疎な入力の処理において優れた精度を示した。
• ポーズ推定： 6D物体ポーズ推定（YCBV, HomeBrew, LM-O）において、深度アダプターは凍結されたRGBエンコーダーの性能を大幅に向上させた（例：YCBVにおいてDINOv2単体では72.5 AUCであったのに対し、DINOv2 + DAは84.1 AUCを達成）。この手法は、深度が導入されると性能が低下することが多いOmnivoreやMultiMAEのようなマルチモーダル・ベースラインを凌駕した。
• 堅牢性： アブレーション研究により、SDPが標準的な正規化よりもノイズや疎性に対して高い耐性を持つことが確認された。正規化ベースの手法はランダムノイズや欠落した深度に苦戦したが、SDPは安定性を維持した。

意義と主張

本論文は、この研究が汎用的な基盤モデルとメトリックな深度理解との間の溝を埋めるものであると主張している。タスク固有のファインチューニングを避けることで、本手法は、新しい環境への迅速な適応が求められるロボティクスやマルチエージェントシステムに対して、モジュール式かつ効率的なソリューションを提供する。

• 汎用性： このアプローチは特定のデータセットに限定されず、変動する深度密度や分布を横断して汎用される。
• 効率性： 大規模な事前学習済みRGBエンコーダーの再利用を可能にし、巨大なマルチモーダルモデルをゼロから学習する必要性を軽減する。
• ロボティクスへの関連性： 著者らは、事前学習済みエンコーダーが有益であるが、しばしば過学習を招くファインチューニングを必要とするVLA（Vision-Language-Action）やロボットポリシー学習における可能性を強調している。本手法は、ベースとなるエンコーダーの汎用能力を損なうことなく、深度への意識を組み込む方法を提供する。

著者らは、標準化された「アウトオブザボックス」の比較フレームワークが不足しているため、VLAやポリシー学習のベンチマークについては言及を控えたと謙虚に述べているが、アーキテクチャは将来的にこれらのアプリケーションをサポートするように設計されている。また、極端な深度範囲（例：>15m）の場合、再スケーリングまたは最大深度パラメータの調整が必要であるが、その際にはSDPの周波数密度が引き延ばされる可能性があることも認めている。