Any to Full: Prompting Depth Anything for Depth Completion in One Stage

本論文は、事前学習された単眼深度推定モデルをスケーリングプロンプトで適応させるワンステージのフレームワーク「Any2Full」を提案し、既存の手法よりも高いロバスト性と効率性で深度補完を実現するものである。

要約

この論文は、**「不完全な距離データ（深度マップ）を、AI が一度で完璧に補完する新しい方法」**について書かれたものです。

専門用語を避け、わかりやすい比喩を使って解説しますね。

🎨 絵画の修復師としての AI

想像してください。あなたが古い絵画（距離データ）を修復しようとしています。しかし、その絵は**「穴が開いていたり、色が薄かったり、一部分しか残っていない」**状態です。

これまでの方法（既存の技術）は、この修復作業を**「2 段階」**で行っていました。

1. 第 1 段階： 穴を適当に埋めて、大まかな形を作る（粗い修復）。
2. 第 2 段階： その大まかな形を、もう一度丁寧に修正して、細部を整える。

問題点：
この「2 段階」方式には大きな欠点がありました。

• 時間がかかる： 2 回も作業するのですから、当然遅いです。
• 歪みが生じる： 1 段階目で「大まかに」作った形が、実は少し曲がっていたり、間違った情報を含んでいたりします。それを 2 段階目で直そうとすると、絵全体が変に歪んでしまったり、ノイズ（ごみ）が混じったりすることがありました。
• 場所による違い： 「屋内用」で訓練された修復師は、「屋外」の絵を見ると、うまく修復できないことがありました。

---

🚀 Any2Full：天才的な「1 発屋」の修復師

この論文が提案する**「Any2Full（エニーツーフル）」は、そんな面倒な 2 段階作業を「1 段階」**で終わらせてしまう、画期的な新しい修復師です。

1. 既存の「天才画家」を雇う（MDE モデル）

まず、彼らは**「Depth Anything（ディープ・アンニティ）」という、すでに世界中のあらゆる景色を見て、距離の「感覚」を完璧に理解している天才画家（AI モデル）を雇います。
この天才画家は、「この木は遠くにある」「この壁は手前にある」という「距離の感覚（幾何学的な先入観）」**をすでに持っています。しかし、彼には「正確なメートル数（絶対的な距離）」を測るメジャーがありません。

2. 「スケール・プロンプト」：距離のヒントを与える

ここで Any2Full の出番です。
不完全な距離データ（穴の開いた絵）から、「どの部分がどれくらい遠いのか」という「比率（スケール）」のヒントだけを抽出します。
これを**「スケール・プロンプト（距離の合図）」**と呼びます。

• 従来の方法： 「ここは 5 メートル、ここは 10 メートル」と具体的な数字を無理やり教えて、画家の感覚を壊そうとしていました。
• Any2Full の方法： 「ここはあそこより 2 倍遠いよ」という**「比率のヒント」**だけを、画家の耳元でささやきます（プロンプト）。

3. 1 発で完璧な絵を描く

天才画家は、自分の持っている「距離の感覚」に、この「比率のヒント」を組み合わせるだけで、一瞬で穴を埋め、正確な距離の絵を完成させます。

• メリット：
  • 速い： 2 段階作業が 1 段階になったので、処理が劇的に速くなりました（1.4 倍速）。
  • 正確： 中途半端な修正を挟まないため、絵の歪みやノイズがありません。
  • 万能： 「屋内」でも「屋外」でも、「穴が開いてる」でも「一部分しか見えない」でも、同じ天才画家の感覚を使うので、どんな場所でも活躍します。

---

🤖 実際の活躍：倉庫のロボットアーム

この技術は、単なる理論ではなく、すでに**「ロボットが荷物を掴む作業」**で使われています。

• 課題： 倉庫には**「黒い箱」がたくさんあります。黒い箱は光を吸収してしまうため、距離センサー（ToF カメラ）が「ここにある！」と検知できず、「黒い箱は透明で、何もない空間」**のように見えてしまいます。
• 結果： ロボットは黒い箱の位置を間違えて、掴もうとして空振りしたり、箱を潰したりしていました。
• Any2Full の効果： Any2Full が「黒い箱の周りの光の反射」や「周囲の景色」から、「ここには黒い箱があるはずだ！」と推測して、距離データを補完しました。
• 成果： ロボットの掴み成功率が28% から 91.6% に劇的に向上し、箱を壊さずにスムーズに運べるようになりました。

💡 まとめ

この論文の核心は、**「不完全なデータを無理やり修正するのではなく、AI がすでに持っている『距離の感覚』を、最小限のヒント（プロンプト）で引き出して、一発で完璧な結果を出す」**という考え方です。

まるで、**「穴の開いた地図を、地図の知識豊富なガイドに『ここは山、ここは川』とささやきかけるだけで、瞬時に完璧な地図を完成させる」**ようなものです。

これにより、ロボットや自動運転車は、どんな環境でも、どんなセンサーの欠陥があっても、より安全に、より速く、正確に「世界」を理解できるようになります。

技術概要

論文「Any to Full: Prompting Depth Anything for Depth Completion in One Stage」の技術的サマリー

この論文は、ロボティクスや視覚認識における重要な課題である深度補完（Depth Completion）、つまり疎な（スパースな）深度データから密な（デンスな）メトリック深度マップを復元するタスクに焦点を当てています。既存の手法が抱えるドメイン適応性やパターンへの頑健性の欠如を克服し、単一ステージで高精度かつ効率的な深度補完を実現する新しいフレームワーク**「Any2Full」**を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

• 背景: 深度センサー（LiDAR、ToF、構造化光カメラなど）は、解像度、測定範囲、光の反射・吸収などの物理的制約により、深度マップに「穴（Hole）」や「疎な点（Sparsity）」、あるいは「測定範囲の制限（Range limitation）」が生じることが多いです。
• 既存手法の限界:
  • RGB-D 融合型（2 ステージ）: 従来の手法は、RGB 画像と疎な深度を融合させて粗い深度を予測し、その後で詳細を補完する 2 ステージ構造をとっています。しかし、これらはトレーニングデータのドメイン（照明、テクスチャ）や深度のパターン（センサーの種類や欠損の形状）に特化しており、未知のドメインやパターンへの汎化性能が低いです。
  • 単眼深度推定（MDE）統合型（2 ステージ）: 最近では、強力な幾何学的事前知識を持つ単眼深度推定（MDE）モデル（例：Depth Anything）を利用する試みが増えています。しかし、既存の統合手法は「相対深度」と「メトリック深度」を明示的にアライメントする 2 ステージプロセスを採用しており、計算コストが高く、アライメント過程で構造的な歪みやアーティファクトが生じやすいという問題があります。

2. 提案手法：Any2Full

Any2Full は、深度補完を**「事前学習済み MDE モデルに対するスケール・プロンプト適応（Scale-Prompting Adaptation）」**として再定義する、**単一ステージ（One-Stage）**のフレームワークです。

核心的なアイデア

• スケール・プロンプト化: 疎な深度入力から「スケールの手がかり（点間の相対的な比率）」を抽出し、これを「プロンプト」として MDE モデルに注入します。これにより、MDE が持つ汎用的な幾何学的事前知識を維持しつつ、メトリックスケールに整合した予測を可能にします。
• 単一ステージ: 中間的な粗い深度マップの生成や、追加の補正ネットワークを介さず、一度のフォワードパスで密なメトリック深度を出力します。

主要コンポーネント：スケール・アウェア・プロンプトエンコーダ (Scale-Aware Prompt Encoder, SAPE)

疎な入力の変動（疎密度の違い、不規則な空間分布）に対応するため、SAPE は 2 つの階層的モジュールで構成されます。

1. Local Enrichment Module（局所強化モジュール）:
   • 疎な深度の特徴と、MDE ベースバックから得られる密な幾何学的特徴を結合します。
   • FiLM (Feature-wise Linear Modulation) メカニズムを用いて、MDE の潜在空間内にスケールの手がかりをアンカーリングします。これにより、疎密度の変動に対して頑健な局所特徴を生成します。
2. Global Propagation Module（大域伝播モジュール）:
   • 局所的にアンカーリングされたスケール情報を、MDE の幾何学的構造に基づいて画像全体に伝播させます。
   • 標準的なクロスアテンションではなく、MDE の幾何学特徴（Query/Key）のみに基づいてアテンション重みを計算し、値（Value）としてスケール情報を使用します。これにより、疎な深度の不規則なサンプリングパターンにバイアスされず、幾何学的に整合した大域的一貫性を確保します。

推論プロセス

1. 入力：RGB 画像 $I$ と疎な深度 $D_s$。
2. 前処理：$D_s$ をグローバルスケールとバイアスを除去し、点間比率を保持するように正規化（$\tilde{D}_s$）。
3. SAPE 処理：$\tilde{D}_s$ を SAPE に入力し、MDE の特徴を調節するためのスケールプロンプトを生成。
4. MDE 適応：生成されたプロンプトで MDE モデルを調節し、スケール整合性の取れた相対深度 $\hat{\tilde{D}}_f$ を予測。
5. 後処理：予測された相対深度と元の疎な深度 $D_s$ を用いて、非パラメトリックな最小二乗法でグローバルなスケールとバイアスを推定し、最終的な密なメトリック深度 $\hat{D}_f$ を復元。

3. 主要な貢献

1. Any2Full フレームワークの提案: 深度補完を MDE のスケール・プロンプト適応として再定式化し、事前学習済み MDE モデルのドメイン汎化能力とパターン非依存性を最大限に活用する単一ステージ手法を開発しました。
2. スケール・アウェア・プロンプトエンコーダ (SAPE): 疎で不規則な深度パターンから、MDE の幾何学的ガイドラインに基づいて大域的に整合したスケール特徴を構築する新しいエンコーダを設計しました。これにより、追加の計算コストを最小限に抑えつつ、ロバストなスケールプロンプティングを実現しています。
3. SOTA 性能と実用性: 多様なドメインと深度パターンにおける広範な実験で、既存の最優秀手法（OMNI-DC など）を大幅に上回る性能を達成しました。また、倉庫内のロボット把持タスクへの実装により、その実世界での価値を実証しました。

4. 実験結果

• ベンチマーク性能:
  • 6 つの公開データセット（NYU-Depth V2, KITTI, DIODE など）および 6 つの異なる深度パターン（Hole, Range, Sparse-Random など）で評価。
  • **AbsREL（絶対相対誤差）**の平均で、SOTA 手法である OMNI-DC より 32.2% 改善。
  • 平均ランクは 2.3（最下位 1 位）と、すべてのシナリオでトップクラスのパフォーマンスを維持。
• 効率性:
  • 同様の MDE ベースバック（Depth Anything Large）を使用する PriorDA と比較し、1.4 倍の高速化（0.49 秒 vs 0.68 秒）を達成。
  • 最小モデル（DA-S）では、PriorDA より約 7 倍、TestPromptDC より 1000 倍高速な推論（0.09 秒）を実現。
• ロバスト性:
  • ドメイン汎化: 学習データとは異なるドメイン（屋内/屋外、異なるセンサー）でも性能が低下しない。
  • パターン非依存: 「Range（測定範囲制限）」や「Hole（欠損）」など、トレーニング時に存在しなかった深度パターンに対しても頑健。
  • 実世界デプロイ: 倉庫でのロボット把持タスクにおいて、黒いパッケージ（ToF センサーで深度が失われやすい）の把持成功率を 28% から 91.6% まで向上させ、破損を防止。

5. 意義と結論

Any2Full は、深度補完の分野において「2 ステージの複雑なパイプライン」から「MDE の幾何学的事前知識を直接活用する単一ステージの適応」へとパラダイムシフトをもたらす画期的なアプローチです。

• 理論的意義: 単眼深度推定のスケール不整合性を、明示的なアライメントではなく「スケールプロンプト」によって自然に解決し、幾何学的構造を損なわずにメトリック深度を復元する有効性を示しました。
• 実用的意義: 高い推論速度とゼロショット汎化能力により、リアルタイム性が求められるロボティクス応用（自律移動、把持など）や、多様なセンサー環境下での実装を可能にします。

この研究は、大規模な事前学習モデルを特定のタスクに効率的に適応させるための新しい指針を提供し、ロボット知覚における深度情報の信頼性と可用性を大幅に向上させるものです。