Monocular Depth Estimation From the Perspective of Feature Restoration: A Diffusion Enhanced Depth Restoration Approach

論文タイトル

Monocular Depth Estimation From the Perspective of Feature Restoration: A Diffusion Enhanced Depth Restoration Approach
(特徴量復元の観点からの単眼深度推定：拡散モデル強化型深度復元アプローチ)

1. 背景と課題 (Problem)

単眼深度推定（MDE）は、自律走行や 3D 再構成などにおいて不可欠なタスクですが、単一画像から 3D 深度を推定する問題は本質的に「不適切問題（ill-posed problem）」です。既存の主流手法は、エンコーダ - デコーダ構造とマルチスケール特徴量処理を採用していますが、以下の課題が存在します。

• 特徴量の劣化と評価不足: 現在のアーキテクチャにおいて、異なるレベル（階層）のエンコーダ特徴量が推定精度にどのように影響するか、また特徴量自体の改善余地が十分に評価されていません。
• 拡散モデルの適用における課題: 既存の拡散モデルを用いた深度推定手法では、LiDAR に由来するスパースな深度マップ（真値）のみが利用可能です。これにより、潜在特徴量（latent features）に対する直接的な教師信号が欠如しています。
• 間接教師信号による特徴量のズレ: 最終的な深度マップの損失のみで拡散モデルを教師信号とする場合、拡散の反復ステップごとに最適化経路が真の潜在特徴量からずれてしまう（Feature Deviation）問題が発生します。これにより、推論時の反復生成において深度予測が不安定になります。

2. 提案手法 (Methodology)

著者らは、深度推定を「深度マップの生成」ではなく、「深度マップを生成する高レベルなエンコーダ特徴量の復元（Feature Restoration）」という観点から再定義しました。これに基づき、IID-RDepth（Invertible transform enhanced Indirect Diffusion for Restored Depth Estimation）フレームワークを提案しています。

A. 動機付け (Motivation)

実験により、エンコーダの異なるレベルの特徴量を最適化した場合、高レベル特徴量（セマンティック情報）の改善が、低レベル特徴量よりも深度推定精度の向上に劇的に寄与することが示されました。したがって、劣化した高レベル特徴量から高品質な特徴量を「復元」するタスクとして定式化しました。

B. 可逆変換強化間接拡散モジュール (InvT-IndDiffusion)

これが提案手法の中核です。

• 目的: 真値特徴量（Ground Truth Feature）が存在しない状況下で、拡散モデルを用いて高レベル特徴量を復元する。
• 課題解決: 間接的な教師信号（最終深度マップの損失）のみを使用する場合、拡散ステップごとの最適化が真値特徴量から逸脱するのを防ぐため、**双リプシッツ条件（bi-Lipschitz condition）を満たす可逆変換（Invertible Transform）**に基づくデコーダを導入しました。
• 仕組み:
  • 可逆デコーダ（Affine Coupling Layer を使用）を用いることで、深度マップの距離減少が特徴量空間の距離減少と正の相関を持つように制約します。
  • これにより、反復推論において特徴量が常に想定される真値特徴量へ収束するよう保証し、特徴量のズレを抑制します。
• プロセス: エンコーダから抽出された高レベル特徴量を、ノイズが追加された劣化特徴量とみなし、拡散モデル（InvT-IndDiffusion）によってノイズ除去と復元を行います。

C. 補助視点ベースの低レベル特徴量強化モジュール (AV-LFE)

• 目的: 低レベル特徴量（局所的な詳細情報）を強化する。
• 仕組み: 利用可能な場合（例：ステレオカメラやマルチビューデータ）、補助視点（Auxiliary Viewpoint）から得られる低レベル特徴量を、可変形畳み込み（Deformable Convolution）を用いて主視点にアライメントし、融合します。
• 特徴: プラグ＆プレイ型モジュールであり、補助視点がない場合でも既存の MDE モデルと互換性があり、性能を低下させません。

3. 主な貢献 (Key Contributions)

1. 特徴量レベルの影響の解明: エンコーダの異なるレベルの特徴量が深度推定に与える影響を詳細に調査し、高レベル特徴量の重要性を実証しました。
2. IID-RDepth フレームワークの提案: 特徴量復元の観点から拡散モデルを適用し、間接教師信号下での潜在特徴量のズレを解決する新しいアプローチを提案しました。
3. InvT-IndDiffusion の開発: 双リプシッツ条件を満たす可逆デコーダを用いることで、間接教師信号下でも安定した特徴量復元を可能にする新しいモジュールを開発しました。
4. AV-LFE モジュール: 補助視点情報を活用して低レベルの詳細を強化する汎用的なモジュールを開発しました。

4. 実験結果 (Results)

KITTI および DDAD データセットを用いた広範な実験で、最先端（SOTA）手法を上回る性能を示しました。

• KITTI ベンチマーク:
  • ベースライン（PixelFormer）と比較して、RMSE で**4.09%**の改善（単独モジュール使用時）。
  • 補助視点モジュール（AV-LFE）を併用し、フルトレーニングモードでは RMSE で**37.77%**の劇的な改善を達成しました。
  • 遠距離物体や細部（木の隙間、標識など）の深度推定精度が特に向上しました。
• DDAD データセット:
  • 異なるバックボーン（NeWCRFs, PixelFormer）に対しても適用可能であり、RMSE で最大**16.03%**の改善を確認しました。
• アブレーション研究:
  • 拡散ステップ数を増やすほど精度が向上することを確認。
  • 可逆デコーダ（Inv）を使用した場合が、Transformer や通常の CNN デコーダよりも優れた性能を示しました。
  • 統計的検定（ペア t 検定）により、提案手法の改善が統計的に有意であることが証明されました。

5. 意義と結論 (Significance)

この論文は、単眼深度推定において「深度マップそのものの生成」に焦点を当てるのではなく、「深度を推定するための内部特徴量の復元」という新しいパラダイムを提示しました。特に、拡散モデルの反復推論において生じる特徴量のズレ問題を、数学的な制約（可逆性と双リプシッツ条件）によって解決した点は、間接教師信号を用いる拡散モデル応用における重要な技術的ブレイクスルーです。また、AV-LFE モジュールによるマルチビュー情報の柔軟な活用は、実世界の自律走行システムなどへの適用可能性を大きく高めています。