技術要約: GeoDiffusion

問題提起

単眼深度推定は、経路計画や障害物検知といった自動運転タスクにおいて極めて重要である。LiDARやステレオカメラのような従来の手法は高精度であるが、コストが高かったり、複雑なキャリブレーションを必要としたりすることが多い。自己教師あり単眼深度推定は、正解となる深度ラベル（グラウンドトゥルース）を使用せずにフォトメトリック一貫性を活用することで、コスト効率の高い代替手段を提供する。しかし、既存の自己教師あり手法の多くは、静的な環境を前提としている。動的な物体、モーションブラー、遮蔽（オクルージョン）、急速な照明変化を特徴とする現実世界の動的なシーンでは、この仮定が成立しない。これらの要因はフォトメトリック一貫性を乱し、不正確なポーズ推定や深度予測の劣化を招く。動的な要素に対処するための従来の試みは、セマンティックセグメンテーションやモーションセグメンテーションのような補助的なタスクに依存していることが多いが、これらは高価なアノテーションや精密な軌道モデリングを必要とするため、実用性に制限がある。

手法

著者らは、動的な走行シーンにおける深度推定を強化するために、拡散モデル（Diffusion Models）を統合した自己教師ありフレームワークであるGeoDiffusionを提案する。そのアーキテクチャは、教師・生徒パラダイムと条件付き拡散プロセスで構成されている：

1. 堅牢な疑似深度の構築 (Robust Pseudo-Depth Construction):

   • 事前学習済みのLite-Mono-8Mモデルが教師として機能し、マルチスケールの疑似深度マップを生成する。
   • マルチビュー一貫性モジュールが、フレーム間で深度を再投影することにより、これらのマップをフィルタリングする。動き、遮蔽、または鏡面反射を示す高分散のピクセルは、一貫性がないと判断され、除外される。これにより、手動のアノテーションなしで、トレーニングのための信頼性の高い疑似正解ラベルが作成される。

2. 条件付き深度拡散 (Conditional Depth Diffusion - 生徒ネットワーク):

   • 生徒ネットワークは、反復的なデノイジング（ノイズ除去）タスクとして深度推定を行う。
   • 前方拡散 (Forward Diffusion): 深度マップに対して段階的にノイズが付加される。
   • 逆拡散 (Reverse Diffusion): 生徒ネットワークは、離散的なステージ（$T$）におけるデノイジングを通じて、ターゲットフレームの深度マップを予測する。このプロセスは以下によってガイドされる：
     • マルチスケール画像特徴量: Lite-Mono DepthNetエンコーダによって抽出される。
     • 識別的事前分布 (Discriminative Priors): 教師による深度予測（$D_{teacher}$）が条件付き入力として機能し、デノイジングの軌道をガイドすることで、幾何学的一貫性と構造的忠実度を確保する。
   • 生徒ネットワークは、学習可能なアテンション重みを用いてマルチスケール特徴量をバランスさせる、コンパクトなノイズ予測器を使用する。

3. ポーズ推定 (Pose Estimation):

   • 事前学習済みのResNet-18エンコーダと4層の畳み込みデコーダを利用した別個のモジュールが、連続するフレーム間の相対的な6自由度（6-DOF）ポーズを予測する。

4. 学習目的関数 (Training Objective):
   モデルは、以下の3つの損失関数の加重和を用いて学習される：

   • フォトメトリック一貫性損失 ($L_{ph}$): 合成されたターゲットフレームと実際のターゲットフレームの差を、SSIMと$L_1$損失を用いて測定する。
   • 知識蒸留損失 ($L_{KD}$): 教師による信頼性の高い疑似深度（一貫性マスクによってフィルタリング済み）に生徒を適合させるよう導く。
   • DDIM損失 ($L_{DDIM}$): 安定性を確保するために、生徒の予測と意図した拡散軌道との間のコヒーレンス（整合性）を強制する。

推論時には、教師モデルおよび補助ネットワークは破棄され、軽量な生徒モデルのみが使用される。

主な貢献

• GeoDiffusionフレームワーク: 拡散モデルを活用することで、特に動的なシーンにおける誤差を低減する、新しい自己教師あり単眼深度フレームワーク。
• 堅牢な疑似ラベル生成: 事前学習済みの教師モデルとマルチビュー一貫性検証を組み合わせることで、動きや遮蔽による信頼性の低い領域を排除し、ラベルフリーの監督を実現する手法。
• 識別的事前分布の注入 (Discriminative Prior Injection): 教師由来の深度を拡散プロセス中に識別的事前分布として注入するモジュールを導入し、幾何学的および構造的な忠実度を向上させた。
• 最先端の性能 (State-of-the-Art Performance): セマンティックやモーションのセグメンテーションラベルに依存することなく、標準的なベンチマークにおいて優れた精度と効率性を達成した。

実験結果

著者らは、Monodepth2、RA-Depth、DNA-Depthなどの最先端手法と比較するために、CityscapesおよびKITTIデータセットを用いてGeoDiffusionを評価した。

• Cityscapes: GeoDiffusionは、AbsRel 0.105、SqRel 0.905、RMSE 5.750を達成し、従来の自己教師ありモデル（例：RA-DepthはAbsRel 0.111、RMSE 5.791）を上回った。定性的な結果では、動的な物体に対する精度の向上が示された。
• KITTI: 本手法はAbsRel 0.090、SqRel 0.609、RMSE 4.180を達成し、主要な手法であるRA-Depth（AbsRel 0.096、RMSE 4.216）を凌駕した。
• 効率性: モデルのパラメータ数は約760万であり、これはRA-Depth（998万）やMonodepth2（1430万）よりもコンパクトである。RTX 3090での推論速度は1フレームあたり約9.2 msであり、リアルタイムアプリケーションへの適合性を示している。
• アブレーション研究: 実験により、堅牢な疑似深度構築（RPC）、識別的事前分布強化（DPE）、知識蒸留（$L_{KD}$）、およびフォトメトリック損失（$L_{PH}$）の統合が、性能を体系的に向上させることが確認された。フルモデルが最高の指標を示した。

意義と主張

本論文は、拡散モデルの生成およびデノイジング能力を活用することで、GeoDiffusionが動的な環境における自己教師あり深度推定の限界を正常に解決したと主張している。教師・生徒の蒸留アプローチとマルチビュー一貫性フィルタリングを用いることで、高価な正解深度ラベルや補助的なセマンティック/モーションアノテーションを必要とせずに、高い精度を実現している。

著者らは、GeoDiffusionを、高い精度、構造的堅牢性、および計算効率のバランスを提供する、自動運転のための3D知覚における重要な進展として位置づけている。ただし、論文内では、事前学習済みの教師からの疑似正解への依存が、困難な照明や天候条件下でバイアスを生じさせ、汎化性能に影響を与える可能性があるという限界についても控えめに認めている。今後の課題として、この依存関係の低減と、動的な物体に対する堅牢性の向上に焦点を当てることが提案されている。