Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

技術要約：非ランバート面における堅牢な単眼深度推定に向けて

問題提起
単眼深度推定（MDE）における近年の進歩は、一般的なシーンにおいて印象的なゼロショット汎化能力を持つモデルを生み出してきました。しかし、これらのモデルは、非ランバート面、具体的には透明または鏡面（ToM）領域に遭遇すると、頻繁に失敗します。これらの表面特有の反射特性により、標準的なモデルは表面そのものではなく、反射されたコンテンツに基づいて誤った深度構造を予測してしまいます。Depth4ToMのようなこれまでの試みは、外部のセグメンテーションマスクを使用して、事前学習済みのMDEモデルで処理する前にRGB画像をランダムな色でインペイント（塗りつぶし）することに依存しています。これらのアプローチには主に2つの制限があります。一つは、追加の入力マスクの精度に強く依存していること、もう一つは、インペイント中のランダムな色の使用が堅牢性に欠け、広範なハイパーパラメータ調整を必要とすることです。さらに、照明条件は非ランバート面の深度回復に大きな影響を与えます。過剰な照明はテクスチャを圧倒し、不十分な照明は、特に透明な物体や鏡の反射に対してノイズや歪みを導入します。

手法
著者らは、ベースラインモデル（具体的には Depth Anything V2）が、RGBのインペイントを必要とせずに、非ランバート表面の独特な特性を直接学習できるように設計されたトレーニングフレームワークを提案しています。この手法は、以下の3つのコアコンポーネントで構成されています。

1. ランダム・トーンマッピング拡張 (Random Tone-mapping Augmentation: RTA):
   非ランバート面における深度推定の照明への敏感さに対処するため、著者らは合成データセット Hypersim を用いた学習フェーズにおいて、ランダムなトーンマッピングを採用しています。変換式 $I_{aug} = \alpha I_{ori}^{\gamma}$ を適用することで（ここで $\gamma$ は標準的なガンマ補正係数、$\alpha$ は70パーセンタイルから99パーセンタイルの間のランダムなパーセンタイル強度値から導出されるスケール因子）、モデルを多様な照明条件下にさらします。これは、様々な照明条件下におけるモデルのゼロショット汎化能力を高めることを目的としています。

2. 非ランバート表面領域ガイダンス (Non-Lambertian Surface Regional Guidance: NSRG):
   インペイントの代わりに、著者らは勾配ドメイン内でMDEモデルの予測を制約する領域ガイダンスメカニズムを導入しています。ほとんどのToMオブジェクトは連続した平面であるという事前知識に基づき、この手法は、マスクされた非ランバート領域内における予測深度の勾配とグランドトゥース（真値）の勾配との一貫性を強制します。
   損失関数 $\mathcal{L}_{ToM}$ は、ロバストな推定器を利用して、予測深度の勾配 ($\nabla D$) とグランドトゥースの勾配 ($\nabla D^\star$) を整合させます。これは、スケール ($s$) とシフト ($t$) の係数を計算して勾配を正規化し、上位20%の残差をトリミングすることで外れ値を除去します。最終的な損失は、正規化された勾配間の $L_1$ 距離を最小化し、ToM領域における予測深度の平面が滑らかでグランドトゥースと一致するようにします。

3. 多様な照明画像の融合 (Diverse Lighting Images Fusion: DLIF) （オプション）:
   同一シーンの複数露光画像が利用可能なシナリオのために、著者らはオプションの融合モジュールを提案しています。このモジュールは、Stable Diffusion の事前学習済み変分オートエンコーダ（VAE）を利用して、異なる照明条件を持つ複数の画像を潜在特徴量へとエンコードします。これらの潜在特徴量を平均化してデコードすることで、システムは理論的に深度推定に最適な照明条件を備えた単一の融合RGB画像を生成し、VAEのセマンティックな事前知識を活用します。

主な貢献

• ランダム・トーンマッピング拡張: 学習データセットに多様な照明条件を付加することで、MDEモデルの堅牢性と多様な照明シナリオへのゼロショット汎化性能を大幅に向上させるデータ拡張戦略。
• 非ランバート表面領域ガイダンス: 勾配ドメインで動作する新しい学習制約。セグメンテーションマスクを用いて、ネットワークが非ランバート表面に対して正しい深度平面を直接推定するように誘導し、RGBインペイント手法の不安定性を回避する。
• オプションの画像融合モジュール: 複数の露光画像を利用する場合に、VAEを用いてマルチ露光画像を融合し、深度推定に有利な入力を提供するメカニズム。

実験結果
本手法は、Booster データセット、および Mirror3D によって精緻化された NYU Depth Dataset V2、ならびに TRICKY2024 コンペティションのテストセットで評価されました。

• 定量的性能: 提案手法は、Depth Anything V2 ベースラインと比較して、ToM領域において Booster データセットで 33.39%、Mirror3D データセットで 5.21% の精度向上（$\delta_{1.05}$ により測定）を達成しました。
• 最先端性能 (SOTA): TRICKY2024 コンペティションのテストセットにおいて、本手法はToM領域内で $\delta_{1.05}$ スコア 90.75 を記録し、最先端の性能を実証しました。
• アブレーション研究: 実験により、ランダム・トーンマッピング拡張と非ランバート表面領域ガイダンスの両方が、それぞれ独立して性能向上に寄与していることが確認され、両者を組み合わせることで最良の結果が得られました。オプションの画像融合モジュールは、マルチ露光入力が利用された際にさらなる改善をもたらしました。

意義と限界
本論文の主な意義は、インペイントによる後処理から、適切に設計されたトレーニングフレームワークを通じた非ランバート特性の直接学習へとパラダイムを転換した点にあると主張しています。勾配の一貫性と照明への堅牢性に焦点を当てることで、ランダムな色のための経験的な調整に頼ることなく、パイプラインを簡素化し安定性を高めています。

著者らは限界についても認めており、ガラスのような非ランバート表面のテクスチャが完全に失われるような極端な露出過多の画像の場合、ネットワークが依然として失敗する可能性があると述べています。彼らは、このような極端な条件下での定性的および定量的結果をさらに改善するために、将来の研究として画像品質の最適化やセマンティック情報の融合を統合できる可能性を示唆しています。