Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

技術要約：疎ビュー・ニューラル再構成のための信頼性考慮型単眼深度監督

問題提起
疎ビュー（sparse-view）のニューラル再構成は、特に屋外の走行シーンにおいて非常に困難な課題です。物体中心のデータセットではカメラが対象物の周囲を旋回するのに対し、自動運転のシーケンスでは、カメラは狭い前方指向の軌道に沿って移動します。これにより、マルチビューの重なりが限定的になり、遠方の領域における視差が弱まり、動的な物体、反射、および空の領域における問題が生じます。Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) は、十分なビューがあれば高品質なレンダリングを実現しますが、入力が疎な場合には制約が不足し、不正確な幾何構造や「フローター（浮遊物）」が発生しやすくなります。

Depth Anything V2 (DA-V2) のような単眼深度推定器は、高密度な幾何学的事前知識を提供しますが、それらの予測は相対的であり、ノイズが多く、すべての画像領域において一様に信頼できるわけではありません。これらの事前知識を一様に適用すると、信頼性の低い領域（遮蔽境界や反射面など）においてエラーを導入する可能性があります。本研究が取り組む核心的な問いは、ノイズの多い事前知識によって再構成の品質を損なうことなく、いかにして疎ビューの設定において単眼深度の監督を効果的に活用するかという点です。

手法
著者らは、RGB再構成の信頼性に基づいて深度監督を選択的に適用する、**信頼性考慮型単眼深度監督（reliability-aware monocular depth supervision）**パイプラインを提案しています。このアプローチは、主に以下の3つのステージで構成されます。

1. スケール整合済み単眼深度事前知識:

   • DA-V2 を使用して、高密度な相対深度マップを生成します。
   • これらのマップは、有効な参照アンカー（KITTIではLiDAR点、BicycleシーンではCOLMAP点）に対する画像ごとのスケール・シフト適合プロセスを通じて、メトリック深度へと整合されます。
   • 整合された深度は、有効な範囲（例：KIT系での80m）にクリッピングされ、メトリックな事前知識として機能します。

2. フォトメトリック信頼性マスク:

   • 再構成品質の基準を確立するために、まずRGBのみのベースラインモデルを学習させます。
   • ベースラインのレンダリング画像とグラウンドトゥルースを比較することで、画素ごとのフォトメトリック再構成誤差 $e(u)$ を算出します。
   • しきい値 $\tau$ に基づいてバイナリマスクを生成します。フォトメトリック誤差が低い画素（$e(u) < \tau$）は「信頼できる」とみなされて深度監督に保持される一方、誤差が高い領域（動的な物体、反射、または空を含む可能性が高い領域）はマスクアウトされます。

3. マスクされた深度監督目的関数:

   • 再構成モデル（Mip-NeRF-360 または Splatfacto のいずれか）を、結合損失関数 $L = L_{rgb} + \lambda_{depth} L_{depth}$ を用いて再学習します。
   • RGB損失は画像全体に適用されます。
   • 深度損失（$L_{depth}$）は、フォトメトリック信頼性マスクと深度妥当性マスクの積集合として定義される有効な監督マスク（$M_{eff}$）がアクティブな画素に対してのみ計算されます。
   • これにより、ノイズの多い単眼事前知識が、RGBの再構成がすでに一貫している領域に対してのみ正則化を行うことが保証されます。

主な貢献

• 選択的監督戦略: 単眼深度の事前知識を画像全体に一様に適用するのではなく、フォトメトリック再構成誤差に基づいて選択的に適用する手法を導入しました。
• 比較評価: 提案戦略を、2つの異なるシーン表現（暗黙的な密度場である Mip-NeRF-360 と、明示的なガウス表現である Splatfacto）で評価しました。
• アブレーションと汎化: マッチング比率によるマスクのアブレーション、および複数のKITTIシーケンス（02 および 05）と Bicycle シーンを用いた実験を通じて、得られる利点が単に監督される画素数を減らすことではなく、信頼できる領域を選択することに由来することを実証しました。
• バックボーンの感度分析: 深度監督の有効性は、基礎となる表現（暗黙的 vs 明示的）およびシーンの構成（疎な前方指向型 vs 物体中心型）に強く依存することを明らかにしました。

実験結果
評価は、KITTISeq02（2フレームおきの疎な設定）、KITTISeq05、および Mip-NeRF-360 の Bicycle シーンに対して行われました。

• Mip-NeRF-360 (暗黙的):

  • KITTISeq02 において、マスクされた単眼深度監督は、レンダリングの向上はわずかであり（最良のケースで PSNR が 20.378 から 20.607 へ増加）、メトリックな幾何構造（AbsRel および RMSE が RGBのみのベースラインと比較して悪化）は改善しませんでした。
  • KITTISeq05 においては、グローバルな深度監督もマスクされた深度監督も、RGBのみの学習と比較してレンダリング品質と幾何構造の両方を低下させました。
  • 結論: 暗黙的な密度場は、スケール整合された単眼深度のノイズに対して敏感であり、事前知識は弱い、あるいは不安定化させる正則化因子として作用します。

• Splatfacto (明示的):

  • KITTISeq02 において、Splatfacto は大幅な恩恵を受けました。PSNR は 14.903 (RGBのみ) から 15.932 へ向上し、RMSE は 0.542 から 0.100 へと劇的に低下しました。
  • マッチング比率のアブレーションにより、低誤差マスクが、高誤差マスクやランダムなマスクよりも優れた性能を示すことが確認され、領域選択の有用性が証明されました。
  • KITTISeq05 においても、レンダリングと幾何構造の両方において同様の改善が見られました。
  • 結論: 明示的なガウス表現は、深度監督がガウス粒子の配置を直接ガイドすることを可能にし、疎な領域におけるフローターを効果的に減少させ、幾何構造を改善します。

• Bicycle シーン (物体中心型):

  • 強力なマルチビュー被覆を持つこのシーンでは、深度監督は幾何構造を改善しましたが（RMSE が 1.479 から 0.722 へ低下）、一般に RGB レンダリング品質（PSNR, SSIM, LPIPS が低下）を低下させました。
  • これは、RGB の制約がすでに強い場合に、深度事前知識が再構成を過剰に正則化してしまうトレードオフを示唆しています。

意義と主張
本論文は、単眼深度の事前知識は、疎ビューの再構成における「諸刃の剣」であると結論付けています。その有用性は普遍的なものではなく、再構成のバックボーンとシーンの制約に大きく依存します：

1. バックボーンへの依存性: 疎な前方指向型のシーンにおいては、明示的なガウス表現（Splatfacto）には非常に効果的ですが、暗黙的な NeRF スタイルの表現（Mip-NeRF-360）にはほとんど恩恵がなく、むしろ有害となる場合があります。
2. 信頼性が鍵: 利点は単に監督データの量を増やすことにあるのではなく、単眼の事前知識が RGB の観測と矛盾する信頼性の低い領域をフィルタリングすることから生まれます。
3. トレードオフ: マルチビュー被覆が強いシーンでは、深度監督はフォトメトリックな忠実度を犠牲にして幾何学的な指標を向上させることがあります。

著者らは、特に制約の少ない疎なビューのシナリオにおいて、明示的なシーン表現に対して、中程度の重み付けを用いた単眼深度事前知識の選択的な適用を推奨しています。今後の課題として、より優れたスケール整合、不確実性を考慮したマスキング、および適応的な損失の重み付けなどが挙げられています。