Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

Résumé Technique : Supervision de la Profondeur Monoculaire Sensible à la Fiabilité pour la Reconstruction Neurale à Vues Éparses

Énoncé du Problème
La reconstruction neurale à vues éparses est particulièrement complexe dans les scènes de conduite en extérieur. Contrairement aux jeux de données centrés sur des objets où les caméras orbitent autour d'une cible, les séquences de conduite autonome impliquent des caméras se déplaçant le long de trajectoires étroites et orientées vers l'avant. Cela entraîne un chevauchement multi-vues limité, une faible parallaxe pour les régions lointaines, et des difficultés avec les objets dynamiques, les reflets et les zones de ciel. Bien que les champs de radiance neuronaux (NeRF) et le Splatting Gaussien 3D (3DGS) permettent d'obtenir un rendu de haute qualité avec suffisamment de vues, ils deviennent sous-contraints avec des entrées éparses, ce qui conduit souvent à une géométrie incorrecte et à l'apparition de « floaters » (objets flottants).

Bien que les estimateurs de profondeur monoculaire comme Depth Anything V2 (DA-V2) offrent des priors géométriques denses, leurs prédictions sont relatives, bruitées et ne sont pas uniformément fiables dans toutes les régions de l'image. Appliquer ces priors de manière uniforme peut introduire des erreurs dans les zones peu fiables (ex. : limites d'occlusion ou surfaces réfléchissantes). La question centrale abordée est de savoir comment exploiter efficacement la supervision de la profondeur monoculaire dans des contextes de vues éparses sans compromettre la qualité de la reconstruction à cause de priors bruités.

Méthodologie
Les auteurs proposent un pipeline de supervision de la profondeur monoculaire sensible à la fiabilité qui applique sélectivement la supervision de la profondeur en fonction de la fiabilité de la reconstruction RGB. L'approche se compose de trois étapes principales :

1. Prior de Profondeur Monoculaire Aligné en Échelle :

   • DA-V2 est utilisé pour générer des cartes de profondeur relative denses.
   • Ces cartes sont alignées sur une profondeur métrique via un processus d'ajustement échelle-décalage (scale-shift) par image contre des ancres de référence valides (points LiDAR pour KITTI, points COLMAP pour la scène Bicycle).
   • La profondeur alignée est découpée selon une plage valide (ex. : 80 m pour KITTI) pour servir de prior métrique.

2. Masquage de Fiabilité Photométrique :

   • Un modèle de base (baseline) utilisant uniquement l'RGB est entraîné en premier pour établir une référence de la qualité de reconstruction.
   • L'erreur de reconstruction photométrique par pixel ($e(u)$) est calculée en comparant l'image rendue par le modèle de base avec la vérité terrain.
   • Un masque binaire est généré basé sur un seuil $\tau$. Les pixels présentant une erreur photométrique faible ($e(u) < \tau$) sont considérés comme « fiables » et conservés pour la supervision de la profondeur, tandis que les régions à erreur élevée (probablement contenant des objets dynamiques, des reflets ou le ciel) sont masquées.

3. Objectif de Supervision de Profondeur Masqué :

   • Le modèle de reconstruction (soit Mip-NeRF-360, soit Splatfacto) est réentraîné avec une fonction de perte jointe : $L = L_{rgb} + \lambda_{depth} L_{depth}$.
   • La perte RGB est appliquée à l'image complète.
   • La perte de profondeur ($L_{depth}$) est calculée uniquement sur les pixels où le masque de fiabilité effectif ($M_{eff}$) est actif, défini par l'intersection du masque de fiabilité photométrique et du masque de validité de la profondeur.
   • Cela garantit que le prior de profondeur monoculaire ne régularise que les régions où la reconstruction RGB est déjà cohérente.

Contributions Clés

• Stratégie de Supervision Sélective : Le papier introduit une méthode pour appliquer les priors de profondeur monoculaire de manière sélective en fonction de l'erreur de reconstruction photométrique, plutôt qu'uniformément sur toute l'image.
• Évaluation Comparative : La stratégie est évaluée sur deux représentations de scènes distinctes : un champ de densité implicite (Mip-NeRF-360) et une représentation gaussienne explicite (Splatfacto).
• Ablation et Généralisation : À travers des ablations de masques à ratio correspondant et des expériences sur plusieurs séquences KITTI (02 et 05) et la scène Bicycle, les auteurs démontrent que les gains proviennent de la sélection de régions fiables plutôt que de la simple réduction du nombre de pixels supervisés.
• Analyse de Sensibilité du Backbone : Le travail souligne que l'efficacité de la supervision de la profondeur dépend fortement de la représentation sous-jacente (implicite vs explicite) et de la configuration de la scène (vue de face éparse vs centrée sur un objet).

Résultats Expérimentaux
L'évaluation a été menée sur KITTISeq02 (configuration éparse de chaque 2ème image), KITTISeq05 et la scène Mip-NeRF-360 Bicycle.

• Mip-NeRF-360 (Implicite) :

  • Sur KITTISeq02, la supervision de la profondeur monoculaire masquée n'a apporté que des gains de rendu marginaux (ex. : le PSNR est passé de 20,378 à 20,607 dans le meilleur des cas) et n'a pas amélioré la géométrie métrique (AbsRel et RMSE se sont dégradés par rapport à la baseline RGB seule).
  • Sur KITTISeq05, la supervision de la profondeur globale et masquée a dégradé à la fois la qualité du rendu et la géométrie par rapport à l'entraînement RGB seul.
  • Conclusion : Le champ de densité implicite est sensible au bruit de la profondeur monoculaire alignée en échelle, et le prior agit comme un régularisateur faible ou déstabilisant.

• Splatfacto (Explicite) :

  • Sur KITTISeq02, Splatfacto en a bénéficié de manière significative. Le PSNR est passé de 14,903 (RGB seul) à 15,932, et l'RMSE a chuté drastiquement de 0,542 à 0,100.
  • Les ablations de ratio correspondant ont confirmé que les masques à faible erreur surpassaient les masques à erreur élevée ou aléatoires, prouvant que le bénéfice provient de la sélection de régions.
  • Sur KITTISeq05, des améliorations similaires tant pour le rendu que pour la géométrie ont été observées.
  • Conclusion : La représentation gaussienne explicite permet à la supervision de la profondeur de guider directement le placement des Gaussiennes, réduisant efficacement les « floaters » et améliorant la géométrie dans les régions éparses.

• Scène Bicycle (Centrée sur un objet) :

  • Dans cette scène avec une forte couverture multi-vues, la supervision de la profondeur a amélioré la géométrie (l'RMSE est passé de 1,479 à 0,722) mais a généralement dégradé la qualité du rendu RGB (PSNR, SSIM, LPIPS ont diminué).
  • Cela suggère un arbitrage où les priors de profondeur peuvent sur-régulariser la reconstruction lorsque les contraintes RGB sont déjà fortes.

Signification et Revendications
Le papier conclut que les priors de profondeur monoculaire sont une arme à double tranchant dans la reconstruction à vues éparses. Leur utilité n'est pas universelle mais dépend fortement du backbone de reconstruction et des contraintes de la scène :

1. Dépendance au Backbone : Ils sont très efficaces pour les représentations gaussiennes explicites (Splatfacto) dans les scènes de face éparses, mais offrent peu ou pas de bénéfice — et peuvent être préjudiciables — pour les représentations de type NeRF implicite (Mip-NeRF-360).
2. La Fiabilité est la Clé : Les gains ne sont pas simplement dus à l'ajout de plus de données de supervision, mais découlent du filtrage des régions non fiables où le prior de profondeur entre en conflit avec les observations RGB.
3. Arbitrages (Trade-offs) : Dans les scènes avec une forte couverture multi-vues, la supervision de la profondeur peut améliorer les métriques géométriques au détriment de la fidélité photométrique.

Les auteurs préconisent l'application sélective des priors de profondeur monoculaire avec un poids modéré, particulièrement pour les représentations de scènes explicites dans des scénarios de vues éparses sous-contraints. Ils suggèrent que les travaux futurs pourraient se concentrer sur un meilleur alignement d'échelle, un masquage sensible à l'incertitude et un pondération adaptative des pertes.