Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

Résumé Technique : Vers une estimation de la profondeur monoculaire robuste pour les surfaces non lambertiennes

Énoncé du problème
Les progrès récents de l'estimation de la profondeur monoculaire (MDE - Monocular Depth Estimation) ont produit des modèles dotés de capacités impressionnantes de généralisation zero-shot dans des scènes générales. Cependant, ces modèles échouent fréquemment lorsqu'ils rencontrent des surfaces non lambertiennes, spécifiquement les régions transparentes ou miroitantes (ToM - Transparent or Mirror). Les propriétés réfléchissantes uniques de ces surfaces poussent les modèles standards à prédire des structures de profondeur erronées basées sur le contenu réfléchi plutôt que sur la surface elle-même. Les tentatives précédentes pour y remédier, telles que Depth4ToM, reposent sur des masques de segmentation externes pour in-pinter les images RGB avec des couleurs aléatoires avant de les traiter via un modèle MDE pré-entraîné. Ces approches souffrent de deux limitations principales : elles sont fortement dépendantes de la précision de masques d'entrée supplémentaires, et l'utilisation de couleurs aléatoires lors de l'in-painting manque de robustesse, nécessissant un réglage intensif des hyperparamètres. De plus, les conditions d'éclairage impactent significativement la récupération de la profondeur des surfaces non lambertiennes ; un éclairage excessif peut submerger les textures, tandis qu'un éclairage insuffisant introduit du bruit et des distorsions, affectant particulièrement les objets transparents et les reflets de miroirs.

Méthodologie
Les auteurs proposent un cadre d'entraînement conçu pour permettre de manière incrémentale à un modèle de base (spécifiquement Depth Anything V2) d'apprendre directement les caractéristiques uniques des surfaces non lambertiennes, éliminant ainsi le besoin d'in-painting RGB. La méthode se compose de trois composantes centrales :

1. Augmentation par tonalité aléatoire (RTA - Random Tone-mapping Augmentation) :
   Pour traiter la sensibilité de l'estimation de la profondeur non lambertienne à l'éclairage, les auteurs utilisent un tonnage aléatoire pendant la phase d'entraînement sur le jeu de données synthétique Hypersim. En appliquant la transformation $I_{aug} = \alpha I_{ori}^{\gamma}$, où $\gamma$ est un facteur de correction gamma standard et $\alpha$ est un facteur d'échelle dérivé de valeurs d'intensité de percentiles aléatoires (entre le 70ème et le 99ème percentile), le modèle est exposé à une gamme diversifiée de conditions d'éclairage. Cela vise à améliorer la capacité de généralisation zero-shot du modèle sous diverses illuminations.

2. Guidage régional de surface non lambertienne (NSRG - Non-Lambertian Surface Regional Guidance) :
   Au lieu de l'in-painting, les auteurs introduisent un mécanisme de guidage régional qui contraint les prédictions du modèle MDE dans le domaine des gradients. Se basant sur le principe selon lequel la plupart des objets ToM sont des plans continus, la méthode impose une cohérence entre le gradient de profondeur prédit et le gradient de vérité terrain (ground truth) au sein des régions non lambertiennes masquées.
   La fonction de perte, $\mathcal{L}_{ToM}$, utilise un estimateur robuste pour aligner les gradients de la profondeur prédite ($\nabla D$) et de la vérité terrain ($\nabla D^\star$). Elle calcule des coefficients d'échelle ($s$) et de décalage ($t$) pour normaliser les gradients, éliminant les valeurs aberrantes en supprimant les 20 % supérieurs des résidus. La perte finale minimise la distance $L_1$ entre les gradients normalisés, garantissant que le plan de profondeur prédit reste lisse et cohérent avec la vérité terrain dans les régions ToM.

3. Fusion d'images à éclairage diversifié (DLIF - Diverse Lighting Images Fusion) (Optionnel) :
   Pour les scénarios où plusieurs images d'exposition multiples de la même scène sont disponibles, les auteurs proposent un module de fusion optionnel. Ce module utilise un auto-encodeur variationnel (VAE) pré-entraîné issu de Stable Diffusion pour encoder plusieurs images avec différentes conditions d'éclairage en caractéristiques latentes. En faisant la moyenne de ces caractéristiques latentes et en les décodant, le système génère une image RGB fusionnée qui possède théoriquement les conditions d'éclairage optimales pour l'estimation de la profondeur, en exploitant les priors sémantiques du VAE.

Contributions clés

• Augmentation par tonalité aléatoire : Une stratégie d'augmentation de données qui enrichit le jeu de données d'entraînement avec des conditions d'éclairage variables, améliorant significativement la robustesse du modèle MDE et sa généralisation zero-shot à divers scénarios d'éclairage.
• Guidage régional de surface non lambertienne : Une nouvelle contrainte d'entraînement qui opère dans le domaine des gradients. Elle guide directement le réseau pour estimer les plans de profondeur corrects pour les surfaces non lambertiennes en utilisant des masques de segmentation, évitant l'instabilité des méthodes d'in-painting RGB.
• Module de fusion d'images optionnel : Un mécanisme utilisant des VAEs pour fusionner des images multi-expositions, fournissant une entrée avantageuse pour l'estimation de la profondeur lorsque plusieurs conditions d'éclairage sont disponibles.

Résultats expérimentaux
La méthode a été évaluée sur le jeu de données Booster et le NYU Depth Dataset V2 (raffiné par Mirror3D), ainsi que sur le ensemble de test de la compétition TRICKY2024.

• Performance quantitative : Comparée au modèle de base Depth Anything V2, la méthode proposée a obtenu des améliorations de précision de 33,39 % sur le jeu de données Booster et de 5,21 % sur le jeu de données Mirror3D au sein des régions ToM (mesurée par $\delta_{1.05}$).
• État de l'art : Sur l'ensemble de test de la compétition TRICKY2024, la méthode a atteint un score $\delta_{1.05}$ de 90,75 dans les régions ToM, démontrant une performance de pointe (state-of-the-art).
• Études d'ablation : Les expériences ont confirmé que l'augmentation par tonalité aléatoire et le guidage régional de surface non lambertienne contribuent tous deux indépendamment aux gains de performance, leur combinaison produisant les meilleurs résultats. Le module de fusion d'images optionnel a également amélioré les résultats lorsque des entrées multi-expositions étaient utilisées.

Signification et limites
L'article affirme que sa principale signification réside dans le passage du paradigme de l'in-painting de post-traitement à l'apprentissage direct des caractéristiques non lambertiennes via un cadre d'entraînement bien conçu. En se concentrant sur la cohérence des gradients et la robustesse de l'éclairage, la méthode simplifie le pipeline et améliore la stabilité sans dépendre d'ajustements empiriques pour les couleurs aléatoires.

Les auteurs reconnaissent des limites, notant que dans les cas d'images extrêmement surexposées où les textures des surfaces non lambertiennes (comme le verre) sont complètement perdues, le réseau peut encore échouer. Ils suggèrent que les travaux futurs pourraient intégrer l'optimisation de la qualité d'image et la fusion d'informations sémantiques pour améliorer davantage les résultats qualitatifs et quantitatifs dans de telles conditions extrêmes.