Résumé Technique : Apprentissage de Champs d'Échelle Adaptatifs à l'Image pour la Récupération de Profondeur Métrique

Énoncé du Problème

L'estimation de profondeur monoculaire (MDE) a considérablement progressé grâce aux architectures basées sur les transformateurs et au préentraînement à grande échelle. Cependant, la plupart des méthodes largement utilisées produisent des cartes de profondeur définies uniquement à une échelle et un décalage inconnus. Bien que certaines approches estiment directement la profondeur métrique, de nombreuses applications pratiques (robotique, conduite autonome, reconstruction 3D) nécessitent un alignement métrique explicite. Cet alignement repose généralement sur des ancres métriques éparses (par exemple, des points LiDAR ou des contraintes de structure à partir du mouvement).

Les méthodes existantes pour récupérer la profondeur métrique à partir d'ancres éparse se divisent généralement en deux catégories :

1. Alignement Affine Global : Suppose une échelle et un décalage uniformes sur l'ensemble de l'image. Bien que stable, cela échoue dans les scènes comportant des objets divers ou des agencements complexes où les biais sont non uniformes.
2. Approches Locales/Régionales : Des méthodes telles que l'alignement affine par morceaux, la régression localement pondérée (LWLR), l'optimisation basée sur une grille et l'adaptation consciente des régions tentent de modéliser des biais variant spatialement. Cependant, elles reposent souvent sur des hypothèses structurelles qui peuvent ne pas tenir dans les scènes réelles ou fragmenter l'ensemble des ancres éparse, conduisant à des estimations instables lorsque les ancres sont insuffisantes.

Le défi central réside dans le fait que la récupération de champs d'échelle et de décalage denses par pixel à partir d'ancres éparse est un problème intrinsèquement mal posé. Les solutions existantes imposent des priors structurels prédéfinis qui peuvent être peu fiables dans des conditions d'éparpillement extrême.

Méthodologie

Les auteurs proposent de formuler la récupération de profondeur métrique comme une modélisation de champ d'échelle adaptatif à l'image. Au lieu de corriger directement la carte de profondeur, la méthode reformule la correction comme une combinaison linéaire de faible dimension de cartes de base apprises.

1. Paramétrisation dans l'Espace Logarithmique

La profondeur métrique $D_{gt}(x)$ est liée à la profondeur estimée $D_{MDE}(x)$ via une transformation affine :
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
Pour éviter les problèmes de mise à l'échelle des gradients dépendants de la profondeur où les pixels à grande profondeur dominent l'optimisation, les auteurs opèrent dans l'espace logarithmique. Ils définissent le champ d'échelle logarithmique $\ell(x) = \log s(x)$ et absorbent le terme de décalage $t(x)$ comme une correction dépendante de la profondeur au sein du champ d'échelle.

2. Générateur de Cartes de Base

Le champ d'échelle logarithmique est modélisé comme une combinaison linéaire de $K$ cartes de base adaptatives à l'image :
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
où $w \in \mathbb{R}^K$ sont des poids spécifiques à l'image, et $E_m(x)$ sont les cartes de base.

Le Générateur de Cartes de Base est un réseau de neurones qui produit ces cartes à partir de trois entrées :

• Représentations Intermédiaires ($F(x)$) : Caractéristiques extraites de l'épine dorsale (backbone) du MDE avant la tête de profondeur, capturant le contexte sémantique et structurel.
• Log-Profondeur Estimée : $\log D_{MDE}(x)$ et son gradient spatial, codant la géométrie dépendante de la profondeur.
• Coordonnées de l'Image ($x$) : Pour modéliser les tendances spatiales.

L'architecture du générateur se compose de :

• Un tronc convolutif partagé produisant des caractéristiques $H(x)$.
• Une Tête de Base prédisant des cartes de base primitives $B(x)$.
• Une Tête de Commutation (Gating) prédisant des poids normalisés $G(x)$ (via softmax).
• Les cartes de base finales sont calculées comme $E(x) = G(x) \odot B(x)$. Cette factorisation permet de réutiliser des motifs spatiaux à travers différentes régions de l'image avec des magnitudes variables contrôlées par les cartes de commutation.

3. Estimation des Poids par Moindres Carrés

Les poids $w$ sont déterminés en ajustant le modèle aux ancres métriques éparse $A = \{a_i\}$. Pour chaque ancre $a_i$, la cible est $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$. Les poids sont trouvés en résolvant un problème de moindres carrés régularisé :
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
où $M$ est la matrice des valeurs de cartes de base aux emplacements des ancres. Cela produit une solution sous forme fermée, assurant la stabilité même sous une éparpillement extrême des ancres.

4. Objectif d'Entraînement

Le générateur de cartes de base est entraîné en utilisant :

• Perte Dense : Perte SmoothL1 entre la profondeur métrique récupérée et la profondeur métrique de référence (ground-truth).
• Perte d'Ancres : MSE entre l'échelle logarithmique prédite et la cible aux emplacements des ancres.
• Perte de Décorrélation : Encourage l'orthogonalité entre les cartes de base pour prévenir la redondance.
• Régularisation de Commutation : Perte d'entropie négative pour prévenir des affectations de commutation trop nettes.

Contributions Clés

1. Reformulation de Faible Dimension : L'article introduit une formulation où la récupération de profondeur métrique est réduite à l'estimation d'un petit ensemble de poids pour des cartes de base adaptatives à l'image, plutôt qu'à l'apprentissage direct d'un champ spatial complexe.
2. Robustesse à l'Éparpillement : En utilisant un solveur de moindres carrés agrégé globalement, la méthode atteint des solutions stables même avec très peu d'ancres (par exemple, 1 à 9 ancres par image), surpassant les méthodes qui fragmentent les ancres ou reposent sur une régression locale.
3. Interprétabilité : L'approche fournit une décomposition interprétable des variations d'échelle spatiales. Les cartes de base apprises et leurs poids révèlent comment les biais globaux et locaux sont structurés.
4. Applicabilité Générale : La méthode est agnostique à l'architecture, ne nécessitant que des représentations intermédiaires et des estimations de profondeur d'un modèle MDE préentraîné. Elle ne requiert pas de modèles de segmentation externes ni d'architectures d'épine dorsale spécifiques.

Résultats Expérimentaux

La méthode a été évaluée sur les ensembles de données KITTI, UrbanSyn et SUN RGB-D en utilisant Depth Anything 3 (DA3) et MiDaS comme modèles MDE représentatifs.

• Performance : La méthode proposée ("Basis") a constamment surpassé les bases de référence globales, par morceaux, LWLR, basées sur une grille et conscientes des régions sur tous les ensembles de données et densités d'ancres.
  • Sur KITTI avec 10–15 ancres (régime faible), la méthode a atteint un AbsRel de 0,15 (DA3) et 0,13 (MiDaS), nettement mieux que la base de référence globale (0,31/0,17).
  • Sur UrbanSyn/SUN RGB-D, elle a atteint un AbsRel de 0,08 (DA3) et 0,14 (MiDaS) dans le régime à faible nombre d'ancres.
• Éparpillement Extrême : Dans un test "drop-anchor" réduisant les ancres à seulement 1, la méthode est restée stable. L'analyse spectrale a révélé que le mode propre dominant de la matrice d'incorporation des ancres correspond presque entièrement au canal d'échelle globale, expliquant la robustesse.
• Ablation : L'étude a confirmé que les représentations intermédiaires ($F(x)$) sont cruciales ; leur désactivation a empêché le modèle de bénéficier d'une capacité de base accrue (K plus élevé).

Importance et Revendications

Les auteurs affirment que leur approche offre un cadre pratique pour intégrer des informations métriques éparse dans les systèmes MDE modernes. Les points clés à retenir incluent :

• Précision Améliorée : La méthode atteint une précision d'alignement de profondeur métrique à la pointe de l'état de l'art à travers des scènes diverses et des densités d'ancres variées.
• Robustesse : La formulation de faible dimension et l'estimation par moindres carrés globaux offrent une forte robustesse là où les méthodes locales échouent en raison d'ancres insuffisantes.
• Interprétabilité : La décomposition en cartes de base offre une nouvelle façon d'analyser et de comprendre les biais d'échelle-décalage dans les modèles MDE.

L'article note modestement que la performance dépend toujours de l'informativité des ancres (couverture spatiale et diversité) et que la validation sur des modèles MDE basés sur les CNN reste un travail futur. Cependant, la formulation proposée est présentée comme une solution généralisable qui englobe plusieurs stratégies d'alignement existantes comme des cas particuliers.