Résumé technique : Modélisation de l'ambiguïté de la profondeur (MDA)

Énoncé du problème

Malgré les avancées significatives dans l'estimation de la profondeur monoculaire et multi-vues, un mode d'échec persistant connu sous le nom de « points volants » (flying points) reste répandu. Il s'agit de points 3D spécieux prédits dans l'espace vide entre les surfaces de premier plan et d'arrière-plan, particulièrement près des contours d'objets. Les auteurs soutiennent que cet artefact provient d'une limitation fondamentale de la modélisation : les estimateurs de profondeur standards assignent à chaque pixel une hypothèse de profondeur unique (une distribution unimodale).

Aux contours d'objets, un pixel peut souvent chevaucher un bord d'occlusion, contenant des indices visuels provenant à la fois de la surface de premier plan et de celle d'arrière-plan. Lorsqu'un modèle est contraint de prédire une valeur de profondeur unique pour un tel pixel ambigu, l'objectif d'entraînement (minimisant généralement les pertes $\ell_1$ ou $\ell_2$) tire la prédiction vers un compromis intermédiaire entre les deux surfaces valides. Cette valeur intermédiaire se situe dans l'espace vide, se manifestant sous la forme d'un point volant qui corrompt la géométrie reconstruite et entrave les tâches en aval comme la synthèse de vues nouvelles ou la manipulation robotique. Les auteurs notent que ce problème persiste même avec des architectures (backbones) plus puissantes et des jeux de données plus vastes, indiquant qu'il s'agit d'un problème de modélisation plutôt que de mise à l'échelle.

Méthodologie : Modélisation de l'ambiguïté de la profondeur (MDA)

Le papier propose la Modélisation de l'ambiguïté de la profondeur (MDA), une représentation par densité de mélange qui modélise explicitement l'ambiguïté de la profondeur près des contours.

Concept central

Au lieu de prédire une seule valeur de profondeur par pixel, MDA prédit $K$ hypothèses de profondeur accompagnées de leurs probabilités associées (poids de mélange) et de paramètres d'échelle.

• Représentation : Pour chaque pixel, le modèle produit $K$ hypothèses de profondeur $\{\hat{D}_k\}$, des échelles $\{b_k\}$ et des poids de mélange $\{\pi_k\}$ (où $\sum \pi_k = 1$).
• Distribution : La distribution de la profondeur est modélisée comme un mélange de distributions de Laplace (ou Gaussiennes) :
  $$p(D | \{\hat{D}_k, b_k, \pi_k\}) = \sum_{k=1}^K \pi_k \cdot \frac{1}{2b_k} \exp\left(-\frac{|\hat{D}_k - D|}{b_k}\right)$$
• Comportement : Sur des surfaces lisses et non ambiguës, toutes les hypothèses convergent vers la même profondeur. Aux contours, les différentes hypothèses se spécialisent pour représenter des surfaces distinctes (par exemple, une pour le premier plan, une pour l'arrière-plan).

Objectif d'entraînement

Le modèle est entraîné en utilisant la log-vraisemblance négative (NLL) de la densité de mélange.

• La fonction de perte est dérivée de la NLL du mélange, qui se réduit à une somme pondérée des pertes par composante.
• Contra fois aux pertes unimodales standards qui imposent une prédiction unique, cet objectif permet au réseau d'apprendre une distribution multimodale où les différentes composantes s'ancrent sur des surfaces valides.

Stratégie de décodage

À l'inférence, le système ne fait pas la moyenne des hypothèses (ce qui recréerait le problème des points volants). À la place, il sélectionne l'hypothèse la plus probable :

1. Pour chaque profondeur candidate $\hat{D}_k$, le modèle évalue sa densité sous la distribution de mélange apprise.
2. La composante ayant le score le plus élevé est sélectionnée comme la prédiction de profondeur finale.
3. Cela garantit que la profondeur de sortie se situe sur l'une des surfaces candidates plutôt que dans l'espace vide entre elles.

Architecture et extensions

• Surcharge minimale : MDA modifie uniquement la couche de prédiction finale des architectures existantes (ex: DA3, VGGT). Il ajoute une tête légère qui produit $3K+1$ canaux (profondeur, confiance et logit pour chacune des $K$ composantes).
• Objets transparents : Pour gérer les objets transparents où un rayon intersecte plusieurs surfaces, les auteurs remplacent les poids de mélange softmax par des poids sigmoïdes indépendants. Cela permet à plusieurs composantes d'être actives simultanément, permettant la récupération de couches de profondeur coexistantes (ex: la surface de verre et l'arrière-plan).
• Régions de ciel : Une composante dédiée avec des paramètres de grande profondeur fixe est ajoutée pour modéliser le ciel. Cette composante absorbe les pixels à profondeur infinie, empêchant les composantes de profondeur finie de générer des points volants le long des lignes d'horizon et permettant une segmentation du ciel sans seuillage.

Contributions clés

1. Identification de la cause : Les auteurs identent que les points volants sont une conséquence directe de l'obligation pour les estimateurs de profondeur de prédire une valeur unique aux pixels de contour ambigus, plutôt qu'un échec de la capacité du réseau ou du volume de données.
2. Représentation par densité de mélange : Ils proposent une représentation par densité de mélange à $K$ composantes, légère, qui prédit plusieurs hypothèses de profondeur et leurs probabilités. Cela permet aux pixels de contour de « choisir » entre les surfaces de premier plan et d'arrière-plan au lieu de faire une moyenne.
3. Généralisabilité : Le cadre montre son efficacité sur différentes architectures (DA3 et VGGT) et s'étend naturellement pour gérer d'autres formes d'ambiguïté de profondeur, spécifiquement les objets transparents et les régions de ciel, au sein de la même tête de prédiction.

Résultats expérimentaux

Les auteurs évaluent MDA sur la qualité des contours, l'estimation de la profondeur vidéo et la robustesse au flou d'entrée.

• Qualité des contours : Sur des jeux de données incluant NRGBD, 7Scenes et HiRoom, MDA réduit considérablement l'erreur de contour (Distance de Chamfer et Précision) par rapport aux modèles de base.
  • Suppression des points volants : Les résultats qualitatifs montrent que, tandis que les modèles de base (y compris les raffinements par diffusion comme PPD/PPVD) laissent des points volants visibles, MDA produit des contours nets alignés avec les surfaces réelles.
  • Vitesse : MDA fonctionne à des vitesses comparables aux modèles de base de type feed-forward (ex: ~33-34 FPS), ajoutant une surcharge négligeable. En revanche, les méthodes de raffinement par diffusion sont environ 80 fois plus lentes.
• Robustesse au flou : Sous un flou d'entrée sévère (simulé par sous-échantillonnage), MDA se dégrade plus gracieusement que les modèles unimodaux de base. Parce que le mélange peut maintenir des modes actifs pour le premier plan et l'arrière-plan même lorsque les preuves visuelles sont faibles, il évite l'accumulation d'outliers observée dans les modèles à hypothèse unique.
• Études d'ablation : Les expériences confirment que le gain de performance est principalement piloté par la représentation par densité de mélange plutôt que par le simple ajout de têtes de réseau. Remplacer la perte unimodale par la NLL du mélange explique la majeure partie de l'amélioration.
• Extensions :
  • Objets transparents : La variante à poids sigmoïdes récupère avec succès la profondeur multicouche sur les objets transparents, prédisant à la fois la surface visible et l'arrière-plan occulté.
  • Ciel : La composante dédiée au ciel élimine les points volants le long des lignes d'horizon et fournit une segmentation précise du ciel sans réseau séparé.

Signification et affirmations

L'article affirme que MDA offre une solution fondamentale au problème des points volants en alignant l'hypothèse de modélisation avec la réalité physique de l'ambiguïté de la profondeur aux contours.

• Efficacité : Elle atteint une reconstruction de contour de pointe sans le coût computationnel des processus de raffinement itératifs ou de diffusion.
• Simplicité : Elle ne nécessite qu'une modification de la couche finale des modèles de pointe actuels, ce qui facilite son adoption.
• Cadre unifié : Elle fournit un cadre unique capable de gérer l'estimation de la profondeur standard, les objets transparents et les régions de ciel, traitant simultanément plusieurs sources d'ambiguïté de profondeur.

Les auteurs soulignent que leur approche ne prétend pas résoudre tous les défis de l'estimation de la profondeur, mais cible spécifiquement l'artéfact persistant des points volants causé par la modélisation unimodale, offrant une alternative théoriquement motivée et empiriquement efficace.