One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

Énoncé du problème

Les modèles de fondation d'estimation de la profondeur monoculaire (MDE) opèrent généralement sous un paradigme de « profondeur unique », associant une seule image RGB à une valeur de profondeur scalaire par pixel. Cette hypothèse est valable pour les scènes opaques, mais échoue dans les scènes 3D stratifiées (par exemple, le verre transparent), où un seul rayon de caméra intercepte plusieurs surfaces géométriquement valides (un plan de verre au premier plan et un objet à l'arrière-plan).

L'article soutient que l'entraînement supervisé actuel réduit cette géométrie multicouche en une « cible scalaire déterminée par le jeu de données ». La cible de profondeur résultante n'est pas une vérité intrinsèque de la scène, mais une convention déterminée par les choix d'annotation, les limitations des capteurs (ex: LiDAR vs ultrasons) et les biais des données d'entraînement. Par conséquent, les modèles de fondation gelés n'apprennent pas une géométrie « sans couches » ; ils apprennent plutôt une préférence de couche de profondeur — un biais vers le signalement soit de la couche proximale (premier plan), soit de la couche distale (arrière-plan) lorsqu'une ambiguïté existe. Les métriques d'évaluation standard, qui récompensent l'accord avec une vérité terrain unique, pénalisent les interprétations alternatives valides, occultant les véritables capacités de raisonnement géométrique du modèle.

Méthodologie

1. Benchmark MultiDepth-3k (MD-3k)
Pour mesurer cette préférence sans nécessiter de vérité terrain métrique dense et neutre vis-à-vis des capteurs (difficile à obtenir pour les couches transparentes), les auteurs introduisent MD-3k, un benchmark ordinal parcimonieux.

• Données : 3 161 images RGB provenant du jeu de données GDD, contenant des objets transparents.
• Annotation : Au lieu de cartes de profondeur denses, chaque image est annotée avec une paire de points parcimonieux dans une région ambiguë. Crucialement, l'annotation fournit deux étiquettes ordinales : l'ordre de profondeur relatif pour la couche transparente de premier plan et la couche visible d'arrière-plan.
• Sous-ensembles : Le jeu de données est divisé en un sous-ensemble « Same » (où les ordres de profondeur premier plan/arrière-plan concordent) et un sous-ensemble « Reverse » (où ils entrent en conflit). Le sous-ensemble « Reverse » est le cas de test critique où un modèle à sortie unique ne peut satisfaire simultanément les deux couches.

2. Laplacian Visual Prompting (LVP)
Les auteurs proposent une méthode sans entraînement pour sonder si la préférence de couche de profondeur d'un modèle gelé peut être modulée en changeant la représentation d'entrée.

• Mécanisme : LVP applique un noyau laplacien discret (une transformée spectrale à haute fréquence) à l'image RGB d'entrée. Les résidus signés résultants sont normalisés et remappés dans la plage d'entrée du modèle (ex: 0–255).
• Hypothèse : En accentuant les bords à haute fréquence, LVP agit comme une sonde spectrale qui peut orienter le modèle gelé vers une hypothèse de profondeur différente et valide (ex: passer d'une préférence de premier plan à une préférence d'arrière-plan) sans réentraînement ni modification des poids.

3. Métriques d'évaluation

• Spatial Relationship Accuracy (SRA) : Mesure la fraction des paires de points où l'ordre de profondeur prédit correspond à la vérité terrain pour une couche spécifique (premier plan ou arrière-plan).
• Profondeur de préférence de couche ($\alpha$) : Définie comme $SRA(2) - SRA(1)$. Un $\alpha$ positif indique une préférence pour l'arrière-plan ; un $\alpha$ négatif indique une préférence pour le premier plan.
• Multi-Layer Spatial Relationship Accuracy (ML-SRA) : Évalue une paire d'hypothèses (ex: sortie RGB et sortie LVP). Elle vérifie si la paire, lorsqu'elle est assignée de manière optimale aux deux couches, satisfait les contraintes ordinales pour les deux couches simultanément.

Contributions clés

1. Caractérisation de la préférence de couche de profondeur : L'article fournit la première caractérisation systématique de la manière dont divers modèles de fondation de profondeur (incluant Depth Anything v1/v2, DPT, Marigold, etc.) présentent des biais distincts et spécifiques au modèle vers le premier plan ou l'arrière-plan sous une entrée RGB standard.
2. Benchmark MD-3k : Introduction d'un benchmark du monde réel qui rend la préférence de couche de profondeur mesurable via des relations ordinales parcimonieuses, contournant le besoin d'une vérité terrain métrique multicouche dense impossible à obtenir.
3. Modulation dépendante de l'entrée : Démonstration que le Laplacian Visual Prompting (LVP) peut modifier de manière significative la préférence de couche de profondeur exprimée par les modèles gelés. Pour certains modèles, LVP agit comme un « commutateur » qui révèle une hypothèse géométrique complémentaire, permettant à un modèle à sortie unique de couvrir efficacement plusieurs interprétations valides lorsqu'il est interrogé avec des entrées différentes.

Résultats

• Biais divers : Sous une entrée RGB standard, les modèles montrent des biais forts mais incohérents. Par exemple, les variantes de Depth Anything v2 optimisées pour l'intérieur ont tendance à préférer le premier plan (verre), tandis que les variantes optimisées pour l'extérieur et les modèles génératifs (comme Marigold) préfèrent souvent l'arrière-plan.
• Efficacité de LVP : LVP induit des changements substantiels de préférence pour des modèles spécifiques (ex: DPT, Depth Pro, et DAv2-L) mais a peu d'effet sur d'autres (ex: DAv1, certains modèles génératifs).
  • Cas DAv2-L : L'exemple le plus frappant est DAv2-L. Sous RGB, il est biaisé vers le premier plan ($\alpha \approx -30,6$). Sous LVP, il bascule vers un biais d'arrière-plan ($\alpha \approx +68,2$).
• Performance ML-SRA :
  • Une ligne de base « effondrée » (dupliquant une carte de profondeur unique) atteint un plafond strict de 56,4 % sur le sous-ensemble « Reverse » de MD-3k car elle ne peut satisfaire des contraintes ordinales conflictuelles.
  • La paire RGB/LVP utilisant DAv2-L atteint 75,5 % de ML-SRA globale et 52,2 % sur le sous-ensemble « Reverse ». Cela représente un gain significatif par rapport au plafond d'hypothèse unique, prounant que le modèle gelé peut exprimer des relations ordinales complémentaires lorsque la représentation d'entrée change.
• Ablation : L'effet est spécifique au prompting haute fréquence ; les prompts gaussiens passe-bas échouent à moduler la préférence de couche. L'effet n'est pas unique à l'opérateur Laplacien mais se généralise à d'autres transformées haute fréquence (Sobel, Fourier), bien que LVP reste un défaut robuste.

Signification et affirmations

L'article affirme que l'inférence RGB standard ne capture qu'une seule tranche d'une distribution postérieure géométrique plus riche. En traitant l'ambiguïté non pas comme du bruit mais comme une structure géométrique mesurable, les auteurs démontrent que :

1. L'ambiguïté est intrinsèque : Les modèles de fondation de profondeur encodent plusieurs hypothèses géométriques valides, mais l'entraînement et l'évaluation standards les forcent à les réduire en une convention unique et biaisée.
2. La modulation est possible : De simples transformations spectrales d'entrée sans entraînement (LVP) peuvent débloquer ces hypothèses complémentaires latentes dans les modèles gelés.
3. Repenser l'évaluation : Les futurs systèmes de profondeur devraient être évalués sur leur capacité à représenter et préserver plusieurs interprétations 3D valides plutôt que de forcer une sortie scalaire unique.

Limitations reconnues :

• LVP est dépendant du modèle et n'est pas un extracteur de couches universel ; il échoue sur les surfaces semi-transparentes où les indices de fréquence sont entremêlés.
• Le benchmark est parcimonieux et centré sur la transparence ; il ne fournit pas de validation métrique dense.
• LVP dégrade souvent la précision de la profondeur simple sur les scènes non ambiguës, indiquant qu'il s'agit d'un outil de diagnostic/sondage plutôt que d'un remplacement de l'inférence standard pour les scènes claires.

Les auteurs invitent la communauté à adopter un prisme « conscient de l'ambiguïté » pour la supervision et l'évaluation de la profondeur, où les multiples interprétations 3D valides sont traitées comme une structure géométrique à mesurer et à exprimer.