Résumé Technique : Depth2Pose

Énoncé du Problème

L'estimation de profondeur monoculaire (MDE) a considérablement progressé grâce à l'apprentissage profond et aux données d'entraînement à grande échelle, la profondeur prédite servant de plus en plus d'entrée critique pour des tâches géométriques en aval telles que la Structure-from-Motion (SfM), la localisation visuelle, la localisation et cartographie simultanées (SLAM) et la reconstruction 3D dense. Cependant, l'évaluation des MDE reste contrainte par des protocoles traditionnels reposant sur des métriques de précision de profondeur au niveau des pixels (par exemple, AbsRel, RMSE, $\delta_1$). Ces métriques agrègent les erreurs à l'échelle globale, traitant toutes les régions de l'image de manière égale, ce qui ne parvient pas à refléter l'importance géométrique variable des différentes régions pour les tâches en aval. De plus, les benchmarks standards dépendent d'une profondeur de vérité terrain dense, généralement acquise via des capteurs LiDAR ou RGB-D. Cette dépendance restreint l'évaluation à des environnements spécifiques, exclut des scénarios difficiles (par exemple, scènes extérieures à grande échelle, végétation, surfaces réfléchissantes) et crée un chevauchement distributionnel entre les données d'entraînement et de test qui obscurcit les capacités de généralisation.

Méthodologie

Les auteurs proposent Depth2Pose, un cadre d'évaluation piloté par la tâche qui évalue la qualité de la MDE en fonction de son utilité pour l'estimation de pose relative de la caméra plutôt que de la précision directe de la profondeur. La prémisse centrale est que des prédictions de profondeur précises dans des régions géométriquement informatives devraient conduire à des estimations de pose relative plus précises lorsqu'elles sont utilisées au sein de solveurs géométriques conscients de la profondeur.

Pipeline d'Évaluation

1. Préparation des Données : Pour une scène donnée, les poses de la caméra sont reconstruites à l'aide d'un pipeline SfM mature (COLMAP) pour servir de pseudo-vérité terrain (pGT). Cela évite le besoin d'une vérité terrain de profondeur au niveau de chaque pixel.
2. Sélection de Paires d'Images : Des paires d'images présentant au moins 10 % de chevauchement visuel sont échantillonnées sur la base du modèle SfM.
3. Appariement de Caractéristiques : Des points clés sont détectés et appariés entre les paires d'images en utilisant des caractéristiques locales apprises (spécifiquement LoMa ou SuperPoint+LightGlue).
4. Estimation de Pose Consciente de la Profondeur : Les correspondances 2D appariées sont enrichies avec des valeurs de profondeur prédites par la MDE en cours d'évaluation. Elles sont introduites dans des solveurs de pose relative conscients de la profondeur (spécifiquement des variantes du cadre RePoseD). Les solveurs exploitent conjointement les correspondances de points et la profondeur pour estimer le mouvement relatif de la caméra ($R, t$).
5. Calcul de la Métrique : La pose relative estimée est comparée à la pose de référence issue de la reconstruction SfM. La métrique d'évaluation est la Précision Moyenne (mAA) de l'erreur de pose (rotation et translation) jusqu'à un seuil de $10^\circ$.

Variantes de Solveurs

Le cadre évalue plusieurs configurations de solveurs pour isoler l'impact de la profondeur :

• Base (B) : Solveur à 5 points classique utilisant uniquement des correspondances 2D-2D (sans profondeur).
• Hybride (H) : Solveur invariant à l'échelle utilisant une erreur hybride (erreur de Sampson pour le score, combinaison de l'erreur de Sampson et de l'erreur de reprojection symétrique pour l'optimisation).
• Reprojection (R) : Solveur utilisant uniquement l'erreur de reprojection symétrique pour le score et l'optimisation, offrant une évaluation plus directe de l'impact de la profondeur en ne permettant pas à l'erreur de Sampson de compenser les imprécisions de profondeur.
• Invariant Affine : Variantes supposant une profondeur invariante affine pour des scénarios où l'échelle métrique n'est pas préservée.

Contributions Clés

1. Cadre Depth2Pose : Un paradigme d'évaluation novateur qui remplace la profondeur de vérité terrain par des poses de vérité terrain. Cela permet une évaluation évolutive dans divers environnements réels où la détection de profondeur dense est peu pratique ou impossible.
2. Évaluation Pertinente pour la Tâche : Le cadre capture une qualité de profondeur spatialement non uniforme, mettant l'accent sur les régions géométriquement informatives pour les tâches en aval (par exemple, zones avec des correspondances de caractéristiques stables) plutôt que de pénaliser les erreurs dans des régions sans texture ou moins critiques.
3. Dataset D2P : Un nouveau dataset comprenant 24 scènes réelles difficiles (12 "Statues" et 12 "Végétation") qui se situent en dehors de la distribution des données d'entraînement standards. Ces scènes présentent une géométrie complexe, des occlusions importantes et de grandes variations de profondeur, conçues spécifiquement pour tester la généralisation.
4. Protocole Extensible : Un pipeline d'évaluation simple et reproductible qui facilite l'établissement de benchmarks dans des scénarios auparavant inaccessibles sans nécessiter d'annotations de profondeur au niveau de chaque pixel.

Résultats

• Corrélation avec les Métriques Standards : Sur les benchmarks établis (ETH3D, ScanNet++, Sintel, LaMAR), la métrique basée sur la pose (mAA) corrèle fortement avec les métriques de profondeur standards ($\delta_1$). Cependant, les auteurs notent que des scores $\delta_1$ élevés ne garantissent pas strictement une haute précision de pose, car l'estimation de pose repose sur un sous-ensemble de correspondances stables plutôt que sur une précision uniforme des pixels.
• Écart de Généralisation : Sur le dataset D2P, le classement des MDE change considérablement par rapport aux benchmarks standards. Les méthodes performant le mieux sur les datasets standards (par exemple, MoGeV2) ne maintiennent pas nécessairement une performance de premier plan sur D2P, tandis que certaines méthodes avec des scores de benchmark standards inférieurs se montrent compétitives. Cela met en évidence un écart de généralisation non capturé par l'évaluation traditionnelle.
• Utilité de la Profondeur : Les MDE actuelles ne surpassent pas encore systématiquement la base de référence "Sans Profondeur" (utilisant uniquement des correspondances 2D-2D) sur le dataset D2P, suggérant que bien que les solveurs conscients de la profondeur offrent une voie d'amélioration, les prédictions de profondeur actuelles contiennent souvent des erreurs qui ne se traduisent pas encore par une estimation de pose robuste dans des scènes difficiles et hors distribution.
• Sensibilité du Solveur : Le choix du solveur (H vs R) affecte la corrélation entre l'erreur de profondeur et la précision de la pose. La variante R, qui repose fortement sur l'erreur de reprojection, fournit un test plus strict de la qualité de la profondeur, tandis que la variante H offre des insights pratiques sur les performances du système.

Importance et Revendications

L'article revendique que Depth2Pose offre un changement nécessaire passant de l'évaluation de la profondeur comme une tâche de reconstruction isolée à son évaluation en tant que composant de systèmes de raisonnement géométrique. En démontrant que les benchmarks standards échouent à prédire les performances sur des scènes réelles difficiles (D2P), les auteurs soutiennent que la communauté a besoin de protocoles d'évaluation pilotés par la tâche.

Les auteurs déclarent modestement que leur cadre ne remplace pas les métriques de profondeur standards mais les complète. Ils reconnaissent des limites, notant que le cadre n'est applicable que là où des poses de caméra précises peuvent être récupérées (par exemple, via SfM) et qu'il ne peut pas distinguer entre une profondeur précise dans des régions appariées versus des régions non appariées (par exemple, miroirs). De plus, ils notent que l'estimation de pose relative est plus sensible aux erreurs de profondeur que des pipelines complexes comme SLAM, qui peuvent tolérer des erreurs plus élevées grâce à la redondance. En définitive, ce travail vise à encourager le développement de MDE robustes et utiles pour les tâches géométriques en aval dans des environnements réels diversifiés.