Résumé Technique : Angle-I2P

Énoncé du Problème

L'enregistrement Image-to-Point Cloud (I2P) est une tâche fondamentale en robotique, permettant des applications telles que la manipulation, la préhension et la localisation. L'objectif principal est de calculer une transformation d'alignement $T \in SE(3)$ entre une image et un nuage de points. Bien que les méthodes d'apprentissage profond existantes aient obtenu des résultats prometteurs en alignant des caractéristiques dans un espace de représentation appris, elles font face à des défis significatifs lorsque l'ensemble initial de correspondances contient un faible ratio d'inliers.

Dans des scénarios avec des données d'entraînement limitées ou un bruit important dans le nuage de points, les méthodes classiques Perspective-n-Points (PnP) échouent souvent à produire des résultats précis en raison de la prévalence de correspondances incorrectes entre pixels et points. Les approches existantes de rejet des outliers, telles que les classificateurs linéaires (par exemple GoMatch) ou les méthodes basées sur les graphes (par exemple GraphI2P), peinent à filtrer efficacement ces correspondances erronées. Plus spécifiquement, les méthodes s'appuyant sur l'estimation de profondeur monoculaire pour combler l'écart de modalité souffrent d'une ambiguïté d'échelle inhérente, ce qui compromet la performance des contraintes de cohérence spatiale traditionnelles utilisées pour distinguer les inliers des outliers.

Méthodologie

Les auteurs proposent Angle-I2P, un réseau de rejet d'outliers conçu pour exploiter des contraintes géométriques cohérentes en angle et un mécanisme d'attention hiérarchique. Le pipeline se compose de trois étapes principales :

1. Génération de Nuage de Points Estimé et Alignement d'Échelle

Pour combler l'écart de modalité entre les images et les nuages de points, la méthode convertit l'image d'entrée en un nuage de points à l'aide d'un estimateur de profondeur monoculaire pré-entraîné (Depth Anything V2).

• Rétroprojection : L'image est rétroprojetée dans l'espace 3D en utilisant les paramètres intrinsèques de la caméra.
• Estimation d'Échelle : Reconnaissant que l'estimation de profondeur monoculaire introduit une ambiguïté d'échelle ($s$) et un biais ($t$), le réseau estime un facteur d'échelle global moyen ($s_{est}$) en comparant les distances des points par rapport à leurs centroids respectifs dans le nuage de points estimé versus le nuage de points cible.
• Redimensionnement : Le nuage de points estimé est redimensionné pour s'aligner globalement avec le nuage de points cible, atténuant ainsi l'impact des erreurs d'échelle sur les calculs géométriques ultérieurs.

2. Cohérence Spatiale Basée sur l'Angle

Les contraintes de cohérence spatiale traditionnelles basées sur les distances euclidiennes sont sensibles aux erreurs d'échelle. Angle-I2P introduit une contrainte géométrique invariante à l'échelle basée sur la cohérence angulaire :

• Translation du Centroid : Les points sont traduits dans un système de coordonnées centré sur leurs centroids respectifs pour éliminer les degrés de liberté de translation.
• Métrique Angulaire : Pour toute paire de points correspondants, la méthode calcule le cosinus de l'angle entre les vecteurs partant du centroid vers les points.
• Invariance d'Échelle : Les auteurs démontrent que le cosinus de l'angle entre ces vecteurs est indépendant du facteur d'échelle $s$. Cela permet au réseau de calculer la cohérence spatiale ($\theta_{ij}$) en utilisant le nuage de points estimé sans être compromis par des erreurs d'échelle. Si la différence angulaire entre les nuages de points estimé et cible est faible, la paire est probablement un inlier ; sinon, c'est un outlier.

3. Attention Hiérarchique Consciente de la Cohérence Angulaire

Pour filtrer efficacement les outliers, le réseau emploie un mécanisme d'Attention Hiérarchique du Global vers le Local :

• Construction de Graphes : Deux graphes sont construits : un graphe local ($G_L$) basé sur les $k$ plus proches voisins et un graphe global ($G_G$) basé sur les points clés ayant les scores les plus élevés, représentant la géométrie globale de la scène.
• Intégration des Caractéristiques : Le réseau utilise des mécanismes d'auto-attention et de croisée-attention pour affiner les caractéristiques. Les scores de cohérence spatiale globale et locale (dérivés de la métrique basée sur l'angle) sont utilisés pour répondérer les scores d'attention.
• Classification : Les caractéristiques affinées, qui intègrent à la fois le contexte géométrique global et local, sont transmises à un Perceptron Multicouche (MLP) pour générer des scores de confiance pour la classification inlier/outlier.

Contributions Clés

1. Contrainte Géométrique Invariante à l'Échelle : L'article propose une nouvelle méthode pour calculer la cohérence spatiale en utilisant des métriques angulaires plutôt que des distances euclidiennes. Cela adresse explicitement l'ambiguïté d'échelle inhérente à l'estimation de profondeur monoculaire, fournissant une contrainte géométrique robuste pour les transformations rigides.
2. Mécanisme d'Attention Hiérarchique : Les auteurs conçoivent un module d'Attention Hiérarchique Consciente de la Cohérence Angulaire qui intègre les informations géométriques globales et locales. Cela permet au modèle de filtrer les correspondances géométriquement incohérentes plus efficacement que les méthodes s'appuyant uniquement sur le contexte local.
3. Cadre de Rejet d'Outliers End-to-End : Angle-I2P fournit un pipeline complet pour le rejet d'outliers I2P qui transforme le problème dans l'espace 3D, aligne les échelles et applique des contraintes géométriques pour améliorer le Ratio d'Inliers (IR) et le Rappel d'Enregistrement (RR).

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks : 7Scenes, RGBD Scenes V2 et un jeu de données auto-collecté.

• 7Scenes : Angle-I2P a atteint un Ratio d'Inliers (IR) à la pointe de l'état de l'art de 49,5 %, surpassant la deuxième meilleure méthode (GraphI2P) de 4,2 %. Il a également atteint un Rappel d'Enregistrement (RR) de 78,5 %, dépassant GoMatch de 2,3 %.
• RGBD Scenes V2 : Dans l'évaluation inter-scènes, la méthode a amélioré l'IR de 5,9 % et le RR de 0,9 % par rapport à la deuxième meilleure base de référence (GraphI2P).
• Jeu de Données Auto-Collecté : Démontrant un potentiel pratique, la méthode a atteint un IR de 16,8 % et un RR de 47,8 %, surpassant GraphI2P de 6,6 % en RR.

Des Études d'Ablation ont confirmé la nécessité de chaque composant :

• Le retrait de l'alignement d'échelle a entraîné une baisse de l'IR et du RR.
• Le remplacement de la cohérence basée sur l'angle par une cohérence basée sur la distance a dégradé les performances, soulignant l'importance de l'invariance d'échelle.
• Le retrait de la croisée-attention du global vers le local ou du mécanisme de répondération a considérablement réduit la capacité du modèle à distinguer les inliers, en particulier dans les scénarios rigides où le contexte global est crucial.

Signification et Revendications

L'article revendique qu'Angle-I2P offre un potentiel accru pour un déploiement pratique dans des scénarios réels où les correspondances initiales contiennent souvent un bruit et des outliers significatifs. En transformant le problème de correspondance dans l'espace 3D et en utilisant des contraintes cohérentes en angle, la méthode minimise efficacement l'écart de modalité et surmonte les limitations de l'ambiguïté d'échelle qui affectent les approches existantes basées sur la profondeur.

Les auteurs positionnent leur travail comme une solution au défi spécifique d'éliminer les correspondances incorrectes image-to-point cloud lorsque les ratios d'inliers sont faibles. Ils affirment que leur approche atteint des performances à la pointe de l'état de l'art sur divers benchmarks, démontrant une généralisation supérieure dans des configurations few-shot et inter-scènes. L'article conclut que ce cadre contribue aux avancées dans la suppression des correspondances erronées image-nuage de points, améliorant ainsi la robustesse des tâches robotiques en aval telles que la localisation et la manipulation.

Les auteurs reconnaissent modestement des limites, notant que l'analyse des erreurs d'échelle reste relativement grossière et que la stratégie de correspondance grossier-fin de l'extracteur de caractéristiques sous-jacent (2D3D-MATR) peut entraîner des correspondances regroupées, ce qui améliore l'IR mais peut ne pas toujours produire des gains proportionnels en RR. Ils identifient ces domaines comme des cibles pour de futures investigations.