Résumé Technique : Désambiguïsation des Correspondances 2D-3D dans les Champs de Caractéristiques Basés sur le Gaussian Splatting pour la Localisation Visuelle

1. Énoncé du Problème

Bien que les Champs de Caractéristiques basés sur le Gaussian Splatting (GSFF) aient démontré un potentiel pour la localisation visuelle, les auteurs identifient un désaccord structurel fondamental entre les GSFF optimisés photométriquement et les exigences des algorithmes Perspective-n-Points (PnP) utilisés pour l'estimation de pose.

Deux problèmes principaux entravent l'application directe des GSFF standards à l'appariement 2D-3D :

1. Ambiguïté Volumétrique (Mappages Plusieurs-à-Un) : Chaque Gaussienne 3D dans un GSFF standard couvre une région volumétrique. Lorsqu'on approxime une Gaussienne comme un unique point 3D (par exemple, son centre) pour l'entrée PnP, plusieurs pixels 2D d'une image requête peuvent être mappés vers ce point unique. Cette correspondance « plusieurs-à-un » introduit une incohérence géométrique et accumule des erreurs de reprojection, déstabilisant la convergence PnP et conduisant à des estimations de pose sous-optimales.
2. Redondance et Manque de Cohérence Multi-vue : L'optimisation photométrique engendre souvent de nombreuses Gaussiennes redondantes pour capturer des effets dépendants de la vue. Ces Gaussiennes manquent de cohérence multi-vue, les rendant inefficaces pour l'appariement 2D-3D sous de nouvelles vues. De plus, les méthodes existantes comme STDLoc nécessitent des heures d'optimisation par scène et une détection côté requête ou un raffinement dense 2D-2D supplémentaire pour atteindre une haute précision, limitant ainsi leur praticité.

2. Méthodologie

L'article propose SplitGS-Loc, un cadre conçu pour construire des GSFF spécialisés pour la localisation sans entraînement par scène ni raffinement itératif de la pose. La méthodologie se compose de deux composants principaux : PlugGS-Loc (pour le relevé et l'échantillonnage des caractéristiques) et SplitGS-Loc (pour la désambiguïsation des correspondances).

2.1 PlugGS-Loc : Relevé et Échantillonnage des Caractéristiques

Ce module traite le problème des Gaussiennes redondantes et du flou des caractéristiques en exploitant les poids de composition dérivés du processus de rasterisation.

• Agrégation des Poids : Au lieu de stocker toutes les Gaussiennes contribuant à un pixel, la méthode identifie les Gaussiennes principalement rasterisées vers un pixel basé sur un seuil de poids de composition ($\tau$). Elle agrège le poids de contribution maximal ($\tilde{w}$) pour chaque Gaussienne sur toutes les vues d'entraînement afin de former un ensemble de poids informatif ($W_n$).
• Échantillonnage des Gaussiennes : Pour élaguer les Gaussiennes superflues, la scène est divisée en régions locales. Au sein de chaque région, les Gaussiennes sont notées en fonction de leurs poids agrégés ($\psi(g_n)$), qui reflètent leur importance à travers plusieurs vues. Seule la Gaussienne ayant la note la plus élevée par région est conservée, assurant une carte compacte de Gaussiennes cohérentes multi-vue.
• Enregistrement des Caractéristiques : Au lieu d'optimiser les caractéristiques via une perte de rendu (ce qui cause un flou), les caractéristiques sont relevées directement. Pour chaque Gaussienne sélectionnée, un vecteur de caractéristique distinctif est calculé comme une somme pondérée des caractéristiques au niveau des pixels provenant des vues d'entraînement, où les poids sont dérivés des fortes associations pixel-Gaussienne identifiées à l'étape précédente. Cela impose une cohérence multi-vue et empêche le flou des caractéristiques.

2.2 SplitGS-Loc : Désambiguïsation des Correspondances

Ce module traite le désaccord structurel entre les Gaussiennes volumétriques et le PnP basé sur des points.

• Division par Mélange de Gaussiennes : L'innovation centrale consiste à décomposer chaque Gaussienne 3D le long de son axe majeur (la direction de la plus grande ambiguïté). Une seule Gaussienne est divisée en trois composantes : une composante centrale et deux composantes latérales positionnées symétriquement le long de l'axe majeur.
• Appariement des Moments : Les paramètres de division sont dérivés en faisant correspondre les quatre premiers moments de la distribution originale à la distribution de mélange. Cela garantit que les composantes divisées représentent collectivement le volume original tout en étendant l'étendue spatiale le long de l'axe majeur.
• Intégration : La stratégie de division est intégrée avec PlugGS-Loc. Pendant la phase d'échantillonnage, les Gaussiennes enfants sont temporairement agrégées pour noter leur parent, assurant que la couverture spatiale est maintenue. Cependant, lors de l'enregistrement des caractéristiques, chaque Gaussienne enfant est appariée à une caractéristique de pixel distincte. Cela transforme le mappage « plusieurs-à-un » en des correspondances précises « un-à-un », car chaque Gaussienne divisée représente désormais une région plus fine avec une caractéristique unique.

3. Contributions Clés

• Identification du Désaccord Structurel : L'article met en évidence que les GSFF optimisés photométriquement sont intrinsèquement inadaptés à l'appariement direct 2D-3D en raison de l'ambiguïté volumétrique et des Gaussiennes redondantes.
• Cadre SplitGS-Loc : Un cadre de construction novateur qui désambiguïse les correspondances 2D-3D sans entraînement par scène. Il combine :
  • Division basée sur le Mélange de Gaussiennes : Une décomposition déterministe, indépendante des caractéristiques, qui remplace les mappages ambigus plusieurs-à-un par des correspondances précises un-à-un.
  • Relevé de Caractéristiques basé sur les Poids de Composition : Un pipeline qui sélectionne des Gaussiennes saillantes et cohérentes multi-vue et leur attribue des caractéristiques discriminatives via de fortes associations pixel-Gaussienne.
• Efficacité et Performance : La méthode atteint des performances de pointe sur des benchmarks de localisation (Cambridge Landmarks et 7Scenes) avec un temps de cartographie d'environ 7 minutes (incluant l'entraînement initial 3DGS) et sans nécessiter de raffinement itératif de la pose.

4. Résultats Expérimentaux

Les auteurs évaluent leur méthode sur les ensembles de données Cambridge Landmarks (extérieur) et 7Scenes (intérieur), en comparaison avec des méthodes classiques, des régressions basées sur l'apprentissage profond (SCR, APR), des méthodes basées sur NeRF et d'autres approches basées sur GS.

• Précision : SplitGS-Loc atteint les erreurs médianes de translation et de rotation les plus faibles parmi les méthodes sans entraînement. Par exemple, sur l'ensemble de données Cambridge Landmarks, il atteint une erreur moyenne de 8,7 cm / 0,15°, surpassant STDLoc (11,1 cm / 0,19°) et d'autres méthodes basées sur GSFF.
• Stabilité : L'analyse de la convergence PnP montre que SplitGS-Loc réduit considérablement le nombre d'entrées « plusieurs-à-un » (de 313 à 199 dans un cas de test) et augmente le nombre d'inliers valides. Cela conduit à une convergence stable et à une robustesse même lors de l'utilisation de paramètres RANSAC efficaces (moins d'itérations), où d'autres méthodes subissent des baisses de précision.
• Évolutivité : Contrairement aux méthodes où les performances saturent avec l'augmentation de la taille de la carte, SplitGS-Loc montre des améliorations continues de la précision à mesure que la taille de la carte augmente, validant l'efficacité de la stratégie de division pour fournir des détails plus fins.
• Études d'Ablation : Les expériences confirment que :
  • Le seuil de poids ($\tau$) équilibre le flou des caractéristiques et la couverture spatiale.
  • Le facteur de division ($\beta$) améliore monotonement la précision dans des limites réalisables en augmentant la séparation des Gaussiennes enfants.
  • Le remplacement des attributs gaussiens (poids de composition, division volumétrique) par des alternatives purement géométriques dégrade considérablement les performances, soulignant l'importance d'exploiter les attributs GS.

5. Importance et Revendications

L'article revendique de reconfigurer les GSFF de cartes 3D exhaustives à des cartes « déployables », restaurant l'équilibre entre performance et praticité. L'importance principale réside dans :

• Élimination de l'Entraînement par Scène : Le cadre construit le champ de caractéristiques directement à partir d'un 3DGS RGB pré-entraîné et de vues d'entraînement en quelques minutes, éliminant le besoin de l'optimisation multi-étapes longue de plusieurs heures requise par les méthodes GSFF précédentes.
• Appariement Direct 2D-3D : En résolvant l'ambiguïté plusieurs-à-un, la méthode permet une estimation de pose stable basée sur PnP sans dépendre de la détection côté requête ou d'un raffinement dense 2D-2D.
• Praticité : L'approche offre une solution rationalisée pour la localisation visuelle réelle, plus petite, plus rapide et plus précise que les pipelines précédents, rendant les représentations basées sur GS viables pour des applications nécessitant un déploiement rapide.

Les auteurs notent modestement que le cadre dépend de la qualité des Gaussiennes optimisées photométriquement originales ; ainsi, les scènes avec des changements d'éclairage sévères ou des trajectoires espacées où le GS échoue à converger restent un défi. Cependant, ils positionnent leur travail comme une étape significative vers la mise en pratique des représentations de scènes neuronales pour une localisation visuelle efficace et précise.