Résumé Technique : G2G – Exploiter la géométrie intra-groupe pour l'estimation de pose inter-groupes

1. Définition du Problème

Le papier traite de l'estimation de pose Groupe-à-Groupe (G2G), une tâche primitive de la perception robotique impliquant la récupération de la transformation rigide relative à six degrés de liberté (6-DoF) entre deux groupes d'images distincts. Cette tâche sous-tend deux applications critiques :

1. Relocalisation visuelle inter-séquences : Aligner des segments de séquences monoculaires capturés lors de différents passages d'un même environnement (groupes temporels).
2. Odométrie de monture multi-caméras : Déterminer la pose relative entre des observations simultanées provenant d'une monture multi-caméras (groupes spatiaux).

Dans les deux scénarios, l'entrée consiste en deux groupes d'images ($G_A$ et $G_B$) où la géométrie intra-groupe (poses relatives au sein de chaque groupe) est connue mais potentiellement bruitée (dérivée de l'odométrie visuelle, du SLAM ou du calibrage). L'objectif est de récupérer la transformation inter-groupe inconnue. Les méthodes existantes échouent souvent dans ce contexte car elles traitent soit tous les ensembles de vues comme un ensemble non structuré (ignorant la géométrie intra-groupe connue), soit reposent sur un appariement par paires itératif qui est fragile face aux objets dynamiques, aux changements saisonniers et aux variations de scènes.

2. Méthodologie : L'architecture G2G

Les auteurs proposent G2G, une architecture de type « freeze-and-bridge » (figer et jeter un pont) qui exploite un modèle de fondation multi-vues pré-entraîné sans réentraîner ses poids principaux. Le système se compose d'un backbone figé et de trois modules légers et entraînables.

2.1 Backbone de Fondation Figé

La méthode adopte MapAnything [10] comme extracteur de caractéristiques par groupe. Ce backbone est entièrement figé (environ 539 millions de paramètres).

• Entrée : Pour chaque image, il reçoit l'image RGB, les extrinsèques de la caméra (décomposés en quaternion et translation), et les directions de rayons par pixel dérivées des intrinsèques.
• Fonction : Il fusionne la géométrie intra-groupe connue dans les caractéristiques visuelles, produisant des caractéristiques de patch enrichies par la géométrie ($F_g$) pour chaque groupe indépendamment. Cela permet au modèle de tirer parti de la tâche complexe consistant à ancrer les tokens visuels dans la géométrie de la caméra, ce que le modèle de fondation a déjà appris.

2.2 Modules Entraînables (Total ~32M Paramètres)

Trois modules sont ajoutés au-dessus du backbone figé pour relier les deux groupes :

1. Perceiver Resampler : Compresse les $P$ tokens de patch par image en un ensemble plus restreint de $L$ tokens latents ($Z_g$). Cela réduit la longueur de la séquence pour gérer le coût computationnel dans le pont suivant.
2. Cross-Group Bridge (Pont Inter-groupes) : Connecte les deux groupes via une auto-attention fusionnée (merged self-attention).
   • Il concatène les tokens latents des deux groupes.
   • Il augmente les tokens avec trois plongements (embeddings) apprenables :
     • Frame Embedding (Plongement de trame) : Encode la position d'une trame au sein de son groupe (sémantique partagée pour les groupes temporels et spatiaux).
     • Group Embedding (Plongement de groupe) : Distingue les tokens appartenant au Groupe A du Groupe B.
     • Anchor Embedding (Plongement d'ancre) : Marque la trame d'ancrage ($A_0$) comme référence globale.
   • Deux couches d'auto-attention affinent ces tokens, permettant l'échange inter-groupes et le partage de contexte intra-groupe de manière unifiée.
3. Multi-Frame Pose Head (Tête de pose multi-trames) : Prédit la pose de chaque trame cible par rapport à l'ancre partagée $A_0$ en une seule passe directe (forward pass).
   • Il utilise une couche de cross-attention partagée avec des requêtes de pose apprenables (rotation et translation).
   • Il décode les caractéristiques en une rotation continue à 6D et une translation à 3D, sortant l'ensemble complet des poses $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$.

2.3 Stratégie d'Entraînement

• Supervision : Le modèle est entraîné uniquement en utilisant les poses relatives comme signal de supervision. Les cartes de profondeur sont utilisées uniquement lors de la construction du jeu de données pour noter le chevauchement visuel et sélectionner les paires d'entraînement, et non comme signal de perte (loss).
• Apprentissage par Curriculum (Curriculum Learning) : Un programme en trois phases introduit progressivement des paires d'entraînement plus difficiles (faible chevauchement visuel) pour stabiliser la convergence.
• Augmentation de Bruit : Les extrinsèques d'entrée sont perturbés par un bruit SE(3) pendant l'entraînement pour améliorer la robustesse contre la dérive de l'odométrie et les erreurs de calibrage, apprenant ainsi au modèle à débruiter les entrées plutôt qu'à les copier.

3. Contributions Clés

1. Formulation Unifiée du Problème : Le papier présente la relocalisation inter-séquences et l'odométrie de monture multi-caméras comme une tâche G2G unique avec une interface entrée-sortie partagée, permettant à un seul modèle de servir diverses applications en aval.
2. Architecture Freeze-and-Bridge : En gardant le modèle de fondation figé et en n'ajoutant que ~32M de paramètres entraînables (moins de 6 % du modèle complet), la méthode permet un entraînement efficace en termes de données et préserve les capacités de généralisation du pré-entraînement à grande échelle.
3. Performance de l'État de l'Art : L'approche atteint une précision supérieure sur quatre jeux de données (HM3D, TartanGround, NCLT, ZJH) couvrant la simulation intérieur/extérieur, la capture réelle de changement de saison et le transfert zero-shot sim-to-real, surpassant les bases qui sont réentraînées avec leur supervision originale complète (incluant la profondeur dense).

4. Résultats Expérimentaux

Le papier évalue G2G par rapport aux pipelines classiques (LoMa), aux estimateurs de caractéristiques locales appris (CoViS-Net) et aux modèles multi-vues feed-forward (VGGT, Reloc3R, Rig3R, variantes de MapAnything).

• Relocalisation Inter-séquences : G2G obtient les meilleures erreurs de translation et de rotation non-oracle sur tous les jeux de données. Notamment, sur le jeu de données NCLT (changement de saison), G2G maintient une erreur de rotation de $2,47^\circ$ et une erreur de direction de translation (RTA) de $5,43^\circ$, alors que les bases comme VGGT et Reloc3R se dégradent considérablement (RTA > $40^\circ$) en raison de leur dépendance à la correspondance visuelle qui échoue lors des changements saisonniers.
• Odométrie de Monture Multi-Caméras : G2G surpasse les bases sensibles à la monture (Rig3R) et les modèles multi-vues. Sur le jeu de données TartanGround, Rig3R souffre de surapprentissage (erreur de rotation de $37,9^\circ$ sur les scènes non vues) car son décodeur entièrement entraînable manque d'une ancre figée pour préserver les priors géométriques pré-entraînés. G2G maintient une erreur de $1,63^\circ$.
• Transfert Sim-to-Real : Sur le jeu de données ZJH, un modèle entièrement entraîné sur des données simulées parvient à un transfert zero-shot vers des captures de robots humanoïdes réels, maintenant une haute précision ($1,206$ m de translation, $3,46^\circ$ de rotation) sans fine-tuning.
• Efficacité : G2G produit toutes les poses cibles en une seule passe directe (< 50 ms), tandis que les méthodes par paires nécessitent $N_A \times N_B$ inférences (par exemple, 25 passes pour des groupes de 5 trames), ce qui entraîne une latence nettement plus élevée.

5. Signification et Revendications

Le papier affirme que le principal goulot d'étranglement dans l'estimation de pose multi-vue actuelle est le manque de raisonnement inter-groupes respectant la géométrie intra-groupe connue.

• La Géométrie comme Prior : Les auteurs soutiennent que les modèles de fondation ont déjà appris à fusionner les intrinsèques et les extrinsèques au sein d'un groupe. La pièce manquante est la capacité de raisonner entre les groupes. En figeant le backbone, G2G préserve cette compréhension géométrique, tandis que les modules de pont légers fournissent la logique inter-groupes manquante.
• Robustesse aux Changements d'Apparence : La dépendance de la méthode à des caractéristiques conditionnées par la géométrie plutôt qu'à la pure correspondance visuelle la rend robuste aux changements saisonniers, aux variations de luminosité et aux objets dynamiques, là où les méthodes dépendant de la correspondance visuelle (comme VGGT ou Reloc3R) échouent.
• Efficacité des Données : La conception freeze-and-bridge permet au modèle de généraliser à de nouveaux domaines (sim-to-real) et de gérer de petits ensembles d'entraînement (TartanGround) sans surapprentissage, un mode de défaillance observé chez les bases entièrement entraînables comme Rig3R.

Le papier conclut que G2G fournit une solution unifiée, efficace et robuste pour l'estimation de pose inter-groupes, comblant efficacement l'écart entre les capacités des modèles de fondation et les tâches spécifiques de perception robotique.