Résumé Technique : Odométrie Visuelle Feed-Forward Basée sur des Images Clés

Énoncé du Problème

L'émergence de modèles de fondation visuels (par exemple, DUSt3R, VGGT) a révolutionné l'odométrie visuelle (VO) et le SLAM en permettant l'estimation de pose et la reconstruction dense au sein d'un seul réseau feed-forward, éliminant ainsi le besoin de contraintes géométriques explicites ou de réglages de paramètres extensifs. Cependant, les approches actuelles basées sur des modèles de fondation, telles que VGGT-Long, traitent généralement les séquences d'images brutes de manière indiscriminée. Ce traitement « aveugle » entraîne deux problèmes primaires :

1. Redondance Computationnelle : Le traitement de chaque image consomme des ressources mémoires et de calcul significatives, entravant le déploiement en conditions réelles.
2. Dégradation des Performances : L'inclusion d'images présentant une faible parallaxe inter-images fournit des informations stéréoscopiques contextuelles limitées, ce qui peut dégrader la précision de l'estimation locale.

Bien que les pipelines de VO traditionnels utilisent des méthodes d'images clés (keyframes) pour filtrer les entrées et améliorer l'efficacité, l'intégration de ces heuristiques dans les modèles de fondation est non triviale. Les méthodes traditionnelles reposent sur des métriques géométriques explicites (par exemple, la distance de base, la parallaxe), tandis que les modèles de fondation opèrent comme des « boîtes noires » avec des représentations latentes complexes et de haute dimension. Concevoir une sélection d'images clés basée sur des règles qui s'aligne avec la mécanique interne de ces modèles, sans connaissance explicite de leurs espaces latents, reste un défi majeur.

Méthodologie

Les auteurs proposent une méthode de VO Feed-Forward Basée sur des Images Clés qui exploite le modèle de fondation visuel de pointe VGGT comme colonne vertébrale, augmenté par un agent d'Apprentissage par Renforcement (RL) pour une sélection adaptative des images clés.

Architecture Centrale

• Colonne Vertébrale (Backbone) : Le système utilise VGGT, qui traite un ensemble non ordonné d'images RGB monoculaires non calibrées. Il extrait des jetons (tokens) de caractéristiques visuelles (utilisant DINOv2), les traite à travers des couches d'auto-attention et de cross-attention, puis les décode en poses de caméra, cartes de profondeur et nuages de points.
• Mécanisme de Fenêtre Glissante : Au lieu de traiter l'ensemble de la séquence d'un coup, la méthode maintient une fenêtre glissante de taille fixe (taille 8). La première image de la fenêtre sert d'« ancre » avec une pose globale connue. Toutes les images de la fenêtre sont transmises à VGGT pour calculer les poses relatives par rapport à l'ancre, qui sont ensuite transformées en poses globales.
• Agent d'Images Clés basé sur le RL :
  • Observation ($O_t$) : L'agent observe les jetons CLS moyennés (représentations sémantiques globales) extraits de l'encodeur ViT pour toutes les images actuellement présentes dans la fenêtre, combinés aux changements de pose relative de chaque image. Cette conception aligne l'entrée de l'agent avec l'état interne du modèle de fondation tout en maintenant l'efficacité computationnelle.
  • Action ($A_t$) : L'agent décide de conserver ou de rejeter la nouvelle image d'entrée en tant qu'image clé.
    • Si conservée : La fenêtre glisse ; l'ancre actuelle est supprimée et la deuxième image devient la nouvelle ancre.
    • Si rejetée : L'image est supprimée, mais son changement de pose relative par rapport à la dernière image clé est préservé.
  • Fonction de Récompense ($R$) : La récompense est calculée sur la base de l'erreur d'alignement entre la trajectoire estimée et la vérité terrain (en utilisant l'algorithme d'Umeyama). La fonction de récompense inclut un terme pour l'erreur de translation ($e_{tran}$) et un petit terme de compensation ($\alpha_{keyframe}$) pour éviter l'effondrement de l'action (par exemple, si l'agent sélectionne toujours ou ne sélectionne jamais de images).
  • Entraînement : L'agent est entraîné à l'aide de l'algorithme d'Optimisation de Politique Proximale (PPO) sur le jeu de données synthétique TartanAir. L'entraînement intègre l'augmentation de données (variations de luminosité, contraste, saturation) et la suppression aléatoire de trames pour renforcer la robustesse. Un « critique privilégié » est utilisé pendant l'entraînement, lequel a accès aux poses de vérité terrain pour distinguer les erreurs de l'agent de la difficulté intrinsèque de la séquence.

Contributions Clés

1. Politique d'Images Clés Pilotée par les Données : L'article introduit une approche novatrice pour la sélection d'images clés pour les modèles de fondation. Au lieu de s'appuyer sur des heuristiques géométriques artisanales, la méthode emploie l'apprentissage par renforcement pour dériver une politique adaptative qui s'aligne avec les caractéristiques intrinsèques du modèle de fondation sous-jacent (VGGT).
2. Intégration dans les Modèles de Vision 3D de Fondation : Ce travail intègre avec succès un mécanisme de sélection d'images clés adaptatif dans des modèles tels que VGGT. En alignant la sélection des images d'entrée avec les caractéristiques de la représentation latente du modèle, l'approche améliore significativement les performances de localisation sans modifier l'architecture centrale du modèle de fondation.
3. Généralisation : La méthode proposée démontre de fortes capacités de généralisation, atteignant des améliorations de performance constantes sur divers jeux de données du monde réel (EuRoC, TUM-RGBD, KITTI) malgré un entraînement exclusif sur des données synthétiques.

Résultats Expérimentaux

La méthode a été évaluée par rapport aux méthodes de VO feed-forward de pointe, notamment VGGT-Long, VGGT-SLAM, FastVGGT, StreamVGGT et InfiniteVGGT.

• Performance : La méthode proposée a obtenu les meilleurs résultats ou des résultats compétitifs sur la majorité des séquences des jeux de données EuRoC, TUM-RGBD et KITTI. Elle a systématiquement surpassé les autres méthodes feed-forward qui manquent de filtrage d'images clés ou qui reposent sur des heuristiques simples.
• Comparaison avec les Heuristiques : Des études d'ablation ont comparé la politique basée sur le RL à une fenêtre glissante standard (VGGT-SW) et à une méthode d'images clés basée sur le flux optique de Lucas-Kanade (VGGT-LK). L'approche basée sur le RL a produit une erreur de trajectoire moyenne (ATE) plus faible sur tous les jeux de données, suggérant que les heuristiques conventionnelles pilotées par la géométrie ne s'alignent pas bien avec les propriétés intrinsèques des modèles de fondation visuels.
• Efficacité : L'agent de RL introduit un surcoût computationnel négligeable (environ 0,74 ms par décision) par rapport au temps de traitement total, tout en réduant considérablement le nombre d'images traitées par le lourd modèle de fondation.
• Robustesse : La méthode a maintenu des performances stables aussi bien dans des environnements intérieurs avec des structures géométriques marquées que dans des scènes extérieures à grande échelle avec une géométrie complexe, là où les méthodes reposant sur un post-traitement explicite se dégradent souvent.

Signification et Revendications

L'article affirme que la préservation efficace du contexte temporel actuel et à court terme est critique pour les cadres de VO feed-forward, et que la performance n'est pas uniquement limitée par un manque de mémoire à long terme. En maintenant explicitement les images clés grâce à une politique pilotée par les données, la méthode améliore l'exactitude globale de l'estimation et la robustesse.

Les auteurs soulignent que leur approche comble le fossé entre les heuristiques géométriques traditionnelles et les modèles de fondation modernes. Ils postulent que ce travail met en évidence l'importance de la maintenance de la mémoire par images clés pour la VO feed-forward et offre une direction prometteuse pour le développement de systèmes d'odométrie visuelle plus robustes et évolutifs. L'article conclut en notant que les travaux futurs étudieront les mécanismes de maintien de la mémoire à long terme (fermeture de boucle ou loop closing) pour étendre ce cadre vers un système de SLAM entièrement feed-forward.