FVO: Fast Visual Odometry with Transformers

Résumé Technique : Odométrie Visuelle Rapide avec des Transformers (FVO)

Énoncé du Problème
L'odométrie visuelle (VO) vise à estimer la trajectoire d'une caméra à partir de séquences vidéo. Bien que les pipelines hybrides combinant l'apprentissage profond à l'optimisation classique (par exemple, l'ajustement de faisceaux) aient atteint une grande précision, ils souffrent de limitations significatives. Ces méthodes reposent souvent sur des backbones 3D pré-entraînés massifs, figés et ambigus en échelle, héritant ainsi de l'incapacité à estimer l'échelle absolue. De plus, la dépendance à des étapes de post-traitement telles que l'ajustement de faisceaux et la mise en correspondance de caractéristiques crée des goulots d'étranglement dans la vitesse d'inférence et nécessite des paramètres de calibration de caméra connus, souvent indisponibles dans les déploiements réels. Les approches purement bout-en-bout, bien que plus rapides, ont historiquement pris du retard en termes de précision et de robustesse. Le défi réside dans le développement d'un système de VO monoculaire qui soit rapide, évolutif, ne nécessite ni les paramètres internes de la caméra ni une optimisation au moment du test, et puisse estimer avec précision l'échelle métrique sans post-traitement lourd.

Méthodologie
Les auteurs proposent Fast Visual Odometry (FVO), un cadre de régression directe de la pose relative qui remplace le post-traitement traditionnel par une architecture basée sur les transformers.

• Architecture : Le cœur de FVO est un modèle transformer conçu pour une prédiction structurée bout-en-bout. Il utilise un encodeur d'images pré-entraîné et figé (basé sur l'architecture CroCo au sein du cadre DUSt3R) pour extraire des caractéristiques visuelles des images d'entrée. Ces caractéristiques sont traitées par un décodeur espace-temps composé de $L$ blocs répétés.
  • Attention Espace-Temps : Le décodeur emploie un mécanisme d'attention factorisée. D'abord, l'attention temporelle agrège les informations à travers les images pour le même emplacement spatial. Par la suite, l'attention spatiale permet la communication entre différents emplacements spatiaux au sein d'une image.
  • Embeddings de Caméra : Des embeddings de caméra apprenables sont introduits pour agréger des informations spécifiquement pour l'estimation de la pose. Crucialement, ces embeddings sont intégrés uniquement au sein des couches d'attention spatiale, car leur injection dans l'attention temporelle s'est avérée dégrader les performances.
• Régression de la Pose Relative : Le modèle prédit directement les transformations relatives de la caméra ($SE(3)$) entre images consécutives. La sortie comprend une matrice de rotation, un vecteur de translation et des scalaires de confiance pour les deux.
  • Gestion de la Rotation : Pour garantir des rotations valides, la matrice de rotation prédite brute est projetée sur la variété $SO(3)$ en utilisant le problème de Procrustes orthogonal spécial.
  • Apprentissage Sensible à l'Incertitude : Au lieu d'utiliser des étiquettes de confiance par pixel, FVO emploie une formulation d'incertitude hétéroscédastique. Le réseau apprend à prédire des scores de confiance ($c_R, c_t$) pour la rotation et la translation de manière auto-supervisée. La fonction de perte pénalise les prédictions peu précises mais trop confiantes et réduit le poids des résidus incertains, permettant au modèle d'apprendre la confiance sans étiquettes explicites.
• Module d'Inférence : Pour résoudre le problème de l'accumulation d'erreurs dans la VO monoculaire, FVO utilise un schéma de fenêtres chevauchantes. La vidéo d'entrée est décomposée en fenêtres chevauchantes, et le modèle prédit les poses relatives pour chacune. Un module d'inférence sensible à la confiance agrège ces prédictions chevauchantes. Les prédictions sont pondérées par leurs scores de confiance appris (convertis en poids via une normalisation softmax) et moyennées. Les rotations sont moyennées en utilisant la moyenne de Fréchet pondérée sur $SO(3)$, tandis que les translations sont moyennées linéairement. Ce processus atténue l'impact des valeurs aberrantes et produit une trajectoire lisse et globalement cohérente sans optimisation globale.

Contributions Clés

1. Pipeline FVO : Un pipeline efficace et bout-en-bout pour l'odométrie visuelle monoculaire qui atteint des performances compétitives sur plusieurs benchmarks tout en opérant près de $2\times$ plus vite que les meilleures références.
2. Régression Directe Basée sur les Transformers : Une architecture de réseau novatrice qui prédit directement les poses relatives de la caméra et les estimations de confiance à partir de séquences d'images. La confiance est apprise de manière auto-supervisée, ne nécessitant que des annotations de pose.
3. Inférence Sensible à la Confiance : Un module robuste de récupération de trajectoire qui agrège les prédictions de pose chevauchantes en utilisant des poids de confiance appris, atténuant efficacement les prédictions erronées sans nécessiter d'ajustement de faisceaux ni de calibration de caméra.

Résultats Expérimentaux
La méthode a été évaluée sur divers ensembles de données intérieurs et extérieurs, notamment ARKitScenes, ScanNet, KITTI et TUM_RGBD (zéro-shot).

• Précision : FVO atteint des performances de pointe ou compétitives en erreur de translation absolue (ATE), à la fois alignée et non alignée. Notamment, il surpasse les modèles 3D à grande échelle (comme VGGT et CUT3R) et les méthodes basées sur l'optimisation (comme DPVO) dans les métriques non alignées, démontrant des capacités supérieures d'estimation de l'échelle.
• Vitesse : Sur du matériel grand public (NVIDIA RTX 3090), FVO atteint un temps d'exécution presque $2\times$ plus rapide que les références existantes. Cette efficacité est attribuée à l'absence d'étapes de post-traitement coûteuses et à l'architecture transformer rationalisée.
• Mise à l'échelle : Les études d'ablation confirment que le modèle s'adapte de manière robuste avec l'augmentation des données d'entraînement (par exemple, l'ajout d'ARKitScenes à ScanNet) et l'augmentation de la capacité du modèle (plus de couches de décodeur).
• Choix de Conception : Les expériences valident que le mécanisme d'attention espace-temps spécifique avec des jetons de caméra dans les couches spatiales, la projection $SO(3)$ pour les rotations et la perte d'incertitude hétéroscédastique sont critiques pour la performance.

Signification et Revendications
L'article revendique que FVO représente une avancée significative en démontrant que des architectures rationalisées et bout-en-bout, lorsqu'elles sont couplées à des données suffisantes, peuvent remplacer des pipelines hybrides complexes. En éliminant le besoin d'optimisation au moment du test, de paramètres internes de caméra et de composants conçus à la main, FVO permet un déploiement en temps réel et à grande échelle dans des scénarios où les méthodes traditionnelles échouent ou sont trop lentes. Les auteurs soulignent que leur approche exploite avec succès des données diversifiées pour résoudre l'ambiguïté d'échelle monoculaire directement à partir d'indices visuels, offrant une voie robuste pour l'odométrie visuelle en temps réel dans des applications pratiques telles que la conduite autonome et la robotique. Cependant, ils notent modestement que le modèle est principalement entraîné dans des environnements statiques et pourrait rencontrer des limitations dans des contextes hautement dynamiques, suggérant un travail futur sur la curation des données et la mise à l'échelle du modèle.