Résumé technique : Initialisation efficace sans caractéristiques pour les systèmes visuo-inertiels monoculaires utilisant un modèle 3D feed-forward

Énoncé du problème

Les systèmes de navigation visuo-inertiels monoculaires (VINS) nécessitent une initialisation fiable et rapide pour retrouver la vitesse linéaire initiale, la direction de la gravité et l'échelle métrique, qui est non observable dans l'estimation de pose basée uniquement sur la vision. Les méthodes d'initialisation traditionnelles reposent fortement sur l'extraction de caractéristiques visuelles, le suivi et la mise en correspondance à travers les vues d'images. Ces approches rencontrent des limitations significatives dans des scénarios difficiles tels que les environnements sans texture, les mouvements rapides, le flou de mouvement et les trajectoires à faible parallaxe. Dans ces conditions, le suivi de caractéristiques échoue souvent, conduisant à des contraintes géométriques mal conditionnées, à une convergence retardée ou à un échec complet de l'initialisation. De plus, les méthodes existantes nécessitent généralement 3 à 4 secondes de données sensorielles pour s'initialiser, limitant leur applicabilité dans des applications réelles critiques en termes de temps, comme la RA sur appareil et la robotique agile.

Méthodologie

Les auteurs proposent un cadre d'initialisation sans caractéristiques qui remplace le suivi traditionnel des caractéristiques visuelles par des nuages de points 3D à l'échelle prédits directement à partir des images d'entrée par un modèle fondation 3D feed-forward (spécifiquement VGGT). Le pipeline se compose de deux étapes principales :

1. Intégration d'un modèle 3D feed-forward

Au lieu d'estimer les positions 3D des caractéristiques suivies, le système utilise un modèle feed-forward pré-entraîné pour prédire un nuage de points dense et à l'échelle $\{C_0 \bar{p}_{i,k}\}$ pour une séquence d'images. Le modèle produit des nuages de points exprimés dans un cadre de référence de caméra cohérent $\{C_0\}$. Pour assurer la faisabilité, les prédictions à faible confiance sont filtrées et un nombre fixe de points à haute confiance est échantillonné par image.

2. Système linéaire en forme close sans caractéristiques

L'innovation centrale réside dans une reformulation du problème d'initialisation où les positions des points 3D sont paramétrées par un unique facteur d'échelle global $s$ plutôt que par des coordonnées de caractéristiques individuelles.

• Réduction d'état : Le vecteur d'état est réduit de la présence de $M$ positions de caractéristiques (dimension $3M$) plus la vitesse et la gravité à un vecteur compact de 7 dimensions : $x = [s, \mathbf{v}_{I_0}, \mathbf{g}]^\top$.
• Formulation linéaire : En substituant le nuage de points paramétré par l'échelle dans le modèle de projection de la caméra et les équations de préintégration de l'IMU, les auteurs dérivent un système linéaire $\bar{A}x = \bar{b}$.
• Robustesse : RANSAC est intégré directement dans le solveur linéaire pour rejeter les valeurs aberrantes dans le nuage de points prédit, améliorant la robustesse face aux erreurs de prédiction.

3. Raffinement non linéaire (VI-BA)

Suite à la solution linéaire, deux variantes de l'ajustement de faisceau visuo-inertiel (VI-BA) sont proposées pour le raffinement :

• Contrainte d'échelle (SC) : Augmente l'optimisation traditionnelle basée sur les caractéristiques avec un paramètre d'échelle partagé. Cela conserve les correspondances de caractéristiques pour une plus grande précision mais maintient un espace d'état plus large.
• Sans caractéristiques (FF) : Élimine complètement les états de caractéristiques. Le résidu de reprojection est paramétré uniquement par le facteur d'échelle $s$ et les états de l'IMU. Cette formulation réduit la dimension de l'état à $O(1)$ pour la géométrie, améliorant significativement le conditionnement numérique et la vitesse de convergence.
• Adaptation locale de l'échelle : Pour gérer les erreurs de prédiction locales, le nuage de points est partitionné en une grille 2D (par exemple $3 \times 3$), attribuant des paramètres d'échelle indépendants à chaque région connectée par des contraintes de régularité.

Contributions clés

1. Première intégration de modèles 3D feed-forward : Ce travail est le premier à intégrer des modèles fondation 3D feed-forward dans l'initialisation des VINS monoculaires, dépassant les pipelines traditionnels basés sur les caractéristiques.
2. Formulation sans caractéristiques : Les auteurs dérivent un système linéaire en forme close qui élimine naturellement le besoin d'association de caractéristiques visuelles, estimant l'échelle métrique, la vitesse initiale et la gravité directement à partir de la géométrie prédite.
3. Double variante VI-BA : L'article formule deux stratégies de raffinement : une version sans caractéristiques hautement efficace et une version contrainte par l'échelle qui préserve les correspondances de caractéristiques pour la précision.
4. Validation empirique : Des expériences extensives sur des jeux de données publics (EuRoC, TUM-VI) et un jeu de données auto-collecté démontrent la supériorité de la méthode en termes de taux de réussite et d'efficacité des données.

Résultats expérimentaux

La méthode proposée a été évaluée par rapport à des références de l'état de l'art (Dong-Si, sqrtVINS, DRT et méthodes d'apprentissage de la profondeur) sur les jeux de données EuRoC et TUM-VI.

• Taux de réussite : La variante sans caractéristiques (FF) a atteint les taux de réussite les plus élevés, dépassant 90 % sur le jeu de données TUM-VI et 81,2 % sur EuRoC, surpassant significativement les références qui luttaient souvent dans des scénarios à faible parallaxe ou dégradés.
• Efficacité des données : La méthode a considérablement réduit la durée des données sensorielles requises pour une initialisation réussie. Le temps moyen jusqu'à une initialisation réussie ($T_{tot}$) a été réduit à environ 1,2 seconde, contre 2,5 à 3,3 secondes pour la plupart des références.
• Précision : Bien que la variante sans caractéristiques ait montré une erreur de trajectoire absolue (ATE) fenêtrée légèrement supérieure à la variante contrainte par l'échelle en raison de l'absence de contraintes de caractéristiques, elle a atteint le ATE de trajectoire le plus bas lors du suivi ultérieur, indiquant que la qualité de l'initialisation était suffisante pour un fonctionnement stable à long terme.
• Robustesse : Dans les jeux de données auto-collectés présentant des environnements visuellement dégradés (par exemple, faible texture, flou de mouvement), la méthode proposée a maintenu une initialisation fiable là où les références basées sur les caractéristiques divergeaient ou échouaient fréquemment.
• Études d'ablation : Les résultats ont confirmé que la méthode est agnostique au modèle feed-forward spécifique utilisé (testé avec VGGT, Depth Anything 3 et $\pi^3$), la performance évoluant directement avec la qualité de la prédiction géométrique sous-jacente.

Importance et affirmations

L'article affirme qu'en tirant parti des capacités de compréhension spatiale des modèles 3D feed-forward, le problème d'initialisation des VINS monoculaires peut être simplifié en une formulation concise et sans caractéristiques. Cette approche adresse la fragilité fondamentale du suivi de caractéristiques dans les environnements dégradés.

Les auteurs soulignent que leur méthode :

• Réduit substantiellement la complexité du système en éliminant le besoin d'extraction et de suivi de caractéristiques.
• Améliore la fiabilité, en particulier dans les scénarios où les méthodes existantes échouent (par exemple, murs sans texture, mouvements rapides).
• Permet un déploiement plus rapide en réduisant le temps d'initialisation à moins de 1,2 seconde, la rendant adaptée aux applications en temps réel comme la RA et la navigation d'urgence.

L'article reconnaît des limitations, notant que la performance dépend de la généralisation des modèles fondation 3D sous-jacents. Dans des scènes de ciel ouvert ou des environnements avec des indices géométriques extrêmement rares (par exemple, murs blancs vides), la géométrie prédite peut devenir peu fiable, conduisant à un échec de l'initialisation. Cependant, les auteurs postulent que, à mesure que les modèles fondation s'amélioreront, les performances d'initialisation évolueront naturellement avec eux, et que des travaux futurs pourraient explorer des pipelines VINS entièrement différentiables et feed-forward.