Résumé Technique : HorizonStream

Énoncé du Problème

La reconstruction 3D en ligne à partir de flux vidéo nécessite d'estimer la pose de la caméra et la géométrie de la scène dans le cadre de contraintes causales strictes et de mémoire bornée. Si les méthodes classiques reposent sur une optimisation itérative à faible débit, et que les méthodes récentes hors ligne de type feed-forward atteignent une haute précision en accédant aux images futures, les méthodes de flux strictement causales peinent avec les séquences longues.

Les architectures de flux existantes souffrent souvent de dérive, de tremblement ou d'effondrement à mesure que la longueur de la séquence augmente. Les auteurs identifient la cause racine comme un décalage fondamental entre la nature de la géométrie de flux et les conceptions architecturales actuelles :

• Hétérogénéité Temporelle : La géométrie de flux contient des preuves aux durées de vie radicalement différentes. Les correspondances locales 2D-3D sont éphémères et deviennent rapidement invalides, tandis que l'échelle globale et les structures de la scène sont persistantes et doivent rester fiables sur de longs horizons.
• Modèles d'Influence Pathologiques : Les méthodes actuelles imposent des règles de propagation uniformes à toutes les preuves.
  • Les fenêtres glissantes imposent des coupures nettes, éliminant prématurément des preuves passées utiles.
  • La récurrence non régulée conduit à des noyaux à queue lourde avec une accumulation d'erreurs non bornée.
  • L'attention softmax causale dégénère en « puits d'attention », se concentrant sur des tokens précoces non pertinents, tandis que les mécanismes de rafraîchissement du cache KV créent des discontinuités.
  • Ces noyaux pathologiques provoquent une saturation du cache et une dérive géométrique sévère à mesure que les séquences s'allongent.

Méthodologie : HorizonStream

Les auteurs proposent HorizonStream, un Transformer à long horizon qui factorise explicitement le noyau d'influence des preuves géométriques pour répondre à l'hétérogénéité temporelle de la géométrie de flux. Le cadre traite les $W$ images les plus récentes de manière causale tout en maintenant un état géométrique en $O(1)$ pour la structure et l'échelle inter-fenêtres.

1. Noyau d'Influence des Preuves Géométriques

Le processus de reconstruction est formalisé comme l'agrégation de preuves géométriques diverses via un noyau spatio-temporel $K(t, i)$, factorisé comme suit :
$$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$$
Cette factorisation mappe des composants de calcul spécifiques aux trois exigences fondamentales de la reconstruction de flux : sélectionner des correspondances locales fiables, assurer une propagation multi-échelles bornée, et préserver l'échelle métrique/la pose.

2. Attention Linéaire Géométrique (Facteur Temporal Longue Portée)

Pour modéliser $K_{time}$, les auteurs introduisent l'Attention Linéaire Géométrique, qui maintient un état géométrique récurrent borné $S_t \in \mathbb{R}^{d \times d}$.

• Estimation d'État à Remise en Compte : L'état est mis à jour via un objectif à remise en compte où l'influence des preuves passées décroît exponentiellement. Cela empêche l'accumulation non bornée d'informations obsolètes.
• Rétention par Canal : Au lieu d'un taux de rétention scalaire, le modèle apprend un vecteur de rétention par canal $\gamma_t \in (0, 1)^d$.
  • Les canaux à faible-$\gamma$ révisent rapidement les preuves transitoires (par exemple, les correspondances locales).
  • Les canaux à haut-$\gamma$ préservent les preuves à longue durée de vie (par exemple, la structure de la scène, l'échelle métrique).
  • Cela crée un spectre continu de durées de vie de mémoire effectives ($\tau = -1/\log \bar{\gamma}$), permettant une propagation stable à travers les fenêtres sans réinitialisations périodiques.

3. Attention Locale Géométrique (Facteur Spatial Courte Portée)

Pour modéliser $K_{spatial}$, les auteurs emploient l'Attention Locale Géométrique au sein de la fenêtre locale ($W$ images).

• Gating par Tête : Chaque tête d'attention se voit attribuer une porte de fiabilité pour filtrer les correspondances bruyantes et supprimer les puits d'attention.
• RoPE Spatio-Temporel : Les Embeddings de Position Rotatifs sont étendus à trois axes (temps, hauteur, largeur) pour encoder la disposition relative espace-temps 3D, assurant que l'attention dépend des décalages géométriques relatifs.

4. Tokens de Lecture Métrique (MRT)

Pour satisfaire les contraintes d'invariance métrique, des Tokens de Lecture Métrique sont introduits. Ces tokens participent à l'Attention Linéaire Géométrique et lisent directement l'échelle métrique depuis les canaux à haute rétention de l'état récurrent.

• Une tête d'échelle prédit un facteur d'échelle global $\hat{s}$ pour redimensionner la translation et la profondeur.
• La fusion de pose relative sur les tokens de pose dans la fenêtre locale estime une pose de consensus, évitant l'accumulation d'erreurs provenant de l'enchaînement séquentiel d'images clés.

5. Architecture et Entraînement

• Backbone : Un ViT-L initialisé à partir de VGGT et DINOv2, alternant des blocs d'images et des blocs globaux. Les couches d'Attention Linéaire Géométrique sont entrelacées à des profondeurs spécifiques (4, 11, 17, 23).
• Entraînement : Le modèle est entraîné sur des clips de 48 images utilisant une fenêtre causale. Il est supervisé par des pertes de pose, de profondeur et d'échelle.
• Boucle de Fermeture Optionnelle : Un module récupère les paires d'images revisitées pour estimer des corrections géométriques locales, optimisant la trajectoire globale via une optimisation de graphe de pose.

Contributions Clés

1. Formalisation de la Reconstruction de Flux : L'article unifie les échecs des séquences longues (dérive, tremblement, effondrement) en tant que formes de noyaux pathologiques (coupures nettes, discontinuités, puits d'attention) et propose le noyau d'influence des preuves géométriques comme cadre unificateur.
2. Architecture de Décomposition de Noyau Contrainte (HorizonStream) :
   • Attention Linéaire Géométrique : Fournit une propagation bornée et multi-échelles à travers les fenêtres via une rétention apprise par canal.
   • Attention Locale Géométrique : Permet un appariement 3D conscient du contenu au sein des fenêtres en utilisant un gating par tête et un RoPE Spatio-Temporel.
   • Tokens de Lecture Métrique : Préserve l'échelle métrique et la pose rigide en lisant depuis des sous-espaces à haute rétention.
3. Généralisation et Efficacité : Entraîné uniquement sur des clips de 48 images, HorizonStream se généralise de manière stable à des séquences dépassant 10 000 images avec une mémoire constante et une complexité linéaire en temps, surpassant les méthodes de flux existantes.

Résultats Expérimentaux

Des expériences extensives ont été menées sur plusieurs jeux de données (KITTI, VBR, Oxford Spires, ScanNet++, Waymo, etc.), évaluant à la fois l'estimation de trajectoire de caméra (ATE) et la reconstruction dense (CD, F1).

• Stabilité des Séquences Longues : Sur le jeu de données VBR (séquences jusqu'à 18 846 images), HorizonStream maintient des trajectoires stables avec un ATE moyen de 25,30 m (18,84 m avec boucle de fermeture), surpassant nettement les autres méthodes en ligne (par exemple, Lingbot-map à 27,53 m, LongStream à 77,93 m) qui souffrent de tremblements sévères ou d'effondrement.
• Performance KITTI : Sur les séquences KITTI (jusqu'à 4 661 images), HorizonStream atteint un ATE moyen de 19,75 m (16,44 m avec boucle de fermeture), s'approchant ou surpassant les méthodes hors ligne et les systèmes SLAM basés sur l'optimisation.
• Reconstruction Dense : HorizonStream atteint une qualité de reconstruction en ligne à l'état de l'art (CD le plus bas et F1 le plus élevé) sur les benchmarks ETH3D, Oxford Spires, 7Scenes et TUM RGB-D.
• Mémoire et Temps : Contrairement aux méthodes concurrentes qui présentent une croissance de mémoire super-linéaire ou nécessitent des réinitialisations périodiques de cache, HorizonStream maintient une mémoire GPU de pointe presque constante et s'étend de manière fluide jusqu'à 10K images.

Importance

L'article affirme que HorizonStream résout le décalage fondamental dans les architectures actuelles de reconstruction 3D de flux en modélisant explicitement l'hétérogénéité temporelle des preuves géométriques. En apprenant un spectre de rétention borné et multi-échelles plutôt que de s'appuyer sur des fenêtres fixes ou une récurrence non bornée, la méthode atteint une reconstruction stable et métriquement cohérente sur des séquences ultra-longues sans besoin de réinitialisations périodiques d'état ni d'accès aux images futures. Cela permet une perception 3D en ligne robuste pour la robotique et la conduite autonome dans des scénarios à long horizon.