OVGGT: O(1) Constant-Cost Streaming Visual Geometry Transformer

Le papier présente OVGGT, un cadre d'inférence sans entraînement qui permet la reconstruction géométrique 3D de vidéos en flux continu d'une durée arbitraire avec une consommation de mémoire et de calcul constante, en surmontant les limitations de coût quadratique et d'accumulation de cache des modèles géométriques existants grâce à des mécanismes de cache auto-sélectif et de protection dynamique des ancres.

L'essentiel

🎥 OVGGT : Le Caméraman Intelligents qui ne s'essouffle jamais

Imaginez que vous essayez de reconstruire un modèle 3D d'une ville entière, pièce par pièce, en regardant simplement une vidéo qui défile. C'est ce que font les robots, les voitures autonomes et les applications de réalité augmentée.

Le problème, c'est que les "cerveaux" actuels (les modèles d'intelligence artificielle) ont une mémoire très courte et gourmande.

• Les anciens modèles (comme StreamVGGT) fonctionnent comme un élève qui note tout ce qu'il voit dans un cahier. Au début, c'est facile. Mais après 200 images, le cahier devient énorme, l'élève ne peut plus le porter, et son cerveau explose (il manque de mémoire). Il doit s'arrêter.
• Les autres modèles essaient de jeter des pages au hasard pour faire de la place, mais ils finissent par oublier des détails cruciaux, comme la forme d'un bâtiment, et la reconstruction devient floue ou déformée.

OVGGT est la nouvelle solution qui résout ce problème. Voici comment elle fonctionne, grâce à deux astuces magiques :

1. Le Tri Sélectif Intelligent (Self-Selective Caching)

Imaginez que vous regardez un film. Si vous deviez retenir chaque seconde, vous seriez épuisé. Mais si vous ne retenez que les moments importants, vous pouvez regarder le film en entier sans fatigue.

OVGGT fait pareil avec les images :

• Au lieu de garder toutes les images, il regarde chaque petit morceau de l'image (comme un pixel ou un groupe de pixels).
• Il pose une question simple : "Est-ce que ce morceau est important pour comprendre la forme de l'objet ?"
• Il utilise un indicateur caché (le "résidu FFN") qui agit comme un détecteur de pertinence. Si un morceau d'image est juste un mur uni et ennuyeux, OVGGT le jette. S'il s'agit d'un coin de table ou d'une texture complexe, il le garde précieusement.
• L'astuce de pro : Il ne jette pas les morceaux au hasard. Il applique un "filtre de douceur" (lissage) pour s'assurer qu'il ne garde pas des points isolés qui rendraient l'image en 3D hachée. Il garde des groupes cohérents, comme des îles de mémoire.

2. Les Ancres de Sécurité (Dynamic Anchor Protection)

C'est ici que la magie opère pour éviter que le modèle ne se perde.

Imaginez que vous marchez dans une forêt très grande. Si vous ne gardez en tête que les arbres que vous voyez maintenant, vous allez vite vous perdre et ne plus savoir où vous étiez il y a 10 minutes.

• L'Ancre Initiale : OVGGT garde toujours la toute première image de la vidéo. C'est son point de départ, son "Nord". Cela garantit que tout ce qui suit est aligné correctement par rapport au début.
• Les Ancres Historiques : Si vous marchez trop loin et que vous ne voyez plus le point de départ, OVGGT plante des "panneaux de signalisation" (des ancres) sur les points clés qu'il a vus plus tôt. Il s'assure que ces panneaux ne soient jamais effacés de sa mémoire, même s'il doit en effacer d'autres.

🏆 Le Résultat : Une mémoire infinie, un coût fixe

Grâce à ces deux techniques, OVGGT agit comme un caméraman infatigable :

1. Mémoire constante : Peu importe si la vidéo dure 50 secondes ou 5000 secondes, OVGGT n'utilise jamais plus de mémoire qu'un seul smartphone. Il ne "gonfle" jamais.
2. Qualité supérieure : Contrairement aux autres qui perdent de la qualité sur les longues vidéos, OVGGT reste précis. Il ne se perd pas, ne déforme pas les bâtiments et garde les détails nets.
3. Vitesse : Comme il ne traite pas des tonnes de données inutiles, il va plus vite que ses concurrents.

En résumé

OVGGT, c'est comme avoir un assistant qui regarde une vidéo en continu, mais qui a la capacité de trier instantanément ce qui est important et de garder des repères fixes pour ne jamais se perdre. Il permet de reconstruire des mondes entiers en 3D à partir de vidéos illimitées, sans faire exploser l'ordinateur, et avec une précision incroyable.

C'est une avancée majeure pour rendre la réalité augmentée, la robotique et les jumeaux numériques (des copies virtuelles du monde réel) réalistes et utilisables au quotidien.

Résumé technique

1. Problématique

La reconstruction de la géométrie 3D à partir de flux vidéo en continu (streaming) est un défi majeur pour des applications comme la navigation autonome, la réalité augmentée et la création de jumeaux numériques.

• Limites des modèles existants : Les modèles de fondation géométrique récents (comme VGGT) offrent une qualité de reconstruction exceptionnelle grâce à une attention « tout-à-tout » (all-to-all attention). Cependant, leur coût computationnel et mémoire est quadratique ($O(N^2)$) par rapport au nombre de vues, ce qui les confine à des séquences courtes et hors ligne.
• Le goulot d'étranglement du streaming : Les variantes à attention causale (comme StreamVGGT) permettent un traitement en une seule passe (single-pass) mais accumulent une cache de clés et valeurs (KV cache) qui croît linéairement avec la durée de la vidéo.
  • Conséquence : La mémoire VRAM s'épuise rapidement (ex: >300 images sur une carte 80 Go), et le coût par étape augmente avec la longueur de la séquence, rendant le déploiement à long terme impossible.
• Objectif : Développer un cadre capable de traiter des vidéos de longueur arbitraire avec une mémoire et un coût de calcul constants ($O(1)$), sans sacrifier la précision géométrique.

2. Méthodologie : OVGGT

OVGGT est un cadre sans entraînement (training-free) conçu pour s'ajouter aux modèles pré-entraînés à attention causale. Il repose sur deux composants complémentaires pour gérer la cache de tokens :

A. Mise en cache auto-sélective (Self-Selective Caching - SSC)

L'objectif est de compresser la cache KV à un budget fixe tout en conservant les tokens les plus pertinents pour la géométrie.

• Évaluation de la valeur d'activation (Activation Value Rating) : Contrairement aux modèles de langage (LLM) qui utilisent les poids d'attention (inaccessibles avec FlashAttention), OVGGT utilise la magnitude du résidu du réseau feed-forward (FFN).
  • Principe : La magnitude du résidu FFN reflète l'importance géométrique d'un token (textures en couches basses, structures géométriques en couches intermédiaires, limites sémantiques en couches profondes).
  • Avantage : Ce score est déjà calculé lors de la passe avant, ne nécessite aucune mémoire supplémentaire et est compatible avec FlashAttention.
• Lissage d'activation (Activation Smoothing) : Pour éviter une sélection de tokens spatialement fragmentée (qui dégraderait la netteté de la reconstruction), les scores d'activation 2D sont lissés par un noyau gaussien. Cela favorise le maintien de groupes de tokens cohérents spatialement.
• Compression de cache hybride : Une fois les scores obtenus, la cache est compressée en gardant un nombre fixe de tokens. Un score hybride combine :
  1. Le score d'activation pour les tokens de l'image courante.
  2. Une mesure de diversité (distance par rapport au vecteur clé moyen) pour les tokens historiques.
     Cela assure un équilibre entre l'importance géométrique immédiate et la couverture distributionnelle globale.

B. Protection d'ancres dynamiques (Dynamic Anchor Protection - DAP)

La compression seule ne suffit pas à garantir la cohérence géométrique sur de longues trajectoires (dérive géométrique).

• Ancre initiale globale (Global Initial Anchor) : Tous les tokens de la première image sont protégés de manière permanente. Cela préserve l'origine du système de coordonnées mondiales.
• Ancres historiques (Historical Anchors) : À mesure que la caméra s'éloigne de la première vue, des ancres supplémentaires sont enregistrées dynamiquement.
  • Un nouveau point d'ancrage est créé lorsque le chevauchement visuel avec l'ancre précédente devient faible.
  • Seuls les tokens les plus confiants (basés sur la prédiction du nuage de points) de ces images clés sont protégés.
  • Un mécanisme FIFO (First-In-First-Out) limite le nombre d'ancres actives pour éviter une accumulation infinie.

3. Contributions Clés

1. OVGGT : Un cadre de streaming en ligne qui maintient une mémoire et un calcul constants ($O(1)$) quelle que soit la longueur de la séquence vidéo, éliminant le goulot d'étranglement de mise à l'échelle des pipelines à attention causale.
2. SSC (Self-Selective Caching) : Une méthode innovante utilisant les résidus FFN pour évaluer l'importance des tokens géométriques, compatible avec FlashAttention et ne nécessitant pas de modification architecturale.
3. DAP (Dynamic Anchor Protection) : Un mécanisme qui protège sélectivement les tokens critiques pour les coordonnées (ancres initiales et historiques), supprimant efficacement la dérive géométrique sur de longues trajectoires.
4. Performance : Des résultats state-of-the-art (SOTA) sur des benchmarks intérieurs, extérieurs et ultra-long, avec un débit plus élevé et une consommation mémoire inférieure aux méthodes existantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur des cartes NVIDIA RTX 5090 (32 Go) et couvrent des scénarios intérieurs (7-Scenes, NRGBD), extérieurs (ETH3D) et des séquences ultra-longues (jusqu'à 10 000 images sur Long3D).

• Qualité de reconstruction : OVGGT surpasse toutes les méthodes de base (StreamVGGT, Evict3R, InfiniteVGGT) en termes de précision (Acc), de complétude (Comp) et de cohérence des normales (NC).
  • Observation importante : OVGGT est plus précis que StreamVGGT (qui garde toute la cache), prouvant que garder tous les tokens introduit du bruit et que la sélection intelligente est supérieure.
• Estimation de profondeur vidéo : Sur des séquences dynamiques (Bonn, KITTI), OVGGT maintient une précision stable même lorsque la longueur de la séquence augmente, tandis que les autres méthodes voient leurs erreurs s'accumuler.
• Efficacité (VRAM et FPS) :
  • Mémoire : OVGGT fonctionne dans une enveloppe VRAM constante (environ 10-12 Go pour un budget de 200k tokens), permettant de traiter 500+ images sans erreur de mémoire (OOM). StreamVGGT échoue au-delà de ~200 images.
  • Vitesse : Grâce à la cache fixe, le coût par étape reste constant. OVGGT atteint un débit (FPS) nettement supérieur aux méthodes concurrentes qui voient leur latence augmenter avec la longueur de la séquence.

5. Signification et Impact

OVGGT représente une avancée significative pour la vision par ordinateur en temps réel :

• Déploiement pratique : Il rend possible la reconstruction 3D dense et métrique sur des appareils grand public (GPU grand public) pour des vidéos de durée illimitée, ce qui était impossible avec les modèles de fondation géométrique précédents.
• Efficacité des ressources : Il démontre qu'il n'est pas nécessaire d'augmenter la puissance de calcul ou la mémoire pour traiter plus de données ; une gestion intelligente de la mémoire (compression et ancrage) suffit.
• Futur : Bien qu'il résolve le problème de la mémoire, l'auteur note que les erreurs géométriques s'accumulent toujours dans les pipelines causaux (pas de correction rétroactive). L'avenir pourrait réside dans une inférence par étapes combinant prédiction par mini-lots et raffinement global périodique.

En résumé, OVGGT transforme les modèles de géométrie 3D lourds et statiques en systèmes fluides et scalables, ouvrant la voie à des applications de réalité augmentée et de robotique capables de fonctionner dans des environnements complexes et étendus.