Résumé technique : Partitionnement de vues sensible à la diversité pour un VGGT scalable

1. Énoncé du problème

Les transformeurs de géométrie, spécifiquement le VGGT (Visual Geometry Grounded Transformer), ont établi des performances solides dans la reconstruction de scènes 3D en raison d'un raisonnement conjoint sur plusieurs vues via une attention globale. Cependant, l'adaptation de ces modèles à de vastes collections d'images se heurte à deux goulots d'étranglement principaux :

1. Scalabilité computationnelle : Le mécanisme d'attention globale entraîne des coûts de calcul et de mémoire quadratiques par rapport au nombre de tokens d'entrée. À mesure que le nombre de trames augmente, cela devient rapidement prohibitif, limitant le déploiement sur des séquences de milliers d'images.
2. Redondance des points de vue et dégradation des performances : Une analyse empirique révèle un phénomène contre-intuitif : augmenter simplement le nombre de vues d'entrée peut dégrader la qualité de la reconstruction. Dans les scénarios de capture dense, de nombreuses vues sont visuellement redondantes (quasi-doublons). Dans le cas de VGGT, ces vues redondantes introduisent des tokens hautement similaires qui diluent les signaux géométriques informatifs (tels que la parallaxe et l'occlusion) au sein du mécanisme d'attention. Cela conduit à une « dilution de l'attention », où le modèle peine à se concentrer sur les indices géométriques informatifs, entraînant des erreurs de reconstruction plus élevées et une instabilité numérique, même si les ressources de calcul étaient suffisantes.

Les stratégies d'efficacité existantes (ex. : fusion de tokens, attention parcimonieuse) traitent la mémoire mais ne résolvent pas le problème fondamental de la distribution des points de vue. De plus, les méthodes de découpage séquentiel reposent souvent sur l'ordre temporel et des contraintes de fermeture de boucle, ce qui limite leur applicabilité aux collections d'images non ordonnées.

2. Méthodologie

Les auteurs proposent DA-VGGT, un cadre d'inférence sans entraînement, prêt à l'emploi (plug-and-play), qui réorganise les vues d'entrée en blocs équilibrés et sensibles à la diversité. L'hypothèse centrale est que maximiser la diversité des points de vue au sein de chaque bloc de traitement permet au transformeur d'extraire des indices géométriques plus forts sous une capacité d'attention limitée, améliorant ainsi à la fois la précision et l'efficacité.

Le cadre se compose de quatre étapes principales :

A. Partitionnement initial sensible à la diversité visuelle

Puisque les poses de caméra ne sont pas disponibles lors de l'initialisation, la méthode partitionne d'abord les trames en se basant uniquement sur la dissimilarité visuelle.

• Extraction de caractéristiques : Elle réutilise l'encodeur DINOv2 gelé (intégré à VGGT) pour extraire les plongements de patchs (patch embeddings) pour chaque trame.
• Métrique de dissimilarité : Les trames sont représentées par des descripteurs issus d'un mean-pooling. La dissimilarité visuelle par paire ($\delta_{ij}$) est calculée comme $1 - \text{similarité\_cosinus}$.
• Partitionnement de graphe : Le problème est formulé comme une optimisation combinatoire visant à maximiser la diversité intra-bloc tout en maintenant des tailles de blocs équilibrées. Les auteurs utilisent une stratégie d'échange local gloutonne inspirée de l'algorithme de Kernighan–Lin (KL). En partant d'une division équilibrée aléatoire, les trames sont échangées entre les blocs si l'échange augmente le score total de diversité intra-bloc.

B. Propagation de pose douce pour la dispersion spatiale

Pour incorporer l'information spatiale sans exécuter une estimation complète des poses sur toutes les trames (ce qui serait coûteux), la méthode introduit une stratégie de propagation de pose douce (soft pose propagation) :

1. Estimation de pose de référence : Un bloc de référence unique est traité par VGGT pour obtenir les poses de caméras pseudo-réelles pour ces trames.
2. Propagation : Pour les trames restantes, les poses sont approximées en propageant l'information du bloc de référence en fonction de la similarité visuelle. Plus précisément, le vecteur de translation d'une nouvelle trame est une somme pondérée des poses de référence, où les poids sont déterminés par le softmax des scores de similarité visuelle.
3. Dispersion spatiale : Ces pseudo-poses sont utilisées pour calculer une matrice de dispersion spatiale par paire ($\rho_{ij}$), attribuant des scores plus élevés aux trames qui sont spatialement distantes.

C. Raffinement du partitionnement sensible à la diversité

Le partitionnement visuel initial est raffiné en combinant la dissimilarité visuelle et la dispersion spatiale dans une matrice de score unifiée ($\hat{U}_{ij} = \delta_{ij} + \epsilon \cdot \rho_{ij}$). La recherche locale KL est appliquée à nouveau pour optimiser le partitionnement, garantissant que les blocs contiennent des vues qui sont à la fois visuellement distinctes et spatialement dispersées. Le bloc de référence reste fixe durant ce raffinement.

D. Inférence et alignement global

Les blocs optimisés sont traités indépendamment par VGGT. Pour assurer la cohérence globale :

• Ancre partagée : Une trame ancre partagée (généralement la première trame) est insérée dans chaque bloc avant l'inférence.
• Alignement : Puisque tous les blocs partagent une trame de référence commune, leurs prédictions individuelles peuvent être alignées sur un système de coordonnées global en utilisant la pose prédite de la trame ancre via une transformation SE(3), sans nécessiter d'optimisation globale supplémentaire ou de fermeture de boucle.

3. Contributions clés

• Intuition empirique : L'article identifie que la distribution des points de vue est un facteur critique pour les transformeurs de géométrie multi-vues. Il démontre que l'augmentation du nombre de vues sans diversité suffisante dégrade les performances à cause de la dilution de l'attention.
• Cadre sans entraînement : Une méthode plug-and-play qui réorganise les entrées via une optimisation de graphe combinatoire sur la diversité visuelle et spatiale, ne nécessant aucun réentraînement du modèle.
• Propagation de pose douce : Une stratégie novatrice pour approximer les relations spatiales pour le partitionnement en utilisant seulement un petit ensemble de trames de départ et la similarité visuelle, évitant ainsi le besoin de poses de vérité terrain ou de pipelines complets de SfM.
• Scalabilité et compatibilité : Le cadre complète les variantes efficaces existantes de VGGT (ex. : LiteVGGT, FasterVGGT) et permet une reconstruction scalable sur de longues séquences non ordonnées là où les méthodes de base échouent en raison de contraintes de mémoire (OOM) ou de dégradation de l'exactitude.

4. Résultats expérimentaux

Des expériences approfondies ont été menées sur six jeux de données (7Scenes, NRGBD, Bonn, ScanNet-50, TUM-RGBD, Tanks&Temples) à travers des tâches d'estimation de pose de caméra, de prédiction de profondeur multi-vues et de reconstruction 3D.

• Gains de performance : La méthode améliore ou maintient systématiquement la précision (mesurée par l'AUC pour les poses, l'Abs Rel pour la profondeur et la distance de Chamfer pour la 3D) par rapport au VGGT classique et à ses variantes efficaces. Notamment, elle empêche la dégradation des performances observée chez les bases de référence à mesure que le nombre de trames augmente (ex. : de 300 à 1000 trames).
• Efficacité : Le cadre réduit considérablement l'utilisation de la VRAM (jusqu'à 3,8$\times$ moins) et la latence d'inférence (jusqu'à 6,34$\times$ plus rapide) par rapport au traitement conjoint de toutes les trames.
• Scalabilité : Alors que les modèles de base comme FasterVGGT échouent (OOM) sur des séquences de 1000 trames sur un GPU A100, DA-VGGT les traite avec succès.
• Généralisation : L'approche se généralise à d'autres architectures, telles que $\pi^3$, améliorant leur scalabilité sans les chutes d'exactitude associées à la modification des composants internes du réseau (comme la fusion de tokens ou l'attention parcimonieuse).
• Séquences non ordonnées : Contrairement aux méthodes de découpage séquentiel (ex. : VGGT-Long) qui reposent sur la cohérence temporelle, DA-VGGT est robuste sur les collections d'images non ordonnées (ex. : Heritage-Recon), réduisant l'ATE de plus de 25 % par rapport aux bases de référence séquentielles.

5. Signification et affirmations

L'article affirme que le défi principal de l'échelle des transformeurs de géométrie n'est pas simplement le nombre de vues d'entrée, mais la distribution des points de vue. En déplaçant l'attention de « traiter plus de vues » vers « organiser les vues pour la diversité », le cadre proposé atteint un compromis efficacité-précision supérieur.

Les auteurs soulignent que leur méthode présente un overhead modeste : les étapes de partitionnement et d'alignement introduisent un coût de calcul négligeable (moins d'une seconde pour 1000 trames) par rapport à l'inférence du transformeur elle-même. Ils concluent que le partitionnement sensible à la diversité offre une solution pratique et sans entraînement pour la reconstruction multi-vues scalable, permettant le déploiement de transformeurs de géométrie sur de larges collections d'images non ordonnées sans sacrifier la fidélité géométrique.