RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

Résumé Technique de RegimeVGGT

Énoncé du Problème
Le Visual Geometry Grounded Transformer (VGGT) représente une avancée significative dans la récupération de structures de scènes 3D denses à partir d'images multi-vues en un seul passage direct (forward pass). Cependant, son architecture repose sur un agrégateur de 24 couches alternant l'attention par trame et l'attention globale inter-trames, ce qui entraîne un coût computationnel de $O(S^2P^2)$, où $S$ est le nombre de trames et $P$ le nombre de patchs par trame. Cette mise à l'échelle quadratique cause l'épuisement de la mémoire du modèle vanilla sur des séquences dépassant environ 300 trames (même sur des GPU haut de gamme comme le NVIDIA H800) et rend la variante optimisée pour la mémoire (VGGT*) excessivement lente pour les séquences longues. Les accélérateurs existants sans réentraînement tentent d'atténuer cela en réduisant uniformément le calcul le long d'un axe unique (par exemple, en fusionnant les tokens à travers toutes les couches ou en sous-échantillonnant les paires Clé/Valeur [K/V] sur une grille spatiale). Ces approches ne parviennent pas à prendre en compte l'hétérogénéité des couches de VGGT, manquant ainsi des opportunités de compression plus efficaces et ciblées.

Méthodologie
RegimeVGGT répond à ces limitations via un cadre sans réentraînement qui applique une compression en forme de U, par couche, le long de deux axes orthogonaux : l'axe du nombre de tokens et l'axe de la densité Clé/Valeur (K/V). La méthodologie est fondée sur des analyses spectrales, de sondage (probing) et causales qui révèlent que les 24 couches d'attention globale de VGGT se divisent en trois régimes fonctionnellement distincts :

1. Couches peu profondes (L1–L10) : Manquent de structure inter-vues et présentent un rang effectif faible.
2. Couches moyennes (L11–L18) : Pilotent l'alignement inter-vues et la reconstruction de nuages de points, caractérisées par un rang effectif élevé et une concentration de tokens saillants pour la géométrie et les contours.
3. Couches profondes (L19–L24) : Géométriquement inertes pour la reconstruction dense mais essentielles pour l'estimation de pose ; elles présentent une redondance proche du rang 1 mais nécessitent un chemin inter-trame préservé pour les tokens de caméra.

Sur la base de cette analyse, RegimeVGGT emploie deux opérateurs composites au sein de chaque bloc global :

1. Fusion par Bande Guidée par la Saillance (Axe du Nombre de Tokens) :

   • Stratégie : Applique un ratio de fusion ($\rho$) en forme de U qui reflète le profil de rang : fusion agressive dans les couches peu profondes ($\rho=0,99$) et profondes ($\rho=0,99$), et fusion conservatrice dans la bande médiane ($\rho=0,50$).
   • Protection : Pour éviter la perte d'informations critiques sur les limites 3D, la méthode protège un sous-ensemble de tokens identifiés par un score de saillance de l'attention de classe [CLS] de DINOv2 gelé ($\Psi$). Cela permet d'approcher l'emplacement des tokens saillants pour la géométrie et les contours sans nécessiter de vérité terrain de profondeur ou d'entraînement supplémentaire.
   • Optimisation : Utilise un cache aligné sur les bandes pour amortir les coûts de correspondance et une attention sensible à la taille (size-aware) pour pondérer correctement les tokens fusionnés.

2. Sous-échantillonnage K/V Sélectivement Protégé (Axe de la Densité K/V) :

   • Stratégie : Compresse l'ensemble K/V en utilisant un taux en forme de U, $\sigma$, conservant les K/V les plus denses dans la bande médiane et les plus clairsemés dans les flancs.
   • Grille à Déphasage : Pour éviter des angles morts spatiaux systématiques, la sous-grille de rétention K/V est déphasée en fonction de l'indice de la trame. À mesure que la longueur de la séquence augmente, l'union des positions retenues approche une couverture spatiale complète.
   • Préservation du Chemin Critique : La méthode préserve strictement le chemin d'attention inter-trame essentiel pour l'estimation de la pose. Cela inclut :
     • Le maintien des tokens Caméra et Registre à pleine densité.
     • Le maintien d'une "ancre" à pleine densité à la Trame 0 pour fournir une référence mondiale stable pour l'alignement.
     • La protection des patchs saillants de géométrie et de contours (identifiés par $\Psi$) contre le sous-échantillonnage.

Principales Contributions

• Découverte de Régime : L'article établit que la redondance de VGGT n'est pas uniforme mais suit un régime à trois bandes (peu profonde, moyenne, profonde) avec des rôles fonctionnels et des propriétés spectrales distincts.
• Compression sur Double Axe : Il introduit un cadre qui compresse simultanément le long de l'axe du nombre de tokens et de l'axe de la densité K/V, en tirant parti de l'hétérogénéité spécifique de chaque régime.
• Conception Sensible à la Pose : Contrairement aux méthodes précédentes qui peuvent dégrader l'estimation de la pose, RegimeVGGT préserve explicitement le chemin d'attention inter-trame entre les tokens de caméra/registre et les patchs, garantissant la stabilité des séquences longues.
• Efficacité Sans Réentraînement : L'ensemble du pipeline opère sans ajustement fin (fine-tuning), s'appuyant sur des modèles pré-entraînés gelés (DINOv2) pour l'estimation de la saillance et des programmes de compression déterministes.

Résultats Expérimentaux
Évalué sur des jeux de données incluant 7 Scenes, NRGBD, ScanNet-50, Tanks & Temples et DTU, RegimeVGGT démontre des gains d'efficacité significatifs sans compromettre la qualité de la reconstruction :

• Accélération : Obtient une accélération de 6,7× de bout en bout par rapport à VGGT* sur ScanNet-1000 (1000 trames) tout en maintenant une qualité de reconstruction identique (Distance de Chamfer).
• Scalabilité : Traite avec succès des séquences de 1000 trames là où l'original VGGT tombe en rupture de mémoire et où VGGT* est nettement plus lent.
• Estimation de Pose : Maintient une haute précision dans l'estimation de la pose de la caméra (AUC@30, ATE, ARE) à travers des séquences courtes et longues, surpassant ou égalant les accélérateurs concurrents sans réentraînement (FastVGGT, S-VGGT) et la base de référence VGGT*.
• Efficacité Mémoire : Réduit l'utilisation de la mémoire GPU de pointe par rapport aux bases qui reposent sur des tampons auxiliaires ou des indices de fusion, permettant l'inférence sur de longues séquences dans les contraintes de 80 Go de VRAM.

Signification
L'article affirme que la signification de RegimeVGGT réside dans sa démonstration que l'attention globale dans les transformeurs de vision 3D est « hétérogènement redondante ». En allant au-delà des stratégies de compression uniformes et en adaptant plutôt le programme de compression aux régimes fonctionnels spécifiques du réseau (en préservant le chemin de pose tout en compressant agressivement les couches géométriquement redondantes), la méthode atteint une scalabilité substantielle. Cela permet d'appliquer VGGT à des scénarios de séquences longues et réels (tels que la conduite autonome ou la cartographie à grande échelle) qui étaient auparavant irréalisables en raison des contraintes de mémoire et de calcul, le tout sans nécessiter de réentraînement ou d'ajustement fin.