Résumé Technique : QVGGT - Transformer de Géométrie Visuelle Quantifié par Post-Entraînement

Énoncé du Problème

Le Visual Geometry Grounded Transformer (VGGT) représente une avancée significative dans la vision par ordinateur 3D, capable de prédire les paramètres de la caméra, les cartes de profondeur et les nuages de points en une seule passe directe à partir d'entrées RGB multi-vues. Cependant, l'échelle massive de VGGT (1,26 milliard de paramètres) crée une empreinte mémoire et une demande computationnelle considérables, rendant son déploiement impraticable sur des dispositifs de bord (edge devices) aux ressources limitées tels que les drones (UAV) et les systèmes de RA mobiles.

Bien que les techniques classiques de compression de modèles comme l'élagage (pruning) et la distillation de connaissances existent, elles offrent souvent une accélération limitée sur le matériel moderne. La quantification, qui réduit la précision numérique, est une alternative prometteuse mais reste largement inexplorée pour les transformers de reconstruction 3D à grande échelle. L'application directe des méthodes de quantification post-entraînement (PTQ) existantes à VGGT échoue en raison de trois défis spécifiques :

1. Sensibilité Hétérogène : Différents blocs de transformer au sein de VGGT présentent des degrés de sensibilité variables à la quantification ; une quantification uniforme à bas bit entraîne une dégradation disproportionnée de la précision, particulièrement pour l'estimation de la pose de la caméra.
2. Déséquilibre des Activations au Niveau des Tokens : Les tokens de caméra et les tokens de registre génèrent des activations de grande magnitude qui agissent comme des valeurs aberrantes (outliers). Ces outliers dominent l'estimation de l'échelle lors du calibrage, entraînant une résolution de quantification déséquilibrée et des erreurs amplifiées pour la majorité des tokens.
3. Désalignement des Tâches : Les objectifs de reconstruction par couche standards ne capturent pas pleinement la cohérence géométrique descendante requise pour les tâches 3D (par exemple, la relation entre la pose de la caméra, la profondeur et les cartes de points).

Méthodologie : Le Cadre QVGGT

Les auteurs proposent QVGGT, un cadre PTQ à trois étapes conçu sur mesure pour compresser VGGT tout en préservant la cohérence géométrique 3D. Le cadre opère sous un réglage W4A16 (poids de 4 bits, activations de 16 bits).

1. Quantification à Précision Mixte Sélective

Les auteurs mènent d'abord une analyse de sensibilité fine en quantifiant sélectivement les blocs individuels et en mesurant l'impact sur les têtes descendantes.

• Observation : La tête de la caméra est très sensible à la précision des blocs, tandis que les têtes de profondeur et de carte de points sont plus robustes. Certains blocs (spécifiquement les 14e, 17e et 23e blocs de trames, ainsi que le 23e bloc global) sont identifiés comme « fragiles ».
• Stratégie : Au lieu d'une quantification uniforme, QVGGT emploie une stratégie de précision mixte sélective. Les blocs fragiles conservent une précision FP16 pour leurs couches de projection d'attention, tandis que les blocs robust restants sont quantifiés en INT4. Cela équilibre la compression et la préservation des indices géométriques critiques.

2. Filtrage de Tokens avec Compensation d'Information de Caméra (CIC)

Pour traiter le problème des outliers causés par les tokens de caméra et de registre :

• Filtrage de Tokens : Lors de la phase de calibrage pour la recherche d'échelle, les tokens de caméra et de registre sont exclus du calcul des statistiques d'activation. Cela empêche l'estimation de l'échelle d'être biaisée par quelques activations extrêmes, garantissant que l'échelle de quantification reflète la plage dynamique de la majorité (image) des tokens.
• Compensation d'Information de Caméra (CIC) : L'exclusion de ces tokens supprime des indices géométriques globaux essentiels. Pour restaurer cette information, les auteurs synthétisent un token CIC. Ce token est dérivé en effectuant une PCA Top-K sur les activations des tokens de caméra du jeu de données de calibrage. Le résultat, un a priori de géométrie globale de faible variance au niveau du jeu de données, est réinjecté dans la séquence de tokens avant la tête de la caméra lors de l'inférence.

3. Mécanisme de Recherche d'Échelle Sensible à la Tâche

La PTQ standard minimise l'erreur de reconstruction par couche, ce qui ne garantit pas une prédiction 3D précise. QVGGT introduit une fonction d'objectif sensible à la tâche pour la sélection des échelles de quantification :

• Supervision Multi-Têtes : La recherche minimise une combinaison de pertes provenant des trois têtes de prédiction : pose de la caméra ($L_{camera}$), profondeur ($L_{depth}$) et cartes de points ($L_{point}$).
• Cohérence Géométrique : Une nouvelle Perte de Cohérence Géométrique ($L_{geom}$) est introduite. Elle impose l'accord entre la carte de points prédite directement par la tête de points et une carte de points reconstruite en projetant la profondeur prédite à l'aide de la pose de la caméra prédite.
• Optimisation : L'objectif final combine l'erreur de reconstruction avec ces pertes spécifiques aux tâches et de cohérence géométrique, guidant la recherche d'échelle vers des solutions qui préservent la structure 3D intrinsèque à travers toutes les têtes.

Contributions Clés

1. Cadre PTQ pour les Transformers 3D : L'article présente le premier cadre PTQ adapté aux transformers de géométrie 3D, démontrant que la sensibilité de quantification hétérogène de VGGT peut être exploitée via des stratégies de précision mixte sélectives.
2. Schéma de Calibrage au Niveau des Tokens : Les auteurs identent et traitent un déséquilibre d'activation caractéristique des transformers 3D, proposant un schéma de calibrage filtré par token avec une compensation basée sur la PCA pour améliorer la robusture.
3. Recherche d'Échelle Sensible à la Tâche : Un nouveau mécanisme de recherche d'échelle est conçu pour aligner l'optimisation de la quantification avec les tâches de prédiction 3D descendantes grâce à la supervision multi-tête et aux contraintes de cohérence géométrique.
4. Validation Empirique : Le cadre atteint une quantification W4A16 quasi sans perte sur plusieurs benchmarks, réduisant la taille du modèle de plus de 75 % et la mémoire d'inférence de 3 à 4,9×.

Résultats Expérimentaux

Les auteurs ont évalué QVGGT sur quatre benchmarks : CO3Dv2, RealEstate10K, 7-Scenes et NRGBD.

• Estimation de la Pose de la Caméra : Sur CO3Dv2 et RealEstate10K, QVGGT (W4A16) atteint un AUC@30 de 89,4 et 85,0 respectivement, égalant presque la ligne de base FP16 (89,5 et 85,3). En revanche, les méthodes PTQ génériques comme GPTQ et AWQ subissent des chutes de performance significatives (ex: AWQ tombe à 54,6 sur CO3Dv2).
• Reconstruction 3D : Sur 7-Scenes et NRGBD, QVGGT maintient une précision, une complétude et une cohérence de normales comparables à la ligne de base FP16, surpassant nettement SmoothQuant, GPTQ et AWQ sous les mêmes configurations W4A16.
• Efficacité :
  • Mémoire : QVGGT réduit l'utilisation de la mémoire de pointe de 4,9× pour une entrée de trame unique et de 3,0× pour une entrée de 22 trames par rapport au VGDT FP32. Il permet de traiter jusqu'à 30 trames sur un GPU de 24 Go sans erreur de type Out-Of-Memory (OOM), là où le modèle en pleine précision échoue.
  • Latence : La méthode obtient jusqu'à 2,8× d'accélération matérielle réelle par rapport au FP32 et une accélération de latence de 1,93× par rapport aux lignes de base FP16 sur une RTX 4090.
• Robustesse : Les études d'ablation montrent que la méthode est robuste à la taille du jeu de données de calibrage, perforant même avec seulement 16 images de calibrage.

Signification et Revendications

L'article affirme que QVGGT rend la perception 3D haute fidélité réalisable sur les appareils de bord, permettant le déploiement pratique de modèles de reconstruction 3D par propagation directe (feed-forward) dans des environnements réels contraints.

Les auteurs positionnent QVGGT comme complémentaire aux travaux concomitants comme QuantVGGT. Alors que QuantVGGT se concentre sur la stabilisation numérique à usage général (orientée distribution), QVGGT met l'accent sur une conception axée sur la géométrie et la tâche. En tenant compte explicitément des caractéristiques uniques des transformers 3D — telles que le rôle spécifique des tokens de caméra et les relations géométriques entre les têtes de prédiction — QVGGT atteint une rétention de précision supérieure dans les tâches 3D par rapport aux approches de quantification génériques. Ce travail démontre qu'avec un alignement architectural et d'objectif soigneux, les modèles de vision 3D à grande échelle peuvent être compressés à des poids de 4 bits sans sacrifier la fidélité géométrique requise pour la robotique et les applications de RA.