💻 computer science

Not All Tasks Quantize Equally: Fisher-Guided Quantization for Visual Geometry Transformer

Ce papier propose la quantification guidée par Fisher (FGQ), une méthode de quantification post-entraînement qui exploite la matrice d'information de Fisher diagonale pour identifier et préserver les sensibilités spécifiques à la tâche à travers les blocs et les canaux des transformateurs, améliorant ainsi considérablement la précision des modèles Transformer ancrés dans la géométrie visuelle à l'échelle du milliard (VGGT) pour les tâches de reconstruction 3D par rapport aux références existantes.

Auteurs originaux : Yipu Zhang, Jintao Cheng, Weilun Feng, Jiehao Luo, Chuanguang Yang, Zhulin An, Yongjun Xu, Wei Zhang

Publié 2026-05-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yipu Zhang, Jintao Cheng, Weilun Feng, Jiehao Luo, Chuanguang Yang, Zhulin An, Yongjun Xu, Wei Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef robot massif et ultra-intelligent (le Visual Geometry Grounded Transformer, ou VGGT) capable de regarder quelques photos et de déterminer instantanément trois choses à la fois :

Où se trouvait l'appareil photo au moment de la prise de vue (Pose).
La profondeur de tout (Depth).
Exactement à quoi ressemble la forme 3D des objets (Point Map).

Ce robot est incroyablement talentueux, mais c'est aussi un « géant ». Il possède des milliards d'ingrédients (paramètres) dans son garde-manger, ce qui le rend lent, lourd et impossible à faire entrer dans une petite cuisine (comme un smartphone ou un robot sur un plancher d'usine).

Pour faire entrer ce robot dans une petite cuisine, les scientifiques tentent généralement de réduire ses ingrédients. Ils prennent les mesures massives et précises (comme utiliser une balance pesant au milligramme près) et les arrondissent à des nombres simples (comme utiliser une balance ne pesant qu'au gramme près). C'est ce qu'on appelle la Quantification.

Le Problème : « Une Taille Ne Convient Pas à Tous »

Les chercheurs de cet article ont remarqué un problème amusant dans la façon dont les gens réduisaient ce chef robot.

Imaginez que le robot prépare un repas complexe où :

La Tâche A (La Pose de l'appareil photo) est comme remuer une casserole. C'est un mouvement large et fluide. Si vous arrondissez un peu vos mesures, la casserole est toujours bien remuée. C'est robuste.
La Tâche B (La Point Map) est comme disposer des cristaux de sucre délicats et minuscules pour former une sculpture 3D parfaite. Si vous arrondissez vos mesures ne serait-ce qu'un tout petit peu, toute la sculpture s'effondre en un tas désordonné. C'est extrêmement sensible.

Les méthodes précédentes traitaient le robot comme s'il ne faisait qu'un seul travail. Elles appliquaient les mêmes « règles d'arrondi » au remuement et aux cristaux de sucre de manière égale.

Le Résultat : Le remuement (Pose) restait parfait, mais la sculpture de sucre (Point Map) était ruinée. Le robot était excellent pour deviner où se trouvait l'appareil photo, mais terrible pour reconstruire la forme 3D.

La Solution : Le Chef « Second » Guidé par la Fisher

Les auteurs, Yipu Zhang et son équipe, ont inventé une nouvelle méthode appelée FGQ (Fisher-Guided Quantization).

Imaginez la FGQ comme un second chef intelligent qui sait exactement quelles parties de la recette sont fragiles et lesquelles sont solides.

Le Score « Fisher » : Avant de réduire les ingrédients, le second chef effectue un test rapide. Il se demande : « Si je perturbe ce canal spécifique d'information, combien cela nuit-il à la sculpture de sucre ? Combien cela nuit-il au remuement ? »
- Il s'avère que différentes parties du cerveau du robot (différents « blocs » et « canaux ») sont responsables de différentes tâches. Certains canaux sont les « gardiens des cristaux de sucre », tandis que d'autres ne sont que des « aides au remuement ».
La Réduction Personnalisée : Au lieu d'utiliser les mêmes règles d'arrondi pour tout le monde, la FGQ utilise ce score pour être douce avec les parties fragiles et impitoyable avec les parties solides.
- Pour les canaux « cristaux de sucre », elle conserve les nombres très précis.
- Pour les canaux « remuement », elle les réduit agressivement pour économiser de l'espace.

Les Résultats : Sauver la Sculpture

L'article a testé cette nouvelle méthode sur le chef robot avec une réduction très agressive (quantification sur 4 bits, ce qui équivaut à transformer une photo haute définition en un petit art pixelisé).

Anciennes Méthodes : La sculpture de sucre 3D (Point Map) apparaissait floue et brisée. Le robot avait perdu sa capacité à voir les détails fins.
Méthode FGQ : La sculpture 3D restait nette et détaillée. Le robot pouvait toujours voir les bords fins des objets, même s'il utilisait beaucoup moins de mémoire.

En fait, l'article affirme que pour la tâche de reconstruction de forme 3D, leur méthode a amélioré les résultats jusqu'à 39 % par rapport aux meilleures méthodes précédentes. C'était comme prendre une image floue et pixelisée et la rendre soudainement nette, simplement en étant plus intelligent sur l'endroit où conserver les détails.

Résumé

L'article soutient que l'on ne peut pas traiter toutes les parties d'un modèle d'IA multi-tâches de la même manière lorsqu'on tente de le réduire. Certaines parties sont comme une brique (difficiles à briser), et d'autres comme du verre (faciles à briser). FGQ est un outil qui identifie le verre et le protège, permettant au robot entier de tenir dans une petite poche sans perdre sa capacité à voir le monde en 3D.

Résumé technique : Quantisation guidée par Fisher pour le Transformer de géométrie visuelle

Énoncé du problème

Les modèles de reconstruction 3D feed-forward, illustrés par le Visual Geometry Grounded Transformer (VGGT), ont atteint des performances de pointe en prédisant conjointement plusieurs tâches géométriques — estimation de la profondeur, prédiction de la pose de la caméra et reconstruction de cartes de points — en une seule passe avant. Cependant, ces modèles reposent sur des paramètres à l'échelle du milliard, créant des surcoûts de mémoire et de calcul prohibitifs qui entravent leur déploiement sur appareil.

Bien que la quantisation post-entraînement (PTQ) offre une solution pour réduire ce surcoût, les méthodes existantes pour les modèles 3D feed-forward font face à une limitation critique : elles traitent le modèle comme une entité mono-tâche. Les approches PTQ actuelles se concentrent principalement sur l'atténuation des distributions d'activation à queue lourde (causées par des tokens spéciaux tels que les tokens de caméra ou d'enregistrement) et sur la construction d'ensembles de données d'étalonnage diversifiés. Elles négligent l'architecture multi-tâche inhérente du VGGT.

Les auteurs observent que différents blocs de transformateurs et canaux cachés contribuent de manière distincte à chaque tâche en aval. Par conséquent, ces composants présentent des sensibilités substantiellement différentes aux erreurs de quantisation. Une stratégie de quantisation uniforme, qui pondère toutes les tâches de manière égale lors de l'étalonnage, suraccentue involontairement les tâches peu sensibles (par exemple, l'estimation de la pose de la caméra) tout en provoquant une dégradation significative de la précision dans les tâches hautement sensibles (par exemple, la reconstruction de cartes de points). Comme démontré dans l'article, l'application d'une quantisation uniforme peut entraîner une dégradation de performance normalisée (NPD) de 200 % à 500 % pour la reconstruction de cartes de points, tandis que l'estimation de la pose reste relativement robuste.

Méthodologie : Quantisation guidée par Fisher (FGQ)

Pour résoudre le problème de sensibilité multi-tâche, les auteurs proposent la Quantisation guidée par Fisher (FGQ), un cadre PTQ conscient des tâches. La méthode opère à trois granularités : tâches, blocs de transformateurs et canaux cachés.

1. Mesure de sensibilité via l'information de Fisher

La FGQ quantifie la sensibilité de chaque composant aux erreurs de quantisation en utilisant la matrice d'information de Fisher diagonale.

Fondement théorique : La méthode dérive des scores de sensibilité à partir d'un développement de Taylor d'ordre deux de la perte de tâche. En supposant que le modèle est proche d'un optimum local, le changement de perte attendu est régi par le terme de Hessien. Pour éviter le coût computationnel prohibitif du calcul du Hessien complet, la FGQ utilise la matrice d'information de Fisher comme substitut traitable, basée sur l'identité selon laquelle le Hessien attendu de la vraisemblance négative logarithmique est égal à la matrice d'information de Fisher dans des conditions de régularité standard.
Approximation diagonale : Pour garantir l'efficacité et l'évolutivité, les auteurs approximent la matrice de Fisher complète par sa forme diagonale. Cela réduit la complexité de stockage de $O(C^2)$ à $O(C)$ (où $C$ est la dimension du canal) et traite les perturbations de canal comme localement indépendantes.
Notation consciente des tâches : Le score de Fisher $F_k[l, c]$ mesure la sensibilité de la tâche $k$ aux erreurs quadratiques sur le canal $c$ du bloc $l$ . Ces scores sont calculés à l'aide de gradients d'ordre un à partir d'un petit ensemble de données d'étalonnage, ne nécessitant qu'une seule passe arrière par tâche.

2. Intégration dans les transformations affines apprissables

La FGQ intègre ces scores de sensibilité dans l'étalonnage des transformations affines apprissables, une technique utilisée pour supprimer les valeurs aberrantes avant la quantisation.

Objectif d'étalonnage pondéré : L'étalonnage standard minimise l'erreur de reconstruction entre les sorties de bloc en précision complète et quantisées en utilisant une perte uniforme. La FGQ remplace cela par un objectif pondéré par Fisher.
Normalisation et agrégation : Pour empêcher les tâches ayant de plus grandes magnitudes de gradients bruts de dominer l'étalonnage, les scores de Fisher sont normalisés par tâche puis agrégés sur l'ensemble des tâches. Une normalisation par bloc garantit que l'échelle de perte reste comparable entre différentes couches de transformateurs.
Plancher : Une petite valeur de plancher est appliquée aux poids pour s'assurer que les canaux avec de faibles scores de Fisher ne sont pas complètement ignorés, préservant ainsi l'intégrité du modèle complet.

La fonction objectif résultante alloue plus de capacité d'étalonnage aux canaux et blocs critiques pour des tâches spécifiques, préservant ainsi les caractéristiques les plus sensibles au bruit de quantisation.

Contributions clés

Identification de la sensibilité multi-tâche : L'article identifie que les modèles de reconstruction 3D feed-forward présentent des sensibilités de quantisation distinctes selon les tâches, les blocs et les canaux. Le traitement uniforme de ces composants entraîne une dégradation de performance disproportionnée dans les tâches sensibles comme la reconstruction de cartes de points.
Quantisation guidée par Fisher (FGQ) : Les auteurs proposent un nouveau cadre PTQ utilisant la matrice d'information de Fisher diagonale pour quantifier la sensibilité par tâche, par bloc et par canal. Ces sensibilités sont intégrées dans l'objectif de transformation affine apprissable pour guider l'étalonnage vers les composants les plus critiques.
Validation empirique : Des expériences extensives démontrent que la FGQ surpasse systématiquement les références PTQ de pointe (incluant QuantVGGT, FlatQuant et QuaRot) sous une quantisation 4 bits, avec les améliorations les plus significatives observées dans les tâches de reconstruction géométrique dense.

Résultats expérimentaux

Les auteurs ont évalué la FGQ sur le modèle VGGT-1.2B à travers trois tâches principales : estimation de la pose de la caméra, reconstruction de cartes de points et estimation de la profondeur.

Estimation de la pose de la caméra : Sur les benchmarks Co3Dv2 et Re10K, la FGQ a obtenu des résultats compétitifs ou supérieurs par rapport aux références dans les configurations W4A8 et W4A4. Les améliorations étaient modestes, suggérant que l'estimation de pose globale est moins sensible à la sélection spécifique de canaux que les sorties denses.
Reconstruction de cartes de points : Cette tâche a montré l'amélioration la plus spectaculaire. Sous une quantisation W4A4, la FGQ a considérablement réduit les métriques d'erreur par rapport à QuantVGGT. Par exemple, sur l'ensemble de données 7-Scenes, la FGQ a réduit l'erreur de complétude moyenne de 0,085 (QuantVGGT) à 0,059 et a amélioré la précision moyenne. Les résultats qualitatifs ont montré que la FGQ préservait des détails structurels plus fins, tandis que les méthodes de référence produisaient des reconstructions floues.
Estimation de la profondeur : Sur KITTI (monoculaire et vidéo), la FGQ a systématiquement surpassé les références dans les configurations W4A8 et W4A4, obtenant les meilleurs résultats pour les métriques AbsRel, SqRel et RMSE.
Efficacité : L'analyse du temps d'exécution sur un GPU NVIDIA A100 a montré que, bien que la transformation affine apprissable introduise un léger surcoût par rapport à une quantisation simple d'arrondi à l'entier le plus proche, la FGQ atteint toujours un accélération de 1,81× par rapport à l'inférence en précision complète dans la configuration W4A4, conservant ainsi la plupart des avantages d'efficacité de la quantisation à faible nombre de bits.

Importance et affirmations

L'article affirme que la principale importance de la FGQ réside dans sa capacité à résoudre la limitation « taille unique » des méthodes PTQ actuelles pour les modèles de vision 3D multi-tâches. En exploitant l'information de Fisher pour identifier et protéger les canaux critiques pour les tâches, la FGQ permet le déploiement de modèles de reconstruction 3D à milliards de paramètres sur des appareils aux ressources limitées sans sacrifier la fidélité des sorties géométriques sensibles.

Les auteurs soulignent que leur approche ne nécessite ni modifications architecturales ni réentraînement à partir de zéro, ce qui en fait une solution pratique pour les modèles 3D feed-forward existants. Les résultats suggèrent que les futures stratégies de quantisation pour les modèles multi-modaux ou multi-tâches doivent dépasser l'étalonnage uniforme pour tenir compte de l'hétérogénéité de sensibilité des différentes têtes de sortie.