Zero-Shot Quantization via Weight-Space Arithmetic

1. Problématique et Contexte

La quantification des réseaux de neurones profonds est essentielle pour réduire l'empreinte mémoire et la bande passante lors du déploiement. Deux approches principales existent :

• Quantification Post-Entraînement (PTQ) : Appliquée sur un modèle déjà entraîné sans accès aux données d'origine. Elle est peu coûteuse mais souffre d'une dégradation sévère des performances aux très faibles précisions (ex: 3 bits).
• Quantification Sensible à l'Entraînement (QAT) : Le modèle est ré-entraîné en simulant les effets de la quantification. Elle offre une robustesse bien supérieure mais nécessite des ressources computationnelles et des données d'entraînement, ce qui la rend coûteuse et parfois inaccessible.

Le défi central : Existe-t-il un moyen d'isoler la « robustesse à la quantification » apprise par la QAT dans une tâche source et de la réutiliser sur une nouvelle tâche cible sans avoir à ré-entraîner le modèle cible (Zero-Shot) ? L'article postule que cette robustesse n'est pas seulement un sous-produit spécifique à une tâche, mais une propriété géométrique transférable dans l'espace des poids.

2. Méthodologie : Le Vecteur de Quantification (QV)

Les auteurs proposent une méthode basée sur l'arithmétique dans l'espace des poids (Weight-Space Arithmetic), une technique qui traite les modèles partageant une initialisation commune comme des vecteurs dans un espace paramétrique compatible.

A. Définition du Vecteur de Quantification (QV)

Le cœur de la méthode est l'extraction d'un Vecteur de Quantification ($\rho_D$) à partir d'un modèle « donneur » ($D$) :

1. On prend un modèle pré-entraîné initial ($\theta_{pre}$).
2. On crée deux versions finement ajustées (fine-tuned) sur la tâche donneur :
   • $\theta_D$ : Ajustement standard (sans QAT).
   • $\theta_{D,QAT}$ : Ajustement avec QAT (robuste à la quantification).
3. Le vecteur de quantification est défini comme la différence (déplacement) entre ces deux checkpoints :
   $$\rho_D = \theta_{D,QAT} - \theta_D$$
   Ce vecteur représente la direction géométrique nécessaire pour rendre un modèle robuste au bruit de quantification, indépendamment de la tâche spécifique.

B. Patching Zero-Shot

Pour un modèle « récepteur » ($R$) entraîné sur une tâche différente (sans QAT), noté $\theta_R$, les auteurs appliquent ce vecteur pour améliorer sa robustesse :
$$\theta_{R \leftarrow D} = \theta_R + \lambda \rho_D$$
Où $\lambda$ est un coefficient d'échelle. Cette opération « patche » le modèle récepteur en le déplaçant vers une région de l'espace des poids plus résiliente à la quantification, sans nécessiter de données d'entraînement ni de calcul de gradients pour le récepteur.

C. Configuration Expérimentale

• Modèles : Vision Transformers (ViT) de différentes tailles (T/16, S/16, B/16, L/16).
• Quantification : Quantification symétrique par canal des poids uniquement (3 bits). Les biais et autres paramètres restent en précision complète.
• Tâches : 22 tâches de classification d'images variées (ImageNet, CIFAR, Stanford Cars, etc.).

3. Contributions Clés

1. Introduction du Vecteur de Quantification (QV) : Identification d'un déplacement linéaire dans l'espace des poids qui isole spécifiquement l'adaptation géométrique requise pour la robustesse à la quantification, distincte de l'adaptation à la tâche.
2. Cadre de Patching Zero-Shot : Proposition d'une méthode permettant de transférer la robustesse d'un modèle donneur à un modèle récepteur sur une tâche différente, sans accès aux données du récepteur ni ré-entraînement (QAT).
3. Preuve de Transférabilité : Démonstration que la robustesse induite par la QAT est une propriété partiellement transférable. Le patching améliore la robustesse jusqu'à 60 % par rapport à une quantification PTQ naïve, même entre tâches très hétérogènes.

4. Résultats Expérimentaux

Les expériences ont été menées sur une large gamme de paires donneur-récepteur (22 tâches $\times$ 22 tâches).

• Efficacité du Patching :
  • L'application du QV d'un donneur (ex: ImageNet) à un récepteur (ex: Stanford Cars) améliore significativement la précision Top-1 après quantification à 3 bits.
  • Les gains sont particulièrement marqués pour les tâches où la PTQ naïve échoue catastrophiquement (chute de performance > 50 %).
• Rôle de l'Échelle ($\lambda$) :
  • Avec une échelle fixe ($\lambda = 1$), le transfert est parfois instable, causant des interférences destructrices (baisse de performance) sur certaines paires.
  • Ajustement de l'échelle : En optimisant simplement le scalaire $\lambda$ (via une petite calibration sur un jeu de données de validation), les interférences destructrices sont presque totalement éliminées. La plupart des paires deviennent bénéfiques, transformant une carte de transfert hétérogène en une carte majoritairement positive.
• Universalité de la Direction :
  • Les résultats suggèrent que la direction du vecteur est universelle pour une architecture donnée (ViT), tandis que la magnitude doit être adaptée au couple donneur-récepteur.
  • Les modèles ImageNet et Tiny ImageNet se révèlent être des donneurs particulièrement puissants, offrant des gains positifs sur presque toutes les tâches réceptrices.
• Impact de la Taille du Modèle :
  • La transférabilité est observée sur toutes les échelles de ViT (de T/16 à L/16), bien que les modèles plus grands soient plus sensibles à un mauvais réglage de l'échelle (risque de sur-patching).

5. Signification et Implications

• Nouvelle Perspective sur la QAT : L'article démontre que la QAT ne fait pas seulement ajuster un modèle à une tâche spécifique, mais qu'elle explore une direction géométrique stable dans l'espace des paramètres qui favorise la robustesse à la quantification. Cette direction est découplable de la tâche.
• Alternative Économique à la QAT : Cette méthode offre une alternative « Zero-Shot » et à faible coût à la QAT traditionnelle. Elle permet un déploiement en très basse précision (3 bits) sans avoir besoin de ré-entraîner le modèle cible, ce qui est crucial pour les scénarios où les données ou la puissance de calcul sont limitées.
• Extension de l'Arithmétique des Poids : Alors que les travaux précédents sur l'arithmétique des poids (Task Vectors) se concentraient sur le transfert de connaissances sémantiques (tâches, styles), cet article montre que l'on peut également encoder et transférer des propriétés structurelles et computationnelles (comme la survie à la quantification).

Conclusion :
L'article établit que la robustesse à la quantification est une propriété géométrique réutilisable. En extrayant un simple vecteur de déplacement entre un modèle standard et son équivalent QAT, il est possible d'améliorer radicalement la résilience de n'importe quel modèle de la même architecture face à la quantification à très faible précision, sans aucun coût d'entraînement supplémentaire.