MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

Résumé Technique : MARR (Reconstruction Résiduelle Adaptative aux Modules)

Énoncé du Problème
La quantification post-entraînement (PTQ) à faible nombre de bits est cruciale pour le déploiement des grands modèles de langage (LLM) et des transformers de vision (ViT) dans des conditions de contraintes strictes en mémoire et en bande passante. Bien que les méthodes de PTQ basées sur la reconstruction (par exemple, GPTQ) minimisent efficacement les erreurs de quantification locales, elles échouent souvent à prendre en compte les erreurs accumulées provenant des couches précédentes dans des configurations à faible nombre de bits. Des approches récentes, telles que GPTAQ et ResComp, pallient ce problème en introduisant des termes résiduels inter-couches pour corriger les incohérences d'activation accumulées. Cependant, les auteurs identifient une limitation critique de ces méthodes : la dépendance à une hypothèse d'approximation de Hessian (HA).

Sous l'hypothèse HA, l'objectif de reconstruction simplifie le Hessian de la perte de tâche en une matrice diagonale. Les auteurs démontrent que, bien que les termes résiduels réduisent efficacement les erreurs accumulées, ils introduisent simultanément un biais d'approximation de Hessian (HA) supplémentaire. Ce biais provient du fait que le terme résiduel interagit avec l'écart d'approximation entre le vrai Hessian de la perte de tâche et la métrique locale simplifiée de l'erreur quadratique moyenne (MSE). Par conséquent, une force résiduelle trop élevée peut amplifier ce biais, conduisant à des performances de quantification sous-optimales. De plus, l'équilibre optimal entre la correction d'erreur et le biais HA est dépendant du module ; un coefficient d'échelle résiduel global unique est insuffisant pour gérer l'hétérogénéité entre les différents modules d'un réseau.

Méthodologie
Pour répondre au compromis entre la correction des erreurs accumulées et le biais HA lié aux résidus, l'article propose la Reconstruction Résiduelle Adaptative aux Modules (MARR). La méthodologie centrale comprend trois composantes :

1. Reconstruction Résiduelle Mise à l'Échelle :
   Les auteurs introduisent un coefficient d'échelle, $\alpha$, pour moduler le terme résiduel $r$ dans l'objectif de reconstruction. La fonction objectif est formulée comme la minimisation de $\|\Delta w \hat{X} - \alpha r\|_F^2$. Cela permet à la méthode de contrôler explicitement l'intensité de l'information inter-couches injectée dans chaque module. L'analyse théorique (Éq. 6) montre que le biais HA contient des termes dépendants du résidu $r$ ; ainsi, l'échelle $\alpha$ ajuste directement l'ampleur de ce biais par rapport au bénéfice de la correction d'erreur.

2. Mise à l'Échelle Spécifique aux Modules :
   Reconnaissant que l'optimum de $\alpha$ varie d'un module à l'autre en raison des différences dans les statistiques d'activation et les magnitudes de résidus propagés, MARR attribue un coefficient d'échelle unique $\alpha_m$ à chaque module $m$. Cela remplace le coefficient global utilisé dans les travaux antérieurs (par exemple, GPTAQ où $\alpha=1$).

3. Estimation Adaptative Basée sur PID :
   Pour déterminer le $\alpha_m$ optimal sans recherches exhaustives coûteuses, les auteurs conçoivent une stratégie de mise à jour adaptative basée sur un contrôleur Proportionnel-Intégral-Dérivé (PID).

   • Signal de Retour : L'erreur de reconstruction au niveau du module (MSE) sert de signal de retour. Étant donné que le processus de quantification est non lisse et discret, l'optimisation basée sur le gradient est impossible. À la place, la méthode utilise une approche de retour d'ordre zéro.
   • Mécanisme de Mise à Jour : L'algorithme traite $\alpha_m$ comme une variable ajustable. Il calcule un signal de déviation basé sur la tendance des différences finies de l'erreur de reconstruction. Ce signal est traité par un contrôleur PID (avec des composantes proportionnelle, intégrale et dérivée) pour générer une mise à jour incrémentale de $\alpha_m$.
   • Stabilité : La mise à jour inclut un signal de déviation borné par $\tanh$ pour éviter les dépassements et un critère d'arrêt précoce basé sur le changement relatif de la fonction objectif. En pratique, le coefficient converge en quelques itérations (généralement $T=3$).

Contributions Clés

• Insight Théorique : L'article identifie et analyse l'« effet à double face » de la reconstruction résiduelle : bien qu'elle réduise les erreurs accumulées, elle introduit un biais lié au HA. Cela explique pourquoi des résidus fixes et forts peuvent dégrader les performances.
• Cadre MARR : La proposition d'un cadre adaptatif aux modules qui attribue des coefficients d'échelle spécifiques aux résidus, permettant à chaque module d'équilibrer indépendamment la correction d'erreur et le biais d'approximation.
• Optimisation Efficace : La conception d'une stratégie de mise à jour adaptative basée sur PID qui estime efficacement les coefficients spécifiques aux modules en utilisant le retour d'erreur de reconstruction, évitant ainsi le coût computationnel d'une recherche exhaustive.
• Validation Empirique : Des expériences extensives démontrant que MARR surpasse systématiquement les références de reconstruction résiduelle de l'état de l'art (GPTAQ, ResComp) sous quantification à faible nombre de bits (W2A4, W3A3, etc.) sur divers LLM (Llama2, Llama3) et ViT (DeiT).

Résultats Expérimentaux
Les auteurs ont évalué MARR sur plusieurs modèles dans des configurations de quantification poids-activation (W/A) et uniquement poids (W) :

• LLM (W2A4) : MARR a obtenu des réductions significatives de la perplexité sur les ensembles de données WikiText2 et C4. Par exemple, sur Llama2-7b, MARR a réduit la perplexité de 14,94 % par rapport à GPTAQ. Sur Llama3-8b, la réduction était de 9,82 %. En termes de précision des tâches en aval, MARR a montré des améliorations constantes, avec des gains allant jusqu'à 2,54 % en moyenne sur la précision en zéro-shot pour Llama2-7b.
• ViT : Sur ImageNet, MARR a amélioré la précision top-1 sur les modèles DeiT-T, DeiT-S et DeiT-B. Notamment, sur DeiT-S sous quantification W3A3, MARR a atteint un gain relatif de 4,61 % par rapport à la référence GPTAQ.
• Quantification Uniquement Poids : Même lorsque les activations restent en haute précision (par exemple, W2A16), MARR a démontré des améliorations, bien que les gains aient parfois été plus dépendants de la tâche, confirmant que le mécanisme de contrôle résiduel reste bénéfique même lorsque l'incohérence d'activation est réduite.
• Efficacité : La mise à jour basée sur PID introduit une surcharge PTQ unique d'environ 2,1 à 2,7 fois par rapport à la méthode de référence GPTAQ. Les auteurs notent que cela est acceptable étant donné les gains de performances et le fait que cela reste significativement plus rapide que les méthodes de reconstruction basées sur la rétropropagation.

Signification et Revendications
L'article affirme que MARR fournit une solution fondée sur des principes à la performance sous-optimale des méthodes existantes de reconstruction résiduelle en PTQ à faible nombre de bits. En modélisant explicitement le compromis entre la correction des erreurs accumulées et le biais HA, et en adaptant cet équilibre au niveau du module, MARR atteint une précision de quantification supérieure sans nécessiter de réentraînement. Les auteurs soulignent la généralité de leur approche, notant son efficacité à la fois sur les LLM et les ViT, suggérant que le contrôle de la contribution résiduelle est une exigence fondamentale pour repousser les limites de la quantification en dessous de 4 bits. L'ouvrage conclut que, bien que la stratégie PID ajoute une surcharge computationnelle, elle est un mécanisme nécessaire et efficace pour éviter les performances sous-optimales causées par une force résiduelle « unique pour tous ».