Résumé technique : Rotations spectrales inspirées de l'influence pour la quantification extrême des LLM à très faible nombre de bits

Énoncé du problème

L'article aborde le défi de la quantification des poids uniquement à très faible nombre de bits (spécifiquement W2A16, poids sur 2 bits, activations sur 16 bits) pour les grands modèles de langage (LLM). À de telles largeurs de bits, les méthodes de quantification standard (comme Intel Auto-Round vanilla) souffrent d'erreurs de reconstruction significatives, entraînant une augmentation drastique de la perplexité (PPL) sur des benchmarks comme WikiText-2. La difficulté centrale réside dans le « budget de bruit de quantification » : avec seulement 2 bits, l'erreur d'arrondi est importante, et la quantification par groupe standard échoue à prioriser les canaux les plus critiques, provoquant une dégradation sévère des performances du modèle, en particulier dans les modèles dotés de couches MLP larges ou de contraintes architecturales spécifiques (par exemple, l'attention de style Qwen3).

Méthodologie

La méthode proposée, BBT-spectral, applique une transformation pré-quantification fixe et mathématiquement invariante aux couches linéaires avant de les transmettre à un quantificateur standard basé sur l'erreur de reconstruction (Intel Auto-Round). L'approche s'inspire d'un article théorique compagnon sur l'influence booléenne et la géométrie de Walsh-Hadamard, mais est appliquée de manière heuristique aux couches de LLM à valeurs réelles.

1. Transformation centrale

La méthode consiste en deux étapes appliquées à la matrice de poids $W$ et à l'entrée $x$ d'une couche linéaire :

1. Rotation spectrale : L'entrée est tournée vers la base de Walsh-Hadamard en utilisant une matrice orthogonale fixe $Q = H_{dpad}/\sqrt{dpad}$, où $H$ est la matrice de Walsh-Hadamard et $dpad$ est la dimension zéro-complétée jusqu'à la puissance de deux suivante.
2. Mise à l'échelle par coordonnée : Les colonnes de la matrice de poids tournée sont mises à l'échelle par une matrice diagonale $D = \text{diag}(s)$, où les facteurs d'échelle $s_\ell$ sont dérivés de l'énergie spectrale d'activation des coordonnées d'entrée.
   • Le proxy d'énergie spectrale $\rho_\ell$ est calculé comme le carré de la magnitude attendue de la $\ell$-ième coordonnée après rotation WHT : $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$.
   • Le facteur d'échelle est défini par $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$, avec $\alpha = 0.5$.

Invariance mathématique : La transformation est une identité exacte en précision complète ($x W^T = (x Q D^{-1}) (D Q^T W^T)$). La mise à l'échelle « booste » les canaux à haute énergie avant la quantification et les divise à nouveau après la déquantification, biaisant efficacement le budget d'arrondi entier vers les canaux qui portent un signal spectral plus important.

2. Extensions architecturales

La recette de base a initialement échoué sur des modèles dotés de mécanismes d'attention spécifiques. L'article introduit trois extensions pour gérer ces cas :

• Spectral-PCA (pour le style Qwen3) : Pour les architectures avec des couches $q\_norm/k\_norm$ par tête (par exemple Qwen3), la mise à l'échelle standard côté entrée brise le dénominateur de la norme. Les auteurs remplacent la norme par un Matrix-Γ RMSNorm qui tourne les poids de projection via une PCA par tête ($U_h$) et applique une matrice diagonale $\Gamma_h$ pour restaurer exactement la sortie vanilla.
• Pair-PCA (pour les architectures commutant avec RoPE) : Pour les modèles sans $q\_norm$ (par exemple Llama, SmolLM, Qwen2.5), la rotation doit commuter avec les embeddings de position rotatifs (RoPE). Comme RoPE agit comme des rotations 2D, la méthode calcule une PCA SO(2) contrainte pour chaque paire RoPE, tournant les lignes de poids dans des plans 2D pour s'aligner sur la variance d'activation sans briser l'invariance RoPE.
• Absorption consciente des MoE : Une correction identifiée via un « fuzzing architectural » sur un modèle synthétique Laguna, étendant la liste d'absorption côté entrée pour inclure $g\_proj$ (portes de tête) en plus des standards $q/k/v\_proj$ afin d'empêcher la fuite de non-linéarité.

Contributions clés

1. Transformation spectrale intégrable : Une étape pré-quantification fondée sur des principes, non apprise (rotation WHT + mise à l'échelle basée sur l'énergie) qui améliore la quantification W2A16 sans nécessiter d'apprentissage de rotation basé sur le gradient.
2. Validation empirique : Démonstration d'une réduction de 15 à 58 % de la PPL sur WikiText-2 sur quatre modèles (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) par rapport à Auto-Round vanilla. Les gains les plus importants ont été observés sur les modèles présentant les baselines vanilla les plus dégradées (par exemple, Qwen2.5-0.5B a montré une amélioration de 57,9 %).
3. Généralisation architecturale : Extension réussie de la méthode à des architectures complexes (Qwen3 avec $q\_norm$, modèles riches en RoPE) via Spectral-PCA et Pair-PCA, résolvant les modes d'échec précédents.
4. Ablation de la largeur de bits : Démonstration que le rendement de la méthode est cohérent avec la convexité de Schur : le bénéfice évolue avec le budget de bruit de quantification. La méthode offre des gains massifs en W2 mais produit des améliorations négligeables (plancher de bruit) en W4, confirmant qu'elle cible le régime à bruit élevé.
5. Robustesse technique : Validation que la méthode n'introduit aucun opérateur d'exécution supplémentaire (toutes les transformations sont intégrées dans les poids) et maintient une PPL invariante au dispositif sur Intel NPU, GPU et CPU.

Résultats

• Performances :
  • SmolLM-135M : La PPL est passée de 81,03 à 45,11 (−44,3 %).
  • Qwen2.5-0.5B : La PPL est passée de 119,31 à 50,22 (−57,9 %).
  • Qwen2.5-1.5B : La PPL est passée de 36,93 à 28,16 (−23,7 %).
  • Qwen3-0.6B : En utilisant Spectral-PCA, la PPL est passée de 136,76 (vanilla) à 88,99 (35 % d'amélioration par rapport au vanilla).
• Débit : Les poids intégrés résultent en des graphes de transformateurs denses standard. Le débit est comparable aux baselines vanilla (dans ±15 %), sans surcharge d'exécution supplémentaire.
• Plancher de bruit : En W4, l'amélioration était de +0,06 PPL (statistiquement insignifiante), confirmant que la méthode est spécifique aux régimes à très faible nombre de bits.

Revendications et limites (Voix des auteurs)

Les auteurs présentent explicitement cela comme un article d'ingénierie appliquée plutôt que comme une percée théorique :

• Pas d'équivalence formelle : Ils ne revendiquent pas que l'énergie d'activation WHT à valeurs réelles utilisée ici soit formellement équivalente à l'influence booléenne définie dans l'article théorique compagnon. Le lien est intuitif et qualitatif (masse spectrale par coordonnée), et non un transfert de théorème formel.
• Pas de signification statistique : Les résultats sont sur une seule graine. Les différences inférieures à ±0,5 PPL sont traitées comme du bruit d'évaluation.
• Portée de la baseline : Les comparaisons sont faites contre Auto-Round vanilla. L'article ne revendique pas la supériorité par rapport à d'autres fortes baselines à faible nombre de bits comme AWQ, GPTQ, SpinQuant ou QuaRot ; les comparaisons tête-à-tête sont reportées à un travail futur.
• Portée : La méthode est une heuristique « intégrable ». Elle ne prétend pas résoudre tous les problèmes de quantification, notant spécifiquement que l'argument de « convexité de Schur » est un guide heuristique pour le cadre à valeurs réelles, et non un théorème prouvé pour celui-ci.

La contribution principale est une petite transformation invariante mathématiquement exacte et fondée sur des principes qui produit des gains empiriques non triviaux en W2 sur diverses familles de modèles, offrant une solution pratique pour le déploiement à très faible nombre de bits où l'arrondi standard échoue.