🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W introduit une méthode de quantification conjointe de codebook 2D pour les poids des LLM qui utilise une rotation de Hadamard et un ajustement d'échelle conscient des activations pour préserver les structures de coordonnées par paires, atteignant une perplexité proche du BF16 à environ 5,5 bits par poids tout en surpassant le codage polaire et en égalant la qualité de SmoothQuant avec nettement moins de bits de poids.

Auteurs originaux : Preetam Sharma, Kacper Dobek

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Preetam Sharma, Kacper Dobek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive de livres (un Grand Modèle de Langage, ou LLM) qui est incroyablement intelligent mais occupe un énorme espace. Pour faciliter son transport, vous souhaitez réduire la taille de ces livres. Ce processus s'appelle la quantification.

La plupart des méthodes actuelles pour réduire la taille de ces livres consistent à prendre un dictionnaire et à remplacer chaque mot individuellement par un court code numérique. C'est simple, mais cela ignore le fait que les mots apparaissent souvent par paires ou en groupes ayant une relation spécifique les uns avec les autres. Si vous les traitez comme des individus isolés, vous perdez une partie de la nuance de l'histoire.

Ce papier présente une nouvelle méthode appelée QAM-W (Modulation d'Amplitude en Quadrature pour les Poids). Imaginez-la comme une manière plus intelligente et plus efficace de ranger ces livres.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le "Danseur Solo" contre le "Duo"

Imaginez que les poids d'un modèle d'IA sont des danseurs.

Ancienne Méthode (Quantification Scalaire) : L'ancienne méthode traite chaque danseur comme s'il effectuait un solo. Elle observe chaque danseur individuellement et dit : "Vous êtes un '3', vous êtes un '7'". Elle ignore que deux danseurs pourraient se tenir la main ou bouger en synchronisation.
L'Intuition de QAM-W : Les auteurs ont réalisé que, dans une ligne de données, ces "danseurs" dansent en réalité par paires. Ils sont corrélés. Au lieu de les coder comme deux solistes séparés, QAM-W les traite comme un duo.

2. La Solution : Le "Tour Magique" et le "Couplage"

QAM-W utilise un processus en trois étapes pour réduire la taille du modèle sans perdre l'histoire :

Étape A : Le Tour Magique (Rotation de Hadamard) :
Imaginez que les danseurs se tiennent dans une pièce encombrée et désordonnée. QAM-W applique un "Tour Magique" (une rotation mathématique) qui les réorganise. Soudain, les danseurs qui bougeaient de manière aléatoire sont maintenant parfaitement appariés, se déplaçant selon un motif circulaire et fluide. Cela les rend beaucoup plus faciles à décrire mathématiquement.
Étape B : Le "Codebook" de Duo :
Au lieu de donner un numéro séparé à chaque danseur, QAM-W considère le couple comme un point unique sur une carte. Il utilise une "carte" préfabriquée (un codebook) entraînée sur le comportement habituel de ces paires. C'est comme avoir une bibliothèque de mouvements de danse standards pour les duos. Au lieu de décrire deux pas séparés, vous dites simplement : "Ils ont fait le mouvement 'Valse n°42'". Cela capture la relation entre les deux nombres, économisant de l'espace.
Étape C : Le "Potentiomètre de Volume" (Mise à l'échelle consciente des activations) :
Parfois, certaines parties du modèle sont très fortes (très actives) et d'autres sont calmes. Si vous réduisez trop les parties fortes, la musique se déforme. QAM-W écoute le "volume" de chaque canal avant de réduire. Il baisse légèrement le volume des canaux forts pour qu'ils s'intègrent mieux dans le petit espace, garantissant que les informations les plus importantes ne soient pas écrasées.

3. Les Résultats : Taille Réduite, Qualité Identique

Le papier a testé cette nouvelle méthode sur cinq modèles d'IA différents (allant de petits à moyen-grands).

Le "Point Doux" : À un niveau de compression spécifique (environ 5,5 bits par poids), QAM-W a obtenu des résultats presque identiques au modèle original non compressé.
La Comparaison : Une méthode concurrente populaire appelée SmoothQuant devait utiliser environ 8,1 bits pour obtenir la même qualité. QAM-W a obtenu le même résultat en utilisant 32 % de bits en moins.
- Analogie : C'est comme faire une valise. SmoothQuant a besoin d'une grande valise pour ranger tous vos vêtements proprement. QAM-W plie les vêtements si efficacement que vous pouvez faire entrer exactement la même quantité dans un sac beaucoup plus petit.

4. Ce qu'il ne fait pas (Les Limites)

Le papier est très précis sur ce qu'il ne prétend pas :

Pas le Plus Petit : Si vous essayez de réduire encore plus le modèle (jusqu'à 4 bits), une autre méthode appelée QTIP fonctionne en réalité mieux. QAM-W est le champion dans la gamme "moyen-petit" (5–6 bits), pas dans la gamme "minuscule".
Stockage vs Vitesse : Le papier mesure l'espace occupé par le modèle sur un disque dur ou dans la mémoire. Il ne prétend pas encore rendre le modèle plus rapide à exécuter sur une puce informatique, car le logiciel permettant d'utiliser réellement ces nombres compressés en temps réel est encore en cours de construction.

Résumé

QAM-W est une nouvelle "technique d'emballage" pour les modèles d'IA. En reconnaissant que les données viennent par paires, en les faisant tourner pour les mettre sous une meilleure forme, et en ajustant le volume, elle peut réduire la taille des modèles d'IA d'environ un tiers sans les rendre moins intelligents. C'est un outil spécialisé qui fonctionne mieux dans une gamme de taille spécifique, offrant une économie significative d'espace de stockage par rapport aux méthodes actuelles.

Résumé technique : QAM-W

Énoncé du problème

Les méthodes actuelles de quantification post-entraînement pour les grands modèles de langage (LLM) sont principalement scalaires, mappant chaque poids indépendamment vers un index entier. Bien que simple, le codage scalaire néglige la structure de coordonnées par paires inhérente aux lignes de poids. Les auteurs soutiennent que, au sein d'une ligne de poids, les coordonnées sont généralement corrélées ; après une rotation orthogonale, ces coordonnées approximent une distribution gaussienne circulaire bidimensionnelle. Les dictionnaires scalaires échouent à exploiter cette structure, laissant un « relâchement taux-distorsion » qui pourrait être récupéré en quantifiant les paires conjointement comme des points dans un plan plutôt que comme des scalaires indépendants.

Les approches existantes abordent des parties de ce problème : les méthodes basées sur la rotation (par exemple, QuIP, QuIP#) homogénéisent les magnitudes des coordonnées mais reposent souvent sur un codage scalaire ou en réseau ; les méthodes conscientes des activations (par exemple, AWQ) mettent à l'échelle les canaux en fonction de la magnitude des activations mais laissent la structure conjointe des coordonnées intacte. L'article postule qu'un codec combinant rotation, codage conjoint 2D et mise à l'échelle consciente des activations peut atteindre une qualité supérieure à des débits binaires plus faibles.

Méthodologie : Le codec QAM-W

Les auteurs introduisent QAM-W (Modulation d'Amplitude en Quadrature pour les Poids), un codec qui traite les matrices de poids ligne par ligne via le pipeline suivant :

Séparation de l'échelle et de la direction : La norme de la ligne ( $r = \|w\|_2$ ) est enregistrée comme métadonnée. La ligne est normalisée en un vecteur unitaire $u$ .
Rotation déterministe : Une rotation de bloc-Hadamard masquée par signe est appliquée à la ligne normalisée ( $y = R_{fwd} u$ ). Cette rotation est une isométrie exacte en arithmétique réelle, ce qui signifie qu'elle n'introduit aucune distorsion mathématique mais redistribue l'énergie pour réduire la cohérence des coordonnées.
Appariement et calibration : Les coordonnées rotatives adjacentes sont regroupées en valeurs complexes ( $z_k = y_{2k} + i y_{2k+1}$ ). Chaque paire est mise à l'échelle par un facteur calibré $\sigma_k$ , estimé empiriquement à partir de l'amplitude moyenne des paires, en les modélisant comme une gaussienne circulaire.
Quantification conjointe 2D : Au lieu de quantifier l'amplitude et la phase indépendamment (codage polaire), QAM-W mappe chaque paire normalisée vers le centroïde le plus proche dans un unique dictionnaire 2D de Lloyd-Max entraîné sur la distribution gaussienne circulaire unitaire.
Mise à l'échelle consciente des activations : Pour aligner l'erreur du codec avec la sensibilité de sortie de la couche, la méthode applique des facteurs de mise à l'échelle par canal ( $s_j \propto r_j^\alpha$ ) avant la quantification, où $r_j$ est la RMS des activations du canal d'entrée. Cela atténue la contribution des canaux à haute RMS, suivant la logique d'AWQ.
Décodage : Le décodeur inverse le processus : dépaquage des index, recherche des centroïdes, remise à l'échelle par $\sigma_k$ , application de la rotation inverse et multiplication par la norme de ligne stockée.

Les auteurs analysent le système à travers une chaîne de bornes composites : la rotation est une isométrie ; le codage conjoint 2D minimise la distorsion mieux que le codage polaire à débits fixes ; et l'erreur de sortie de couche est régie par une identité de trace ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ ), ce qui motive la mise à l'échelle consciente des activations.

Contributions clés

Conception du codec : Un codec de Lloyd-Max 2D conjoint, rotatif par bloc-Hadamard et factorisé par norme de ligne, pour les poids de LLM avec mise à l'échelle consciente des activations.
Analyse théorique : Une borne monotone composite reliant la distorsion du codec (distorsion de Lloyd $D_B$ ) à la divergence de Kullback-Leibler (KL) entre les modèles BF16 et quantifiés. La borne suggère que le KL réalisé devrait classer les méthodes de manière similaire à la distorsion du codec.
Étude empirique inter-modèles : Évaluation sur cinq LLMs de quatre familles (1,1 à 13 milliards de paramètres) et huit configurations quantifiées.
Découverte de corrélation de rang : L'article démontre que sur 37 configurations (méthode, modèle), la divergence KL appariée et le $\Delta$ PPL% sont corrélés en rang avec un rho de Spearman $\rho = 0,99$ , validant l'utilisation du KL comme indicateur diagnostique de la qualité de quantification.

Résultats

L'évaluation se concentre sur trois modèles ajustés par instruction (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) et une comparaison de pointe sur Llama-2-7B.

Qualité à ~5,5 bpw : La variante consciente des activations de QAM-W (QAM-W-5.5) reste dans ±0,4% de la perplexité BF16 sur tous les modèles testés. Cela correspond à l'enveloppe de qualité de SmoothQuant W8A8 (qui opère à ~8,1 bpw) mais l'atteint avec environ 32% de bits de poids en moins.
2D conjoint vs Polaire : À débit égal (~4 bpw), le codage conjoint 2D (QAM-W-4) surpasse la base polaire (QAM-W-polar) de 1 à 3 points de pourcentage (pp) en $\Delta$ PPL sur les modèles tolérants à la quantification (TinyLlama, Mistral) et de 14,6 pp sur le Qwen2.5 sensible à la quantification.
Comparaison avec QTIP : À un strict 4 bpw, la méthode QTIP (utilisant des treillis de réseau E8) surpasse QAM-W. Les auteurs déclarent explicitement que la contribution de QAM-W est la bande préservant la qualité de 5 à 6 bpw, et non la frontière stricte de 4 bpw.
Variante faible bit : Une variante 3,5 bpw (QAM-W-3.5) est compétitive sur les architectures tolérantes à la quantification (par exemple, Mistral 7B, +1,98% $\Delta$ PPL) mais sous-performe sur les architectures sensibles (Qwen 2.5, +7,5% $\Delta$ PPL) par rapport à GPTQ.
Tâches en aval : Le codec préserve les performances sur six tâches en aval (PIQA, HellaSwag, etc.) et MMLU, avec QAM-W-5.5 égalant BF16 à moins de 0,2 pp sur MMLU sur tous les modèles.

Importance et revendications

L'article affirme que QAM-W-5.5 représente un choix préservant la qualité pour la compression de LLM, offrant une réduction significative du stockage des poids et de la bande passante mémoire (32% de bits en moins) par rapport à l'état de l'art actuel SmoothQuant W8A8, sans sacrifier la perplexité ni la précision des tâches en aval.

Les auteurs sont modestes quant à la portée de leurs revendications :

Ils ne revendiquent pas de supériorité à un strict 4 bpw, reconnaissant la domination de QTIP dans ce régime.
Ils notent que le pipeline actuel déquantifie les poids en BF16 avant la multiplication matricielle ; ainsi, les économies de bits par poids (bpw) rapportées s'appliquent au stockage et à la bande passante mémoire, et non à la latence d'inférence, jusqu'à l'implémentation d'un noyau fusionné.
L'étude est limitée aux transformateurs décodeurs-only denses avec attention standard ; les extensions aux architectures contemporaines (par exemple, Gemma 2, Llama 3) ou aux échelles de 70 milliards de paramètres et plus sont laissées pour un travail futur.
Le dictionnaire est entraîné sur une gaussienne circulaire unitaire synthétique plutôt que sur des distributions empiriques par point de contrôle, bien que les auteurs suggèrent qu'un dictionnaire appris pourrait générer des gains supplémentaires.

En résumé, QAM-W démontre que la récupération de la structure de coordonnées par paires des poids via un codage conjoint 2D, combinée à une rotation et une mise à l'échelle consciente des activations, permet une quantification haute fidélité dans le régime 5–6 bpw, comblant le fossé entre l'efficacité des méthodes 4 bits et la qualité des méthodes 8 bits.