🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q est un algorithme novateur et modulaire de quantification des poids après entraînement, fondé sur une variante combinatoire de la méthode de direction alternée des multiplicateurs, qui améliore considérablement l'utilité des grands modèles de langage à des niveaux de quantification agressive inférieurs à 4 bits en minimisant l'erreur de reconstruction couche par couche tout en imposant des contraintes de quantification.

Auteurs originaux : Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Réduire des Géants Cerveaux

Imaginez les Grands Modèles de Langage (LLM) comme Qwen ou LLaMA comme de vastes bibliothèques hautement détaillées. Ces bibliothèques contiennent des milliards de livres (paramètres) qui permettent à l'IA d'écrire, de raisonner et de discuter. Cependant, parce que ces bibliothèques sont si immenses, elles sont difficiles à transporter (consommation élevée de mémoire) et prennent beaucoup de temps à parcourir (calcul lent).

La Quantification est le processus de réduction de ces bibliothèques. Au lieu de garder chaque livre écrit en encre haute définition et pleine couleur (précision 32 bits ou 16 bits), nous essayons de les réécrire en utilisant moins de couleurs ou des symboles plus simples (4 bits ou même 2 bits). L'objectif est de rendre la bibliothèque assez petite pour tenir dans un sac à dos sans perdre l'histoire.

Le Problème : Les Réducteurs « Avares »

Les méthodes existantes pour réduire ces modèles, comme GPTQ (la norme industrielle actuelle), fonctionnent comme un éditeur avare.

Comment ils fonctionnent : Ils regardent la première phrase, la réduisent, et passent à la suite. Ensuite, ils regardent la deuxième phrase, la réduisent, et passent à la suite.
Le défaut : Lorsque l'éditeur réduit la première phrase, il peut commettre une petite erreur. Parce qu'il passe immédiatement à la suite, il ne revient jamais en arrière pour corriger cette erreur. Au moment où il atteint la fin du livre, toutes ces petites erreurs se sont accumulées, rendant l'histoire confuse ou absurde. C'est particulièrement problématique lorsqu'on essaie de réduire les livres très agressivement (jusqu'à 2 ou 3 bits).

La Solution : ADMM-Q (L'Approche « Rassemblement d'Équipe »)

Les auteurs proposent une nouvelle méthode appelée ADMM-Q. Au lieu d'un éditeur avare travaillant seul, imaginez une équipe d'éditeurs tenant une réunion autour d'une table ronde pour chaque chapitre.

Le Rassemblement d'Équipe (Optimisation Conjointe) :
Au lieu de corriger une phrase à la fois, l'équipe examine le chapitre entier d'un coup. Ils se demandent : « Si nous changeons ce mot ici, comment cela affecte-t-il ce mot là-bas ? » Ils ajustent tous les mots simultanément pour trouver la meilleure combinaison possible qui garde l'histoire claire, même en utilisant très peu de couleurs.
La Danse « Fluide » vs « Blocs » (ADMM) :
Les mathématiques derrière cela s'appellent ADMM (Méthode des Multiplicateurs à Direction Alternée). Imaginez cela comme une danse entre deux étapes :
- Étape A (Le Glissement Fluide) : L'équipe effectue de petits ajustements continus sur les mots pour améliorer le flux de l'histoire.
- Étape B (Le Clic sur la Grille) : Soudainement, ils doivent faire « cliquer » ces mots sur des valeurs spécifiques et autorisées (comme enclencher une brique Lego en place).
- Ils continuent d'alterner entre glissement et enclenchement. Avec le temps, ce processus force les mots à se stabiliser dans les meilleures « positions Lego » possibles sans briser l'histoire.
Le Problème des « Valeurs Aberrantes » (Mise à l'Échelle Diagonale) :
Dans ces modèles, certains mots sont « forts » (valeurs aberrantes) et d'autres sont « discrets ». Si vous essayez de les réduire tous en même temps, les mots forts dominent la conversation et les discrets se perdent.
- La solution d'ADMM-Q : Ils utilisent une technique appelée Mise à l'Échelle Diagonale. Imaginez donner un microphone aux mots discrets et baisser le volume des mots forts juste pour la session d'édition. Cela garantit que chaque mot a une chance équitable d'être optimisé, conduisant à une histoire finale beaucoup plus claire.
La Finition Finale (Recherche Locale) :
Une fois que l'équipe a terminé son rassemblement, ils effectuent un rapide « contrôle ponctuel ». Ils recherchent des paires de mots qui auraient pu être échangés par accident et voient si les rééchanger améliore l'histoire. C'est un polissage rapide final pour attraper toute erreur de dernière minute.

Pourquoi c'est Important : Les Résultats

Le papier a testé cette nouvelle méthode sur plusieurs modèles (Qwen et LLaMA) et a constaté que :

Meilleures Histoires : Lorsqu'ils ont réduit les modèles à des tailles très petites (comme 3 bits ou 2 bits), les anciennes méthodes « avares » (GPTQ) produisaient du charabia ou des réponses très confuses. ADMM-Q a maintenu les modèles intelligents et cohérents.
- Exemple : Sur un test appelé « WikiText-2 », l'ancienne méthode avait un score de 12,85 (plus élevé est pire), tandis qu'ADMM-Q l'a fait descendre à 10,06. C'est une énorme amélioration de la clarté.
Compatible avec d'autres Outils : ADMM-Q n'est pas un remplacement pour tout ; c'est un remplacement direct pour la partie « réducteur ». Il fonctionne parfaitement avec d'autres astuces que les gens utilisent, comme la rotation des données ou leur mise à l'échelle.
Même Vitesse : Une fois le modèle réduit, il s'exécute aussi vite que les anciennes méthodes. Le temps supplémentaire pris par ADMM-Q se produit uniquement pendant le processus de réduction « hors ligne » (comme éditer un livre avant publication), et non pendant que vous utilisez réellement l'IA.

L'Inconvénient (Limites)

Cela prend plus de temps pour éditer : Parce qu'ADMM-Q effectue un complexe « rassemblement d'équipe » pour chaque couche, il faut plus de temps de calcul pour réduire le modèle initialement par rapport aux méthodes avares simples. Cependant, les auteurs disent que cette attente ponctuelle vaut la peine pour la qualité bien supérieure.
Cela nécessite un échantillon : Comme toutes ces méthodes, il a besoin d'un petit échantillon de texte (données d'étalonnage) pour comprendre ce que le modèle essaie de dire avant de commencer la réduction.

Résumé

ADMM-Q est une manière plus intelligente de compresser les modèles d'IA. Au lieu de se précipiter à travers l'étape de compression pas à pas et de commettre des erreurs en cours de route, elle adopte une approche holistique et mathématique pour ajuster toutes les parties du modèle ensemble. Le résultat est une IA beaucoup plus petite qui se souvient encore de comment penser clairement, même lorsqu'elle est serrée dans un espace très restreint.

Résumé technique : ADMM-Q pour la quantification post-entraînement des LLM

Énoncé du problème

Les grands modèles de langage (LLM) rencontrent des défis majeurs de déploiement en raison de leurs exigences computationnelles et mémoire. La quantification, et plus spécifiquement la quantification post-entraînement (PTQ), constitue une stratégie principale pour compresser ces modèles en réduisant la précision des poids (par exemple, de 16 bits à 4 bits ou moins) sans réentraînement.

Les méthodes standards actuelles de quantification des poids, telles que l'arrondi au plus proche (RTN) et la quantification gloutonne par colonne (GPTQ), présentent des limites, en particulier à des largeurs de bits agressives (inférieures à 4 bits) :

RTN arrondit les poids indépendamment, ignorant les dépendances inter-poids et la structure du paysage d'erreur de reconstruction.
GPTQ intègre des informations hessiennes pour compenser les erreurs mais traite les poids de manière gloutonne, colonne par colonne. Cette approche séquentielle est sensible à l'ordre de traitement et accumule les erreurs entre les colonnes.

Le défi central consiste à formuler la quantification au niveau des couches comme un problème d'optimisation sous contraintes qui minimise l'erreur de reconstruction tout en respectant les contraintes de quantification discrètes, un problème qui devient de plus en plus difficile à mesure que les largeurs de bits diminuent.

Méthodologie : ADMM-Q

Les auteurs proposent ADMM-Q, un nouvel algorithme de quantification des poids basé sur la méthode du multiplicateur de direction alternée (ADMM). Contrairement à l'approche gloutonne par colonne de GPTQ, ADMM-Q traite la quantification au niveau des couches comme un problème d'optimisation conjointe.

1. Formulation du problème

L'algorithme formule la quantification d'une couche avec des poids pré-entraînés $\hat{W}$ et des activations d'entrée $X$ comme un problème d'optimisation sous contraintes pondéré par la Hessienne :
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{sous } \quad W \in \mathcal{Q}$
où $H = X^\top X + \lambda I$ est la matrice hessienne, et $\mathcal{Q}$ est l'ensemble des matrices de poids quantifiées.

2. Composantes algorithmiques clés

Pour résoudre efficacement ce problème non convexe à l'échelle des LLM, ADMM-Q intègre plusieurs améliorations :

Mise à l'échelle diagonale pour la stabilité numérique : Les activations des LLM contiennent souvent des « valeurs aberrantes de canal » (dimensions avec des magnitudes disproportionnellement grandes), conduisant à une Hessienne mal conditionnée. ADMM-Q applique une matrice de mise à l'échelle diagonale $\Sigma = \text{Diag}(H)^{-1/2}$ pour normaliser le problème, garantissant que tous les canaux contribuent de manière comparable aux mises à jour. Ceci est critique ; des études d'ablation montrent que le retrait de cette mise à l'échelle dégrade considérablement les performances (par exemple, augmentation de la perplexité de 10,06 à 14,68 en W3A16 sur Qwen3-8B).
Décomposition ADMM : L'algorithme introduit une variable auxiliaire $D$ $D$ pour découpler l'objectif continu pondéré par la Hessienne de la contrainte de quantification discrète. Il alterne entre :
1. Mise à jour W : Une mise à jour continue minimisant la distance pondérée par la Hessienne, résolue efficacement via la décomposition en valeurs propres de $H$ .
2. Mise à jour D : Une projection discrète sur la grille de quantification (équivalente à RTN mais tenant compte de la mise à l'échelle).
3. Mise à jour duale : Ajustement du multiplicateur de Lagrange pour assurer la cohérence.
Rafraîchissement de la grille : Contrairement à GPTQ, qui fixe la grille de quantification pendant l'optimisation, ADMM-Q ajuste dynamiquement les paramètres de la grille (échelle et point zéro) en fonction de l'itérée continue actuelle. Cela permet à la projection de rester alignée avec la cible mouvante, évitant l'obsolescence d'une grille fixe.
Raffinement par recherche locale : Pour résoudre les solutions discrètes sous-optimales causées par un arrondi corrélé, une étape de post-traitement effectue une recherche locale efficace par échange de paires. Cette étape évalue des mouvements discrets (échange de valeurs entre lignes) qui réduisent directement l'erreur de reconstruction, en exploitant le parallélisme GPU pour la vitesse.
Garanties de convergence : Les auteurs étendent les preuves de convergence ADMM existantes (déjà établies pour les contraintes de parcimonie) au cadre de la quantification, prouvant que les itérées continues et discrètes convergent vers le même point limite sous un calendrier de pénalité spécifique ( $\rho_t = \rho_0 \cdot \gamma^t$ ).

3. Modularité et intégration

ADMM-Q est conçu comme un remplacement direct de RTN ou GPTQ au sein des pipelines PTQ existants. Il est entièrement composable avec :

Transformations d'échelle (par exemple, SmoothQuant, AWQ).
Transformations de rotation (par exemple, SpinQuant, QuaRot).
Heuristiques de troncature (par exemple, recherche de grille basée sur MSE).

Résultats expérimentaux

Les auteurs ont évalué ADMM-Q dans trois configurations : quantification des poids uniquement, quantification des poids et des activations avec SpinQuant, et quantification des poids et des activations avec SmoothQuant.

1. Quantification des poids uniquement (Famille Qwen3)

Sur les modèles Qwen3 (de 1,7B à 32B), ADMM-Q a systématiquement surpassé GPTQ et AWQ en termes de perplexité et de précision zero-shot, avec des gains augmentant aux largeurs de bits plus faibles :

W3A16 (Qwen3-8B) : La perplexité WikiText-2 est passée de 12,85 (GPTQ) à 10,06 (ADMM-Q).
W2A16 (Qwen3-8B) : La perplexité WikiText-2 est passée de 32,88 (GPTQ) à 17,69 (ADMM-Q).
Analyse par couche : ADMM-Q a réduit l'erreur de reconstruction sur toutes les couches de décodeur, atteignant jusqu'à 10 % de l'erreur de GPTQ dans les premières couches.

2. Quantification des poids et des activations

SpinQuant (WbA4KV4) : Sur les modèles LLaMA-3 et Qwen3, le remplacement de GPTQ par ADMM-Q a produit des améliorations constantes. Par exemple, sur LLaMA-3 8B en W2A4KV4, la perplexité est passée de 50,27 (GPTQ) à 15,65 (ADMM-Q).
SmoothQuant (WbA8) : Sur Qwen3-8B, ADMM-Q a amélioré la perplexité W3A8 de 16,00 à 12,21.

3. Performance d'inférence

Lorsqu'il est intégré dans la pile d'inférence vLLM, ADMM-Q produit des matrices de poids dans le même format que GPTQ. Par conséquent, il offre un débit d'inférence et des avantages mémoire identiques. Par exemple, sur Qwen3-32B avec SpinQuant W8A8, les deux méthodes ont obtenu une accélération d'environ 1,52× par rapport à la base dense.

4. Coût computationnel

Le processus de quantification hors ligne pour ADMM-Q est plus intensif en calcul que GPTQ en raison de l'optimisation itérative. Cependant, les auteurs notent que la quantification est une étape ponctuelle, et le temps d'exécution reste pratique (par exemple, moins de deux heures pour un modèle 32B sur un seul GPU). L'utilisation maximale de la mémoire GPU est légèrement supérieure (environ 6 %) à celle de GPTQ.

Importance et affirmations

L'article affirme qu'ADMM-Q représente un changement de paradigme principiel, passant d'une quantification gloutonne et séquentielle à une optimisation conjointe sous contraintes pour les LLM. Ses contributions principales sont :

Innovation algorithmique : Il adapte avec succès ADMM au problème combinatoire difficile de la quantification des poids, introduisant les stabilisations nécessaires (mise à l'échelle diagonale) et les raffinements (rafraîchissement de la grille, recherche locale) requis à l'échelle des LLM.
Gains de performance : Il démontre des améliorations substantielles de l'utilité du modèle (perplexité et précision), en particulier dans les régimes de bits bas agressifs (W3 et W2) où les méthodes précédentes peinent.
Polyvalence : Il sert de composant modulaire et interchangeable qui améliore les pipelines existants (y compris ceux utilisant des rotations et des mises à l'échelle) sans altérer le format final d'inférence ni la vitesse.

Les auteurs reconnaissent certaines limites, notant qu'ADMM-Q engendre des coûts de quantification hors ligne plus élevés et dépend du caractère représentatif de l'ensemble de calibration. De plus, l'évaluation actuelle se limite aux LLM d'encodeur-décodeur autorégressifs denses, et l'adaptation aux modèles de type mélange d'experts ou de diffusion nécessiterait des travaux supplémentaires.