🤖 machine learning

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization

Le document introduit WUSH, une transformation adaptative quasi optimale qui combine une structure de base de Hadamard avec des ajustements de second moment dépendants des données pour améliorer significativement la précision et le débit de la quantification des LLM à faible nombre de bits par rapport aux méthodes fixes existantes.

Auteurs originaux : Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

Publié 2026-06-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de ranger une bibliothèque de livres massive et délicate (un Grand Modèle de Langage) dans une petite valise robuste (un format quantifié à faible nombre de bits) afin de pouvoir l'emporter partout avec vous. Le but est de rendre la valise petite et légère sans écraser les livres à l'intérieur.

Le problème est que quelques livres de cette bibliothèque sont extrêmement lourds et de formes bizarres (ceux-ci sont appelés des « outliers » ou valeurs aberrantes). Si vous essayez de les ranger en utilisant un ruban à mesurer standard, ces livres lourds obligent toute la valise à être dimensionnée pour eux, laissant le reste des livres avec très peu d'espace. Cela se traduit par un rangement désordonné et inefficace où les plus petits livres se retrouvent écrasés et perdent leurs détails.

L'ancienne solution : La rotation « taille unique »

Auparavant, les chercheurs essayaient de corriger cela en faisant pivoter les livres avant de les ranger. Imaginez que vous preniez tous les livres et que vous les fassiez tourner de 45 degrés (une rotation de Hadamard). Cela répartit le poids des livres lourds de manière plus uniforme dans la valise, de sorte qu'aucun coin ne soit écrasé.

Cependant, cette rotation était fixe. Peu importait que les livres lourds soient à gauche, à droite, en haut ou en bas ; la rotation était toujours la même. C'était une approche « agnostique aux données » — aveugle au contenu spécifique de la valise. Bien que cela ait aidé, ce n'était pas la solution parfaite.

La nouvelle solution : WUSH (Le tailleur intelligent et sur mesure)

Le papier présente WUSH, une nouvelle méthode qui agit comme un tailleur intelligent et sur mesure pour votre valise. Au lieu d'utiliser une rotation fixe, WUSH regarde les livres spécifiques que vous êtes en train de ranger en ce moment même et calcule la façon parfaite de les réorganiser.

Voici comment fonctionne WUSH, expliqué simplement :

Il prend un instantané : WUSH observe les « poids » spécifiques (les livres) et les « activations » (la façon dont les livres sont utilisés) pour comprendre exactement où se trouvent les outliers lourds.
Il construit une carte personnalisée : En utilisant une formule mathématique (forme fermée), il crée une carte de transformation unique pour chaque petit groupe de livres. Il combine deux éléments :
- Le pivot standard : Il conserve la rotation fiable à 45 degrés (Hadamard) que tout le monde sait être efficace.
- L'ajustement personnalisé : Il ajoute une seconde couche, spécifique aux données, qui affine l'arrangement en fonction de la distribution réelle du poids de ce groupe spécifique de livres.
Le résultat : Cela crée une forme non orthogonale (pas parfaitement carrée) qui équilibre parfaitement les livres lourds et les livres légers. C'est « quasi-optimal », ce qui signifie qu'il s'approche autant que les mathématiques le permettent de l'emballage théoriquement parfait.

Pourquoi c'est une avancée majeure

Une meilleure précision : Lorsque les auteurs ont testé cela sur des modèles comme Llama-3.1 et Qwen, WUSH a mieux rangé les livres que les anciennes rotations fixes. Par exemple, sur un test spécifique, il a amélioré « l'intelligence » du modèle (la précision) de près de 3 points par rapport à la meilleure méthode précédente. C'est un bond énorme dans le monde de l'IA.
C'est rapide : Vous pourriez penser que calculer une carte personnalisée pour chaque groupe de livres serait lent. Mais les auteurs ont conçu un moteur GPU spécial (une cuisine à haute vitesse) qui effectue ce rangement personnalisé instantanément. C'est si rapide qu'il fonctionne presque aussi vite que l'ancienne méthode plus simple, offrant des vitesses jusqu'à 5,8 fois supérieures au format standard de haute précision (BF16).
Cela fonctionne avec de nouveaux formats : Le papier montre que WUSH fonctionne très bien avec de nouveaux formats expérimentaux (comme MXFP4) qui sont conçus pour être super efficaces mais qui étaient auparavant difficiles à utiliser à cause de ces outliers lourds.

L'essentiel

Considérez WUSH comme le passage d'une valise générique et préfabriquée à une mallette imprimée en 3D et ajustée sur mesure qui épouse parfaitement vos bagages spécifiques. Il ne se contente pas de faire pivoter les objets ; il remodèle l'espace autour d'eux pour éliminer le gaspillage et éviter l'écrasement.

Le papier affirme que cette méthode est mathématiquement prouvée comme étant la meilleure façon possible de gérer ces outliers et, dans des tests réels, elle rend les modèles d'IA plus petits, plus rapides et plus intelligents sans nécessiter de puissance de calcul supplémentaire.

Résumé Technique : WUSH : Transformations Adaptatives Près de l'Optimalité pour la Quantification de LLM

1. Énoncé du Problème

La quantification des poids et des activations des Grands Modèles de Langage (LLM) est une approche standard pour un déploiement efficace. Cependant, une difficulté centrale surgit des « valeurs aberrantes » (outliers) — quelques valeurs extrêmes dans les poids et les activations qui étirent la plage dynamique. Ces valeurs aberrantes forcent les échelles de quantification à être grandes, ce qui dégrade la résolution effective des représentations à faible nombre de bits et amplifie les erreurs de quantification.

Les stratégies d'atténuation antérieures emploient souvent des transformations linéaires (par exemple, des rotations) avant la quantification pour répartir la variance plus uniformément entre les canaux. Bien que les rotations de Hadamard se soient révélées empiriquement efficaces, elles sont généralement fixes et indépendantes des données (data-agnostic). Elles ne s'adaptent pas aux statistiques spécifiques des poids ou des activations sous-jacents. Cela soulève une question fondamentale : si la transformée de Hadamard n'est pas sensible aux données, en quel sens peut-elle être considérée comme optimale pour la quantification ? Les méthodes existantes qui apprennent des transformations (par exemple, SpinQuant, FlatQuant) reposent sur une optimisation itérative (descente de gradient) sur des données de calibration, ce qui peut être coûteux et heuristique.

2. Méthodologie

Les auteurs proposent WUSH, une transformation linéaire par bloc, fermée et sensible aux données, conçue pour la quantification conjointe des poids et des activations. La méthode est dérivée pour minimiser la perte de sortie $L_2$ sous les quantificateurs par bloc standard à échelle AbsMax avec arrondi au plus proche (Round-to-Nearest, RTN), couvrant les formats à virgule flottante (FP) et entiers (INT).

Dérivation Théorique

Le problème est formulé comme la minimisation de l'erreur de quantification attendue pour un bloc de poids $W$ et d'activations $X$ . Les auteurs modélisent l'erreur de quantification de manière probabiliste :

Pour la Virgule Flottante (FP) : l'erreur est modélisée comme proportionnelle à la valeur absolue de l'entrée ( $\varepsilon(\alpha) = \text{diag}(\eta)\alpha$ ).
Pour les Entiers (INT) : l'erreur est modélisée comme proportionnelle à la valeur absolue maximale au sein d'un groupe ( $\varepsilon(\alpha) = \|\alpha\|_\infty \eta$ ).

En analysant les statistiques de second ordre (covariance) des blocs de poids et d'activations, les auteurs dérivent une transformation optimale de forme fermée. Soient $W'$ et $X'$ des matrices dérivées de la décomposition de Cholesky des seconds moments normalisés des poids et des activations, respectivement. Soient $U, S, V$ la décomposition en valeurs singulières (SVD) de $W'^\top X'$ . Les transformations optimales $T_W$ et $T_X$ sont construites comme suit :
$T_X = H S^{-1/2} V^\top X'^\top$
$T_W = H S^{-1/2} U^\top W'^\top$
où $H$ est une matrice de Hadamard normalisée.

Propriétés clés de cette construction :

Sensible aux données (Data-Aware) : Contrairement aux transformations de Hadamard fixes, WUSH incorpore $S^{-1/2}$ et les composantes de la SVD ( $U, V$ ), qui dépendent des statistiques de second ordre spécifiques des données.
Non-orthogonale : La transformation résultante est généralement non orthogonale, ce qui lui permet d'équilibrer les échelles entre les poids et les activations d'une manière que les transformations orthogonales ne peuvent pas faire.
Optimalité : Le papier prouve que cette construction est prouvablement optimale pour les quantificateurs par bloc FP et asymptotiquement optimale pour les quantificateurs par bloc INT (à un facteur $d$ ou $d^{o(1)}$ selon la distribution).

Intégration avec GPTQ

La méthode s'intègre naturellement avec GPTQ (Greedy Per-Block Quantization). Puisque GPTQ utilise la Hessienne (information de second ordre) pour la propagation de l'erreur, WUSH peut utiliser les mêmes statistiques pour construire la transformation. Les auteurs proposent un calendrier de calcul entrelacé où les mises à jour des poids et la construction de la transformation sont couplées, permettant d'appliquer WUSH aux côtés de GPTQ avec un surcoût négligeable.

Implémentation

Pour répondre au défi de l'application d'une transformation distincte par bloc lors de l'inférence, les auteurs implémentent un noyau GPU fusionné (fused GPU kernel). Les matrices de transformation WUSH sont stockées dans un format transposé $(G, G, C)$ pour maximiser l'utilisation de la bande passante mémoire. Le noyau fusionne la transformation par bloc avec la quantification des activations, atteignant un débit comparable aux noyaux de Hadamard optimisés.

3. Contributions Clés

Transformations Optimales de Forme Fermée : La dérivation des premières transformations linéaires de forme fermée, sensibles aux données, pour la quantification conjointe poids-activation, qui sont prouvées quasi-optimales pour les formats FP et INT.
Aperçu Théorique : Le papier clarifie le rôle de la transformation de Hadamard. Il montre que bien que Hadamard soit une transformation orthogonale efficace et indépendante des données, la solution optimale nécessite une composante non orthogonale ( $S^{-1/2}$ ) dérivée des statistiques des données pour réellement minimiser l'erreur de quantification.
Implémentation Efficace : Un noyau GPU fusionné spécialisé qui gère les transformations adaptatives par bloc sans sacrifier la vitesse d'inférence, égalant les performances des bases de référence à transformation fixe.
Validation Empirique : Expérimentations approfondies démontrant des améliorations significatives de la précision par rapport aux bases de référence de pointe (MR-GPTQ basé sur Hadamard, SmoothQuant, QuaRot, SpinQuant) à travers plusieurs familles de modèles (Llama, Qwen) et formats de quantification (MXFP4, NVFP4, INT4).

4. Résultats Expérimentaux

Le papier évalue WUSH sur Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct et les modèles Qwen3 (8B, 14B, 32B) en utilisant le LM Evaluation Harness et les benchmarks Platinum.

Perte par Couche : WUSH atteint systématiquement la perte de quantification RTN la plus faible par couche à travers les formats MXFP4, NVFP4 et INT4 par rapport à l'identité, la rotation aléatoire, Hadamard et les variantes non adaptatives.
Précision de Bout en Bout :
- Sur Llama-3.1-8B-Instruct avec MXFP4 (W4A4), WUSH améliore la précision de +2,8 points en moyenne par rapport à la base de référence basée sur Hadamard (RTN) et de +0,7 point (GPTQ).
- Il réduit considérablement l'écart de performance entre les formats NVFP et MXFP. Par exemple, sur Qwen3-14B, WUSH réduit l'écart moyen NVFP4-MXFP à 0,36 point.
- WUSH combiné à GPTQ obtient les meilleurs résultats sur la plupart des benchmarks, récupérant souvent plus de 96 % de la performance BF16 dans les configurations W4A4.
Débit : L'implémentation du noyau fusionné délivre jusqu'à 5,8× de débit par couche par rapport à BF16 sur les GPU RTX 5090, avec seulement une différence de débit moyenne de 1,3 % par rapport à la base de référence de Hadamard optimisée.
Surcoût : Les coûts de prétraitement hors ligne sont comparables au GPTQ standard. Le surcoût de stockage pour les transformations du côté activation est négligeable (ex: ~1,4 % pour MXFP4 sur Qwen3-8B).

5. Signification et Revendications

Le papier affirme que WUSH clarifie le succès empirique des rotations de Hadamard en montrant qu'elles sont un composant spécifique et indépendant des données d'une solution globale plus large. En combinant une structure de base de Hadamard fixe avec une composante de second moment dépendante des données, WUSH parvient à une transformation non orthogonale prouvée comme étant proche de l'optimalité.

Les auteurs soulignent que leur approche est fondée sur des principes et sensible aux données, allant au-delà des méthodes d'apprentissage heuristiques ou itératives. Ils affirment que WUSH rend le format MXFP compétitif avec NVFP, répondant à une limitation clé de l'inférence à basse précision actuelle. Ce travail démontre que des transformations par blocs fondées sur des principes et sensibles aux données peuvent apporter des améliorations significatives de la précision sans compromettre l'efficacité requise pour le déploiement à grande échelle des LLM.