🤖 machine learning

HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models

HyperQuant est un pipeline de quantification post-entraînement unifié qui combine la transformée de Hadamard randomisée, la quantification par réseau optimal, le codage de Rice et la correction de biais pour atteindre une compression optimale au sens du taux-distorsion pour les poids et les caches KV dans les modèles de langage et de diffusion de grande taille, surpassant les méthodes existantes à travers divers débits binaires tout en maintenant une qualité quasi sans perte.

Auteurs originaux : Yuval Domb, Hadar Sackstein, Tomer Solberg

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuval Domb, Hadar Sackstein, Tomer Solberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement détaillée de livres (un grand modèle de langage ou un générateur de vidéos). Ces livres contiennent des milliards de mots et d'images, occupant tellement d'espace qu'ils tiennent tout juste sur le disque dur de votre ordinateur. Lorsque vous demandez à l'ordinateur de lire une phrase ou de générer une vidéo, il doit constamment déplacer ces livres lourds d'avant en arrière, ce qui est lent et épuisant pour la machine.

HyperQuant est un nouveau système ingénieux conçu pour réduire la taille de ces livres à une fraction de leur volume initial sans perdre l'histoire, les rendant plus rapides à lire et plus faciles à stocker.

Voici comment cela fonctionne, décomposé en étapes simples utilisant des analogies de la vie quotidienne :

1. L'astuce du « mélange » (Transformée de Hadamard aléatoire)

Imaginez que vous avez une pile de papiers en désordre où certaines pages sont énormes et lourdes, tandis que d'autres sont de minuscules fragments. Si vous essayez de les emballer dans une boîte, les grandes pages dépassent et gaspillent de l'espace.
HyperQuant commence par mélanger les pages. Il mélange les données de sorte qu'au lieu d'avoir quelques éléments aberrants géants et beaucoup de petits morceaux, tout devienne une distribution lisse et uniforme (comme une courbe en cloche parfaite). Cela rend les données beaucoup plus faciles à emballer efficacement, tout comme mélanger un jeu de cartes permet de les distribuer uniformément.

2. L'« emballage parfait » (Quantification par réseau)

Une fois les données mélangées, HyperQuant doit transformer les nombres continus en « points » discrets qui peuvent être stockés.

L'ancienne méthode : Imaginez essayer de remplir une boîte de sphères en utilisant une grille simple (comme un damier). Il y a beaucoup d'espace vide gaspillé entre les sphères.
La méthode d'HyperQuant : Il utilise des « réseaux » mathématiques (comme les formes E8 ou D4). Considérez cela comme la façon la plus efficace d'empiler des oranges dans une caisse. Elles s'emboîtent si étroitement qu'il n'y a presque aucun espace perdu. Cela permet au système de stocker la même quantité d'informations en utilisant beaucoup moins de bits.

3. La « fermeture éclair » (Codage entropique et codes de Rice)

Même avec un emballage parfait, vous avez toujours une longue liste de nombres à écrire.

L'ancienne méthode : Vous écrivez chaque nombre avec le même espace, même si certains nombres apparaissent très souvent et d'autres rarement.
La méthode d'HyperQuant : Il utilise un codage à longueur variable (codage de Rice). Considérez cela comme un langage secret où les mots courants reçoivent des codes très courts (comme « u » pour « you »), et les mots rares reçoivent des codes plus longs. Parce que le système sait quels nombres apparaissent le plus souvent, il compresse les données encore davantage, économisant de l'espace sans perdre de sens.

4. Le « contrôle du bruit » (Correction de biais pour le cache KV)

Lorsque le modèle se souvient des mots précédents (le « cache KV »), il doit être très précis. Si vous arrondissez les nombres de manière trop grossière, le modèle pourrait s'embrouiller et commencer à halluciner des absurdités.
HyperQuant utilise une astuce appelée « dithering soustractif ». Imaginez que vous essayez de mesurer un liquide, mais que votre verre est légèrement instable. Au lieu de simplement deviner, vous ajoutez une petite quantité d'eau de manière aléatoire, vous mesurez, puis vous soustrayez exactement cette quantité aléatoire plus tard. Cela annule l'erreur parfaitement, garantissant que le résultat final est impartial et précis, même lorsque les données sont fortement compressées.

5. La « boîte magique » (Intégration matérielle)

Enfin, HyperQuant est conçu pour fonctionner directement avec les puces informatiques modernes (comme les GPU NVIDIA H100 et Blackwell). Il ne se contente pas de compresser les données ; il les formate de manière à ce que la puce puisse les lire instantanément sans avoir besoin de les décompresser d'abord.

Le résultat : Il a découvert que l'utilisation d'entiers de 8 bits (nombres entiers standards) fonctionne en réalité mieux que les nombres à virgule flottante de 8 bits (nombres décimaux) pour ce type spécifique de données compressées. C'est comme réaliser que, pour ce puzzle spécifique, les nombres entiers s'insèrent mieux dans les emplacements que les décimaux.

Les grands succès

L'article affirme qu'HyperQuant atteint les résultats suivants :

Compression massive : Il réduit la « mémoire » du modèle (les poids) d'environ 4 fois et la « mémoire de travail » (le cache KV) d'environ 3,8 fois.
Aucune perte de qualité : Malgré la réduction massive des données, le modèle comprend et génère du texte ou de la vidéo presque aussi bien que la version originale non compressée.
Succès vidéo : Il a réussi à compresser un modèle de génération vidéo de 19 milliards de paramètres (LTX-2) sans aucun glitch visible dans la vidéo.
Supériorité sur la concurrence : Il surpasse les méthodes précédentes (comme HIGGS, TurboQuant et OCTOPUS) dans presque tous les tests, surtout lorsqu'il s'agit de réduire les données à de très petites tailles (comme 1,7 bit par nombre).

En résumé, HyperQuant est un nouvel « algorithme de rangement » qui mélange, empile et ferme les modèles d'IA afin qu'ils tiennent dans votre poche sans briser l'histoire.

Résumé Technique : HyperQuant

Énoncé du Problème

Les modèles de langage de grande taille (LLM) et les transformeurs de diffusion sont confrontés à un goulot d'étranglement critique lors de l'inférence autorégressive : la bande passante mémoire. À mesure que les longueurs de contexte augmentent, le cache Clé-Valeur (KV) et les poids du modèle dominent l'utilisation de la mémoire, forçant le système à acheminer des ensembles de données massifs pour des produits matrice-vecteur très fins. Cela maintient l'intensité arithmétique bien en dessous des ratios calcul-bande passante du matériel. Bien que la quantification post-entraînement (PTQ) offre une solution en formulant l'inférence comme un problème de compression taux-distorsion, les méthodes de pointe existantes souffrent d'inefficacités :

Quantification des Poids : Des méthodes comme HIGGS utilisent des transformations de Hadamard aléatoires (RHT) et des codebooks de Lloyd finis, mais transmettent des indices à un débit fixe. La théorie de l'information stipule que les quantificateurs codés par entropie devraient nécessiter moins de bits pour une même distorsion, pourtant HIGGS laisse du « taux sur la table » en raison d'indices à débit fixe.
Quantification du Cache KV : Les approches comme TurboQuant et OCTOPUS reposent sur une quantification scalaire ou de faible dimension avec des surcoûts de débit fixes. Elles manquent souvent d'un biais par vecteur strict, ce qui entraîne des décalages systématiques dans les scores d'attention, et ne parviennent pas à exploiter pleinement les gains de la quantification vectorielle multidimensionnelle.

Méthodologie : Le Pipeline HyperQuant

HyperQuant propose un pipeline unifié, sans données (data-free), de post-entraînement qui applique un triplet optimal en termes de taux-distorsion — RHT par tuile, quantification de réseau (lattice) et codage entropique — tant pour les poids que pour les caches KV. Le pipeline se compose de quatre composantes clés :

1. Transformation de Hadamard Aléatoire (RHT) par Tuile

Avant la quantification, les entrées (poids ou vecteurs KV) sont partitionnées en tuiles (ex: taille 128) et transformées via $RHT_n(x) = H_n D x$ , où $H_n$ est la matrice de Walsh-Hadamard et $D$ est une diagonale de signes aléatoires.

Effet : Cela « mélange » les données, rendant la distribution par coordonnée approximativement gaussienne ( $N(0, \sigma^2)$ ).
Bénéfice : Cela redistribue l'erreur de quantification des coordonnées aberrantes (outliers) en une dispersion isotrope, rendant les données adaptées à une quantification de réseau optimale. La transformation est orthogonale, préservant les propriétés d'erreur $\ell_2$ .

2. Quantification de Réseau (Lattice Quantization)

Au lieu de codebooks finis, HyperQuant quantifie les tuiles rotées vers des réseaux optimaux de faible dimension : E8 (8-D), D4 (4-D), A2 (2-D), ou scalaire Z.

Gain Granulaire : Ces réseaux offrent des moments seconds normalisés ( $G(\Lambda)$ ) plus faibles que la quantification scalaire, réduisant la distorsion pour un taux donné. E8 est le réseau de plus haute dimension admettant un décodeur à temps constant ( $O(1)$ ) sous forme fermée.
Réalisation Entière : Les réseaux sont mappés vers des plongements entiers (ex: $E^8_{int} \subset \mathbb{Z}^8$ ) pour s'insérer dans les contraintes de stockage de 8 bits, avec des facteurs d'échelle ( $\alpha$ ) calibrés pour éviter le dépassement de capacité (overflow).

3. Décapage de Bits (Bit-Stripping) et Codage de Rice

Pour atteindre des taux proches de l'optimalité entropique, HyperQuant emploie un processus de codage à deux étapes :

Décapage de Bits : Les contraintes d'appartenance au réseau (ex: contrôles de parité pour E8) fixent de manière déterministe certains bits du vecteur de code entier. Ces bits sont supprimés sans perte avant le codage, réduissant l'entropie des symboles restants.
Codage de Rice : Les symboles restants sont encodés à l'aide de codes de Rice (un code à longueur variable optimal pour les distributions géométriques). Contra à les schémas à débit fixe, cela permet au codebook d'être effectivement illimité, gérant les queues gaussiennes sans étirer les cellules externes. Le taux réalisé se situe à environ $\sim 0,01$ bit par scalaire (bps) de toute cible.

4. Correction de Biais pour le Cache KV

Pour éviter qu'un biais déterministe dans le cache KV ne corrompe la sémantique de l'attention, HyperQuant intègre :

Rotation Aléatoire : Une rotation par couche (soit une matrice QJL uniforme de Haar, soit une simple diagonale de signes $\pm 1$ ) pour réduire l'anisotropie.
Dithering Soustractif : Un nouveau vecteur de bruit uniforme $U \sim \text{Uniform}(V(\Lambda))$ est ajouté avant la quantification et soustrait après. Les auteurs prouvent (Annexe A) que cela produit un biais de produit scalaire par vecteur strictement nul, une propriété supérieure au biais moyen de la distribution des esquisses QJL standards.

Contributions Clés

Pipeline Unifié Optimal Taux-Distorsion : HyperQuant est le premier pipeline sans données combinant RHT, réseaux optimaux et codage entropique pour les poids et les caches KV, atteignant des taux à $\sim 0,01$ bps des cibles théoriques.
Quantification des Poids Supérieure : En remplaçant les codebooks finis par des réseaux illimités et un codage à longueur variable, HyperQuant surpasse HIGGS à chaque point de fonctionnement (3–5 bps). L'étude décompose ce gain en :
- Écart d'Entropie (Entropy Slack) : Récupération des bits gaspillés par les indices à débit fixe (dominant à bas taux).
- Avantage du Codebook Illimité : Le bénéfice structurel des codebooks infinis par rapport aux finis (dominant à haut taux).
Quantification KV à Deux Régimes : Les auteurs caractérisent la quantification KV en un régime de « haute qualité » ( $\ge 2,5$ bps) où les variantes de correction de biais convergent, et un régime de « haute compression » ( $1,7\text{--}2,5$ bps) où la rotation QJL apporte des gains significatifs ( $\sim 0,5$ amélioration de la PPL).
Intégration Matérielle : Le pipeline est conçu pour les Tensor Cores modernes (Hopper/Blackwell), s'intégrant aux chemins fp8, int8, nvfp4 et mxfp4. Notamment, les auteurs constatent que l'int8 surpasse le fp8 sur les données de réseau post-RHT en raison de la distribution quasi-gaussienne à queue légère des poids transformés.
Généralisation : La méthode se transfère avec succès aux architectures non-LLM, comme démontré sur le modèle vidéo LTX-2 de 19 milliards de paramètres sans artefacts perceptibles.

Résultats Expérimentaux

Évalué sur Llama-3.1-8B-Instruct (WikiText-2) et LTX-2-19B :

Quantification des Poids : À 4 bps, HyperQuant (réseau E8) atteint une perplexité (PPL) de 7,434, contre 7,618 pour HIGGS-p2. À 3 bps, l'écart s'accentue (HyperQuant : 8,744 vs HIGㅆ : 9,527).
Quantification du Cache KV :
- À 3 bps, HyperQuant atteint une PPL de 7,41 (vs 7,16 pour la référence bf16), soit une réduction de mémoire de 81 %.
- À 2 bps, HyperQuant atteint une PPL de 7,93 (+0,77 % par rapport à la référence), surpassant nettement OCTOPUS (+34,7 % de PPL) et TurboQuant.
- À 1,7 bps, HyperQuant atteint un ratio de compression de 7,1× avec une augmentation de PPL de 26,9 %, tandis qu'OCTOPUS plafonne près de 3,0× de compression.
Performance de Bout en Bout : Sur un H100, HyperQuant compresse les poids linéaires 3,9× et le cache KV 3,79×. Bien que le décodage à longueur variable introduise de la latence (pas d'accélération du temps réel sur le matériel actuel), la réduction de la mémoire résidente est substantielle (14,96 GiB $\to$ 5,29 GiB pour le modèle complet).
Modèle Vidéo : Sur LTX-2-19B, la quantification à 4 bps produit un PSNR de 22,74 dB et un LPIPS de 0,20, sans artefacts visibles, surpassant la quantification basée sur fp8.

Signification et Revendications

L'article affirme que HyperQuant établit un nouveau standard (SOTA) pour la quantification post-entraînement sans données en appliquant rigoureusement les principes de la théorie de l'information (codage entropique et théorie des réseaux) à l'inférence des transformeurs.

Percée Théorique : Il démontre que l'écart entre l'état de l'art actuel (HIGGS) et la performance optimale est largement dû à l'inefficacité des indices à débit fixe et des codebooks finis. En passant à un codage à longueur variable sur des réseaux illimités, HyperQuant récupère ce « surplus ».
Déploiement Pratique : La méthode ne nécessite aucun jeu de données de calibration ni ajustement fin (fine-tuning), ce qui la rend immédiatement déployable. Elle offre un « menu » de points de fonctionnement, permettant aux praticiens de négocier entre mémoire et qualité (ex: 3 bps pour le cache KV offre d'énormes économies de mémoire avec une dégradation minimale de la PPL).
Conscience du Matériel : Ce travail remet en question l'hypothèse selon laquelle le fp8 est toujours supérieur pour les valeurs aberrantes ; en « gaussianisant » les données via RHT, il montre que l'int8 est souvent un meilleur choix pour la distribution résultante, offrant une meilleure qualité pour une même largeur de bits.

Les auteurs concluent que bien qu'HyperQuant échange actuellement le débit contre l'efficacité mémoire sur le matériel actuel, le pipeline fournit la base nécessaire pour de futures optimisations de noyaux (ex: fusion decode+MMA) qui pourraient débloquer des accélérations de temps réel.