🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

Le papier présente la quantification multiplicative des quaternions de Hurwitz (HQMQ), une méthode sans calibration qui compresse les caches KV en représentant des blocs de 4 éléments sous forme de quaternions quantifiés via un produit d'un groupe de Hurwitz fixe et de codebooks secondaires aléatoires, atteignant une précision proche du fp16 avec une compression allant jusqu'à 5,05× sur divers LLM modernes tout en éliminant le besoin de calibration.

Auteurs originaux : Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Accumulateur de Mémoire »

Imaginez un Modèle de Langage (LLM) comme un bibliothécaire brillant mais oublieux. Lorsqu'on lui pose une longue question, il doit se souvenir de chaque mot que vous avez dit jusqu'ici pour répondre correctement. En termes informatiques, cette mémoire s'appelle le Cache KV.

Pour des conversations très longues, ce cache mémoire devient énorme. Si le bibliothécaire tente de se souvenir de chaque détail en haute définition (comme un film 4K), il remplit instantanément la RAM de l'ordinateur. Cela force l'ordinateur à utiliser un stockage plus lent ou à planter, ce qui interrompt la conversation.

Pour résoudre ce problème, les ingénieurs tentent de « compresser » la mémoire, comme transformer un film 4K en un fichier MP4 plus petit. Cependant, les méthodes de compression précédentes étaient comme l'utilisation d'un couteau émoussé : si vous réduisez trop la taille du fichier (en dessous de 4 bits), le film devient injouable (l'IA commence à dire des absurdités). Si le modèle d'IA possède des « valeurs aberrantes » (des nombres étranges et extrêmes dans ses données), la compression standard échoue complètement, provoquant des hallucinations massives de l'IA.

La Solution : HQMQ (Le Système de « Boussole Intelligente »)

Les auteurs proposent une nouvelle méthode appelée HQMQ. Au lieu de simplement réduire les nombres, ils traitent des groupes de données comme des quaternions (un type de boussole mathématique à 4 dimensions).

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. L'« Étoile à 24 Points » (Le Livre de Codes Primaire)

Imaginez que la direction vers laquelle pointe une donnée est comme une aiguille de boussole. Au lieu d'essayer de stocker l'angle exact (ce qui prend trop de place), les auteurs utilisent une « étoile » spéciale et préfabriquée à 24 points (appelée le groupe de Hurwitz).

L'Analogie : Pensez à cela comme un ensemble standard de 24 directions fixes (Nord, Nord-Est, etc., mais en 4D). Peu importe où pointe la donnée, vous la faites simplement « s'aligner » sur la plus proche de ces 24 directions « parfaites ».
La Magie : Parce que ces 24 points sont mathématiquement parfaits et régulièrement espacés, vous n'avez pas besoin d'entraîner l'IA pour les apprendre. Ce sont simplement des règles « codées en dur », comme les lettres sur un clavier.

2. La « Rotation Aléatoire » (Le Livre de Codes Secondaire)

Les 24 points ne suffisent pas à couvrir chaque nuance possible. Les auteurs ajoutent donc une deuxième couche : une petite « rotation » aléatoire pour chaque partie spécifique de l'IA.

L'Analogie : Imaginez que vous avez un globe avec les 24 points peints dessus. Maintenant, imaginez que vous pouvez faire tourner le globe de manière aléatoire pour chaque phrase que l'IA traite.
Le Résultat : Lorsque vous combinez les 24 points fixes avec une rotation aléatoire, vous obtenez des milliers de directions uniques ( $24 \times \text{rotations aléatoires}$ ).
Pourquoi c'est génial : Le papier affirme que vous n'avez pas besoin d'entraîner cette rotation aléatoire. Grâce aux mathématiques sous-jacentes, n'importe quelle rotation aléatoire fonctionne presque aussi bien qu'une rotation entraînée. C'est comme dire : « Vous n'avez pas besoin de vous entraîner à lancer des fléchettes ; lancez-les simplement au hasard, et les mathématiques garantissent que vous toucherez la cible. » Cela économise du temps et des données.

3. Le « Filet de Sécurité pour Valeurs Aberrantes » (Med3×)

Certains modèles d'IA (comme Qwen) possèdent des « valeurs aberrantes » — des points de données 100 fois ou 200 fois plus grands que la normale. La compression standard tente d'écraser ces énormes nombres pour qu'ils rentrent, ce qui détruit les données.

L'Analogie : Imaginez que vous faites vos valises. La plupart des vêtements sont de taille normale, mais vous avez un ours en peluche géant et de forme bizarre. Si vous essayez de forcer l'ours dans une petite boîte, il déchire la boîte.
La Correction : HQMQ a une règle : « Si un nombre est trop grand (plus de 3 fois la moyenne), ne le serrez pas. Gardez-le simplement dans sa forme originale de haute qualité (fp16) et marquez-le avec un petit drapeau. »
Le Résultat : Seule environ 1 à 3 % des données reçoit ce traitement spécial, donc les économies de mémoire restent massives, mais les « ours en peluche géants » ne cassent pas le système.

Qu'ont-ils Démontré ?

Les auteurs ont testé cela sur cinq modèles d'IA modernes différents (Mistral, Llama, Qwen, etc.). Voici leurs principales conclusions :

Cela Fonctionne Sans Entraînement : Contrairement à d'autres méthodes qui nécessitent une phase de « calibration » (où l'IA étudie les données pour apprendre à compresser), HQMQ fonctionne immédiatement avec des paramètres aléatoires.
Cela Économise Massivement de l'Espace : Ils ont réussi à réduire le cache mémoire par un facteur de 5. Par exemple, un cache de contexte 128k pour un modèle de 70 milliards de paramètres (qui prend généralement 43 Go) a été réduit à 8,5 Go. Cela signifie que vous pouvez exécuter une IA massive sur une seule carte graphique grand public au lieu d'un supercalculateur.
Cela Gère les « Mauvaises » Données : Sur des modèles avec des valeurs aberrantes extrêmes (comme Qwen), la compression standard échouait complètement (le taux d'erreur de l'IA explosait). HQMQ + le « Filet de Sécurité » a corrigé cela, ramenant les performances de l'IA à des niveaux quasi parfaits.
Vitesse : Ils ont construit un moteur spécial « fusionné » qui lit les données compressées et les décode instantanément pendant que l'IA réfléchit. Cela signifie que l'IA ne ralentit pas ; elle utilise simplement moins de mémoire.

La Conclusion

HQMQ est comme un kit de compression universel et préfabriqué pour la mémoire de l'IA. Il utilise un tour de passe-passe mathématique astucieux (multiplier une étoile fixe à 24 points par une rotation aléatoire) pour stocker des directions efficacement sans avoir besoin d'apprendre quoi que ce soit au préalable. Il dispose également d'un interrupteur de sécurité pour les pics de données étranges.

Le résultat ? Vous pouvez exécuter des conversations beaucoup plus longues et intelligentes sur des ordinateurs beaucoup plus petits, sans que l'IA ne perde la tête.

Résumé Technique : Quantification Multiplicative des Quaternions de Hurwitz pour la Compression du Cache KV

Énoncé du Problème

Le coût mémoire du cache Key-Value (KV) lors de l'inférence à long contexte dans les grands modèles de langage (LLM) domine souvent les coûts de calcul. Le stockage des vecteurs K et V en FP16 peut consommer des dizaines de gigaoctets pour des longueurs de séquence dépassant 32k. Bien que la quantification scalaire (par exemple, int8, int4) réduise ce coût, les performances se dégradent considérablement en dessous de 4 bits, et l'int2 brise généralement le modèle. De plus, les architectures modernes (spécifiquement celles avec Attention à Requêtes Groupées, comme Qwen2.5 et Qwen3) présentent des motifs d'attention « riches en valeurs aberrantes » où une petite fraction de blocs K possède des magnitudes extrêmes. La quantification scalaire standard échoue de manière catastrophique dans ces scénarios, entraînant des pics de perplexité (PPL) de plus de 10 000 points. Les approches de quantification vectorielle existantes nécessitent souvent des données d'étalonnage ou échouent à gérer efficacement ces valeurs aberrantes.

Méthodologie : Quantification Multiplicative des Quaternions de Hurwitz (HQMQ)

Les auteurs proposent HQMQ, une méthode sans étalonnage qui traite chaque bloc de 4 éléments des vecteurs K ou V comme un quaternion $x \in \mathbb{H}$ . La méthode décompose le vecteur en un rayon $r = \|x\|$ et une direction unitaire $u = x/r$ sur la 3-sphère $S^3$ .

1. Composition Multiplicative de la Codebook

Au lieu d'apprendre une seule grande codebook ou d'utiliser une composition additive, HQMQ construit une codebook conjointe via le produit multiplicatif de deux composantes :

Codebook Primaire ( $P$ ) : Un ensemble fixe de 24 quaternions de Hurwitz unitaires, correspondant aux sommets du 24-cellule sur $S^3$ (le groupe tétraédral binaire $2T$ ). Ces sommets sont séparés par paires de $60^\circ$ et forment un groupe multiplicatif fermé.
Codebook Secondaire ( $S$ ) : Un ensemble de $S$ quaternions unitaires aléatoires, initialisés par (couche, tête, rôle) sans étalonnage.

La codebook effective est l'ensemble $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ . Cela génère $24S$ mots de code effectifs tout en ne stockant que $S$ paramètres. La direction $u$ est quantifiée vers le mot de code $c \in C$ qui maximise le produit scalaire $\langle u, c \rangle$ .

2. Justification Théorique de l'Initialisation Aléatoire

L'article soutient que l'étalonnage est inutile car la multiplication à gauche par un quaternion unitaire est une isométrie sur $S^3$ . Sélectionner aléatoirement $S$ éléments effectue essentiellement une rotation du groupe fixe $2T$ , créant $S$ copies isométriques disjointes qui pavent $S^3 de manière quasi-uniforme. La Proposition 3.1 établit que cet empilement multiplicatif aléatoire atteint un taux de couverture optimal de$ O((24S)^{-1/3})$ sur $S^3$ , correspondant à la borne théorique pour les empilements de sphères optimaux à des constantes près.

3. Extraction des Valeurs Aberrantes par Multiplicateur Médian (Med3×)

Pour traiter les architectures « riches en valeurs aberrantes » où les normes de blocs varient par des facteurs de 80 à 280 fois, les auteurs introduisent une étape d'extraction des valeurs aberrantes par lot :

Calculer la norme médiane des blocs $r_{med}$ sur le lot actuel.
Identifier les blocs où $r > C \cdot r_{med}$ (avec une constante fixe $C=3$ ).
Stocker ces valeurs aberrantes en FP16 complet (avec un drapeau 1-bit) et quantifier les blocs « en vrac » restants en utilisant HQMQ.
Cette étape ne nécessite aucune donnée d'étalonnage et est stable sur différentes architectures.

Contributions Clés

Nouvelle Règle de Composition de Codebook : Un schéma de quantification multiplicative basé sur le groupe fini de Hurwitz $2T$ , différent de la VQ additive (CommVQ) ou de la VQ plate apprise (VPTQ).
Déploiement Sans Étalonnage : La méthode repose sur les propriétés géométriques des rotations aléatoires de Haar du 24-cellule, éliminant le besoin de passes d'étalonnage par modèle. Les résultats empiriques montrent une variation de perplexité de tâche finale de $<0,14\%$ sur différents graines aléatoires.
Gestion Robuste des Valeurs Aberrantes : Le mécanisme d'extraction Med3× permet l'utilisation de la quantification à faible nombre de bits sur des modèles riches en valeurs aberrantes (comme Qwen2.5/3) où l'int4 naïf échoue complètement.
Validation Empirique : Évaluation sur cinq modèles divers (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B et gpt-oss-20b) démontrant une domination de Pareto sur les baselines entières naïves.

Résultats Expérimentaux

Perplexité et Qualité

Mistral-7B & Llama-3-8B : HQMQ atteint une compression quasi sans perte à $\sim5$ bits, correspondant à la perplexité FP16 à 0,02–0,03 point près. À 3,79 bits, il correspond à la précision zero-shot en aval FP16 (PIQA, HellaSwag, ARC-Easy).
Qwen2.5-7B & Qwen3-8B (Riches en Valeurs Aberrantes) : L'int4 naïf s'effondre vers des PPL de 17 000 à 18 000. HQMQ + Med3× récupère la qualité FP16 (PPL $\approx$ 9,0–9,7) à $\sim5$ bits, représentant une amélioration de qualité d'environ $1 900\times$ par rapport à l'int4 naïf à moins de bits.
gpt-oss-20b (MoE Épars) : HQMQ domine la baseline naïve par un facteur de 3 à 3,5 à bits égaux.

Comparaison avec les Baselines

vs. Int Naïf : HQMQ surpasse l'int4 naïf de 3 à 1 900 fois en PPL sur tous les modèles à taux de bits égaux.
vs. KIVI (Baseline Étalonnée) : À 3,79 bits, HQMQ correspond à KIVI-4 étalonné (qui utilise $\sim4,5$ bits) à environ 1 point près sur CoQA et 2,3 points sur GSM8K, en utilisant 16 % de bits en moins et zéro étalonnage.
vs. Quantification Sphérique/Vectorielle : HQMQ surpasse les baselines sphériques (par exemple, style TurboQuant) et les baselines VQ additives avec des codebooks aléatoires.

Mémoire et Latence

Compression : HQMQ offre jusqu'à 5,05× de compression du cache KV. Pour un modèle Llama-3-70B avec un contexte de 128k, le cache passe de 43 Go (FP16) à 8,5 Go, permettant l'inférence sur une seule GPU grand public de 24 Go.
Latence : Un noyau fusionné Triton décode K/V directement dans la boucle d'attention. Sur une charge de travail de décodage en production, le noyau fusionné maintient une latence constante d'environ 0,033 ms quelle que soit la longueur du contexte, offrant une accélération de 7,4× à 82,9× par rapport à un pipeline « fake-quant » naïf qui déquantifie l'intégralité du cache à chaque étape.

Importance et Revendications

L'article revendique que HQMQ fournit une « recette algébrique propre » pour la quantification du cache KV qui comble le fossé entre la quantification vectorielle théorique et le déploiement pratique. Son importance principale réside dans :

Permettre la Quantification à Faible Nombre de Bits sur des Modèles Riches en Valeurs Aberrantes : C'est la première méthode à rendre la quantification sub-5 bits viable pour des architectures comme Qwen2.5/3, où les méthodes standard échouent.
Éliminer la Surcharge d'Étalonnage : En exploitant les propriétés géométriques du groupe de Hurwitz, il supprime le besoin d'étalonnage dépendant des données, le rendant adapté aux modèles propriétaires ou déployés rapidement.
Efficacité Pratique : La combinaison de ratios de compression élevés (jusqu'à 5×) et d'un noyau fusionné évitant les goulots d'étranglement de bande passante mémoire rend l'inférence à long contexte pratique sur le matériel grand public.

Les auteurs notent des limitations, spécifiquement que HQMQ ne rivalise pas avec les codebooks entraînés (comme CommVQ) dans le régime sub-3 bits et que ses performances sur des contextes extrêmement longs (au-delà de 128k) ou sur des architectures spécifiques comme l'Attention Latente Multi-têtes (MLA) nécessitent des investigations supplémentaires. Cependant, dans le régime 3–5 bits, il établit un nouvel état de l'art pour la compression KV robuste aux valeurs aberrantes et sans étalonnage.