🤖 machine learning

Quantize What Counts: More for Keys, Less for Values

Ce papier établit un fondement théorique pour la quantification de cache KV en précision mixte dans les grands modèles de langage en démontrant que la priorisation d'une précision plus élevée pour les clés par rapport aux valeurs réduit strictement l'erreur de quantification et préserve la précision, transformant ainsi l'allocation de bits d'un réglage heuristique en un principe de conception guidé par la géométrie.

Auteurs originaux : Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Le « Frigo Mémoire » est Trop Plein

Imaginez un Modèle de Langage (LLM) comme un chef brillant qui prépare un repas très long (une conversation ou une histoire). Pour maintenir le repas en cours, le chef doit se souvenir de chaque ingrédient ajouté jusqu'ici. En termes informatiques, cette mémoire s'appelle le KV Cache (Cache Clé-Valeur).

À mesure que le repas s'allonge (plus de tokens), le chef a besoin d'un frigo de plus en plus grand pour stocker ces ingrédients. Finalement, le frigo devient si plein que la cuisine manque d'espace, ralentissant tout ou arrêtant la cuisson complètement. C'est le « goulot d'étranglement mémoire » que le papier aborde.

La Solution Actuelle : Rétrécir les Ingrédients

Pour régler le problème du frigo plein, les ingénieurs utilisent la quantification. Pensez-y comme à la compression des ingrédients. Au lieu de stocker un gros pastèque entier (haute précision), vous stockez une tranche plus petite et plus légère (basse précision). Cela économise de l'espace.

Cependant, il y a un piège : si vous rétrécissez trop les ingrédients, le chef pourrait oublier la recette ou faire une erreur. La grande question a toujours été : « Dans quelle mesure pouvons-nous rétrécir les ingrédients Clés par rapport aux ingrédients Valeurs sans gâcher le repas ? »

Jusqu'à présent, les gens devinaient (heuristiques) ou essayaient des combinaisons au hasard pour voir ce qui fonctionnait. Ce papier dit : « Arrêtez de deviner. Regardons les mathématiques. »

La Découverte : Les Clés sont les « Porteurs Lourds »

Les auteurs ont découvert une différence fondamentale entre les deux types d'ingrédients : les Clés et les Valeurs.

L'Analogie : Imaginez que la « Clé » est l'étiquette sur une boîte, et la « Valeur » est le contenu de la boîte.
La Découverte : Le papier prouve que les « étiquettes » (Clés) sont mathématiquement « plus lourdes » et plus complexes que le « contenu » (Valeurs). En termes techniques, les matrices de Clés ont des « normes » plus grandes (une mesure de la taille et de l'énergie) que les matrices de Valeurs.

Comme les Clés sont plus lourdes, elles portent une plus grande « densité d'information ». Si vous écrasez trop un objet lourd, il se brise. Si vous écrasez un objet léger, il change à peine.

La Solution : « Plus pour les Clés, Moins pour les Valeurs »

Sur la base de cette découverte, les auteurs proposent une nouvelle règle pour rétrécir les ingrédients :

Donnez plus de bits aux Clés (gardez-les plus grandes) : Puisque les Clés sont les étiquettes lourdes et complexes, elles doivent rester relativement précises.
Donnez moins de bits aux Valeurs (rétrécissez-les davantage) : Puisque les Valeurs sont plus légères et moins sensibles, vous pouvez les compresser considérablement sans perdre beaucoup de précision.

La Métaphore Créative :
Imaginez que vous faites une valise pour un voyage.

Les Clés sont votre passeport et vos billets. Si vous les griffonnez ou les pliez trop petit, vous ne pouvez pas les utiliser et vous restez bloqué. Ils doivent être gardés nets et clairs (Haute Précision).
Les Valeurs sont vos chaussettes et t-shirts. Vous pouvez les plier serré, les rouler, ou même les bourrer dans les coins. Elles prennent de la place, mais si elles se froissent un peu, vous pouvez toujours les porter (Basse Précision).

La stratégie du papier est : Emballer le passeport soigneusement (4 bits), mais bourrer les chaussettes serré (2 bits).

Les Résultats : Économiser de l'Espace sans Perdre de Qualité

Les chercheurs ont testé cette stratégie « Passeport contre Chaussettes » sur de nombreux modèles différents (comme Llama, Mistral et Qwen) et tâches (mathématiques, conversation, écriture).

L'Ancienne Façon : Traiter tout de la même manière (par exemple, 4 bits pour les passeports, 4 bits pour les chaussettes). Cela gaspille de l'espace sur les chaussettes.
La Nouvelle Façon : 4 bits pour les passeports, 2 bits pour les chaussettes.

Le Résultat :

Espace Économisé : Ils ont économisé environ 25 % de la mémoire nécessaire pour le frigo.
Précision Conservée : Le modèle a toujours performé à 98,3 % de sa précision originale.
Le Point Doux « K4V2 » : Spécifiquement, allouer 4 bits aux Clés et 2 bits aux Valeurs fonctionnait presque aussi bien que de garder tout à 4 bits, mais utilisait la moitié de la mémoire pour les valeurs.

Pourquoi Cela Compte

Ce papier change la donne en passant du « tâtonnement » à la « conception scientifique ».

Avant : Les ingénieurs ajustaient les paramètres au hasard jusqu'à ce que le modèle ne plante pas.
Maintenant : Nous avons une règle basée sur la géométrie du modèle lui-même : Prioriser les Clés.

Ils ont également montré que cette règle fonctionne parfaitement avec d'autres astuces (comme la « rotation », qui est comme réorganiser la valise pour mieux y faire entrer les choses). Lorsque vous combinez « Plus pour les Clés » avec ces autres astuces, les résultats s'améliorent encore.

Résumé

Le papier soutient que dans la mémoire des modèles d'IA, les Clés sont les parties critiques et porteuses lourdes, tandis que les Valeurs sont les parties flexibles et compressibles. En accordant plus d'attention (bits) aux Clés et moins aux Valeurs, nous pouvons réduire considérablement l'empreinte mémoire du modèle sans faire « oublier » à l'IA comment penser. C'est une règle simple, étayée par les mathématiques : Plus pour les Clés, Moins pour les Valeurs.

Résumé Technique : Quantifier ce qui Compte : Plus pour les Clés, Moins pour les Valeurs

Énoncé du Problème

Les grands modèles de langage (LLM) font face à des goulots d'étranglement sévères en mémoire lors de l'inférence, entraînés par le cache Key-Value (KV), qui évolue linéairement avec la taille du modèle et la longueur du contexte. Bien que la quantification du cache KV (réduction de la précision de BF16 à INT4 ou inférieur) offre une voie pour économiser de la mémoire, les méthodes existantes reposent souvent sur un réglage heuristique et ad hoc pour l'allocation des bits entre les clés et les valeurs. Les approches actuelles traitent généralement la répartition clé-valeur comme un hyperparamètre à rechercher par grille ou à dériver des statistiques d'activation lors de l'inférence, sans fondement théorique ancré dans les propriétés intrinsèques du modèle. Cela soulève une question fondamentale : comment déterminer l'allocation des bits de manière principielle et généralisable, minimisant l'erreur de quantification tout en préservant la précision du modèle ?

Méthodologie

L'article propose une approche guidée par la géométrie pour la quantification KV en précision mixte, fondée sur les normes spectrales et de Frobenius intrinsèques des matrices de poids des Transformers. La méthodologie procède en deux étapes théoriques et empiriques :

Analyse Théorique de la Disparité des Normes : Les auteurs analysent la dynamique d'entraînement des matrices de projection de clés ( $W_K$ ) et de valeurs ( $W_V$ ). Ils démontrent que $W_K$ acquiert systématiquement des normes spectrales et de Frobenius plus grandes que $W_V$ en raison de l'asymétrie architecturale des mécanismes d'attention. Plus précisément, $W_K$ façonne la carte d'attention et interagit de manière multiplicative avec les requêtes, conduisant à des signaux de gradient amplifiés durant l'entraînement, tandis que $W_V$ n'influence que les représentations post-attention. Cela résulte en une densité d'information et une magnitude plus élevées pour $W_K$ .
Dérivation de Théorèmes de Quantification : Basés sur l'observation que l'erreur de quantification évolue avec l'énergie du signal (magnitude de la norme), les auteurs dérivent deux théorèmes :
- Théorème de la Disparité des Normes Clé-Valeur : Prouve que les normes spectrales et de Frobenius attendues de $W_K$ dépassent celles de $W_V$ à travers les familles de LLM prominentes.
- Théorème de la Quantification Prioritaire aux Clés : Établit que pour tout budget mémoire fixe, allouer une précision plus élevée aux clés qu'aux valeurs réduit strictement l'erreur totale de quantification. Cela s'explique par le fait que l'erreur introduite dans le chemin des clés à haute norme est amplifiée plus significativement à travers le réseau que les erreurs dans le chemin des valeurs.

Les auteurs valident ces théorèmes sur divers modèles (Llama-3, Mistral, Phi, Qwen, DeepSeek), ensembles de données (C4, MMLU, GSM8K, CoQA, EQ-Bench, LongBench) et backends de quantification (Optimum Quanto et HQQ). Ils étudient également l'intégration de cette stratégie avec des méthodes de redistribution des valeurs aberrantes basées sur la rotation (par exemple, QuaRot).

Contributions Clés

Fondement Théorique : L'article fournit la première justification théorique pour une allocation asymétrique des bits dans les caches KV, dépassant le réglage heuristique pour atteindre un principe de conception basé sur les propriétés algébriques linéaires des poids des Transformers.
Théorème de la Disparité des Normes : Il prouve que les projections de clés présentent systématiquement des normes plus grandes que les projections de valeurs, une propriété préservée dans les caches résultants.
Théorème de la Quantification Prioritaire aux Clés : Il démontre formellement que prioriser la précision pour les clés par rapport aux valeurs minimise l'erreur de quantification et préserve la précision de l'inférence plus efficacement que des allocations symétriques ou inversées.
Validation Empirique : Des expériences extensives montrent que les allocations favorisant les clés (par exemple, 4 bits pour les clés, 2 bits pour les valeurs) conservent jusqu'à 98,3 % de la précision des allocations uniformes 4 bits (K4V4) tout en réduisant la mémoire du cache KV de 25 %.
Orthogonalité et Intégration : L'étude montre que cette stratégie guidée par la géométrie est orthogonale aux techniques existantes de redistribution des valeurs aberrantes. Combiner la quantification prioritaire aux clés avec une rotation uniquement sur les clés génère des gains synergiques, surpassant les bases uniformes de 4,4 à 18 % en précision sur diverses tâches.

Résultats

Erreur de Reconstruction : Sur sept modèles et plusieurs ensembles de données, les caches de clés encourrent systématiquement des erreurs de reconstruction plus importantes que les caches de valeurs à largeurs de bits identiques (par exemple, K2 vs V2), confirmant leur sensibilité plus élevée à la quantification.
Précision en Aval :
- Dans les évaluations GSM8K utilisant Optimum Quanto, la configuration K4V2 (4 bits pour les clés, 2 bits pour les valeurs) surpasse significativement K2V4, récupérant environ 94 % de la précision de la référence en pleine précision, tandis que les allocations favorisant les valeurs entraînent des pertes allant jusqu'à 30 points de pourcentage.
- En utilisant HQQ sur une gamme plus large de largeurs de bits (1–8 bits) et de modèles (0,6B–32B), allouer ne serait-ce qu'un bit supplémentaire aux clés à des précisions ultra-faibles génère des gains massifs (par exemple, +48 points de pourcentage pour Qwen3-8B sur GSM8K en passant de clés 1 bit à 2 bits).
- En moyenne, K4V2 conserve 98,3 % de la précision de K4V4 sur CoQA, EQ-Bench et GSM8K.
Intégration de la Rotation : Appliquer la rotation uniquement aux clés dans un réglage K4V2 atteint une précision presque équivalente à la base K4V4 complète, indiquant que le bénéfice principal de la rotation provient de l'atténuation des valeurs aberrantes des clés. La rotation uniquement des valeurs fournit des retours marginaux ou négatifs.
Sensibilité à la Taille de Groupe : Des tailles de groupe plus fines (par exemple, 32) pour les clés améliorent la précision en raison d'une densité d'information plus élevée, tandis que des tailles de groupe plus grossières (64 ou 128) pour les valeurs suffisent avec une perte de précision négligeable.

Importance

L'article prétend transformer l'allocation des bits d'un choix de conception ad hoc en un principe de conception théoriquement fondé et guidé par la géométrie pour une inférence LLM efficace. En ancrant les stratégies en précision mixte dans les normes intrinsèques des poids du modèle, les auteurs fournissent une règle généralisable : « Plus pour les clés, moins pour les valeurs. » Cette approche offre un coût analytique léger et ponctuel par modèle, sans nécessiter d'auto-inspection lors de l'inférence ni de réentraînement. Les résultats suggèrent que les futurs cadres de quantification KV et la co-conception matériel-algorithme devraient prioriser la précision des clés pour atteindre une efficacité mémoire maximale avec une dégradation minimale de la précision. Le travail souligne également que cette stratégie complète les techniques existantes de redistribution des valeurs aberrantes, permettant des gains de performance supplémentaires sans augmenter la complexité.