🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant est une méthode de quantification vectorielle sans étalonnage pour les caches KV des LLM qui emploie une transformation unique de type « Normaliser-Décaler-Normaliser » combinée à une transformée de Hadamard afin d'aligner les distributions de tokens avec une distribution normale standard, permettant une compression à faible nombre de bits robuste et des gains de débit allant jusqu'à 3x sans dépendre de jeux de données d'étalonnage.

Auteurs originaux : Donghyun Son, Euntae Choi, Sungjoo Yoo

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donghyun Son, Euntae Choi, Sungjoo Yoo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de transporter une bibliothèque massive de souvenirs dans votre sac à dos tout en marchant sur un très long chemin. C'est ce qui arrive lorsqu'un Grand Modèle de Langage (LLM) — un cerveau informatique super intelligent qui écrit des histoires, résout des problèmes de mathématiques et discute avec vous — essaie de traiter une longue conversation. Chaque fois qu'il lit un mot, il doit se souvenir de tout ce qui l'a précédé pour comprendre le contexte. Cette « mémoire » est appelée le KV Cache (Cache Clé-Valeur). Le problème est qu'à mesure que la conversation s'allonge, ce sac à dos devient de plus en plus lourd, finissant par être si plein que l'ordinateur manque d'espace et ralentit considérablement.

Pour corriger cela, les scientifiques ont essayé de rétrécir le sac à dos en compressant les souvenirs, un peu comme on range des vêtements dans un sac sous vide. Une méthode populaire est la Quantification Vectorielle (VQ). Voyez cela comme le fait de regrouper des articles similaires et de les remplacer par une étiquette unique provenant d'un « dictionnaire » ou d'un codebook. Au lieu de se souvenir de la nuance exacte de bleu pour chaque chaussette, vous retenez simplement « Groupe Bleu 4 ». Cependant, il y a un piège : la plupart des méthodes existantes doivent étudier un ensemble spécifique de vêtements (un jeu de données de calibration) pour construire ce dictionnaire. Si vous essayez ensuite de ranger un ensemble de vêtements complètement différent (un nouveau type de conversation), le dictionnaire ne convient plus, et la compression échoue. Cet article s'attaque précisément à ce problème : comment rétrécir la mémoire sans avoir besoin d'étudier les vêtements au préalable.

Le Problème : Un Dictionnaire qui ne fonctionne que pour une seule Garde-robe

Les auteurs de cet article, de l'Université Nationale de Séoul, ont remarqué un bug frustrant dans la méthode actuelle de pointe pour compresser la mémoire des LLM, appelée Quantification Couplée (CQ). Imaginez la CQ comme un tailleur qui confectionne un costume sur mesure en se basant sur les mesures prises sur une seule personne. Si cette personne entre dans une pièce remplie de gens ayant des morphologies différentes, le costume conviendra parfaitement à la première personne, mais aura l'air ridicule sur tous les autres.

Dans le monde de l'IA, cette « personne » est la donnée sur laquelle le modèle a été calibré (comme un jeu de données de texte spécifique appelé WikiText-2). Lorsque le modèle essaie de traiter un type de texte différent (comme le jeu de données C4, qui est une vaste collection de pages web), le « costume » ne convient plus. Les auteurs ont découvert que ce décalage provoque des erreurs stupides, particulièrement avec les signes de ponctuation. Par exemple, le modèle peut se tromper sur les virgules parce que le « dictionnaire » qu'il a appris à partir des données d'entraînement ne possédait pas les bonnes étiquettes pour la façon dont les virgules apparaissent dans le nouveau texte. C'est un problème majeur car cela signifie que le modèle devient peu fiable lorsqu'il sort de sa zone de confort.

La Solution : NSNQuant – Le Cube de Rangement Universel

Pour résoudre cela, l'équipe a introduit NSNQuant, une nouvelle façon ingénieuse de compresser la mémoire qui n'a pas besoin d'étudier de données spécifiques au préalable. Au lieu d'essayer d'apprendre un dictionnaire personnalisé pour chaque nouvelle garde-robe, NSNQuant force tous les vêtements à entrer dans un cube de rangement standard et préfabriqué.

Voici comment ils procèdent, en utilisant un tour de magie en trois étapes qu'ils appellent Normalize-Shift-Normalize (NSN) :

Normaliser (La première étape) : Imaginez que vous avez un tas de chaussettes où certaines sont minuscules et d'autres géantes. La première étape consiste à étirer ou rétrécir chaque chausquette pour qu'elles aient toutes la même taille. Cela empêche les chaussettes géantes de monopoliser tout l'espace et de perturber le rangement.
Décaler (L'étape du milieu) : Maintenant, imaginez que les chaussettes sont toutes de la même taille, mais qu'elles penchent toutes vers la gauche. L'étape de « Décalage » (Shift) les repousse toutes vers le centre pour qu'elles soient parfaitement équilibrées.
Normaliser (L'étape finale) : Pour être sûrs, ils vérifient la taille une dernière fois pour s'assurer que tout est toujours uniforme.

Après cette danse en trois étapes, les auteurs ajoutent une touche finale : une Transformée de Hadamard. Vous pouvez voir cela comme le fait de faire pivoter tout le tas de chaussettes d'une manière mathématique spécifique. La magie est qu'après cette rotation, les formes désordonnées et imprévisibles des chettes (les données) ressemblent soudainement à une courbe en cloche parfaite et lisse (une distribution normale standard).

Parce que les données ressemblent désormais à cette courbe en cloche prévisible peu importe quel était le texte d'origine, les auteurs peuvent utiliser un « dictionnaire » (codebook) unique et préfabriqué conçu spécifiquement pour cette courbe en cloche. Ils n'ont pas besoin d'examiner les données au préalable ; ils savent simplement que les données s'adapteront au dictionnaire parce qu'ils ont forcé les données à adopter cette forme.

Ce qu'ils ont trouvé : Une Clé Universelle

L'équipe a testé cette idée sur plusieurs modèles d'IA célèbres, incluant les familles LLaMA et Mistral. Ils ont comparé NSNQuant aux anciennes méthodes (comme CQ et KIVI) en utilisant différents types de textes, allant de récits simples à des problèmes de code et de mathématiques complexes.

Les résultats sont impressionnants :

Meilleure Généralisation : Alors que les anciennes méthodes (CQ) trébuchaient lors du passage d'un jeu de données à un autre, NSNQuant maintenait des performances solides. C'était comme posséder une clé universelle capable d'ouvrir toutes les portes, là où les anciennes clés ne fonctionnaient que sur les portes pour lesquelles elles avaient été fabriquées.
Succès en Bas-Bit : L'équipe a testé la compression de la mémoire jusqu'à seulement 1-bit et 2-bits. Dans le cadre du 1-bit (où la mémoire est réduite à sa plus petite taille possible), NSNQuant a écrasé la concurrence. Par exemple, sur une tâche de raisonnement mathématique appelée GSM8K, l'ancienne méthode 1-bit obtenait environ 24, tandis que NSNQuant-1b affichait 53,45. C'est plus du double de la performance !
Vitesse et Espace : Comme la mémoire est beaucoup plus petite, l'ordinateur peut traiter plus de conversations à la fois. Les auteurs ont montré que leur méthode pouvait gérer 3 fois plus de débit de données que la version standard non compressée, tout en utilisant nettement moins de mémoire.

Les Petites Lettres

Les auteurs précisent avec prudence que bien que cette méthode soit une amélioration majeure, elle n'est pas une magie parfaite. Ils ont constaté que dans les toutes premières couches du modèle d'IA, les « chaussettes » présentent parfois encore quelques valeurs aberrantes qui ne s'intègrent pas parfaitement à la courbe en cloche. Cependant, même avec ces petits dysfonctionnements, la performance globale est restée très élevée.

Ils soulignent également que cette méthode est « sans calibration ». Contra contrairement aux anciennes méthodes qui nécessitaient des heures d'étude de données spécifiques pour construire un dictionnaire, le dictionnaire de NSNQuant peut être construit en moins de 5 minutes sur une seule carte graphique et peut ensuite être réutilisé pour n'importe quel modèle. Cela le rend incroyablement pratique pour une utilisation réelle.

En résumé, NSNQuant est comme un système de rangement universel qui force n'importe quel tas de souvenirs désordonnés à prendre une forme nette et prévisible, permettant aux modèles d'IA de transporter leurs souvenirs à long terme dans un sac à dos beaucoup plus petit sans perdre leur capacité à réfléchir clairement. Cela suggère qu'en standardisant les données avant de les compresser, nous pouvons rendre l'IA plus rapide, moins coûteuse et plus fiable, même lorsqu'elle traite des sujets totalement nouveaux et inconnus.

Résumé Technique : NSNQuant

Énoncé du Problème

L'inférence des grands modèles de langage (LLM) est de plus en plus limitée par la mémoire, particulièrement lors de la manipulation de séquences longues et de tailles de lots (batch sizes) importantes. Le goulot d'étranglement principal est le cache Clé-Valeur (KV), qui croît linéairement avec la longueur de la séquence. Bien que la quantification vectorielle (VQ) soit apparue comme une technique de compression prometteuse, les méthodes existantes comme la quantification couplée (CQ) dépendent de jeux de données de calibration pour apprendre les centroïdes (codebooks). Les auteurs observent que ces approches basées sur la calibration souffrent d'une dégradation sévère des performances dans les scénarios hors distribution (OOD). Plus précisément, lorsque la distribution d'entrée diffère de l'ensemble de calibration (par exemple, utiliser WikiText-2 pour la calibration mais tester sur C4), les centroïdes appris ne parviennent pas à représenter fidèlement les jetons critiques, tels que la ponctuation, entraînant des erreurs significatives dans les poids d'attention et une dégradation des performances du modèle (par exemple, une perplexité plus élevée).

Méthodologie : NSNQuant

Pour remédier à la dépendance aux données de calibration et au changement de distribution qui en résulte, les auteurs proposent NSNQuant, une technique de VQ sans calibration. L'innovation centrale est un pipeline de transformation qui aligne la distribution du cache KV avec une distribution normale standard, permettant l'utilisation d'un codebook unique et réutilisable sans données externes.

1. Normalisation-Décalage-Normalisation (NSN)

La méthode applique une transformation en trois étapes aux tenseurs KV ( $v \in \mathbb{R}^{l \times d}$ ) :

Normalisation (par jeton) : Chaque jeton est normalisé pour avoir une norme de $\sqrt{d}$ . Cela empêche les jetons aberrants (outliers) de dominer les étapes suivantes et garantit que les jetons de faible magnitude ne subissent pas d'erreurs relatives trop importantes.
Décalage (par canal) : La moyenne par canal est calculée et soustraite pour centrer la distribution autour de zéro.
Normalisation (par jeton) : Une seconde normalisation est appliquée pour restaurer la norme du jeton à $\sqrt{d}$ .

Ce processus produit des sous-produits ( $s_1$ , $o$ , $s_2$ ) utilisés pour reconstruire le tenseur original. Théoriquement, lorsqu'elle est combinée à une transformée de Hadamard, cette procédure aligne la distribution des canaux avec la distribution normale standard, comme le soutient le théorème de la limite centrale et les bornes de variance dérivées dans le Lemme 1.

2. Transformée de Hadamard

Le processus NSN est associé à une transformée de Hadamard (spécifiquement la transformée de Hadamard randomisée ou RHT). Bien que la transformée de Hadamard naïve soit utilisée dans l'implémentation finale pour l'efficacité, la RHT fournit des garanties théoriques que les variances de canaux résultantes sont proches de 1.

3. Quantification Vectorielle et Codebook

Une fois transformées, les données sont quantifiées à l'aide d'un codebook global unique adapté à la distribution normale standard.

Construction du Codebook : Au lieu d'apprendre les centroïdes à partir d'un ensemble de calibration, le codebook est initialisé via K-Means sur des données normales standards synthétiques (torch.randn) et affiné pour minimiser la distance cosinus entre les vecteurs originaux et quantifiés. Ce processus est rapide (quelques minutes) et ne nécessite pas de rétropropagation à travers les poids du modèle.
Ajustement de l'Échelle : Une stratégie de mise à l'échelle adaptative est employée où le vecteur quantifié est mis à l'échelle pour préserver les composantes parallèles au vecteur original, minimisant ainsi les erreurs orthogonales.
Double Quantification (DQ) : Pour réduire davantage la surcharge, les paramètres utilisés pour le processus NSN (moyenne $o$ et échelle $s_1$ ) ainsi que les entrées du codebook lui-même sont quantifiés (4 bits), ajoutant une surcharge de mémoire négligeable (environ 0,23 bit en moyenne).

4. Détails d'Implémentation

Résidus : Suivant KIVI, le cache KV est divisé en une partie quantifiée et un résidu en pleine précision. Lorsque le résidu est plein, il est vidé, quantifié et ajouté.
Calcul de l'Attention : Pour les clés (keys), la NSN est appliquée avant l'encapsulation de position rotative (RoPE). Les auteurs constatent que cet ordre de priorité produit une meilleure qualité. Le calcul du score d'attention est modifié pour incorporer directement les sous-produits de la NSN ( $s_1, s_2, o$ ) au sein de noyaux CUDA personnalisés.
Efficacité : Des noyaux CUDA personnalisés sont implémentés pour les transformées de Hadamard, la quantification vectorielle et la déquantification, utilisant la mémoire partagée pour minimiser les accès au DRAM.

Contributions Clés

Observation Empirique : Les auteurs démontrent que la forte dépendance des distributions KV vis-à-vis des jeux de données d'entrée provoque l'échec des méthodes de VQ existantes (comme CQ) dans les scénarios OOD, affectant particulièrement les jetons de ponctuation dans des modèles comme LLaMA3.
VQ sans Calibration : NSNQuant introduit une méthode qui élimine le besoin de jeux de données de calibration en alignant la distribution du KV sur un a priori connu (normale standard) via le processus NSN et la transformée de Hadamard.
Performance et Généralisation : Des expériences approfondies montrent que NSNQuant surpasse systématiquement les bases de référence (KIVI, KVQuant, CQ) dans les configurations 1-bit et 2-bit à travers divers jeux de données (WikiText-2, C4, LongBench, GSM8K, MMLU). Elle présente une généralisation supérieure là où les méthodes basées sur la calibration se dégradent.
Efficacité : L'implémentation permet un gain de débit allant jusqu'à 3× par rapport aux bases de référence en pleine précision et supporte des tailles de lots plus grandes (jusqu'à 4×) grâce à la réduction de l'utilisation de la mémoire.

Résultats

Perplexité (PPL) : Sur le jeu de données C4, NSNQuant surpasse nettement CQ. Par exemple, pour LLaMA3-8B, CQ-4c9b produit une PPL de 13,97, tandis que NSNQuant-2b atteint 9,08. En configuration 1-bit, NSNQuant-1b (PPL 16,69) surpasse largement CQ-8c10b (PPL 43,78).
LongBench : NSNQuant-1b surpasse les autres bases de référence 1-bit par une large marge. En configuration 2-bit, elle égale ou dépasse légèrement les autres méthodes, bien que les auteurs notent un bruit de mesure dans certaines tâches.
Raisonnement et Génération : Sur GSM8K (raisonnement mathématique) et MMLU (compréhension multi-tâches), NSNQuant excelle, particulièrement dans les contextes de "Chain-of-Thought" (CoT) à quelques exemples (few-shot) où des chemins de raisonnement stricts sont requis.
Latence : Bien que l'étape de pré-remplissage (prefill) incurre une latence plus élevée en raison de la surcharge de la NSN et de Hadamard, l'étape de décodage est plus rapide que les bases de référence en pleine précision grâce à l'allègement des calculs d'attention limités par la mémoire.

Signification et Revendications

L'article affirme que NSNQuant représente un passage d'une calibration dépendante des données à une quantification alignée sur la distribution. En exploitant la propriété selon laquelle la transformée de Hadamard combinée à la NSN produit une distribution normale standard, la méthode permet l'utilisation d'un codebook universel et indépendant du modèle. Cela rend l'approche robuste aux changements de distribution et élimine le coût computationnel et les exigences de données liés à la calibration. Les auteurs positionnent NSNQuant comme une solution pratique pour permettre l'inférence de LLM à contexte long sur du matériel à mémoire contrainte, offrant un équilibre entre haute compression (1-bit/2-bit), forte généralisation et performance d'exécution efficace.

Les auteurs reconnaissent modestement certaines limites, notant que la standardisation n'est pas parfaite dans les premières couches en raison de canaux aberrants présentant des variances élevées, et que la méthode ne modélise pas explicitement les corrélations inter-canaux, contrairement à CQ. Cependant, ils soutiennent que ce compromis favorise la robustesse et la généralisation par rapport aux gains potentiels issus de l'ajustement (overfitting) à des distributions de calibration spécifiques.