🤖 machine learning

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

XFP est une méthode de quantification de poids dynamique et sans calibration pour l'inférence des LLM qui détermine automatiquement les paramètres du codebook à partir de seuils de qualité spécifiés par l'utilisateur, séparant efficacement les valeurs aberrantes clairsemées pour atteindre un débit et une précision élevés tout en permettant aux modèles massifs de tenir dans une mémoire contrainte grâce à son itération « H-Process » pilotée par la qualité.

Auteurs originaux : Thomas Witt

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Witt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de faire tenir un château Lego massif de 397 milliards de pièces (un modèle d'IA géant) dans un petit sac à dos (un ordinateur de station de travail standard).

Normalement, pour faire tenir le château, vous essayez d'écraser les briques en une poussière fine et uniforme (compression standard). Mais cela ruine le château ; les détails deviennent flous et l'IA commence à faire des erreurs.

XFP est une nouvelle façon plus intelligente de ranger ce château. Au lieu d'écraser tout, il utilise une approche « Qualité d'abord ». Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Plancher de Qualité » au lieu de la « Largeur de bit »

Dans l'ancienne méthode, vous dites à l'ordinateur : « Emballez cela en 4 bits par brique. » L'ordinateur fait de son mieux, mais si les briques ont des formes étranges, le résultat est mauvais.

XFP inverse cela. Vous dites à l'ordinateur : « J'ai besoin que le château ressemble au moins à 96 % de l'original. »
L'ordinateur détermine ensuite le reste par lui-même. Il se demande : « D'accord, pour maintenir une qualité de 96 %, combien de bits ai-je réellement besoin pour cette partie spécifique ? »

Pour certaines parties, il pourrait n'avoir besoin que de 2 bits.
Pour d'autres parties, il pourrait avoir besoin de 4 bits.
Il n'impose pas une règle unique pour tous.

2. Le problème des « Valeurs aberrantes » (Les Briques Géantes)

Imaginez que dans votre château Lego, 99 % des briques sont petites et normales, mais 1 % sont des briques géantes, lourdes et de formes étranges.

Ancienne méthode : Vous essayez d'écraser les briques géantes pour qu'elles rentrent dans la petite boîte. Cela déforme toute la boîte, rendant même les petites briques mauvaises.
Méthode XFP : Elle dit : « Sortons ces briques géantes et étranges et mettons-les dans une poche spéciale, séparée. »
- La Poche Spéciale contient les briques géantes dans leur forme originale et de haute qualité (en utilisant un peu plus d'espace, mais uniquement pour les quelques-unes qui en ont besoin).
- La Boîte Principale ne contient que les 99 % de briques normales, qui sont maintenant faciles à compresser car elles sont toutes similaires.

3. Le « Dictionnaire Personnalisé » (Le Codebook)

Au lieu d'utiliser un dictionnaire standard où chaque mot a la même longueur, XFP apprend un dictionnaire personnalisé pour chaque couche individuelle de l'IA.

Il examine les briques dans une pièce spécifique du château et apprend exactement quelles formes apparaissent le plus souvent.
Il crée une petite liste (un « codebook ») contenant uniquement ces formes.
Ensuite, au lieu de stocker la brique entière, il stocke simplement un petit nombre (un index) pointant vers cette forme dans la liste.
Parce que la liste est sur mesure pour cette pièce spécifique, elle est incroyablement efficace.

4. Les Deux Règles (Stricte vs Paresseuse)

L'IA possède différents types de pièces :

Les Pièces « Stricte » : (Comme le mécanisme d'attention, qui prête attention aux détails). XFP est très prudent ici. Il utilise un dictionnaire de haute qualité et garde plus de briques géantes dans la poche spéciale.
Les Pièces « Paresseuse » : (Comme les « experts routés », qui sont des travailleurs spécialisés). Ces pièces sont plus flexibles. XFP utilise ici un dictionnaire plus petit et plus grossier, car ces parties de l'IA peuvent tolérer d'être plus écrasées sans se briser.

Cela permet à XFP d'économiser d'énormes quantités d'espace sans ruiner le cerveau de l'IA.

5. Le « Processus H » (Le Serrage Étroit)

L'article décrit un défi spécifique : faire tenir un modèle de 397 milliards de paramètres sur deux cartes graphiques standard (qui ne peuvent généralement pas le contenir).

Ils ont utilisé un processus appelé le Processus H.
Pensez-y comme à un jeu de « Boucle d'Or ». Ils ont continué à ajuster les règles « Stricte » et « Paresseuse ».
- S'ils rendaient les règles trop strictes, le modèle ne tiendrait pas dans le sac à dos (Mémoire insuffisante).
- S'ils rendaient les règles trop lâches, l'IA commençait à dire des absurdités (Sortie erronée).
Ils ont trouvé le réglage « Ni trop, ni trop peu » (appelé H1.5) où le modèle tient parfaitement, fonctionne rapidement et donne toujours de bonnes réponses.

Les Résultats

Vitesse : Sur un ordinateur de station de travail haut de gamme, XFP fonctionne 49 % plus vite que la meilleure méthode standard actuelle (Marlin INT4) pour un modèle de 122 milliards.
Qualité : Il conserve l'intelligence de l'IA presque exactement la même que la version originale non compressée.
Accessibilité : Il permet aux chercheurs d'exécuter des modèles d'IA massifs sur des ordinateurs de bureau standards et puissants, sans avoir besoin de superordinateurs coûteux de centres de données.

En résumé : XFP est un système d'emballage intelligent qui ne force pas tout dans une boîte uniforme. Il sépare les objets étranges et lourds, apprend des dictionnaires personnalisés pour le reste, et vous laisse décider de la quantité de qualité que vous souhaitez conserver, en calculant automatiquement la manière la plus efficace de tout faire tenir.

Résumé technique : XFP – Quantification adaptative de codebooks ciblant la qualité

1. Énoncé du problème

L'article traite des limites des stratégies actuelles de quantification des grands modèles de langage (LLM) lors du déploiement de modèles massifs de type Mixture-of-Experts (MoE) sur du matériel de classe poste de travail (par exemple, NVIDIA RTX PRO 6000 Blackwell). Les auteurs identifient trois problèmes structurels dans les approches existantes :

Le problème des valeurs aberrantes (Outliers) : Les matrices de poids des transformateurs présentent des distributions à queue lourde. La quantification linéaire uniforme (INT-N) ou les codebooks logarithmiques fixes (comme NVFP4) doivent accommoder des valeurs aberrantes extrêmes, ce qui force l'utilisation d'un facteur d'échelle unique dégradant la résolution pour la masse centrale dense des poids.
Le problème de l'hétérogénéité MoE : Les différents composants des modèles MoE (attention, experts partagés, experts routés) possèdent des distributions de poids distinctes. Les experts routés sont empiriquement plus tolérants à une quantification grossière que les couches d'attention. Un plancher de qualité global unique ou une largeur de bits fixe ne parvient pas à exploiter cette asymétrie.
Le problème du stockage des codebooks : Les codebooks appris par canal consomment une mémoire partagée (SMEM) significative sur les GPU. Sur les GPU de classe poste de travail (99 Ko de SMEM par CTA), cela limite la taille du cache des lignes d'activation, imposant des opérations « split-K » qui augmentent la latence et limitant la taille maximale du modèle déployable dans un seul flux.

De plus, l'article note que si le format NVFP4 de NVIDIA offre un débit accéléré par le matériel sur les puces Blackwell de centre de données (SM100+), cette voie est indisponible ou incomplète sur le matériel de classe poste de travail (SM120/121), laissant les opérateurs avec des formats qui ignorent les distributions spécifiques des poids.

2. Méthodologie : Le cadre XFP

XFP inverse le flux de travail de quantification conventionnel. Au lieu que l'opérateur sélectionne une largeur de bits cible et accepte la perte de qualité résultante, l'opérateur spécifie des planchers de qualité de reconstruction basés sur la similarité cosinus par canal. XFP détermine ensuite automatiquement la taille du codebook nécessaire, le budget des valeurs aberrantes et la stratégie d'empaquetage pour chaque couche.

Mécanismes principaux

Séparation des valeurs aberrantes éparses :
Les poids sont décomposés en un résidu haute précision épars et une masse dense.
- Les valeurs aberrantes sont définies comme les poids où $|w - \mu| > k\sigma$ (par défaut $k=4,0$ , plafonné à 2 % des poids).
- Ces valeurs aberrantes sont stockées sous forme d'une matrice fp16 éparses à leurs positions d'origine.
- Les poids restants de la « masse » sont remplacés par leur moyenne de groupe et quantifiés.
Codebooks appris adaptatifs :
La distribution de la masse est quantifiée à l'aide d'un codebook appris par groupe via l'itération de Lloyd.
- Mode V2 (Par canal) : Stocke un codebook fp16 indépendant par canal de sortie. Prend en charge les largeurs de bits $N \in \{2, 3, 4, 5, 6\}$ .
- Mode V2a (Bibliothèque partagée) : Stocke une petite bibliothèque de $L$ codebooks (par défaut $L=32$ ) par couche. Chaque groupe de poids est assigné à l'entrée de bibliothèque la mieux adaptée. Cela réduit l'utilisation de la SMEM de $O(\text{output\_dim})$ à une constante d'environ 1 Ko, permettant des fenêtres de contexte plus larges sur les GPU de classe poste de travail.
Sélection automatique ciblée sur la qualité (Double seuil) :
Le système utilise deux seuils de similarité cosinus distincts pour piloter la sélection de la largeur de bits :
- Seuil strict ( $\tau_{strict}$ ) : Appliqué aux projections d'attention et d'experts partagés.
- Seuil laxiste ( $\tau_{lazy}$ ) : Appliqué aux chemins MoE d'experts routés.
- L'algorithme itère sur les largeurs de bits candidates ( $N$ ) et sélectionne le minimum $N$ satisfaisant le seuil pertinent. Cela permet aux experts routés d'utiliser une quantification plus grossière (par exemple, $N=2$ ) tandis que les couches d'attention utilisent une quantification plus fine (par exemple, $N=4$ ) sans intervention manuelle.
Noyau de décodage fusionné :
Un noyau personnalisé fusionne quatre opérations : le dépaquetage des indices, la collecte depuis le codebook, la dispersion des valeurs aberrantes éparses et l'exécution du GEMM. Il opère nativement en bf16 et met en cache les lignes d'activation dans la SMEM pour minimiser l'utilisation de la bande passante de la mémoire globale.

3. Contributions clés

L'article expose trois contributions principales :

(C1) Le quantificateur XFP : Un quantificateur dynamique et ciblant la qualité qui converge vers des largeurs de bits effectives d'environ 3,97 sur Qwen3.5-122B et d'environ 3,4 sur Qwen3.5-397B sous le « H-Process » (une itération de compression contrainte). Il ne nécessite aucun calcul de Hessien, aucune donnée d'étalonnage et aucune sélection manuelle de largeur de bits.
(C2) Modes de stockage duals avec moteur unifié : Deux modes de stockage (V2 et V2a) partagent une interface de sélection automatique et un noyau de décodage fusionné. Cela couvre la plage de 30 à 397 milliards de paramètres sur les GPU de classe poste de travail sans dépendre des cœurs Tensor NVFP4.
(C3) Le H-Process : Une itération pilotée par la qualité sur les deux seuils de cosinus qui permet de faire tenir le modèle Qwen3.5-A17B de 397 milliards de paramètres (512 experts routés par couche) dans 2 × 96 Go de VRAM. Il y parvient avec environ 3,4 bits effectifs tout en conservant l'ensemble de la population d'experts, évitant ainsi le besoin d'élagage des experts.

4. Résultats expérimentaux

Les expériences ont été menées sur du matériel de classe poste de travail (RTX PRO 6000 Blackwell, DGX Spark) utilisant les modèles Qwen3.5 et GLM-4.7-Flash.

Qwen3.5-122B-A10B (Mode V2) :
- Atteint 138 jetons/s en décodage mono-flux sur TP=2.
- 49 % plus rapide que Marlin INT4 (AutoRound) sur TP=1.
- Maintient 94,49 % de correspondance stricte GSM8K (3 graines), comparable aux références 4 bits.
- Largeur de bits effective : ~3,97.
Qwen3.5-397B-A17B (H-Process, Mode V2) :
- Déploiement réussi sur 2 × 96 Go de GPU.
- Atteint 100,9 jetons/s sur le décodage de sortie longue.
- Atteint 66,72 % de correspondance stricte GSM8K sur l'ensemble complet de 1 319 problèmes (une seule graine).
- Largeur de bits effective : ~3,4.
- Comparaison avec REAP (élagage d'experts) : XFP+H conserve tous les experts et atteint une précision supérieure (66,72 % contre 33–44 % pour l'INT4 élagué) avec une empreinte mémoire inférieure ou comparable.
Sondages en mode V2a :
- Démontre des gains de débit de +47 % par rapport à Marlin INT4 sur Qwen3.5-122B, validant l'approche de bibliothèque partagée pour les scénarios contraints en mémoire.

5. Importance et affirmations

L'article positionne XFP non pas simplement comme un format de quantification, mais comme un mécanisme pour un déploiement de classe appareil. Son importance réside dans :

L'inversion du flux de travail : Le passage du rôle de l'opérateur, de la sélection de largeurs de bits à la définition de contraintes de qualité, permettant au système de s'adapter automatiquement à l'hétérogénéité du modèle.
La viabilité poste de travail : Le déploiement de modèles MoE massifs (jusqu'à 397 milliards de paramètres) sur du matériel grand public/de classe poste de travail (GPU 96 Go) sans support spécifique aux cœurs Tensor de centre de données (NVFP4) ni élagage d'experts.
La compression pilotée par la qualité : La démonstration que la « qualité » (similarité cosinus) est une métrique de pilotage plus efficace que les largeurs de bits fixes, en particulier pour les modèles MoE où différents composants ont des tolérances de quantification très différentes.
L'agnosticisme matériel : La fourniture d'un avantage de débit défini par logiciel sur du matériel où les voies de quantification dédiées (NVFP4) sont indisponibles ou incomplètes, surpassant les noyaux INT4 les plus optimisés (Marlin) en lisant moins d'octets par jeton.

Les auteurs déclarent explicitement que le compromis implique une surcharge de codebook par groupe et des itérations de Lloyd au moment de l'encodage, ce qui favorise XFP au niveau poste de travail pour les charges de travail limitées par la mémoire, bien que le choix reste une décision de déploiement plutôt qu'un verdict universel de référence.