🤖 machine learning

MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

MosaicQuant introduit un cadre de quantification de LLM en 4 bits unifié qui désagrège les poids en une base dense et un résidu creux pour préserver la précision, tandis que son composant ZipperEngine fusionne leur exécution dans un pipeline mono-bas débit pour atteindre des performances proches du FP16 avec une accélération allant jusqu'à 1,24× par rapport aux références.

Auteurs originaux : Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque de livres (des modèles de langage étendus, ou LLM) que vous voulez transporter dans votre sac à dos. Le problème est que les livres sont si lourds et épais que votre sac à dos ne peut pas les contenir, et les lire prend un temps infini.

Pour résoudre cela, vous décidez de rétrécir les livres. Vous voulez les compresser pour en faire de minuscules « éditions de poche » (quantification). Cela les rend légers et rapides à lire. Cependant, il y a un piège : si vous rétrécissez trop les livres, vous perdez les détails importants.

La plupart des livres ont beaucoup de mots communs et ennuyeux (comme « le », « est », « et ») qui sont faciles à rétrécir. Mais de temps en temps, un mot rare et complexe ou un rebondissement dramatique (un « outlier » ou valeur aberrante) apparaît, et il est crucial pour l'histoire. Si vous essayez de rétrécir ces mots rares avec la même taille minuscule que les mots communs, l'histoire s'effondre et l'IA commence à commettre des erreurs.

L'ancienne méthode : Le problème de la « section VIP »

Les méthodes précédentes tentaient de corriger cela en disant : « D'accord, gardons les mots rares et importants dans leur format original, lourd (haute précision), et ne rétrécissons que les mots ennuyeux. »

Bien que cela ait préservé l'exactitude de l'histoire, cela a créé un nouveau problème. Imaginez un bus où la plupart des passagers sont assis sur de petits tabourets pliants (les données compressées de petite taille), mais où quelques VIP sont assis dans de grands fauteuils lourds (les données de haute précision).

Le problème : Le chauffeur du bus (la puce informatique) doit constamment changer de vitesse pour gérer les différents sièges. Il doit s'arrêter, déplacer les fauteuils lourds et les convertir de haut en bas. Ce changement de rythme ralentit le bus, annulant ainsi la vitesse gagnée en rétrécissant les autres passagers.

La nouvelle méthode : MosaicQuant

Les auteurs de ce document proposent un nouveau système appelé MosaicQuant. Au lieu de garder les VIP dans de grands fauteuils, ils gardent tout le monde sur les mêmes petits tabourets pliants (4-bit unifié). Mais, ils ajoutent une astuce ingénieuse pour gérer les mots rares et difficiles.

Voici comment cela fonctionne, en utilisant l'analogie d'une « Mosaïque » :

1. La couche de base (le 4-bit dense)
Ils prennent tout le livre et le rétrécissent à une taille uniforme de 4 bits. Cela capture parfaitement tous les mots communs. Cependant, les mots rares et complexes deviennent un peu flous ou déformés parce qu'ils ont été forcés dans le format minuscule.

2. La couche de « couture » (le résidu parcimonieux/sparse residual)
Au lieu de donner aux mots rares un tout nouveau grand fauteuil, ils créent une minuscule « pièce » ou « couture » invisible juste pour les parties de l'histoire qui sont devenues floues.

Ils ne réparent pas tout le livre. Ils ne réparent que les pages spécifiques où la distorsion est la plus forte.
Cette pièce est également en 4 bits, elle peut donc tenir sur le même petit tabouret.
Comme ils ne réparent que quelques endroits spécifiques (environ 10 % du livre), c'est très léger et cela n'alourdit pas le sac à dos.

3. Le moteur « Fermeture Éclair » (ZipperEngine)
C'est la recette secrète qui permet d'être rapide. Dans l'ancienne méthode « VIP », l'ordinateur devait s'arrêter pour passer des fauteuils lourds aux petits tabourets.

Le ZipperEngine de MosaicQuant agit comme un maître tailleur. Il prend le livre principal (la base dense) et les petites pièces (les résidus parcimonieux) et les coud ensemble pendant que le bus roule.
Il ne s'arrête pas pour changer de vitesse. Il traite le texte principal et les pièces exactement en même temps, en un seul mouvement fluide. Cela signifie que la puce informatique n'a jamais besoin de s'arrêter pour « convertir » les données, maintenant ainsi une vitesse élevée.

Pourquoi cela est important

Les auteurs ont testé cela sur des modèles d'IA puissants (comme LLaMA et Qwen) et ont obtenu deux résultats principaux :

Précision : Les histoires (les sorties de l'IA) sont restées presque aussi parfaites que les livres originaux lourds. Les « pièces » ont si bien réparé les parties floues que l'IA n'a pas perdu son intelligence.
Vitesse : Comme ils n'ont pas eu à alterner entre différents formats, l'IA a tourné jusqu'à 1,24 fois plus vite que la version standard en 16 bits, et beaucoup plus vite que les autres méthodes qui tentaient de mélanger haute et basse précision.

En bref : MosaicQuant est comme si l'on rétrécissait toute une bibliothèque au format de poche, mais au lieu de laisser de côté les parties importantes ou de les rendre lourdes, on ajoute de petites « pièces » légères pour réparer les erreurs, tout en maintenant un processus de lecture fluide et rapide.

Résumé Technique : MosaicQuant

Problématique

Bien que la quantification en 4 bits offre un potentiel significatif pour réduire l'empreinte mémoire et accélérer l'inférence des grands modèles de langage (LLM), elle fait face à une limitation fondamentale : la largeur de bit restreinte ne peut pas représenter fidèlement à la fois les valeurs communes denses (inliers) et les valeurs de grande magnitude rares (outliers). Cette divergence entraîne une dégradation substantielle de la précision.

Les solutions existantes emploient généralement une quantification à précision mixte, conservant les outliers en haute précision (par exemple, FP16 ou INT8) tout en quantifiant le reste en 4 bits. Cependant, cette approche rompt l'uniformité de l'exécution en bas débit. La nécessité d'opérations de repli en haute précision introduit des surcoûts supplémentaires de mouvement de données, de conversion de format et de conversion de précision, ce qui finit par compromettre l'accélération matérique concrète promise par l'inférence à bas débit.

Méthodologie

Les auteurs proposent MosaicQuant, un paradigme de quantification en 4 bits unifié basé sur le principe de la désagrégation inlier–outlier. Au lieu de préserver les outliers en haute précision, MosaicQuant décompose entièrement la matrice de poids en composants 4 bits : une base dense et un résidu creux (sparse).

1. Désagrégation Inlier–Outlier

La méthode commence par migrer les outliers d'activation vers la matrice de poids en utilisant des transformations équivalentes (par exemple, SmoothQuant ou QuaRot). La matrice de poids migrée $\hat{W}$ est ensuite décomposée comme suit :
$\hat{W} \approx Q(\hat{W}) + R$
Où :

Base dense en 4 bits ( $Q(\hat{W})$ ) : Capture fidèlement les inliers communs.
Résidu creux en 4 bits ( $R$ ) : Compense les erreurs de quantification introduites par les outliers.

Crucialement, les deux composants opèrent en 4 bits, préservant l'uniformité du pipeline d'exécution à bas débit.

2. Allocation du résidu par bloc

L'article identifie que les erreurs de quantification ne sont pas distribuées uniformément à travers les canaux mais présentent une concentration par bloc à grain fin. Par conséquent, MosaicQuant alloue le budget du résidu creux au niveau du bloc plutôt qu'au niveau du canal.

Pour sélectionner les blocs les plus critiques sans évaluations complètes et coûteuses de la sortie, les auteurs introduisent un $\Delta$ -score guidé par le Hessien. Cette métrique approxime la réduction marginale de la distorsion de sortie pour chaque bloc en pondérant l'erreur de résidu par la sensibilité de l'activation (estimation diagonale du Hessien) des canaux d'entrée. L'algorithme sélectionne les $K$ meilleurs blocs ayant les $\Delta$ -scores les plus élevés pour recevoir la compensation du résidu creux en 4 bits. Les expériences montrent qu'un budget creux de seulement 10 % des blocs est suffisant pour récupérer plus de 50 % de la distorsion de sortie.

3. ZipperEngine : Exécution unifiée

Une représentation unifiée seule est insuffisante si le résidu creux est exécuté via un noyau séparé, ce qui rechargerait les activations et fusionnerait les sorties partielles, ajoutant ainsi de la latence. Pour y remédier, les auteurs introduisent ZipperEngine, un moteur d'exécution spécialisé qui :

Fusionne les noyaux : Intègre le calcul du résidu creux directement dans le noyau GEMM 4 bits dense.
Pipeline superposé : Utilise un pipeline segmenté et superposé où la quantification, le calcul dense, la compensation creuse et les opérations de réduction-addition sont planifiés simultanément sur les Tensor Cores, les CUDA Cores et la HBM.
Résultat : Cela élimine le surcoût de l'appel de noyau séparé et du trafic mémoire redondant, réalisant l'efficacité matérielle d'un pipeline d'inférence 4 bits entièrement unifié.

Contributions Clés

Paradigme MosaicQuant : Une approche de quantification en 4 bits qui effectue une désagrégation inlier–outlier par bloc, atténuant la perte de précision tout en maintenant un schéma d'exécution entièrement à bas débit.
Sélection guidée par le Hessien : Une stratégie de sélection de blocs efficace et sensible aux activations utilisant un score $\Delta$ -Hessien pour identifier les blocs résiduels critiques, remplaçant l'évaluation coûteuse de la distorsion de sortie exacte.
ZipperEngine : Un moteur d'exécution 4 bits dense–creux qui fusionne le calcul du résidu creux dans le noyau GEMM dense via un pipeline superposé, permettant des accélérations pratiques même avec des blocs résiduels supplémentaires.

Résultats Expérimentaux

Les auteurs ont évalué MosaicQuant sur les modèles LLaMA3 (3B, 8B) et Qwen3 (4B, 8B, 14B, 32B).

Précision : MosaicQuant préserve une précision proche de la FP16. Sous une quantification W4A4, il surpasse significativement les autres bases de comparaison à bas débit (RTN, SmoothQuant, QuaRot, SpinQuant, ResQ, Atom). Par exemple, sur Qwen3-32B, MosaicQuant atteint une perplexité de 8,4, contre 9,2 pour ResQ et 9,3 pour Atom. Il maintient également des performances robustes là où d'autres méthodes (comme RTN et SmoothQuant) s'effondrent souvent sur les modèles Qwen3.
Débit : Sur une NVIDIA RTX 4090, MosaicQuant atteint jusqu'à 1,24× d'accélération par rapport à la référence W16A16. Il délivre systématiquement le débit le plus élevé pour des tailles de batch de 4 à 32 par rapport à TensorRT-LLM et aux autres bases de comparaison de quantification.
Surcoût : Les branches creuses en 4 bits entraînent un surcoût minimal, avec une augmentation de l'utilisation de la mémoire de seulement 8,5–9,5 % et un surcoût de latence restant inférieur à 6,2 % grâce au pipeline fusionné.

Signification

L'article affirme que MosaicQuant résout le compromis entre précision et efficacité matérielle dans la quantification 4 bits des LLM. En éliminant le besoin d'opérations de repli en haute précision et en unifiant la représentation et l'exécution en un seul pipeline cohérent à bas débit, MosaicQuant permet un service de LLM efficace sans sacrifier la régularité d'une exécution uniforme en 4 bits. Cette approche démontre qu'une compensation creuse à faible précision peut efficacement récupérer les erreurs induites par les outliers tout en maintenant les avantages de débit de l'inférence dense à bas débit.