💬 NLP

Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

Le document présente Drop-by-Drop, un nouveau cadre de quantification post-entraînement qui exploite des livrets de codes additifs et une supervision de style Matryoshka pour permettre à un unique point de contrôle de LLM de prendre en charge une inférence adaptative à plusieurs largeurs de bits avec un surcoût de stockage minimal tout en maintenant une précision compétitive à travers diverses architectures de modèles.

Auteurs originaux : Liza Babaoglu, Shuangyi Chen, Ashish Khisti

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Liza Babaoglu, Shuangyi Chen, Ashish Khisti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Une taille unique ne convient pas à tous

Imaginez que vous possédez une immense bibliothèque de connaissances incroyablement détaillée (un Grand Modèle de Langage ou LLM). Cette bibliothèque est si vaste qu'elle nécessite un entrepôt géant pour être stockée.

Le Cloud : Si vous faites fonctionner cette bibliothèque sur un supercalculateur géant dans le cloud, vous avez beaucoup d'espace. Vous pouvez garder chaque livre ouvert et lire les moindres détails.
Le Téléphone : Si vous essayez de faire fonctionner cette même bibliothèque sur un smartphone ou un petit appareil périphérique (edge device), l'entrepôt est trop grand. La mémoire (RAM) et la batterie du téléphone ne peuvent pas supporter une telle taille.

La solution actuelle (l'approche « statique ») :
Actuellement, si vous voulez utiliser cette bibliothèque sur différents appareils, vous devez en faire des copies séparées :

Une « Édition Deluxe » pour le supercalculateur (haute qualité, taille énorme).
Une « Édition de Poche » pour le téléphone (compressée, qualité moindre).
Une « Édition Voyage » pour une tablette (taille moyenne).

C'est inefficace. Vous devez entraîner, stocker et maintenir trois versions différentes de la même bibliothèque. Si vous voulez passer du téléphone à la tablette, vous devez échanger l'intégralité du fichier.

La nouvelle solution : « Drop-by-Drop »

Les auteurs proposent une nouvelle méthode appelée Drop-by-Drop. Au lieu de créer trois bibliothèques différentes, ils créent une seule et unique bibliothèque qui peut magiquement rétrécir ou grandir selon l'appareil sur lequel elle se trouve, sans avoir besoin d'être réentraînée ou remplacée.

Ne voyez pas la bibliothèque comme une pile de livres, mais comme une poupée russe (Matryoshka).

La coque extérieure : La version la plus petite et la plus basique. Elle tient dans votre poche mais ne connaît que les faits les plus importants.
La couche intermédiaire : Si vous ouvrez la coque, vous trouvez une poupée légèrement plus grande avec plus de détails.
Le noyau central : La poupée pleine taille avec chaque moindre détail.

Avec Drop-by-Drop, vous n'avez pas besoin de transporter trois poupées différentes. Vous en transportez une seule.

Sur un téléphone, vous utilisez simplement la coque extérieure.
Sur une tablette, vous ouvrez la coque pour utiliser la couche intermédiaire.
Sur un supercalculateur, vous ouvrez tout pour utiliser le noyau complet.

Comment ça marche : La recette de l'« Additive Codebook »

Pour faire fonctionner cette poupée russe, les auteurs utilisent une technique appelée Quantification Additive.

Imaginez que vous essayiez de décrire une peinture complexe à quelqu'un lors d'un appel téléphonique.

Méthode standard : Vous envoyez une photo basse résolution (floue) pour le téléphone, et une photo haute résolution pour l'ordinateur. Ce sont deux fichiers différents.
Méthode Drop-by-Drop : Vous envoyez d'abord un croquis de base.
- Si l'auditeur a un petit écran, il s'arrête là. Il a une idée approximative de la peinture.
- S'il a un écran plus grand, vous envoyez la Couche 2 : quelques traits supplémentaires pour définir les formes.
- S'il a un écran immense, vous envoyez la Couche 3 : les couleurs finales et les détails.

La magie réside dans le fait que la Couche 2 et la Couche 3 sont inutiles sans la Couche 1, mais la Couche 1 est parfaite à elle seule. Les couches sont « additives » — elles s'empilent les unes sur les autres pour construire une image plus claire.

Le ingrédient secret : L'entraînement « Matryoshka »

Habituellement, lorsque vous entraînez une IA à compresser des données, elle apprend à créer la meilleure image finale possible. Elle ne se soucie pas de savoir si les premières couches sont mauvaises. Si vous vous arrêtez plus tôt, l'image est un désastre.

Les auteurs ont introduit une règle d'entraînement spéciale appelée Supervision Matryoshka.

L'analogie : Imaginez un professeur corrigeant la dissertation d'un élève.
- Ancienne méthode : Le professeur ne note que la dissertation finale de 10 pages. Si l'élève s'arrête à la page 1, le professeur dit : « C'est de la poubelle, je ne peux pas noter. »
- Méthode Drop-by-Drop : Le professeur note l'élève à chaque étape. « D'accord, la page 1 est un bon résumé. La page 3 ajoute de bons détails. La page 10 est parfaite. »
Le résultat : Parce que l'IA a été entraînée pour s'assurer que chaque version partielle (1 couche, 2 couches, 3 couches) soit précise, vous pouvez en toute sécurité « abandonner » (drop) les couches supplémentaires lorsque vous êtes sur un petit appareil, et les couches restantes fonctionneront parfaitement.

Pourquoi cela importe (selon le papier)

Un modèle, de nombreux appareils : Vous n'avez besoin de stocker et de télécharger qu'un seul fichier. L'appareil décide de la quantité de « déballage » du fichier en fonction de sa mémoire.
Pas de réentraînement : Vous n'avez pas besoin d'entraîner un nouveau modèle pour chaque téléphone ou tablette. Le modèle unique s'adapte automatiquement.
Transition fluide : À mesure que vous passez d'un appareil à faible puissance à un appareil de haute puissance, la qualité s'améliore de manière fluide, plutôt que de passer brusquement entre des modèles différents et incompatibles.
Théorie prouvée : Le papier utilise les mathématiques (Théorie de l'information) pour prouver que cette approche de « mise en emboîtement » est théoriquement possible pour les types de données utilisés par les LLM, garantissant que vous ne perdez pas d'efficacité en ajoutant ces couches.

Résumé

Drop-by-Drop transforme un modèle d'IA rigide et universel en un modèle flexible et « intelligent » capable de rétrécir pour tenir dans votre poche ou de s'étendre pour remplir un supercalculateur, le tout à partir d'un seul fichier. Il y parvient en entraînant l'IA à être performante à chaque niveau de détail, et non seulement au niveau final, le plus détaillé.

Résumé technique : Drop-by-Drop pour la quantification multi-largeur de bits des LLM

Énoncé du problème

Les grands modèles de langage (LLM) font face à des défis de déploiement significatifs en raison des vastes ressources de mémoire et de calcul requises par leurs milliards de paramètres. Bien que la quantification compresse ces modèles en représentations à précision finie, les méthodes conventionnelles produisent généralement des modèles à un niveau de compression fixe (par exemple, un modèle statique de 4 bits ou 8 bits). Cette rigidité est sous-optimale pour les environnements matériels hétérogènes allant des serveurs cloud aux appareils périphériques (edge) aux ressources contraintes. Le maintien de multiples variantes de modèles quantifiés séparément pour différentes largeurs de bits entraîne des coûts de stockage et de maintenance prohibitifs. De plus, les méthodes adaptatives existantes reposent souvent sur un réentraînement ou ne parviennent pas à fournir un compromis fluide entre précision et efficacité sans dégradation catastrophique des performances lors de la suppression de composants.

Méthodologie : Drop-by-Drop (DbyD)

Les auteurs proposent Drop-by-Drop, un nouveau cadre de quantification post-entraînement (PTQ) qui permet à un seul modèle entraîné de fonctionner à plusieurs niveaux de précision sans réentraînement. La méthode est fondée sur la théorie de l'information et s'appuie sur la Quantification Additive (AQLM).

Fondement théorique

L'approche est motivée par le concept de raffinement successif de la source. L'article établit un théorème prouvant que les sources gaussiennes (que les poids des LLM approximent empiriquement) sont successivement raffinables sous une mesure de distorsion de type Erreur Quadratique Moyenne Pondérée (WMSE). Cette mesure de distorsion est dérivée des fonctions de perte des LLM, où l'erreur est pondérée par la matrice de données d'entrée $X$ . Le théorème démontre qu'une source peut être encodée de telle sorte qu'en ajoutant progressivement des bits, on obtient des reconstructions de plus en plus précises sans pénalité de débit par rapport à un encodage direct au niveau de distorsion cible.

Implémentation algorithmique

Drop-by-Drop adapte le cadre AQLM, qui représente les poids comme des sommes de vecteurs issus de plusieurs dictionnaires (codebooks) appris.

Dictionnaires additifs : Au lieu d'une seule étape de quantification, les poids sont reconstruits comme une somme de vecteurs sélectionnés à partir de $M$ dictionnaires distincts.
Supervision de style Matryoshka : Pour garantir que des sous-ensembles de ces dictionnaires produisent des reconstructions partielles précises, les auteurs introduisent une fonction de perte spécialisée lors de l'entraînement. Cette perte agrège les distorsions WMSE des reconstructions partielles utilisant les $k$ $k$ premiers dictionnaires (pour $k = 1, \dots, M$ $k = 1, \dots, M$ ).
- $L_{DbyD} = \sum_{k=1}^{K} \lambda_k D^{(k)}$ , où $D^{(k)}$ est la distorsion utilisant les $k$ premiers dictionnaires.
- Cette supervision « Matryoshka » encourage explicitement les premiers dictionnaires à capturer des caractéristiques grossières et fondamentales, tandis que les dictionnaires suivants apportent des raffinements plus fins.
Flexibilité à l'inférence : Lors de l'inférence, le modèle peut ajuster dynamiquement sa précision en supprimant des dictionnaires. Un appareil avec des contraintes strictes peut n'utiliser que les premiers dictionnaires (par exemple, $k=3$ ), tandis qu'un appareil riche en ressources peut utiliser l'ensemble des $M$ dictionnaires. Cela permet à un seul checkpoint de servir plusieurs largeurs de bits.

Principales contributions

Preuve théorique : L'article prouve que les sources gaussiennes sont successivement raffinables sous la mesure de distorsion WMSE pertinente pour les LLM, fournissant une base théorique pour une quantification progressive sans perte de débit.
Cadre Drop-by-Drop : Un cadre PTX pratique qui intègre la supervision Matryoshka dans l'entraînement de dictionnaires additifs, permettant à un seul modèle de supporter plusieurs niveaux de précision via la suppression de dictionnaires.
Validation empirique : Des expériences approfondies sur diverses architectures (Qwen, LLaMA, Gemma, Mistral) démontrent que Drop-by-Drop maintient une perplexité et une précision de tâche compétitives à travers toute la gamme de largeurs de bits supportées, présentant une dégradation progressive par rapport à l'AQLM standard lorsque les dictionnaires sont supprimés.

Résultats expérimentaux

Les auteurs ont évalué Drop-by-Drop sur des modèles allant de 0,5B à 32B de paramètres en utilisant WikiText-2, C4 et cinq tests de raisonnement zero-shot (ARC, HellaSwag, Winogrande, PIQA).

Perplexité : Les variantes de Drop-by-Drop ont systématiquement surpassé la méthode de base « AQLM (Drop) », qui entraîne un modèle AQLM standard et supprime simplement les dictionnaires lors de l'inférence. Par exemple, sur Mistral-7B à une précision de 3 bits, l'AQLM (Drop) standard a subi une augmentation massive de la perplexité (112,75), tandis que Drop-by-Drop (Weighted) a maintenu une perplexité de 6,19, suivant de près les performances des modèles entraînés individuellement.
Précision : Dans les tâches zero-shot, Drop-by-Drop (Weighted) a atteint des scores de précision comparables aux modèles entraînés individuellement (AQLM Ind.) pour toutes les largeurs de bits.
Efficacité : La méthode élimine la nécessité d'entraîner et de stocker des modèles séparés pour différentes largeurs de bits. La figure 8 illustre que, tandis que les méthodes conventionnelles nécessitent un temps d'entraînement cumulatif et un espace disque pour trois modèles distincts (3-bit, 4-bit, 5-bit), Drop-by-Drop ne nécessite qu'un seul cycle d'entraînement et une seule instance de stockage tout en maintenant des performances similaires.

Signification et affirmations

L'article affirme que Drop-by-Drop comble le fossé entre la théorie du raffinement successif de l'information et la quantification pratique des LLM. Sa principale importance réside dans la possibilité d'un contrôle de la précision adaptatif au moment de l'inférence sans réentraînement ni recalibrage. En permettant à un seul modèle d'adapter son utilisation des ressources effectives pour correspondre aux capacités de l'appareil de déploiement, la méthode répond aux défis pratiques du déploiement des LLM sur du matériel hétérogène. Les auteurs positionnent cela comme un nouveau lien entre la PTQ multi-largeur de bits et le raffinement successif, offrant une solution pour le chargement dynamique conscient du matériel (hardware-aware) et la quantification à précision mixte dans des scénarios réels.