Résumé Technique : S'adapter à n'importe quelle largeur de bits : Quantification par précision mixte par canal pour les LLM

1. Énoncé du problème

Le déploiement des grands modèles de langage (LLM) sur les appareils périphériques (edge devices) fait face à des défis importants en raison de la taille massive de leurs paramètres, qui imposent des exigences de mémoire substantielles. Bien que la quantification post-entraînement (PTQ) uniquement sur les poids offre une solution en réduisant la précision (par exemple, de FP16 à 3 bits), les approches existantes souffrent de deux limitations principales :

1. Rigidité des bits entiers : La plupart des méthodes de PTQ de pointe (par exemple, GPTQ, AWQ) se concentrent sur une quantification uniforme par bits entiers pour toutes les couches. Cela limite leur adaptabilité aux appareils qui pourraient supporter des largeurs de bits moyennes fractionnaires (par exemple, 2,2 ou 3,8 bits), entraînant une sous-utilisation du stockage disponible.
2. Stratégies de précision mixte inefficaces : Les méthodes de précision mixte existantes, telles que LLM-MQ, reposent souvent sur une estimation de la sensibilité par couche utilisant des informations de premier ordre (gradients). Cependant, dans les LLM convergés, les gradients sont approximativement nuls, ce qui rend difficile la différenciation efficace des sensibilités de couche. De plus, l'allocation par couche peut concentrer la perte d'information dans des couches spécifiques, dégradant les performances globales. En outre, les méthodes qui conservent passivement les valeurs aberrantes (outliers) en FP16 entraînent souvent une augmentation de la latence d'inférence sans gains de performance proportionnels.

2. Méthodologie : Quantification par précision mixte par canal (CMPQ)

Les auteurs proposent le CMPQ, un cadre de PTQ conçu pour adapter les LLM à toute contrainte de largeur de bits moyenne, y compris les valeurs non entières, sans sacrifier la performance. La méthode repose sur trois composantes clés :

A. Quantification non uniforme par canal

Contrairement à la quantification uniforme qui divise les plages de poids en intervalles espacés de manière égale, le CMPQ utilise une quantification non uniforme (via le clustering K-means) pour mieux gérer les distributions de poids non uniformes typiques des LLM.

• Allocation de la précision : Au lieu d'assigner une largeur de bits fixe à une couche entière, le CMPQ alloue la précision au niveau du canal.
• Heuristique basée sur l'activation : La méthode calcule la norme L2 des activations pour chaque canal lors d'une passe avant sur un ensemble de calibration.
  • Si la largeur de bits moyenne cible $b > 3$, les canaux présentant de grandes normes d'activation (canaux saillants) se voient assigner une précision plus élevée (par exemple, 4 bits) pour préserver les informations critiques.
  • Si $b < 3$, les canaux moins critiques se voient assigner une précision plus faible (par exemple, 2 bits) pour minimiser le stockage.
  • Pour $b = 3$, une petite fraction (~1 %) des canaux saillants est protégée avec une précision de 4 bits, tandis que le reste utilise 3 bits.
• Algorithme : L'allocation est déterminée par l'Algorithme 1, qui utilise les quantiles du vecteur de norme d'activation pour assigner des largeurs de bits $c_i \in \{2, 3, 4\}$ à chaque canal $i$.

B. Double protection des valeurs aberrantes (Outliers)

Pour atténuer la dégradation causée par les valeurs extrêmes, le CMPC intègre deux techniques distinctes d'extraction d'outliers qui préservent certains poids en FP16 :

1. Outliers basés sur l'activation ($O_{act}$) : Les canaux correspondant aux 0,45 % supérieurs des normes L2 d'activation sont identifiés et préservés en FP16. Cela répond à l'observation selon laquelle les outliers présentent souvent un motif par canal.
2. Outliers sensibles à la quantification ($O_q$) : Après avoir retiré $O_{act}$, les poids restants subissent une quantification non uniforme par canal. Les 0,05 % de poids ayant les plus grands écarts de quantification absolus ($|W' - W'_q|$) sont identifiés et préservés en FP16. Cela garantit que les centroïdes de clustering utilisés pour la quantification représentent la majorité de la distribution des poids plutôt que d'être biaisés par des valeurs extrêmes.

• Surcoût total : Le ratio combiné d'outliers est maintenu à 0,5 %, conformément aux méthodes de référence, garantissant des comparaisons de stockage équitables.

C. Efficacité et Déploiement

• Pas de rétropropagation : Le CMPC ne nécessite qu'une seule passe avant pour la calibration, évitant ainsi les passes arrière gourmandes en mémoire requises par des méthodes comme SqueezeLLM.
• Inférence : Le cadre gère la multiplication de matrices à précision mixte en décomposant les poids en sous-matrices basées sur l'allocation des canaux. Les outliers sont traités via des noyaux (kernels) creux CSR standards, tandis que le gros des poids est traité via des noyaux à faible nombre de bits.

3. Contributions Clés

1. Cadre Adaptatif : Introduction du CMPC, un cadre de quantification post-entraînement qui supporte des largeurs de bits moyennes arbitraires (y compris des valeurs fractionnaires) via une allocation de précision par canal.
2. Mécanisme Novateur : Intégration de la quantification non uniforme avec une stratégie de double gestion des outliers (basée sur l'activation et sensible à la quantification) qui offre un contrôle fin avec un faible surcoût.
3. Gains de Performance : Démonstration que le CMPC surpasse les méthodes précédentes tant dans les configurations de bits entiers que de bits fractionnaires, atteignant des améliorations de performance significatives avec de modestes augmentations de l'utilisation de la mémoire.

4. Résultats Expérimentaux

Les expériences ont été menées sur neuf LLM (OPT, LLaMA2, LLaMA3) à travers diverses largeurs de bits (2, 3, 4 bits) et jeux de données (WikiText-2, C4, PIQA, HellaSwag, MMLU).

• Performance en bits entiers : Le CMPC atteint des scores de perplexité de pointe ou compétitifs par rapport aux bases de référence comme GPTQ, AWQ, QuIP et LLM-MQ. Par exemple, sur OPT-2.7B à 3 bits, le CMPC atteint une perplexité WikiText-2 de 13,38, surpassant LLM-MQ (18,09) et GPTQ (17,09).
• Performance en bits fractionnaires : Le CMPC démontre une adaptabilité supérieure aux largeurs de bits fractionnaires (par exemple, 2,2 ou 3,4 bits). Sur LLaMA2-7B, passer d'une précision moyenne de 2 à 2,2 bits produit une amélioration de 30 % de la perplexité (de 15,97 à 11,11), un gain inatteignable avec les méthodes limitées aux entiers.
• Robustesse : Le CMPC montre une plus grande robustesse aux variations de l'ensemble de calibration par rapport aux méthodes basées sur le Hessien comme QuIP, qui peuvent diverger lorsque l'ensemble d'évaluation diffère de l'ensemble de calibration.
• Efficacité :
  • Mémoire : Le surcoût pour le stockage des métadonnées d'allocation de bits et des centres de clusters est minimal (<0,03 bit par poids).
  • Latence : La latence d'inférence et l'utilisation de la mémoire de pointe sont comparables aux méthodes de quantification à bits entiers comme SqueezeLLM, avec seulement une légère augmentation (environ 11-12 %) pour les modèles plus grands (13B) en raison du chemin auxiliaire de haute précision.
  • Calibration : Le CMPC est très efficace en termes de données, atteignant la performance souhaitée avec seulement 1 à 2 échantillons de calibration, là où d'autres méthodes en nécessitent souvent plus de 50.

5. Signification et Revendications

L'article affirme que le CMPC représente une étape importante vers l'avant pour la quantification des LLM en comblant le fossé entre l'efficacité théorique du stockage et les contraintes de déploiement pratique.

• Adaptabilité : Il permet l'« utilisation structurée de la précision en bits fractionnaires », permettant aux développeurs de pleinement utiliser les budgets de mémoire disponibles sur les appareils plutôt que d'être restreints aux schémas de bits entiers.
• Optimisation des compromis : La méthode atteint un meilleur compromis mémoire-précision en allouant proactivement la précision aux canaux à faible nombre de bits tout en maintenant l'empreinte FP16 fixe, évitant ainsi les pénalités de latence associées à la rétention passive des outliers.
• Praticité : En éliminant le besoin de rétropropagation et en ne nécessant que très peu de données de calibration, le CMPC offre une solution évolable et efficace, adaptée aux scénarios de déploiement réels où les ressources de calcul et de mémoire sont limitées.

Les auteurs reconnaissent certaines limites, notamment l'accent mis sur la quantification uniquement sur les poids, l'utilisation d'un ensemble discret de niveaux de précision ({2, 3, 4}) et l'hypothèse que l'ensemble de calibration est représentatif de la distribution d'usage cible. Cependant, ils affirment que le CMPC constitue une approche hautement adaptable et efficace pour la quantification des LLM à travers diverses capacités de dispositifs.