AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

Ce papier présente la quantification des poids consciente des activations (AWQ), une méthode compatible avec le matériel qui identifie et protège les 1 % les plus critiques des poids des LLM en se basant sur les statistiques d'activation pour permettre une inférence efficace en 4 bits sur appareil, ainsi que le framework TinyChat qui réalise une accélération supérieure à 3x et permet le déploiement de modèles massifs comme Llama-2 70B sur des GPU mobiles.

L'essentiel

Le Grand Problème : La Valise Géante

Imaginez que vous avez un chef d'exception, de classe mondiale (un Modèle de Langage ou LLM), capable d'écrire des histoires, de résoudre des problèmes de mathématiques et de discuter avec vous. Ce chef est si talentueux que son livre de recettes (le modèle) est massif — à peu près la taille d'un disque dur de 350 Go.

Si vous voulez emmener ce chef dans une cabane isolée (votre téléphone, votre ordinateur portable ou votre voiture) pour cuisiner sans internet, vous rencontrez un problème : la cabane est trop petite pour contenir le livre de recettes. Même les plus grandes valises (la mémoire des ordinateurs modernes) ne peuvent pas le loger. De plus, porter un livre aussi lourd rend le chef très lent dans ses mouvements.

Pour résoudre ce problème, les gens ont essayé de réduire la taille du livre de recettes en écrivant les recettes avec une écriture plus petite (la quantification). Mais si vous réduisez tout de la même manière, le chef oublie les ingrédients les plus importants, et la nourriture a un goût affreux.

La Solution : AWQ (L'Insight des « Poids Saillants »)

Les auteurs de ce papier, l'équipe de Ji Lin et Song Han, ont découvert un secret : tous les mots du livre de recettes ne sont pas également importants.

Imaginez le livre de recettes comme une bibliothèque.

• 99 % des livres sont simplement des manuels de référence ou du remplissage. Vous pouvez les réduire en de minuscules notes de 4 bits sans perdre beaucoup de saveur.
• 1 % des livres sont les « Recettes Maîtresses ». Ils contiennent les secrets cruciaux qui donnent au plat son goût incroyable. Si vous réduisez ceux-ci, le chef échoue.

La Découverte : Les auteurs ont constaté que si vous protégez seulement 1 % de ces « Recettes Maîtresses » et les gardez dans leur format d'origine, de haute qualité, les performances du chef restent presque parfaites.

L'Astuce : Comment Trouver les « Recettes Maîtresses » ?

Voici la partie ingénieuse. Comment savoir quels 1 % des livres sont les « Recettes Maîtresses » ?

• L'Ancienne Méthode : Vous regardez les livres et devinez lesquels sont importants en fonction de leur épaisseur (la taille du poids). C'est comme deviner qu'un livre est important simplement parce qu'il a une couverture lourde. Cela ne fonctionne pas bien.
• La Méthode AWQ : Vous observez le chef en train de cuisiner. Vous voyez quels livres le chef ouvre et utilise réellement le plus souvent en préparant un plat (l'activation).
  • Si le chef saisit un livre spécifique 100 fois pour faire un gâteau, ce livre est « saillant » (important).
  • AWQ dit : « Protégeons les livres que le chef utilise réellement. »

Le Coup de Magie : « Mise à l'Échelle »

Une fois qu'ils ont identifié les livres importants, ils ne les gardent pas sous forme de gros volumes lourds (ce qui ralentirait tout). Au lieu de cela, ils utilisent un tour de passe-passe mathématique appelé Mise à l'Échelle.

Imaginez que les livres importants sont écrits sur un tout petit morceau de papier. Pour les rendre plus faciles à lire (moins sujets aux erreurs), ils agrandissent le texte sur cette page spécifique avant de réduire le livre entier.

• Ils rendent les nombres « importants » légèrement plus grands.
• Cela rend le « bruit » (les erreurs) provenant de la réduction du livre moins perceptible pour ces nombres critiques.
• C'est comme augmenter le volume des instruments les plus importants dans un orchestre afin qu'ils ne soient pas couverts lorsque tout l'ensemble devient plus silencieux.

Pourquoi est-ce génial ?

1. Pas de Ré-entraînement : Ils n'ont pas besoin de réapprendre au chef (pas de rétropropagation). Ils regardent simplement quelques plats d'exemple (un petit « ensemble de calibration ») pour voir ce que le chef utilise.
2. Pas de Surapprentissage : Parce qu'ils ne mémorisent pas les plats d'exemple, le chef peut toujours cuisiner d'excellents repas pour n'importe quelle cuisine (codage, mathématiques, différentes langues) sans se confondre.
3. Compatible Matériel : Ils n'ont pas besoin d'une valise « mixte » spéciale (certaines grandes, certaines petites). Ils réduisent tout le livre, mais les parties importantes « agrandies » survivent parfaitement à la réduction.

Le Moteur : TinyChat

Savoir comment réduire le livre est une chose ; le faire tourner rapidement sur un petit appareil en est une autre. Les auteurs ont construit un nouveau moteur appelé TinyChat.

Imaginez TinyChat comme un camion de livraison ultra-efficace conçu spécifiquement pour ces livres réduits.

• Les Anciens Camions : Devaient s'arrêter, déballer les livres, les lire, les réduire, puis les reconditionner à chaque déplacement. Très lent.
• TinyChat : Déballé les livres pendant qu'il roule. Il fusionne le déballage et la cuisson en un mouvement fluide.
• Résultat : Sur un ordinateur portable standard ou une petite puce mobile (comme dans un Jetson ou un téléphone), TinyChat fait tourner les modèles réduits 3 à 4 fois plus vite que les versions standard non optimisées.

Les Victoires Réelles

Le papier montre qu'avec AWQ et TinyChat :

• Vous pouvez exécuter un modèle massif de 70 milliards de paramètres (comme Llama-2-70B) sur un seul appareil mobile avec 64 Go de mémoire, ce qui était auparavant impossible.
• Vous pouvez exécuter un modèle de 13 milliards de paramètres sur un ordinateur portable avec seulement 8 Go de mémoire à une vitesse de 30 mots par seconde (assez rapide pour une conversation en temps réel).
• Cela fonctionne non seulement pour le texte, mais aussi pour les modèles multimodaux (modèles qui voient des images et lisent du texte), comme OpenFlamingo et LLaVA, sans perdre leur capacité à comprendre les images.

Résumé

AWQ est une méthode qui dit : « Ne réduisez pas tout le cerveau de la même manière. Trouvez le 1 % des neurones qui s'activent le plus, donnez-leur un petit coup de pouce, et ensuite réduisez le reste. »
TinyChat est le logiciel qui s'assure que ce cerveau réduit fonctionne rapidement sur votre téléphone ou votre ordinateur portable.

Ensemble, ils nous permettent de sortir les modèles d'IA les plus intelligents au monde du cloud et de les placer directement dans nos poches, économisant de l'argent, protégeant la vie privée et fonctionnant même lorsque l'internet est coupé.

Résumé technique

1. Énoncé du problème

Les grands modèles de langage (LLM) font face à des défis de déploiement majeurs sur les appareils périphériques en raison de leur taille massive (par exemple, GPT-3 nécessite 350 Go en FP16) et des ressources matérielles limitées (mémoire et calcul). Bien que la Quantisation Sensible à l'Entraînement (QAT) soit efficace, elle est coûteuse en calcul et difficile à mettre à l'échelle. La Quantisation Post-Entraînement (PTQ) est l'alternative préférée, mais les méthodes existantes à faible nombre de bits (comme GPTQ) souffrent de :

• Dégradation de la précision : Chutes significatives de performance lors de la quantisation vers des largeurs de bits très faibles (par exemple, 4 bits ou 3 bits).
• Surapprentissage : Les méthodes reposant sur la reconstruction ou la rétropropagation surajustent souvent l'ensemble de calibration, échouant à généraliser à des domaines hors distribution ou à différentes modalités (par exemple, modèles multimodaux).
• Inefficacité matérielle : Les tentatives précédentes de préserver la précision en maintenant une petite fraction de poids en haute précision (précision mixte) entraînent des inefficacités matérielles qui annulent les gains de vitesse.

2. Méthodologie : Quantisation des poids consciente des activations (AWQ)

AWQ est une méthode de quantisation uniquement des poids, compatible matériel, qui fonctionne sans rétropropagation ni reconstruction. Elle repose sur trois idées fondamentales :

A. Les poids saillants sont identifiés par les activations, et non par l'amplitude des poids

Les auteurs observent que tous les poids ne sont pas également importants. Une infime fraction (0,1 % à 1 %) de poids "saillants" est critique pour les performances du modèle.

• Idée clé : L'importance d'un canal de poids est déterminée par l'amplitude de ses activations, et non par l'amplitude des poids eux-mêmes. Les canaux avec des amplitudes d'activation plus élevées traitent des caractéristiques plus importantes.
• Observation : Le maintien de seulement 1 % de ces canaux saillants en FP16 (tout en quantifiant le reste) réduit drastiquement la perplexité (par exemple, de 43,2 à 13,0 pour OPT-6.7B). Cependant, la précision mixte est inefficace au niveau matériel.

B. Transformation équivalente par mise à l'échelle par canal

Pour éviter les coûts matériels de la précision mixte, AWQ démontre mathématiquement que l'augmentation de l'échelle des canaux de poids saillants avant la quantisation réduit leur erreur de quantisation relative.

• Mécanisme : Si un poids $w$ est multiplié par un facteur d'échelle $s > 1$ et que l'activation d'entrée correspondante $x$ est divisée par $s$, la sortie reste mathématiquement équivalente ($y = wx$).
• Réduction de l'erreur : L'erreur de quantisation est proportionnelle à la taille du pas de quantisation ($\Delta$). En augmentant l'échelle des poids saillants, leurs valeurs deviennent plus grandes par rapport à $\Delta$, réduisant efficacement l'erreur d'arrondi pour ces canaux critiques.
• Optimisation : Le système recherche automatiquement un facteur d'échelle optimal $\alpha$ (où $s = s_X^\alpha$, et $s_X$ est l'amplitude moyenne d'activation) pour minimiser la différence de sortie entre les modèles original et quantifié. Cette recherche est effectuée via une recherche par grille rapide sur un petit ensemble de calibration.

C. Efficacité des données et généralisation

• Pas de rétropropagation : AWQ ne nécessite pas de descente de gradient ni de reconstruction, ce qui le rend robuste contre le surapprentissage.
• Petit ensemble de calibration : Il suffit de mesurer l'amplitude moyenne d'activation par canal, ce qui lui permet de bien généraliser aux modèles ajustés pour l'instruction et aux modèles multimodaux sans nécessiter d'ajustement fin spécifique au domaine.

3. Implémentation système : TinyChat

Pour traduire les économies de mémoire théoriques de la quantisation 4 bits en accélérations d'inférence réelles, les auteurs ont développé TinyChat, un framework d'inférence efficace.

• Déquantisation à la volée : Au lieu de stocker les poids déquantifiés dans la DRAM (ce qui gaspille la bande passante), TinyChat fusionne la logique de déquantisation directement dans le noyau de multiplication matricielle.
• Emballage des poids conscient du SIMD : Pour optimiser les architectures SIMD CPU/GPU (par exemple, ARM NEON, CUDA), les poids sont réorganisés et emballés hors ligne. Cela permet un déballage à l'exécution en utilisant un minimum d'opérations bit à bit (ET, décalage), réduisant considérablement la surcharge d'instructions.
• Fusion de noyaux : Le framework fusionne la normalisation de couche, les projections QKV et les calculs d'encodage positionnel pour minimiser la surcharge de lancement de noyaux et l'accès mémoire intermédiaire.

4. Résultats clés

AWQ et TinyChat ont été évalués sur divers modèles (LLaMA, OPT, Mistral, Mixtral, Vicuna, OpenFlamingo) et tâches.

• Précision de quantisation :
  • AWQ surpasse systématiquement l'arrondi à l'entier le plus proche (RTN) et GPTQ (avec et sans réorganisation) sur des modèles de 7B à 70B.
  • Modèles ajustés pour l'instruction : Atteint des performances quasi sans perte sur Vicuna (7B/13B) par rapport aux bases FP16.
  • Modèles multimodaux : Quantifie avec succès les modèles OpenFlamingo et VILA, atteignant des performances sans perte sur 11 benchmarks visuels-linguistiques (une première pour la quantisation VLM à faible nombre de bits).
  • Tâches complexes : Surpasse les bases sur les tâches de codage (MBPP) et de mathématiques (GSM8K), égalant les performances FP16 dans certaines configurations 4 bits.
• Généralisation :
  • AWQ est robuste aux décalages de distribution de l'ensemble de calibration. Lorsqu'il est testé sur différents ensembles de données (par exemple, calibration sur PubMed, évaluation sur Enron), la dégradation de la perplexité d'AWQ est minime (0,5–0,6) par rapport à GPTQ (2,3–4,9).
  • Il nécessite un ensemble de calibration 10 fois plus petit que GPTQ pour atteindre des performances comparables.
• Vitesse d'inférence (TinyChat) :
  • Accélération : Atteint une accélération de 3,2× à 3,9× par rapport aux implémentations FP16 de HuggingFace sur bureau (RTX 4090) et GPU mobiles (Jetson Orin).
  • Déploiement : Permet le déploiement de Llama-2-70B sur un seul Jetson Orin (64 Go de RAM) et de Llama-2-13B sur un ordinateur portable avec seulement 8 Go de RAM (33 jetons/seconde), ce qui est impossible avec FP16.
  • Appareils périphériques : Exécute des modèles 7B sur Raspberry Pi 4B à 0,7 jeton/seconde.

5. Importance et impact

• Démocratisation des LLM : AWQ et TinyChat rendent viable l'exécution de LLMs de pointe (y compris des modèles de 70 milliards de paramètres) sur du matériel grand public, des appareils mobiles et des nœuds périphériques IoT, réduisant la dépendance à l'infrastructure cloud.
• Vie privée et coûts : En permettant une exécution locale, cela améliore la confidentialité des utilisateurs et élimine la latence et les coûts du cloud.
• Généralisation : Contrairement aux méthodes précédentes qui peinent avec les modèles ajustés pour l'instruction ou multimodaux, AWQ préserve la nature "généraliste" des LLM, en faisant une solution polyvalente pour diverses applications d'IA.
• Adoption : La méthode a été largement adoptée par les grands acteurs de l'industrie et les projets open source, notamment HuggingFace Transformers, NVIDIA TensorRT-LLM, Microsoft DirectML et vLLM.

En conclusion, AWQ fournit une solution mathématiquement fondée et efficace au niveau matériel pour la quantisation des LLM à faible nombre de bits, tandis que TinyChat garantit que ces gains théoriques se concrétisent par une inférence pratique et rapide sur les appareils périphériques.