EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices

EntroLLM est un cadre de compression post-entraînement qui combine la quantification mixte et le codage entropique pour réduire considérablement les besoins de stockage et accélérer l'inférence des grands modèles de langage sur les appareils périphériques sans réentraînement.

L'essentiel

Imaginez que vous possédez une bibliothèque massive de livres (un Grand Modèle de Langage) que vous souhaitez transporter dans votre sac à dos pour lire en randonnée (sur un dispositif périphérique comme un smartphone ou un petit robot). Le problème est que la bibliothèque est trop lourde et trop volumineuse pour tenir dans votre sac à dos, et même si vous y parveniez, vos bras se fatigueraient simplement à essayer de sortir les livres un par un pour les lire.

L'article présente une nouvelle méthode appelée EntroLLM pour résoudre ce problème. Imaginez-la comme un tour de magie en trois étapes pour rendre la bibliothèque plus petite et plus facile à transporter sans perdre aucune des histoires qu'elle contient.

1. Le tri « épineux » (Quantification mixte)

Habituellement, lorsque l'on tente de réduire la taille de ces bibliothèques, on se contente d'arrondir les nombres dans les livres pour les simplifier (comme arrondir 3,14159 à 3,14). Cela s'appelle la quantification. Cependant, les méthodes standard rendent souvent les nombres trop « plats » et aléatoires, ce qui les rend difficiles à compresser davantage.

L'astuce des auteurs consiste à examiner chaque chapitre (ou « couche ») du livre individuellement. Selon la distribution des nombres dans ce chapitre spécifique, ils choisissent une méthode particulière pour les arrondir :

• Quantification non signée : Comme compter uniquement les pas positifs.
• Quantification asymétrique : Comme décaler le point zéro pour mieux ajuster les nombres.

En procédant ainsi, les nombres de la bibliothèque deviennent « épineux ». Imaginez une chaîne de montagnes où la plupart des sommets sont regroupés étroitement au centre, avec très peu d'extrêmes aberrants. Cette forme « épineuse » est beaucoup plus facile à compresser qu'un paysage plat et aléatoire.

2. Le dictionnaire « d'abréviations » (Codage de Huffman)

Une fois les nombres triés selon ce motif « épineux », les auteurs utilisent une technique appelée codage de Huffman.

Imaginez cela comme l'écriture d'un code secret pour la bibliothèque. En anglais, la lettre « E » apparaît très souvent, vous pourriez donc décider de représenter « E » par un seul point (•), tandis qu'une lettre rare comme « Z » obtiendrait un code long (•••••).

• Parce que le tri « épineux » a fait apparaître certaines valeurs numériques très fréquemment, le code attribue à ces nombres courants des étiquettes très courtes et minuscules.
• Les nombres rares obtiennent des étiquettes plus longues.

Cela réduit considérablement la taille totale de la bibliothèque. L'article affirme que cette étape rend la compression 7 à 11 fois meilleure que les meilleures méthodes actuelles. C'est comme transformer un livre de 100 pages en une brochure de 10 pages sans changer l'histoire.

3. La stratégie de « lecture en équipe » (Décodage parallèle)

Voici la partie délicate : Habituellement, pour lire un code secret, vous devez le lire lettre par lettre, de début à fin. Si vous avez une énorme bibliothèque, cela prend une éternité, et votre sac à dos (le dispositif) reste bloqué en attente.

Les auteurs ont réalisé que, même si le code est court, les livres sont toujours organisés en gros blocs (tenseurs). Ils ont donc découpé la bibliothèque en de nombreuses sections séparées et indépendantes.

• Au lieu qu'une seule personne lise tout le code de manière séquentielle, ils engagent une équipe de lecteurs (threads parallèles).
• Chaque lecteur saisit un bloc différent de la bibliothèque et décode sa section simultanément.
• Parce que les blocs sont indépendants, ils n'ont pas besoin d'attendre les uns les autres.

Cela signifie que même si la bibliothèque est minuscule et compressée, le dispositif peut « déballer » les livres presque instantanément au besoin, rendant la vitesse de lecture très rapide.

Les résultats : Un sac à dos plus léger et plus rapide

Les auteurs ont testé cette méthode sur trois « bibliothèques » (modèles d'IA) de tailles différentes sur un petit dispositif (un NVIDIA JETSON, qui est comme un ordinateur puissant mais minuscule).

• Stockage : Ils ont économisé jusqu'à 30 % d'espace en plus par rapport aux modèles standard 8 bits et 65 % de plus par rapport aux modèles 4 bits.
• Vitesse : Parce que moins de données devaient être déplacées, le dispositif pouvait penser (inférer) 30 % à 146 % plus vite.
• Précision : Les « histoires » (les réponses de l'IA) sont restées tout aussi précises que la bibliothèque originale, non réduite.

En résumé : EntroLLM est un moyen de ranger un cerveau d'IA géant dans un minuscule sac à dos en organisant les données en une forme « épineuse », en les écrivant dans un abrégé super efficace, et en faisant en sorte qu'une équipe d'ouvriers les déballent tous en même temps. Cela rend possible l'exécution d'une IA intelligente sur de petits dispositifs alimentés par batterie sans avoir besoin d'un supercalculateur.

Résumé technique

Résumé technique d'EntroLLM : Compression pondérale encodée par entropie pour l'inférence efficace de modèles de langage de grande taille sur des dispositifs de périphérie

Énoncé du problème
Les modèles de langage de grande taille (LLM) rencontrent des obstacles majeurs de déploiement sur des dispositifs de périphérie aux ressources limitées en raison de leur nombre massif de paramètres. Même des modèles plus petits, tels que mistral-7B-Instruct, nécessitent plus de 14 Go de mémoire au format virgule flottante 16 bits (fp16), dépassant la capacité de la plupart des matériels de périphérie. Par conséquent, le goulot d'étranglement principal pour l'inférence des LLM, en particulier dans les tâches génératives, est la bande passante mémoire plutôt que la puissance de calcul. Bien que la quantification ait réduit la taille des modèles, une compression supplémentaire sans compromettre la précision reste difficile, en particulier pour les petits LLM (≤10B de paramètres) conçus pour les applications de périphérie. Les méthodes existantes nécessitent souvent un réentraînement ou échouent à atteindre des ratios de compression suffisants pour un déploiement pratique sur périphérie.

Méthodologie
Les auteurs proposent EntroLLM, un cadre de compression qui intègre une quantification mixte avec un codage entropique (spécifiquement le codage de Huffman) pour réduire les exigences de stockage et de bande passante mémoire sans réentraînement. La méthodologie se compose de trois composants principaux :

1. Schéma de quantification mixte : Contrairement à la quantification par blocs standard qui aplatit les distributions d'entiers et augmente l'entropie, EntroLLM emploie une stratégie de quantification mixte au niveau des tenseurs. Basée sur la distribution spécifique des poids de chaque couche, le cadre applique soit une quantification non signée, soit une quantification asymétrique. Cette approche préserve une distribution d'entiers « plus pointue », réduisant considérablement l'entropie et augmentant la compressibilité par rapport aux méthodes par blocs de l'état de l'art (SOTA).
2. Encodage de Huffman des poids : Tirant parti des distributions à faible entropie générées par la quantification mixte, le cadre applique le codage de Huffman aux poids quantifiés. Cette technique de compression sans perte attribue des codes binaires de longueur variable plus courts aux valeurs de poids fréquentes et des codes plus longs aux valeurs rares. Cette étape réduit davantage la largeur de bits effective des paramètres du modèle, minimisant les frais généraux de stockage et les exigences de bande passante mémoire.
3. Stratégie de décodage parallèle : Pour résoudre les problèmes de latence inhérents au décodage entropique séquentiel, les auteurs mettent en œuvre un mécanisme de décodage parallèle. En segmentant l'espace des paramètres encodés tout en préservant la structure originale du tenseur de poids, le système permet de décoder simultanément différents tenseurs encodés (chunks) sur plusieurs threads CPU. Cette conception élimine le goulot d'étranglement sériel, permettant un traitement en temps réel sur le matériel de périphérie.

Contributions clés

• Quantification mixte spécifique à la couche : Une stratégie qui équilibre l'efficacité du stockage et les performances du modèle en sélectionnant entre quantification non signée et quantification asymétrique par couche, améliorant la compressibilité entropique en aval jusqu'à 8,1× (8 bits) et 13,1× (4 bits) par rapport aux techniques SOTA.
• Encodage de Huffman basé sur l'entropie : L'application du codage de Huffman aux poids quantifiés pour atteindre une compression sans perte supplémentaire tout en maintenant la précision.
• Implémentation de décodage parallèle : Un nouveau schéma de partitionnement permettant un décodage parallélisé des poids encodés par Huffman, atténuant la latence sur les dispositifs de périphérie.
• Évaluation complète : Validation sur plusieurs LLM à échelle de périphérie (smolLM-1.7B, phi3-mini-4k, mistral-7B) démontrant des économies de stockage significatives et une réduction de la latence d'inférence.

Résultats expérimentaux
Les expériences ont été menées sur des LLM à échelle de périphérie (smolLM-1.7B, phi3-mini-4k, mistral-7B) déployés sur le NVIDIA JETSON P3450.

• Efficacité du stockage : EntroLLM réalise jusqu'à 30 % d'économies de stockage par rapport aux modèles uint8 et 65 % d'économies par rapport aux modèles uint4. Pour le modèle phi3-mini-4k, la largeur de bits effective a été réduite à 5,58 bits (depuis 8 bits) et 1,39 bit (depuis 4 bits) après l'encodage de Huffman.
• Latence d'inférence : Sur des dispositifs à mémoire limitée, le cadre a démontré une inférence 31,9 % à 146,6 % plus rapide par rapport aux modèles quantifiés standards. Plus précisément, pour les poids uint4 sur le modèle phi3-mini-4k, la latence de génération de jetons s'est améliorée de 146,6 %, et le temps de pré-remplissage s'est amélioré de 13,3 %.
• Précision : La méthode ne nécessite aucun réentraînement et maintient des performances comparables aux modèles de pleine précision et aux modèles quantifiés standards sur des benchmarks incluant WIKITEXT2 (perplexité), HELLASWAG (précision) et GSM8K COT (précision).
• Surcharge de décodage : Le décodage parallèle garantit que la surcharge de décompression est négligeable. Par exemple, le décodage de poids 4 bits n'a pris que 1,66 seconde, une petite fraction du temps total d'inférence, et le coût est amorti sur de nombreux jetons générés.

Portée et affirmations
L'article affirme qu'EntroLLM fournit une solution pratique pour le déploiement de LLM sur des dispositifs de périphérie en abordant le goulot d'étranglement de la bande passante mémoire grâce à une compression pondérale efficace. Le cadre est significatif car il est compatible avec les pipelines de quantification post-entraînement existants et ne nécessite aucun réentraînement, le rendant immédiatement applicable aux modèles actuels. En combinant la quantification mixte au niveau des tenseurs avec le décodage de Huffman parallèle, EntroLLM permet une inférence en temps réel et à faible puissance, adaptée aux applications critiques en termes de temps telles que la robotique et l'IoT, tout en préservant la précision des modèles originaux. Les auteurs notent que les travaux futurs exploreront le codage entropique adaptatif et les optimisations conscientes du matériel.