🤖 machine learning

LegoLM: Structured Weight Sharing for Large Language Models

LegoLM est un cadre de partage de poids structuré qui surmonte les échecs de décalage de distribution et de dominance des valeurs aberrantes du partage de poids global grâce à des adaptations sans données telles que l'encodage par bloc scalaire, le remplacement sélectif par percentile et la protection de la couche limite, atteignant une compression quasi sans perte pour les grands modèles de langage tout en surpassant significativement les méthodes PTQ-8bit existantes.

Auteurs originaux : Joseph Bingham

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joseph Bingham

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de faire tenir une bibliothèque de connaissances massive et complexe dans un minuscule sac à dos. C'est le combat quotidien des « Large Language Models » (LLM), ces cerveaux informatiques super intelligents qui écrivent des histoires, résolvent des problèmes mathématiques et discutent avec nous. Ces cerveaux sont construits à partir de milliards de petits nombres appelés « poids », qui agissent comme les synapses d'un cerveau humain, connectant les idées entre elles. Pour faire fonctionner ces modèles sur des ordinateurs portables ou des téléphones classiques, les scientifiques doivent les réduire en taille sans perdre leur intelligence. Une idée populaire pour réduire la taille est le « partage de poids » (weight sharing). Imaginez cela comme un groupe d'amis qui conviennent tous de porter exactement la même chemise provenant d'un catalogue au lieu d'acheter leurs propres chemises uniques. Au lieu de stocker un nombre unique pour chaque connexion dans le cerveau, vous stockez simplement une petite liste de « chemises standards » (centroïdes) et une note disant : « Hé, cette connexion porte la Chemise n°5 ». C'est une façon ingénieuse d'économiser de l'espace, mais jusqu'à présent, lorsqu'elle était appliquée à ces cerveaux d'IA géants, c'était un désastre.

Le problème est que les cerveaux d'IA sont désordonnés. Contra�à un simple filtre d'image où chaque partie se ressemble, les différentes couches d'un cerveau d'IA ont des poids de tailles radicalement différentes. Essayer de les forcer tous à porter les mêmes « chemises standards » revient à essayer de faire entrer un éléphant géant et une petite souris dans la même paire de chaussures ; l'éléphant est écrasé, et la souris flotte au loin. Ce document présente une nouvelle méthode appelée LegoLM qui corrige cette idée défaillante. Au lieu d'imposer une approche de type « taille unique », LegoLM agit comme un tailleur intelligent. Il réalise que la plupart du temps, les chemises standards fonctionnent très bien, mais que de temps en temps, il y a des poids « atypiques » (outliers) — des nombres géants et bizarres qui sont si différents qu'ils ruineraient toute la tenue s'ils étaient forcés de porter une chemise standard. Le secret de LegoLM est de laisser ces quelques poids bizarres exactement tels qu'ils sont, intacts, tout en compressant tout le reste. Le résultat est un modèle qui est réduit à une fraction de sa taille originale mais qui conserve presque toute son intelligence, fonctionnant mieux que d'autres méthodes qui nécessitent des données coûteuses pour être corrigées.

Les deux façons dont le partage de poids échoue

L'auteur de ce document, Joseph Bingham, a découvert que le partage de poids global échoue pour deux raisons spécifiques et distinctes. Ils les appellent des « modes de défaillance » (failure modes), et comprendre cela est essentiel pour comprendre pourquoi LegoLM fonctionne.

Mode de défaillance 1 : Le décalage d'échelle (Le problème de la « mauvaise pointure »)
Imaginez que vous ayez une collection de poids provenant de différentes couches de l'IA. Certaines couches sont « bruyantes » (leurs nombres sont grands) et certaines sont « calmes » (leurs nombres sont petits). Si vous essayez de les regrouper toutes et de trouver une seule « chemise » moyenne pour un bloc entier de celles-ci, vous rencontrez un problème mathématique. Le document prouve que si vous essayez de compresser un bloc de poids de tailles différentes, l'erreur augmente linéairement avec la taille du bloc. C'est comme essayer de moyenner la foulée d'un marathonien avec le pas d'un bambin ; peu importe le nombre de chaussures différentes que vous ajoutez à votre catalogue, vous ne pouvez pas faire en sorte qu'une seule chaussure convienne parfaitement aux deux si vous les forcez à avoir la même taille. Le document montre que ce décalage crée une confusion si grave que la capacité du modèle à prédire du texte (mesurée par la « perplexité ») explose dans les millions, faisant parler l'IA en charabia.

Mode de défaillance 2 : La dominance des valeurs aberrantes (Le problème du « Géant »)
C'est l'échec le plus dramatique. Même si vous utilisez des nombres simples (blocs scalaires) plutôt que des blocs, il existe quelques poids dans l'IA qui sont simplement énormes par rapport au reste. Ce sont les « outliers » (valeurs aberrantes). Si vous avez un codebook avec, disons, 8 chemises standards, la plus grande chemise du catalogue pourrait être de taille XL. Mais et s'il y a un poids qui est de taille 10XL ? Si vous forcez ce poids 10XL à porter la chemise XL, la distorsion est catastrophique. Le document montre qu'à mesure que les modèles deviennent plus gros (passant de 124 millions à 7,2 milliards de paramètres), ces outliers deviennent encore plus dangereux. Sur un modèle plus petit, remplacer ces outliers pourrait rendre l'IA légèrement confuse. Sur un modèle géant comme Mistral-7B, remplacer ces quelques poids géants provoque l'effondrement complet du modèle, avec une chute de qualité de plus de 1 134 279 %. C'est comme si retirer une seule clé de voûte d'une immense cathédrale faisait s'effondrer toute la structure en poussière.

La solution LegoLM : Unel sur-mesure intelligent

LegoLM corrige ces problèmes avec trois astuces simples, sans données. Il n'a pas besoin d'examiner des données d'entraînement ou de réentraîner le modèle ; il réorganise simplement les poids.

Encodage scalaire : Au lieu de regrouper les poids en blocs (ce qui cause le décalage d'échelle), LegoLM traite chaque poids comme un individu. Cela élimine le problème de la « mauvaise pointure » car chaque poids est libre de choisir la chemise standard la plus proche sans être entraîné vers le bas par ses voisins.
Remplacement sélectif par percentile : C'est le tour de magie. L'algorithme examine tous les poids et trouve ceux qui sont les plus éloignés de toute chemise standard. Ce sont les « outliers ». Au lieu de les forcer à porter une chemise, LegoLM dit : « Vous êtes trop spéciaux ; vous restez exactement comme vous êtes. » Il préserve le haut de 1 % de ces poids bizarres sous leur forme haute précision originale. Les 99 % restants sont compressés dans le petit codebook.
Protection des couches limites : Les toutes premières et les toutes dernières couches de l'IA sont particulièrement sensibles. LegoLM leur accorde un soin supplémentaire, bien que le document note que cela est moins critique pour les plus grands modèles que la protection contre les outliers.

Les résultats : Petite taille, grands cerveaux

L'auteur a testé LegoLM sur deux modèles : GPT-2 Small (124 millions de paramètres) et Mistral-7B (7,2 milliards de paramètres). Les résultats ont été surprenants et impressionnants.

Sur Mistral-7B : En utilisant un codebook de 128 valeurs standards et en préservant seulement 1 % des poids outliers, LegoLM a compressé le modèle de 4,41 fois. Le résultat ? La qualité du modèle n'a chuté que de 0,03 %. C'est essentiellement une compression « sans perte ». Il a même été plus performant qu'une méthode populaire appelée PTQ-8bit, qui ne compressait le modèle que 4 fois et présentait une erreur légèrement plus élevée.
Le sauvetage des outliers : La découverte la plus spectaculaire concerne les outliers. Lorsqu'ils ont essayé de compresser Mistral-7B en remplaçant tous les poids (même les géants) par des valeurs standards, la qualité du modèle s'est effondrée de 1 134 279 %. Mais en sauvegardant simplement ce minuscule 1 % d'outliers, ils ont sauvé le modèle, ramenant l'erreur à un niveau gérable de 14,24 %, même avec une compression massive de 9,74x.
L'échelle compte : Le document a révélé que le « problème des outliers » s'aggrave à mesure que les modèles deviennent plus grands. Sur le petit GPT-2, remplacer les outliers entraînait une chute de 23 %. Sur le géant Mistral-7B, cela provoquait une chute de 1 134 279 %. Cela suggère que les modèles plus grands dépendent encore plus lourdement de ces quelques nombres bizarres pour fonctionner.

Pourquoi cela importe

LegoLM est spécial parce qu'il est sans données (data-free). La plupart des autres méthodes de compression ont besoin de nourrir le modèle avec des milliers de phrases d'exemple pour comprendre comment le rétrécir. LegoLM regarde simplement les poids eux-mêmes et fait le calcul. Il peut compresser un modèle de 7 milliards de paramètres en moins de 30 minutes sur une seule carte graphique.

Le document conclut que la clé pour faire fonctionner le partage de poids n'est pas seulement d'avoir un meilleur catalogue de chemises, mais de savoir quand ne pas utiliser le catalogue. En identifiant et en protégeant les quelques poids « géants » qui maintiennent le modèle ensemble, LegoLM nous permet de réduire ces cerveaux d'IA massifs pour les faire tenir dans des sacs à dos sans qu'ils perdent la tête. Il transforme une méthode qui était auparavant défaillante pour les grands modèles en un outil compétitif et efficace pour l'avenir de l'IA.

Résumé Technique : LegoLM – Partage de Poids Structuré pour les Grands Modèles de Langage

Énoncé du Problème

Les grands modèles de langage (LLM) nécessitent une compression agressive pour un déploiement pratique, car même les modèles en précision 16 bits dépassent la mémoire des GPU grand public. Bien que les méthodes de compression post-entraînement comme la quantification, l'élagage (pruning) et la factorisation de bas rang soient établies, le partage de poids — où plusieurs poids partagent une valeur unique de centroïde apprise à partir d'un codebook global — a historiquement échoué lorsqu'il est appliqué aux LLM. Les travaux précédents ont appliqué avec succès le partage de poids aux réseaux convolutionnels, mais son application aux transformeurs a manqué d'étude systématique.

Ce document identifie que le partage de poids global échoue pour les LLM en raison de deux modes de défaillance distincts et théoriquement fondés :

Décalage Distributionnel : Lorsque les poids sont regroupés en blocs vectoriels ( $d \ge 2$ ) et regroupés globalement, le codebook doit servir des couches présentant des échelles de poids hétérogènes (variant jusqu'à 3 $\times$ ). Un centroïde entraîné sur une distribution agrégée impose une pénalité de décalage d'échelle qui croît linéairement avec la dimension du bloc $d$ , entraînant une perplexité de l'ordre de millions, quelle que soit la taille du codebook.
Dominance des Valeurs Aberrantes (Outliers) : Dans les blocs scalaires ( $d=1$ ), bien que le décalage d'échelle soit éliminé, les distributions de poids des LLM contiennent des scalaires de magnitude extrême. Pour de petites tailles de codebook ( $K$ ), une fraction des poids ( $\approx 1/K$ ) se situe au-delà du seuil de décision Lloyd-Max le plus externe. Le remplacement de ces valeurs aberrantes par le centroïde le plus proche provoque une perte de qualité catastrophique qui s'accumule à travers les couches. Crucialement, cet effet augmente de manière superlinéaire avec la taille du modèle ; un remplacement complet dégrade un modèle de 124M de paramètres d'environ 23 %, mais un modèle de 7,2B de paramètres de plus de 1 000 000 %.

Méthodologie : Le Cadre LegoLM

LegoLM est un cadre de compression structuré, sans données (data-free), conçu pour résoudre simultanément les deux modes de défaillance sans accès à des données de calibration ou à des gradients. Il emploie trois adaptations clés :

Encodage de Bloc Scalaire ( $d=1$ ) : Pour éliminer la composante de décalage linéaire en $d$ , les poids sont traités comme des blocs scalaires plutôt que des blocs vectoriels. Cela permet à chaque poids d'être assigné indépendamment à son centroïde le plus proche sans s'engager dans une échelle multidimensionnelle fixe, réduisant ainsi considérablement l'erreur de reconstruction entre les couches.
Remplacement Sélectif par Percentile : Pour traiter la dominance des valeurs aberrantes, la méthode identifie les poids ayant la plus grande erreur de quantification (distance au centroïde le plus proche) et les préserve tels quels (en les stockant en fp16 plutôt qu'en les remplaçant par un indice de centroïde). Cela agit comme un proxy sans données pour la détection d'outliers basée sur la magnitude. Le seuil est déterminé par un percentile $p$ (par exemple, la préservation des 1 % des erreurs les plus élevées).
Protection des Couches Limites : Les première et dernière couches du transformeur sont identifiées comme étant disproportionnellement sensibles. Pour les modèles plus petits, ces couches sont exclues de la compression pour éviter l'accumulation d'erreurs, bien que ce mécanisme soit jugé moins critique pour les modèles plus grands par rapport au remplacement sélectif.

Calcul du Ratio de Compression :
Le ratio de compression (CR) tient compte du stockage du codebook global, du flux d'indices (compressé via le codage de Huffman pour réduire l'overhead) et des poids aberrants préservés. La formule est :
$CR = \frac{(N_c + N_s) \cdot 32}{n_r \cdot \lceil \log_2 K \rceil + n_k \cdot 32 + K \cdot 32 + N_s \cdot 32}$
Où $N_c$ et $N_s$ sont les poids dans les couches éligibles et exclues, $n_r$ sont les poids remplacés et $n_k$ sont les poids aberrants conservés exacts.

Principales Contributions

Modes de Défaillance Formels : Le papier fournit des caractérisations théoriques (Proposition 1 et Théorème 3) et une validation empirique pour deux modes de défaillance des LLM : le décalage de distribution inter-couches (blocs vectoriels) et la dominance des valeurs aberrantes (blocs scalaires).
Le Cadre LegoLM : Une nouvelle méthode de compression sans données combinant l'encodage scalaire, la préservation sélective des outliers et la protection des limites. Elle inclut des formules exactes pour les ratios de compression tenant compte du remplacement sélectif.
Mécanisme de Sauvetage Invariant à l'Échelle : La découverte que la dominance des outliers croît de manière superlinéaire avec l'échelle du modèle. Alors que le remplacement complet échoue de manière catastrophique sur les modèles 7B, la préservation de seulement 1 % des poids aberrants sauve le modèle pour atteindre une qualité quasi sans perte. Ce mécanisme de sauvetage est cohérent sur une plage de paramètres de 60 $\times$ (de 124M à 7,2B).
Ablation de Mécanisme : Une étude d'ablation contrôlée démontrant que le remplacement sélectif est le mécanisme dominant pour la compression sans données. L'ajout du remplacement sélectif à un K-means par couche permet d'atteindre une qualité quasi sans perte (+0,05 % de PPL), égalant l'approche globale de LegoLM à 0,02 point de pourcentage près. La structure de codebook global offre une efficacité pratique (stocker 128 centroïdes contre 4 096) mais présente des différences de qualité négligeables lorsque le remplacement sélectif est appliqué.

Résultats Expérimentaux

Le cadre a été évalué sur GPT-2 Small (124M), GPT-2 Medium (354M) et Mistral-7B (7,2B) en utilisant l'ensemble de test WikiText-2 et des tâches en aval (LAMBADA, HellaSwag).

Performance de Mistral-7B :
- Quasi Sans Perte : À $K=128, p=99\%$ , LegoLM atteint une compression de 4,41 $\times$ avec seulement +0,03 % de dégradation de la perplexité (PPL). Cela surpasse le PTQ-8bit (4,00 $\times$ , +0,04 % PPL) en termes de qualité et de ratio de compression.
- Haute Compression : À $K=8, p=99\%$ , il atteint une compression de 9,74 $\times$ avec +14,24 % de dégradation de la PPL, surpassant le PTQ-4bit (8,00 $\times$ , +17,85 % PPL).
- Précision en Aval : À $K=64, p=99\%$ (5,12 $\times$ de compression), le modèle préserve la précision des tâches en aval dans la marge d'erreur de mesure, égalant la précision du PTQ-8bit tout en offrant une compression 1,28 $\times$ supérieure.
Comparaison aux Baselines :
- PTQ-8bit/4bit : LegoLM égale ou dépasse leur qualité à des ratios de compression comparables ou supérieurs sans nécessiter de données de calibration ou de calcul de Hessienne.
- Deep Compression (K-means par couche) : Sans remplacement sélectif, le K-means par couche échoue de manière catastrophique sur Mistral-7B (ex: +930 306 % de PPL à $K=256$ ). Avec le remplacement sélectif ( $p=99\%$ ), il récupère une qualité quasi sans perte (+0,05 %), confirmant la centralité de la préservation des outliers.
- Élagage et Factorisation : L'élagage de magnitude non structuré et la factorisation basée sur SVD échouent de manière catastrophique sur Mistral-7B à des niveaux de compression élevés.
Sensibilité à l'Échelle :
- Le remplacement complet ( $p=100\%$ ) à $K=128$ dégrade GPT-2 Small de +23 %, GPT-2 Medium de +79 %, mais Mistral-7B de +1 134 279 %.
- Le remplacement sélectif ( $p=99\%$ ) maintient une qualité quasi identique à travers toutes les échelles (+0,03 % à +0,18 % de dégradation de la PPL).
Transition de Phase : Une transition abrupte de robustesse se produit entre $K=4$ (échec catastrophique) et $K=8$ (fonctionnel). À $K=8$ , la préservation de 1 % des outliers est suffisante pour sauver le modèle, tandis qu'à $K=4$ , le modèle reste défaillant même avec 5 % de préservation.

Signification et Revendications

Le papier affirme que LegoLM établit un nouveau paradigme pour la compression de LLM sans données en abordant systématiquement les raisons théoriques pour lesquelles le partage de poids global a précédemment échoué. Sa principale importance réside dans :

Efficacité Sans Données : Il atteint des résultats compétitifs ou supérieurs aux méthodes calibrées (comme GPTQ) sans nécessiter de données de calibration, de gradients ou de calculs de Hessienne, ce qui le rend applicable dans des contextes où les données sont propriétaires ou indisponibles.
Insight Théorique : Il identifie la dominance des outliers comme une loi d'échelle où l'accumulation d'erreurs croît de manière superlinéaire avec la taille du modèle, nécessitant des stratégies de préservation spécifiques pour les grands modèles.
Viabilité Pratique : Il démontre qu'une simple combinaison d'encodage scalaire et de remplacement sélectif d'outliers peut compresser des modèles de 7 milliards de paramètres à environ 4,5 $\times$ avec une perte de qualité négligeable, et jusqu'à ~10 $\times$ avec une utilité fonctionnelle, le tout en moins de 30 minutes sur un seul GPU.

L'auteur positionne la « loi d'échelle de la dominance des outliers » et le mécanisme de « remplacement sélectif » comme des contributions indépendantes qui peuvent bénéficier à d'autres techniques de compression (quantification, élagage) qui traitent actuellement tous les poids de manière uniforme.