💻 computer science

LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

L'article présente LEAP, une méthode d'élagage adaptatif apprenable de bout en bout qui utilise une relaxation par sigmoïde de Gumbel d'une loi de Bernoulli par poids pour permettre un apprentissage de la parcimonie non structurée dans les grands modèles de langage, surpassant nettement les références existantes par couche en termes de précision en zéro-shot à des niveaux de parcimonie élevés.

Auteurs originaux : Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement intelligente (un modèle de langage de grande taille) qui connaît presque tout. Mais cette bibliothèque est si vaste qu'elle occupe tout un entrepôt, nécessite une centrale électrique géante pour fonctionner et est trop lente pour être utilisée régulièrement sur un ordinateur standard.

Pour résoudre ce problème, vous voulez jeter 50 % à 60 % des livres (les « poids » ou connexions du modèle) afin de la rendre plus petite et plus rapide. L'objectif est de maintenir la bibliothèque tout aussi intelligente, même avec la moitié des livres.

C'est ici que l'article LEAP intervient. Voici l'histoire de la résolution de ce problème, expliquée simplement :

Le Problème : Le Piège du « Trop de Choix »

Pendant longtemps, les scientifiques ont tenté d'éliminer des livres en utilisant deux stratégies principales :

L'Approche « Couche par Couche » (L'Ancienne Méthode) : Imaginez un bibliothécaire examinant une étagère à la fois et décidant : « Ce livre semble inutile, jetez-le. » Il procède ainsi pour chaque étagère sans discuter avec les autres étagères.
- Le Défaut : Parfois, un livre semble inutile sur son étagère isolée, mais est en réalité crucial pour une histoire qui s'étend à toute la bibliothèque. En examinant les étagères de manière isolée, cette méthode jette accidentellement des connexions importantes, rendant la bibliothèque moins intelligente.
L'Approche « Motif » (La Méthode Plus Récente, Mais Défectueuse) : Récemment, certains chercheurs ont tenté d'examiner toute la bibliothèque d'un seul coup. Ils ont dit : « Apprenons exactement quels livres garder. » Mais ils ont essayé de le faire en regroupant les livres en petits ensembles (comme 4 livres à la fois) et en demandant : « Quel motif parmi ces 4 devons-nous garder ? »
- Le Défaut : Cela fonctionne très bien pour de petits groupes. Mais si vous essayez de faire cela pour une rangée entière de 4 000 livres (ce que possèdent les modèles d'IA modernes), le nombre de « motifs » possibles devient un chiffre si énorme qu'il est impossible à écrire. C'est comme essayer de lister chaque combinaison possible de numéros de loterie pour un milliard de tickets. L'ordinateur s'étouffe ; les mathématiques s'effondrent.

La Solution : LEAP (Le Système de « Vote Individuel »)

Les auteurs de cet article, LEAP, ont réalisé qu'ils avaient besoin d'une nouvelle façon de voter sur quels livres garder sans être submergés par les mathématiques.

Au lieu de demander : « Quel motif de groupe gardons-nous ? » (ce qui est impossible pour des groupes énormes), ils ont posé une question beaucoup plus simple pour chaque livre individuel : « Ce livre spécifique doit-il rester ou partir ? »

L'Analogie : Imaginez une élection massive où chaque électeur (chaque poids du modèle) reçoit un bulletin de vote minuscule. Au lieu de voter pour une « stratégie d'équipe » complexe, ils votent simplement « Oui » (garder) ou « Non » (rejeter).
Le Tour de Magie : Pour rendre cela possible, ils ont utilisé un tour de passe-passe mathématique (appelé « Gumbel-sigmoid ») qui permet à l'ordinateur de « deviner » les votes de manière fluide au début, puis de rendre ces devinettes progressivement plus dures et plus nettes jusqu'à ce que chaque vote soit un « Oui » ou un « Non » clair.

Comment Ils Ont Fait (La Recette)

Ils n'ont pas commencé de zéro. Ils ont utilisé un point de départ intelligent :

Le Démarrage à Chaud : Ils ont d'abord utilisé une méthode rapide et simple (appelée Wanda) pour obtenir une idée approximative des livres susceptibles d'être inutiles. Ils l'ont utilisée comme un « départ anticipé » afin que l'ordinateur n'ait pas à deviner à l'aveugle.
L'Entraînement : Ils ont laissé l'ordinateur « apprendre » le meilleur ensemble de votes en lisant une petite quantité de texte (un flux d'étalonnage) et en ajustant les votes « Oui/Non » pour maintenir l'intelligence de la bibliothèque à un niveau élevé.
Le Gel des Livres : De manière cruciale, ils n'ont pas changé les mots à l'intérieur des livres (les poids du modèle). Ils ont seulement changé la décision de quels livres garder. Cela préserve la « personnalité » et les connaissances originales de la bibliothèque, simplement dans un format plus compact.

Les Résultats : Plus Intelligent, Plus Rapide, Plus Économe

Ils ont testé cette méthode sur cinq modèles d'IA célèbres différents (allant de petits à très grands) et les ont réduits de 50 % et 60 %.

Le Tableau de Bord : Ils ont comparé LEAP aux meilleures méthodes existantes.
La Victoire : LEAP s'est constamment révélé supérieur. En moyenne, il a amélioré la précision du modèle de 2,59 points par rapport à la meilleure méthode précédente. Dans certains cas, l'amélioration a atteint 5,40 points.
La Vitesse : Parce qu'ils ont réduit le modèle d'une manière qui s'intègre parfaitement aux nouvelles puces informatiques rapides (GPU) conçues pour ce travail précis, le modèle résultant fonctionne beaucoup plus vite sans perdre en intelligence.

Pourquoi Cela Compte

Avant cela, si vous vouliez rendre un modèle d'IA énorme plus petit et plus rapide, vous deviez choisir entre :

Option A : Le garder précis mais énorme et lent.
Option B : Le rendre petit et rapide, mais stupide.

LEAP montre que vous pouvez avoir votre gâteau et le manger aussi. Il offre un moyen pratique de réduire de moitié ces cerveaux d'IA massifs, en les gardant tout aussi intelligents, afin qu'ils puissent s'exécuter sur des ordinateurs ordinaires plutôt que de nécessiter un supercalculateur.

En bref : LEAP est une nouvelle et plus intelligente façon de modifier un modèle d'IA géant en laissant chaque connexion individuelle voter sur le fait qu'elle doit rester, aboutissant à une IA plus petite, plus rapide et toujours très intelligente.

Résumé Technique : LEAP : Élagage Adaptatif Apprenable de bout en bout des Grands Modèles de Langage

Énoncé du Problème
Le déploiement des Grands Modèles de Langage (LLM) est de plus en plus entravé par des contraintes de mémoire et de calcul. Bien que la parcimonie des poids offre une solution, le paysage est divisé entre les régimes structurés, semi-structurés (par exemple, 2:4) et non structurés. Les récentes avancées dans les noyaux GPU (par exemple, FlashLLM, SpInfer) et le matériel de flux de données ont déplacé le goulot d'étranglement de l'exécution de la parcimonie non structurée vers son induction avec une perte de précision minimale.

Les méthodes actuelles de pointe pour l'élagage non structuré, telles que Wanda, SparseGPT, Thanos et ADMM, reposent sur des substituts couche par couche dérivés du principe du Cerveau Optimal (OBS). Ces méthodes minimisent les erreurs de reconstruction locales plutôt que la perte globale du modèle de bout en bout. Par conséquent, elles accumulent des erreurs locales qui se cumulent dans les réseaux profonds, entraînant une dégradation significative de la précision, en particulier sous une parcimonie agressive (50–60 %).

À l'inverse, les méthodes d'apprentissage de masques de bout en bout comme MaskLLM et PATCH optimisent avec succès les masques directement contre la perte de modélisation du langage, mais sont restreintes aux motifs semi-structurés. Leur paramétrage repose sur une distribution catégorielle sur les motifs valides au sein d'un groupe. Bien que gérable pour de petits groupes (par exemple, $\binom{4}{2}=6$ motifs pour une parcimonie 2:4), cette approche devient combinatoirement ingérable pour la parcimonie non structurée. Pour une ligne de largeur $d=4096$ à 50 % de parcimonie, le nombre de masques valides est $\binom{4096}{2048} \approx 10^{1229}$ , rendant le stockage et l'indexation des logits de motifs impossibles.

Méthodologie : LEAP
Les auteurs introduisent LEAP (Élagage Adaptatif Apprenable de bout en bout), un cadre conçu pour rendre l'apprentissage de masques non structurés de bout en bout gérable en remplaçant la paramétrisation catégorielle sur les motifs ingérable par une approche par poids.

Relaxation Bernoulli par Poids : Au lieu d'assigner un logit à chaque motif valide, LEAP assigne un logit apprenable à chaque poids individuel. Pour une matrice de poids $W \in \mathbb{R}^{m \times n}$ , une matrice de logits parallèle $P \in \mathbb{R}^{m \times n}$ est introduite. Le masque stochastique $M$ est généré via la relaxation sigmoïde de Gumbel :
$M = \sigma\left(\frac{\alpha P + g}{\tau}\right)$
où $g$ est un bruit de Gumbel, $\sigma$ est la fonction sigmoïde, $\alpha$ est un facteur d'échelle et $\tau$ est un paramètre de température. Cette formulation s'adapte linéairement au nombre de poids ($O(mn)$) plutôt qu'au nombre de motifs valides.
Stratégie d'Optimisation :
- Poids Gelés : Les poids préentraînés $W$ sont maintenus gelés. Seuls les logits de masque $P$ sont entraînés. Cela préserve l'étalonnage du modèle préentraîné et simplifie le déploiement.
- Initialisation : $P$ est initialisé en utilisant un masque Wanda en un seul coup (en définissant les entrées sélectionnées à $+s$ et les autres à $-s$ ) pour fournir un point de départ raisonnable, évitant ainsi les problèmes de démarrage à froid.
- Calendriers : Un calendrier d'échelle ( $\alpha$ ) augmente pour pousser la sigmoïde vers des valeurs binaires, tandis qu'un calendrier de température ( $\tau$ ) décroît pour affiner le masque.
- Fonction de Perte : L'objectif combine la perte de modélisation du langage sur un flux d'étalonnage avec deux termes de régularisation :
  1. Régularisateur de Parcimonie Globale : Impose la densité cible globalement sur toutes les couches, permettant aux couches individuelles d'ajuster leur densité en fonction de l'importance de bout en bout.
  2. Terme Sensible à la Magnitude : Biais l'optimisation vers le maintien des poids de plus grande magnitude pour éviter des minima dégénérés où des poids critiques sont supprimés.
Efficacité de l'Entraînement : La méthode s'entraîne pendant environ 2 000 itérations sur un petit flux d'étalonnage de texte général (SlimPajama).

Contributions Clés

Identification de l'Obstruction Combinatoire : L'article identifie formellement que les paramétrisations catégorielles sur les motifs (utilisées par MaskLLM/PATCH) ne peuvent pas s'étendre à la parcimonie non structurée en raison de la croissance exponentielle des motifs valides.
Reformulation Gérable : Les auteurs proposent une reformulation Bernoulli par poids via sigmoïde de Gumbel qui permet un apprentissage différentiable de bout en bout pour les masques non structurés à l'échelle des LLM.
Cadre LEAP : Un cadre d'élagage léger qui opère sur des poids gelés, ne nécessitant qu'un petit jeu de données d'étalonnage et environ 2 000 étapes d'entraînement.
Validation Empirique : Évaluation approfondie sur cinq familles de LLM (Qwen-2.5, Gemma-3, LLaMA-3.2, LLaMA-3.1) allant de 0,5 milliard à 8 milliards de paramètres à 50 % et 60 % de parcimonie.

Résultats
LEAP a été évalué par rapport à des bases de référence couche par couche (Wanda, SparseGPT, Thanos, ADMM) et à la base de référence apprenable semi-structurée MaskLLM.

Gains de Précision : Sur dix configurations (modèle, parcimonie), LEAP a amélioré la précision moyenne zero-shot sur six tâches de +2,59 points par rapport à ADMM, la meilleure base de référence couche par couche.
Améliorations Spécifiques : Le gain le plus important a été de +5,40 points sur LLaMA-3.2 1B à 60 % de parcimonie (50,39 contre 44,99).
Perplexité : LEAP a constamment obtenu une perplexité (PPL) inférieure à celle des bases de référence. Par exemple, sur LLaMA-3.1 8B à 50 % de parcimonie, LEAP a atteint 7,66 PPL contre 9,12 pour ADMM.
Allocation de Parcimonie : Les expériences ont montré que sous une optimisation de bout en bout avec un budget global, LEAP converge vers une allocation de densité par bloc quasi uniforme, contrairement aux variations non uniformes observées dans les méthodes semi-structurées.
Coût de Calcul : Bien que plus coûteux que les méthodes en un seul coup (prenant des heures sur des H100 contre des minutes), LEAP est nettement moins cher que MaskLLM (par exemple, 276 heures-GPU pour LLaMA-3.1 8B contre des milliers d'heures-A100 pour MaskLLM à des échelles comparables).

Signification et Revendications
L'article revendique que LEAP résout l'obstruction fondamentale empêchant l'apprentissage de masques de bout en bout dans la parcimonie non structurée. En découplant l'apprentissage du masque des mises à jour des poids, il offre une voie pratique pour compresser les modèles de base sans sacrifier l'étalonnage des poids préentraînés.

Les auteurs soulignent que LEAP produit des masques dans le régime non structuré de 50 %–60 %, directement compatibles avec les noyaux accélérés existants (par exemple, FlashLLM, SpInfer, MACKO). La signification ne réside pas dans la création de nouveaux noyaux d'inférence, mais dans le déploiement de ces noyaux sur des modèles élagués de haute qualité, auparavant inaccessibles via des méthodes couche par couche. Ce travail suggère que la parcimonie non structurée, lorsqu'elle est induite par un apprentissage de bout en bout, peut offrir un compromis favorable entre compression et précision pour le déploiement sur du matériel standard.

Limites et Portée

Poids Gelés : La portée actuelle maintient les poids gelés. Bien que l'optimisation conjointe des poids et du masque soit notée comme une extension naturelle, elle n'est pas implémentée dans ce travail.
Allocation Uniforme : L'observation d'une densité par bloc uniforme est présentée comme une découverte spécifique au régime pour les modèles et niveaux de parcimonie étudiés, et non comme une règle générale contre l'allocation non uniforme.
Sécurité : Les auteurs mettent en garde que les modèles compressés peuvent présenter des modes de défaillance différents sur des entrées à longue traîne et recommandent une réévaluation pour les déploiements critiques pour la sécurité.