💬 NLP

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

Cet article présente GISP, une méthode d'élagage structuré itératif global qui agrège des scores d'importance basés sur la perte du premier ordre pour éliminer efficacement les têtes d'attention et les canaux MLP, surpassant ainsi les paradigmes locaux traditionnels en stabilisant la précision à des niveaux de parcimonie élevés et en permettant une optimisation spécifique à la tâche sans affinage intermédiaire.

Auteurs originaux : Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive et incroyablement intelligente (un modèle de langage de grande taille) remplie de milliards de livres. Elle connaît presque tout, mais elle est si vaste que trouver un fait spécifique prend une éternité, et elle nécessite un bâtiment géant et coûteux pour être stockée. Vous souhaitez réduire cette bibliothèque pour qu'elle tienne dans un sac à dos sans perdre la capacité de répondre correctement aux questions.

C'est le problème que l'article aborde. Les auteurs introduisent une nouvelle méthode appelée GISP (Élagage Structuré Itératif Global). Voici comment cela fonctionne, expliqué par de simples analogies :

Le Problème : L'Approche « Locale » vs La Vue « Globale »

L'Ancienne Méthode (Élagage Local) :
Imaginez que vous essayez de réduire la bibliothèque en examinant chaque pièce une par une. Vous décidez : « Cette pièce contient trop de livres ; jetons-en 20 %. » Vous faites cela pour chaque pièce indépendamment.

Le Défaut : Vous pourriez jeter un livre dans la pièce « Histoire » qui semble inutile localement, mais qui s'avère être la clé pour comprendre une histoire complexe plus tard. Parce que vous ne regardez qu'une pièce à la fois, vous manquez la vue d'ensemble. Vous vous retrouvez avec une bibliothèque qui semble toujours « lourde » et qui pourrait avoir du mal avec des tâches spécifiques, comme résoudre un problème de mathématiques ou répondre à une énigme piège, même si elle semble bonne lors d'un test général.

La Nouvelle Méthode (GISP - Élagage Itératif Global) :
Au lieu de regarder les pièces une par une, les auteurs suggèrent d'examiner l'ensemble de la bibliothèque d'un coup et de se demander : « Si je retire ce livre spécifique, combien cela nuit-il à la capacité de la bibliothèque à répondre à cette question précise ? »

Comment GISP Fonctionne : Les Trois Étapes Magiques

1. L'Erreur « En Un Coup » (Tenter de tout faire d'un coup)
Si vous essayez de retirer 50 % des livres en un seul grand coup, vous risquez de jeter par accident les plus importants. C'est comme essayer de perdre 25 kilos en un jour ; vous échouerez lamentablement. L'article montre que faire cela « d'un coup » fait s'effondrer la bibliothèque et la fait cesser d'avoir du sens.

2. La Solution « Itérative » (La Taille Lente)
GISP résout cela en faisant de petits pas. Imaginez que vous sculptez une statue. Au lieu de tailler un gros morceau de pierre d'un coup, vous en enlevez un peu, vérifiez la forme, en enlevez encore un peu, et vérifiez à nouveau.

Le Processus : GISP retire un tout petit peu du modèle, vérifie s'il fonctionne toujours, puis retire un tout petit peu de plus. Il répète cela de nombreuses fois.
L'Avantage : Cela permet au modèle de « s'ajuster » au fur et à mesure qu'il rétrécit. Cela empêche la bibliothèque de s'effondrer, même lorsque vous arrivez à une taille très petite (forte parcimonie).

3. La Bibliothèque « Emboîtée » (Élaguer une fois, Déployer Plusieurs)
C'est un tour de force ingénieux. Parce que GISP retire les livres lentement et soigneusement, chaque étape du processus crée une bibliothèque fonctionnelle.

L'Analogie : Imaginez que vous avez une série de poupées russes. Vous n'avez pas besoin de construire une petite poupée, une poupée moyenne et une grande poupée séparément. Vous construisez simplement la grande, et en retirant les couches, vous révélez naturellement des versions plus petites et parfaites à l'intérieur.
Le Résultat : Vous n'avez qu'à faire le travail difficile de « l'élagage » une seule fois. À partir de ce seul processus, vous obtenez toute une famille de modèles : un qui est 20 % plus petit, un qui est 40 % plus petit, et un qui est 50 % plus petit. Vous pouvez choisir celui qui convient le mieux à votre sac à dos sans faire de travail supplémentaire.

L'Ingrédient Secret : L'Entraînement pour le Travail Spécifique

L'article souligne que la plupart des anciennes méthodes sont « agnostiques à la tâche ». Elles tentent de garder la bibliothèque bonne à tout en général. Mais que faire si vous avez seulement besoin que la bibliothèque soit excellente pour les examens médicaux ou les mathématiques ?

L'Ancienne Méthode : La méthode d'élagage regarde une liste générale de « livres importants » et ignore si ces livres aident pour les mathématiques.
La Méthode GISP : GISP peut se voir dire : « Nous ne nous soucions que des problèmes de mathématiques. » Il examine alors les livres et dit : « Ce livre est inutile pour les mathématiques, mais celui-ci est critique. » Il utilise un « score » spécial basé sur la tâche spécifique qui vous intéresse.
Le Résultat : Lorsque les auteurs ont testé cela sur des tâches de mathématiques et de raisonnement, GISP a maintenu le modèle beaucoup plus intelligent que les anciennes méthodes, en particulier lorsque le modèle a été considérablement réduit.

Les Résultats en Langage Clair

Les auteurs ont testé cela sur plusieurs modèles d'IA célèbres (comme Llama et Mistral). Ils ont constaté que :

Cela fonctionne mieux : À des niveaux élevés de réduction (en retirant 40 à 50 % du modèle), GISP a maintenu l'IA beaucoup plus intelligente que les meilleures méthodes précédentes.
C'est flexible : Vous pouvez obtenir toute une gamme de tailles de modèles à partir d'une seule exécution d'élagage.
C'est robuste : Même si vous n'avez pas une grande quantité de données pour « enseigner » le processus d'élagage, cela fonctionne toujours bien.

Résumé

Pensez à GISP comme à un jardinier maître. Au lieu de couper des branches au hasard (l'ancienne méthode), il taille l'arbre soigneusement, pouce par pouce (itératif), en vérifiant toujours si l'arbre peut encore porter des fruits (performance). Il adapte également l'élagage au fruit spécifique que vous voulez (spécifique à la tâche), et parce qu'il est si prudent, il peut vous donner un petit bonsaï, un arbre moyen ou un grand arbre, tous à partir de la même plante originale, sans avoir besoin de replanter quoi que ce soit.

1. Énoncé du problème

Les grands modèles de langage (LLM) sont coûteux en calcul, nécessitant des stratégies de déploiement efficaces. Le pruning structuré (suppression de têtes d'attention entières ou de canaux MLP) est préféré au pruning non structuré pour sa compatibilité matérielle. Cependant, le paradigme dominant actuel est le pruning local (par exemple, SparseGPT, Wanda), qui optimise les erreurs de reconstruction au niveau des couches.

Limitations clés du pruning local :

Agnostique vis-à-vis des tâches : Il minimise la différence entre les sorties des couches élaguées et denses, préservant la perplexité générale mais échouant à optimiser pour des tâches spécifiques en aval.
Calibration limitée : Même en utilisant des données de calibration spécifiques à une tâche, les méthodes locales ne peuvent pas exploiter efficacement les signaux de la tâche car leur fonction objectif (MSE au niveau des couches) est découplée de la perte finale du modèle.
Instabilité à haute sparsité : Les méthodes locales ont souvent du mal à maintenir la précision à des ratios d'élagage élevés (40–50 %).
Inefficacité pour plusieurs sparsités : Pour obtenir des modèles à différents niveaux de sparsité, les méthodes locales nécessitent des exécutions d'élagage séparées et indépendantes pour chaque ratio cible.

2. Méthodologie : GISP (Pruning Structuré Itératif Global)

Les auteurs proposent GISP, un cadre de pruning structuré post-entraînement qui passe d'une reconstruction locale à une optimisation globale alignée sur la perte.

Composants principaux :

Métrique d'importance globale :
- Au lieu d'une reconstruction au niveau des couches, GISP définit l'importance basée sur le développement de Taylor du premier ordre de la perte globale du modèle ( $L$ ) par rapport à la perturbation des poids.
- Score d'importance pour un poids $W_{ij}$ : $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$ .
- Alignement tâche : La fonction de perte $L$ peut être échangée. Pour la modélisation du langage, elle utilise la perplexité (Entropie croisée). Pour les tâches de type décisionnel (par exemple, QA), elle utilise une Perte basée sur la marge pour préserver la frontière de décision entre les réponses correctes et incorrectes.
Calendrier d'élagage itératif :
- Problème : Un élagage global "en un coup" naïf (suppression de tous les poids d'un coup) est instable et provoque un effondrement de la précision à haute sparsité.
- Solution : GISP élague de manière itérative. Il applique un petit ratio d'élagage ( $\rho_k$ ) à chaque étape $k$ sur $n$ itérations, augmentant progressivement la sparsité totale jusqu'au ratio cible $\rho$ .
- Normalisation : Pour gérer le déséquilibre où les blocs d'attention ont souvent des scores d'importance plus élevés que les blocs MLP, GISP normalise les scores séparément au sein des structures d'attention et MLP avant le classement global.
Flux de travail "Élaguer une fois, déployer plusieurs" :
- Parce que GISP est itératif, il génère naturellement une structure de sous-réseau imbriqué. Le modèle élagué à 20 % de sparsité est un sous-ensemble du modèle élagué à 30 %, qui est un sous-ensemble du modèle à 50 %.
- Cela permet à une seule exécution d'élagage de produire une frontière de Pareto de modèles à divers niveaux de sparsité, éliminant le besoin de multiples exécutions d'élagage indépendantes.

3. Contributions clés

Réexamen du pruning global : Démontre que le pruning global, lorsqu'il est rendu itératif et post-entraînement, surpasse le pruning local tant en perplexité qu'en précision en aval, en particulier à haute sparsité (40–50 %).
Pruning spécifique à la tâche : Introduit un mécanisme pour définir l'importance directement via des fonctions de perte spécifiques à la tâche (par exemple, perte de marge pour QA), comblant le fossé entre la compression générique et l'optimisation consciente de la tâche.
Efficacité via des sous-réseaux imbriqués : Établit un flux de travail "une fois pour toutes" où un processus d'élagage itératif produit plusieurs modèles utilisables à différents niveaux de sparsité, amortissant le coût computationnel de l'itération.
Robustesse : Montre que GISP reste efficace même avec des budgets de calibration considérablement réduits (jusqu'à 1 % du nombre de tokens standard).

4. Résultats expérimentaux

Les auteurs ont évalué GISP sur Llama2-7B/13B, Llama3-8B, Mistral-0.3-7B, DeepSeek-R1-Distill-Llama-3-8B et Qwen3-8B.

Perplexité (WikiText-2) : GISP atteint systématiquement une perplexité plus faible que les bases locales (Wanda, LLM-Pruner, FLAP, OWL). À 50 % de sparsité, les méthodes locales souffrent souvent d'un "effondrement de la perplexité" (PPL > 100), tandis que GISP maintient un PPL compétitif (par exemple, ~64 pour Llama2-7B contre ~81 pour Wanda).
Précision en aval (CMQA) :
- GISP surpasse toutes les bases sur tous les modèles et tous les niveaux de sparsité.
- Gain spécifique à la tâche : L'utilisation de données CMQA pour la calibration et d'une perte basée sur la marge améliore considérablement la précision par rapport à l'utilisation de données C4 génériques. Par exemple, sur Llama2-13B à 40 % de sparsité, GISP (Marge) atteint 63,34 % de précision contre 59,11 % pour Wanda.
Tâches de raisonnement (GSM8K) :
- Sur DeepSeek-R1 et Qwen3, une calibration alignée sur la tâche (utilisant des données GSM8K) améliore drastiquement les performances. Wanda-sp s'effondre à 0 % de précision sur DeepSeek-R1 à 20 % de sparsité avec une calibration générique, tandis que GISP avec calibration tâche atteint 67,93 %.
Efficacité :
- Bien que GISP ait un temps d'exécution total plus élevé en raison des itérations, le temps amorti par modèle utilisable est inférieur à celui des méthodes locales car il produit plus de 112 sous-réseaux utilisables en une seule exécution, alors que les méthodes locales n'en produisent qu'un par exécution.
- Les modèles élagués montrent des accélérations d'inférence significatives (jusqu'à 1,7x la vitesse de préremplissage) et une réduction de la mémoire (jusqu'à 45 % à 50 % de sparsité).

5. Importance et impact

Changement de paradigme : L'article remet en question la domination du pruning basé sur la reconstruction locale, prouvant que le pruning global aligné sur la perte est supérieur pour les LLM lorsqu'il est mis en œuvre de manière itérative.
Déploiement pratique : La capacité "élaguer une fois, déployer plusieurs" est hautement précieuse pour le déploiement en périphérie, permettant à un seul fichier de modèle d'être dynamiquement adapté à différentes contraintes matérielles sans ré-élagage.
Adaptation aux tâches : Il fournit un cadre robuste pour adapter les LLM à des domaines spécifiques (par exemple, médical, mathématiques) sans fine-tuning complet, simplement en changeant les données de calibration et l'objectif de perte pendant la phase d'élagage.
Efficacité des ressources : En démontrant une robustesse avec des données de calibration minimales, GISP abaisse la barrière à l'application du pruning structuré aux grands modèles dans des environnements aux ressources limitées.

En conclusion, GISP offre une alternative simple mais puissante aux méthodes d'élagage actuelles, délivrant une précision plus élevée, une meilleure stabilité à haute sparsité et une plus grande flexibilité pour le déploiement spécifique à une tâche.