💬 NLP

PALS: Percentile-Aware Layerwise Sparsity for LLM Pruning

Le papier propose PALS, une méthode de l'élagage en une seule étape (one-shot) qui ajuste dynamiquement les ratios de parcimonie à travers les couches du transformer en fonction des magnitudes d'activation, atteignant des améliorations significatives de la perplexité par rapport à l'élagage uniforme sur LLaMA-2-7B tout en démontrant que l'allocation basée sur le gradient est inefficace pour le retrait discret des poids.

Auteurs originaux : Yazdan Jamshidi, Alexey Shvets

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yazdan Jamshidi, Alexey Shvets

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et incroyablement intelligente (un Grand Modèle de Langage) contenant des milliards de livres (paramètres). Pour faire tenir cette bibliothèque dans un petit sac à dos afin de pouvoir la transporter sur votre téléphone, vous devez jeter la moitié des livres. C'est ce qu'on appelle l'« élagage » (pruning).

Le problème est que tous les livres ne sont pas également importants. Certains ne sont que du remplissage, tandis que d'autres contiennent les cartes et les clés les plus critiques pour comprendre le monde.

L'ancienne méthode : l'approche « Taille unique »

Les méthodes précédentes (comme Wanda et SparseGPT) étaient comme un bibliothécaire strict qui dit : « Nous devons supprimer 50 % des livres. Nous allons donc jeter exactement la moitié des livres de chaque étagère, peu importe la méthode. »

Les auteurs de cet article soutiennent que c'est absurde. Certaines étagères (couches) sont remplies d'informations vitales et uniques, tandis que d'autres sont pleines de notes répétitives. Si vous coupez 50 % des étagères vitales, la bibliothèque cesse d'avoir du sens. Si vous coupez 50 % des étagères répétitives, personne ne le remarquera.

La nouvelle méthode : PALS (Le « Bibliothécaire Intelligent »)

Les auteurs proposent une nouvelle méthode appelée PALS (Percentile-Aware Layerwise Sparsity). Au lieu de couper la même quantité sur chaque étagère, PALS agit comme un bibliothécaire intelligent qui examine d'abord les étagères.

Voici comment cela fonctionne :

La vérification des « Outliers » : Le bibliothécaire regarde les livres sur chaque étagère et demande : « Y a-t-il des livres ici qui sont radicalement différents ou extrêmement bruyants ? » En termes techniques, ils recherchent les outliers d'activation — des moments où une partie spécifique du modèle devient très « excitée » ou active.
La règle :
- Si une étagère présente ces moments « bruyants » ou « excités », cela signifie que cette étage effectue un travail critique. Ne coupez pas beaucoup ici. Gardez plus de livres.
- Si une étagère est calme et uniforme, elle fait probablement un travail répétitif. Coupez davantage ici. Jetez plus de livres.
Le filet de sécurité : Pour s'assurer de ne pas devenir trop excessif, le bibliothécaire a une règle : « Vous ne pouvez modifier la quantité de coupe que d'un tout petit peu (plus ou moins 5 %). » Cela empêche de vider accidentellement une étagère vitale ou de laisser une étagère inutile totalement pleine.

La grande surprise : Le piège du « Gradient »

Avant de se décider sur la « sonorité » des livres, les chercheurs ont testé une autre idée. Ils ont pensé : « Et si nous regardions les gradients ? »

Dans le monde de l'IA, les « gradients » sont comme une carte indiquant la direction pour ajuster légèrement un livre afin de l'améliorer un peu. Habituellement, c'est une manière très intelligente de décider quoi garder.

Mais voici le choc : Lorsqu'ils ont utilisé les gradients pour décider quoi couper, la bibliothèque s'est effondrée. Les résultats étaient pires que si on avait simplement jeté des livres au hasard.

Pourquoi ? Les auteurs supposent que les gradients sont comme une carte pour faire des petits pas, très fins. Mais l'élagage, c'est comme faire un pas géant, massif (supprimer 50 % des livres d'un coup). Une carte qui fonctionne pour de minuscules pas ne vous dit pas ce qui se passe lorsque vous retirez la moitié du terrain. C'est comme savoir vers où penche une colline ne vous dit pas ce qui se passera si vous rasez la moitié de la montagne.

Les résultats

Sur les anciens modèles (LLaMA-2) : Le « Bibliothécaire Intelligent » (PALS) a fait un travail fantastique. La bibliothèque est devenue deux fois plus petite mais comprend toujours le langage presque aussi bien que la version complète. Elle est bien plus intelligente que la méthode « Taille unique ».
Sur les nouveaux modèles (Mistral, LLaMA-3) : Le « Bibliothécaire Intelligent » n'a pas vraiment aidé. Les auteurs pensent que c'est parce que ces modèles plus récents sont si bien entraînés que chaque étagère est déjà d'une importance égale. Il n'y a pas d'étagère « redondante » sur laquelle couper davantage, donc la stratégie intelligente ne peut pas trouver d'avantage.

L'essentiel à retenir

PALS est une astuce simple et peu coûteuse pour rendre les modèles d'IA plus petits sans perdre leur intelligence. Cela fonctionne en écoutant quelles parties du modèle « crient » (haute activité) et en les protégeant, tout en taillant dans les parties calmes.

Cela nous enseigne également une leçon précieuse : Ce n'est pas parce qu'une méthode (comme les gradients) fonctionne pour de petits ajustements qu'elle fonctionne pour de grandes coupes. Parfois, le signal le plus simple (observer à quel point une partie est active en ce moment même) est meilleur que la mathématique la plus complexe.

Résumé Technique : PALS (Percentile-Aware Layerwise Sparsity)

Énoncé du Problème

Les grands modèles de langage (LLM) avec des milliards de paramètres imposent une charge mémoire et computationnelle significative lors de l'inférence. L'élagage post-entraînement (post-training pruning) offre une solution en supprimant une fraction des poids sans réentraînement. Cependant, les méthodes d'élagage à coup sûr (one-shot) standard comme Wanda et SparseGPT imposent une rareté uniforme (uniform sparsity), appliquant le même ratio d'élagage (par exemple 50 %) à chaque couche du transformateur.

Cette approche ignore les variations connues de l'importance des couches. Les couches des transformateurs présentent une hétérogénéité fonctionnelle : les premières couches construisent souvent des représentations génériques, les couches intermédiaires peuvent être redondantes, et les couches tardives se spécialisent pour le vocabulaire de sortie. L'élagage uniforme ne parvient pas à exploiter ces différences, risquant de supprimer des poids critiques de couches sensibles tout en sur-élagant des couches redondantes, ce qui conduit à une perplexité et une précision suboptimales.

Méthodologie : PALS

Les auteurs proposent PALS (Percentile-Aware Layerwise Sparsity), une méthode qui ajuste dynamiquement le ratio d'élagage pour chaque couche en fonction des statistiques d'activation recueillies sur un petit ensemble de calibration. PALS s'intègre au pipeline de Wanda avec un surcoût négligeable et ne nécessite aucun ajustement fin (fine-tuning).

Algorithme Central

Importance des Couches via les Percentiles d'Activation :
Pour chaque couche $l$ , les activations $A^{(l)}$ sont collectées sur un ensemble de calibration. Au lieu d'utiliser la moyenne des activations (qui lisse les signaux critiques), PALS calcule le 99e percentile des magnitudes d'activation absolues :
$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$
Cette métrique cible les « outliers d'activation » — des caractéristiques dont les magnitudes sont 10 à 100 fois supérieures au reste — que des travaux antérieurs (Dettmers et al.) ont identifiés comme essentiels pour la qualité du modèle.
Normalisation et Allocation :
Les scores de percentile bruts sont standardisés ( $\hat{I}^{(l)}$ ) pour être comparables entre les couches. La cible de rareté par couche $s^{(l)}$ est ensuite calculée en décalant la cible globale $s_{\text{target}}$ en fonction de l'importance normalisée :
$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$
- $\alpha$ (Force d'Adaptation) : Contrôle à quel point la rareté dévie de la cible.
- Limites Conservatrices : La méthode impose une bande de $\pm 5 \%$ autour de la cible (par exemple, pour une cible de 50 %, les couches sont élaguées entre 45 % et 55 %). Cela empêche les « goulots d'étranglement d'information » où l'élagage excessif de certaines couches dégrade la capacité de l'ensemble du réseau.
Exécution de l'Élagage :
Une fois $s^{(l)}$ déterminé pour chaque couche, les poids sont scorés et supprimés selon le critère de Wanda ( $|w| \cdot \text{moyenne}(|a|)$ ). Les $s^{(l)} \times 100 \%$ de poids les plus faibles sont supprimés. Aucun ajustement de poids ou fine-tuning n'est effectué.

Constat Clé : Échec de l'Allocation Basée sur le Gradient

Les auteurs ont testé une approche apparemment plus rigoureuse : utiliser les magnitudes de gradient (ou les expansions de Taylor du premier ordre) pour allouer la rareté. Cette approche a échoué de manière décisive, produisant des scores de perplexité (47,32) nettement pires que l'allocation aléatoire (24,37) et l'élagage uniforme (12,92). Les auteurs supposent que les gradients reflètent la dynamique d'optimisation (convergence locale) plutôt que l'impact discret de la suppression de grandes fractions de poids.

Résultats Expérimentaux

Résultats Primaires (LLaMA-2-7B)

Sur LLaMA-2-7B à 50 % de rareté non structurée :

Wanda Uniforme : 12,92 de perplexité WikiText-2.
PALS : 10,96 de perplexité WikiText-2.
Signification : Cela représente une amélioration de 15,2 % de la perplexité. Le résultat est statistiquement significatif ( $p < 0,001$ ) sur neuf exécutions indépendantes.
Tâches Aval (Downstream) : PALS améliore la précision zero-shot sur BoolQ, PIQA, HellaSwag et MMLU par rapport à Wanda, conservant 93,3 % de la précision moyenne du modèle dense.

Dépendance à l'Architecture

Les bénéfices de PALS ne sont pas universels ; ils dépendent de l'hétérogénéité interne des couches du modèle :

LLaMA-3-8B : Gain marginal (10,48 contre 10,45).
Mistral-7B : Aucun gain (6,31 pour les deux).
Interprétation : Les modèles plus récents (LLaMA-3, Mistral) distribuent probablement le calcul de manière plus uniforme à travers les couches grâce à des jeux de données d'entraînement plus vastes ou des changements architecturaux (ex: Grouped-Query Attention), laissant moins de place à l'allocation non uniforme pour exploiter les différences.

Efficacité

Mémoire : Réduit la taille du modèle de 50 % (13,2 Go $\to$ 6,6 Go).
Débit (Throughput) : Permet une accélération de 1,41× sur les GPU NVIDIA A100 en utilisant des noyaux de matrices creuses (sparse matrix kernels).
Surcoût : Le pipeline PALS ajoute un temps négligeable au processus d'élagage, car il réutilise les données d'activation déjà collectées par Wanda.

Signification et Revendications

Le papier formule trois revendications principales concernant sa contribution :

Gain de Performance via la Non-Uniformité : PALS démontre que l'ajustement des ratios de rareté par couche, basé sur les outliers d'activation, produit des réductions de perplexité significatives dans les modèles présentant une hétérogénéité de couches (spécifiquement LLaMA-2), surpassant la référence standard de l'élagage uniforme.
Échec du Gradient dans l'Élagage "One-Shot" : Le document documente un mode d'échec frappant où les métriques d'importance basées sur le gradient, efficaces dans les réseaux plus petits, produisent des allocations moins bonnes que l'aléatoire pour les LLM pré-entraînés. Cela suggère un déconnectement fondamental entre la magnitude du gradient et l'impact de la suppression discrète de poids dans un contexte de "one-shot".
Robustesse et Simplicité : La méthode ne nécessite aucun fine-tuning, ajoute un coût de calcul minimal et repose sur une heuristique statistique simple (99e percentile) qui s'aligne sur le phénomène connu des outliers d'activation dans les transformeurs.

Les auteurs restent modestes quant à l'universalité des gains, notant que l'efficacité de la méthode est tributaire de l'architecture spécifique et de la dynamique d'entraînement du modèle cible. Si les couches d'un modèle sont uniformément importantes, PALS n'offre aucun avantage par rapport à l'élagage uniforme.