💬 NLP

Two-Stage Regularization-Based Structured Pruning for LLMs

Cet article présente TRSP, une méthode de pruning structuré en deux étapes basée sur la régularisation qui préserve mieux les connaissances des grands modèles de langage et améliore leurs performances sans nécessiter de réentraînement, facilitant ainsi leur déploiement efficace.

Auteurs originaux : Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

Publié 2026-04-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Des Géants Lents et Gourmands

Imaginez que les grands modèles de langage (LLM) sont comme des bibliothèques géantes remplies de millions de livres. Ces bibliothèques sont incroyablement intelligentes, mais elles sont lourdes, difficiles à transporter et prennent beaucoup de temps pour trouver une information précise. C'est ce qu'on appelle le "coût de calcul".

Pour les rendre plus légers, les chercheurs essaient de les "élaguer" (enlever des parties inutiles). Jusqu'à présent, la méthode consistait à regarder les étagères, décider quelles livres jeter, et les supprimer d'un coup.
Le problème ? En jetant un livre, on risque de perdre une information précieuse. Le modèle devient alors confus et perd en intelligence. Pour le réparer, il faut le réapprendre de zéro, ce qui coûte très cher en temps et en énergie.

✨ La Solution : TRSP (Le "Remodelage Doux")

Les auteurs de cet article proposent une méthode appelée TRSP (Two-Stage Regularization-Based Structured Pruning). Au lieu de jeter brutalement des livres, ils utilisent une approche en deux étapes, un peu comme un architecte qui rénove une maison avant de supprimer des murs.

Voici comment cela fonctionne, étape par étape :

Étape 1 : Le "Poids" des Pièces (La Première Régularisation)

Imaginez que chaque étage de la bibliothèque (chaque couche du modèle) a un petit panneau de contrôle avec un bouton de volume.

Au début, tous les boutons sont au maximum (volume 1).
La méthode TRSP commence à tourner doucement ces boutons vers le bas, un par un, en écoutant attentivement si la bibliothèque continue de bien fonctionner.
L'objectif est de trouver quels étages sont les moins importants pour le fonctionnement global. On ne les supprime pas encore, on les "silencie" progressivement.

Étape 2 : La "Transfert de Connaissance" (La Deuxième Régularisation)

C'est ici que la magie opère. Avant de supprimer les étages "silencieux" (ceux dont on a baissé le volume), TRSP fait quelque chose de très astucieux :

Il force les étages qui vont être supprimés à ressembler le plus possible à ce qu'ils étaient à l'entrée. C'est comme dire à un étage : "Tu n'as plus besoin de faire grand-chose, tu peux juste laisser passer l'information sans la modifier."
En faisant cela, le modèle est obligé de déplacer l'information importante de ces étages "faibles" vers les étages "forts" qui vont rester.
L'analogie : C'est comme si vous déménagiez. Au lieu de jeter vos meubles dans une benne, vous les rangez soigneusement dans les cartons des pièces que vous gardez. Une fois que tout est transféré, vous pouvez supprimer la pièce vide sans rien perdre.

Étape 3 : La Coupe Finale

Une fois que les étages faibles ont été "vidés" de leur savoir et que ce savoir a été transféré aux étages restants, on peut supprimer les étages inutiles sans que le modèle ne perde sa mémoire ni son intelligence.

🚀 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, TRSP offre trois avantages majeurs :

Pas de réapprentissage coûteux : Contrairement aux anciennes méthodes qui devaient réapprendre tout le modèle après la coupe (comme réapprendre à marcher après une amputation), TRSP garde l'intelligence intacte. C'est comme si le modèle avait déjà intégré le déménagement pendant la rénovation.
Vitesse fulgurante : En supprimant des étages entiers, le modèle devient beaucoup plus rapide. Sur les tests, TRSP a permis d'accélérer la génération de texte de 35 % à 75 % selon la taille du modèle, tout en restant très intelligent.
Robustesse : Même si on enlève beaucoup d'étages (jusqu'à 60 % !), le modèle reste performant, là où les autres méthodes échouent complètement.

🏁 En Résumé

Imaginez que vous avez un orchestre de 100 musiciens.

L'ancienne méthode : On regarde qui joue le moins bien et on les renvoie chez eux. L'orchestre sonne faux, il faut réécrire toute la partition et réentraîner tout le monde.
La méthode TRSP : On demande d'abord aux musiciens "faibles" de se taire et de laisser les autres reprendre leurs parties. Une fois que les autres ont intégré ces nouvelles notes, on renvoie les musiciens silencieux. Le résultat ? Un orchestre plus petit, plus rapide, mais qui joue aussi bien, voire mieux, que l'original.

C'est une méthode intelligente qui permet de rendre l'intelligence artificielle plus accessible, plus rapide et moins gourmande en énergie, sans sacrifier sa qualité.

1. Problématique

Le déploiement des grands modèles de langage (LLM) est entravé par leur taille massive et leur coût computationnel élevé. Le pruning structuré (élagage) est une solution prometteuse pour réduire cette complexité en supprimant des paramètres redondants. Cependant, les méthodes d'élagage par couches existantes souffrent d'une limitation majeure :

Elles identifient et suppriment directement les couches jugées "peu importantes" selon un critère métrique.
Cette suppression directe entraîne une perte de connaissances cruciales contenues dans ces couches, même si elles sont considérées comme moins importantes.
Pour compenser cette perte, il est nécessaire de procéder à un réentraînement (fine-tuning) extensif, ce qui génère un surcoût computationnel important et une dépendance aux données.

2. Méthodologie : TRSP

Les auteurs proposent TRSP (Two-Stage Regularization-Based Structured Pruning), une méthode novatrice qui sépare le processus d'élagage en deux étapes de régularisation avant la suppression effective des couches. L'objectif est de redistribuer les connaissances des couches à supprimer vers les couches conservées, minimisant ainsi la perte de performance.

Le processus se déroule en quatre étapes clés :

Étape 1 : Préparation des données

Une petite quantité de données (par exemple, 128 échantillons) est extraite aléatoirement de benchmarks standards (WikiText-2, Alpaca, etc.). Cette faible taille de données réduit considérablement la surcharge computationnelle.

Étape 2 : Première régularisation (Apprentissage itératif des poids de couche)

Un poids apprenable $S[i]$ est attribué à chaque couche $i$ du modèle.
La sortie de chaque couche est multipliée par ce poids.
Un terme de régularisation $\ell_1$ -norme est ajouté à la fonction de perte (loss function) pour encourager la sparsité des poids $S$ .
Stratégie itérative (Greedy) : Contrairement aux approches "one-shot" qui suppriment plusieurs couches d'un coup, TRSP apprend les poids de manière itérative. À chaque itération, la couche avec le poids le plus faible est identifiée et masquée (mise à zéro) pour l'étape suivante. Cela permet d'adapter l'importance des couches restantes dynamiquement au fur et à mesure que d'autres sont supprimées, évitant ainsi la suppression de séquences consécutives de couches qui dégraderaient le modèle.

Étape 3 : Deuxième régularisation (Transfert de connaissances)

Une fois les couches à supprimer identifiées (ensemble $P$ ), une seconde régularisation est appliquée.
Une contrainte est imposée sur la différence entre la sortie et l'entrée ( $X_{out} - X_{in}$ ) de ces couches spécifiques.
En minimisant cette différence (via une régularisation $\ell_1$ ou $\ell_2$ ), le modèle est forcé d'apprendre à faire en sorte que ces couches agissent comme des fonctions identité ( $X_{out} \approx X_{in}$ ).
Mécanisme : Cela force le modèle à transférer activement les connaissances et les transformations importantes de ces couches "à supprimer" vers les couches restantes, avant même leur suppression physique.

Étape 4 : Élagage

Les couches ayant subi la régularisation (et dont les poids sont devenus négligeables) sont supprimées définitivement. Le modèle résultant est prêt à l'emploi sans réentraînement.

3. Contributions Clés

Préservation des connaissances : Contrairement à l'élimination directe, TRSP utilise la régularisation pour redistribuer l'information, minimisant la perte de capacités du modèle.
Élagage sans réentraînement (Retraining-free) : Grâce au transfert de connaissances anticipé, le modèle élagué conserve ses performances sans nécessiter de phase coûteuse de fine-tuning.
Efficacité et Coût minimal : La méthode nécessite très peu de données (128 échantillons) et évite le réentraînement, réduisant drastiquement le coût computationnel.
Accélération End-to-End : En tant que méthode d'élagage par couches, elle offre une accélération significative en termes de débit (throughput) et de latence.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (Phi-2, OPT, LLaMA2, LLaMA3) et comparées à des méthodes de référence (SLEB, ShortGPT, LaCo, Shortened LLaMA).

Performance : TRSP surpasse systématiquement les méthodes d'élagage par couches existantes.
- Sur LLaMA2-7B avec un taux d'élagage de 25 %, TRSP obtient une perplexité (PPL) de 7.08, contre 8.89 pour ShortGPT (le deuxième meilleur).
- Sur OPT-13B, la perte d'exactitude moyenne par rapport au modèle dense n'est que de 1 %.
- Sur LLaMA2-13B, TRSP réduit la perplexité de 20 % par rapport à ShortGPT.
Accélération :
- Sur OPT-13B élagué à 50 %, TRSP offre une augmentation du débit de 75 % et une réduction de la latence de 46 %.
- Sur LLaMA2-13B élagué à 50 %, l'augmentation du débit est de 71 %.
Robustesse : La méthode reste performante sur des taux d'élagage allant jusqu'à 60 % et est robuste quel que soit le jeu de données utilisé pour la calibration.
Comparaison avec d'autres granularités : Sur Llama-2-70B, TRSP (élagage par couches) surpasse les méthodes d'élagage non structuré (Wanda) et par canal (SliceGPT) en termes de compromis entre performance et accélération.

5. Signification et Impact

TRSP représente une avancée significative dans le domaine de l'optimisation des LLMs.

Changement de paradigme : Il déplace le focus de la simple "suppression" vers la "redistribution" des connaissances avant l'élagage.
Déploiement pratique : L'absence de réentraînement rend cette méthode extrêmement attractive pour le déploiement de modèles légers sur des ressources limitées (bords, serveurs à faible coût).
Généralité : Bien que testée principalement sur des modèles auto-régressifs, la méthodologie suggère une applicabilité potentielle à d'autres architectures.

En conclusion, TRSP offre une solution efficace, peu coûteuse et performante pour déployer des LLMs élagués, résolvant le dilemme entre compression agressive et préservation des capacités de raisonnement.