🤖 machine learning

CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

Cet article introduit CRePE, une méthode d'élagage post-entraînement qui améliore la notation de l'importance relative grâce à un contexte local 2D et des coefficients adaptatifs, et propose PHO pour optimiser efficacement ces hyperparamètres en quelques minutes plutôt qu'en quelques heures, atteignant des performances de pointe sur divers modèles et configurations de parcimonie.

Auteurs originaux : Cheonjun Park

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cheonjun Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque immense et incroyablement intelligente (un Grand Modèle de Langage) qui sait presque tout. Le problème est que cette bibliothèque est si vaste qu'elle occupe un entrepôt entier et nécessite une équipe de bibliothécaires géante pour trouver un seul livre. Vous voulez la réduire pour qu'elle tienne dans un sac à dos sans perdre sa capacité à raconter de bonnes histoires ou à répondre à des questions.

Ce document présente une nouvelle méthode appelée CRePE pour aider à rétrécir ces bibliothèques, ainsi qu'une façon super rapide de déterminer la meilleure manière de le faire.

Voici la décomposition utilisant des analogies simples :

1. Le Problème : L'erreur « unidimensionnelle »

Les méthodes précédentes essayaient de décider quels livres (poids) jeter en les observant de manière très simpliste. Imaginez un bibliothécaire regardant une étagère de livres.

L'ancienne méthode (RIA) : Le bibliothécaire regarde seulement la ligne (l'étagère sur laquelle se trouve le livre) et la colonne (la pile verticale de livres au-dessus et en dessous de lui). Il décide qu'un livre est important s'il a beaucoup de voisins dans ces lignes droites.
La faille : C'est comme juger l'importance d'un livre uniquement par ses voisins immédiats à gauche/droite et en haut/bas. Mais les livres sont aussi influencés par les livres situés en diagonale d'eux. De plus, l'ancienne méthode traitait la « ligne » et la « colonne » comme étant d'égale importance, mais les auteurs ont découvert que regarder les lignes aide plus que de regarder les colonnes.

2. La Solution : CRePE (Le bibliothécaire du « voisinage 2D »)

Les auteurs ont créé CRePE, un bibliothécaire plus intelligent qui utilise une approche de Voisinage 2D.

Regarder autour de soi : Au lieu de regarder seulement en haut, en bas, à gauche et à droite, CRePE regarde tout le petit carré de livres entourant un livre spécifique (comme une grille de 3x3 ou 5x5). Il comprend que la valeur d'un livre est influencée par tout son voisinage local, et pas seulement par une forme de croix.
Poids adaptatifs : CRePE réalise également que certaines directions sont plus importantes que d'autres. Il utilise des « boutons de réglage » (coefficients) pour décider à quel point il doit faire confiance aux voisins de la ligne, de la colonne et de la diagonale. Il ne traite pas tout le monde de la même manière ; il apprend quelle direction est la plus critique pour préserver l'intelligence de la bibliothèque.

Le Résultat : En utilisant cette vue 2D plus intelligente, CRePE préserve bien mieux l'intelligence de la bibliothèque que les anciennes méthodes, même après avoir jeté la moitié des livres.

3. Le Problème de Vitesse : Le goulot d'étranglement du « test de goût »

Il y avait un bémol. Pour trouver les réglages parfaits pour ces « boutons de réglage », l'ancienne méthode exigeait que le bibliothécaire réduise réellement la bibliothèque, teste son efficacité (en lisant un livre de test), puis recommence.

L'ancienne méthode : Ce « test de goût » prenait environ 11 heures pour une grande bibliothèque. Cela va à l'encontre de l'objectif d'être rapide et efficace !

4. La Correction : PHO (L'accélérateur par « boule de cristal »)

Pour résoudre le problème de vitesse, les auteurs ont inventé PHO (Optimisation des Hyperparamètres par Proxy).

L'intuition : Ils ont découvert une métrique de « boule de cristal » appelée le Coefficient de Gini. Au lieu de tester toute la bibliothèque, ils n'ont examiné que la toute première section de la première étagère (la première couche du modèle).
La magie : Ils ont découvert que l'« irrégularité » des scores dans cette minuscule section (le coefficient de Gini) est presque parfaitement corrélée (correspondance de 95 %) avec la performance de toute la bibliothèque.
Le résultat : Au lieu de lancer le test complet de 11 heures, PHO exécute une simulation rapide sur cette seule petite section. Il trouve les meilleurs réglages en environ 20 minutes. Cela représente une accélération de 30x.

5. Est-ce que cela fonctionne partout ?

Les auteurs ont testé CRePE sur de nombreuses « bibliothèques » différentes (des modèles comme LLaMA, Qwen, Phi et DeepSeek) et différentes façons de les rétrécir (coupe aléatoire vs motifs structurés 2:4).

Gagnant constant : CRePE a systématiquement battu les meilleures méthodes précédentes.
Mix et Match : Il fonctionne comme un adaptateur universel. Vous pouvez combiner CRePE avec d'autres astuces (comme mélanger l'ordre des livres ou recouper la bibliothèque plus tard) pour le rendre encore meilleur.
Une seule recherche, plusieurs modèles : Si vous trouvez les réglages parfaits pour une petite bibliothèque (LLaMA-7B), ces mêmes réglages fonctionneront très bien pour une plus grande bibliothèque (LLaMA-13B) sans avoir besoin de chercher à nouveau.

Résumé

CRePE est une manière plus intelligente de décider quelles parties d'une IA couper, en regardant le voisinage 2D des données plutôt qu'une simple forme de croix.
PHO est un outil de recherche rapide qui utilise un petit test « proxy » pour trouver les meilleurs réglages en 20 minutes au lieu de 11 heures.
Ensemble, ils rendent le rétrécissement des modèles d'IA plus rapide et plus intelligent, préservant le « cerveau » de l'IA tout en la rendant beaucoup plus petite.

Résumé Technique : CRePE et PHO pour l'élagage post-entraînement (Post-Training Pruning)

Énoncé du Problème
Le déploiement des grands modèles de langage (LLM) entraîne des coûts significatifs en mémoire et en calcul. L'élagage post-entraînement (PTP) offre une solution sans réentraînement en supprimant les poids. Bien que des méthodes récentes comme RIA (Relative Importance) aient atteint l'état de l'art en termes de précision en normalisant les poids via des sommes par lignes et par colonnes, elles souffrent de deux limitations fondamentales :

Limitation 1D : RIA repose uniquement sur des informations directionnelles 1D en forme de croix (lignes/colonnes), ignorant la structure 2D intrinsèque des matrices de poids où les voisins diagonaux contribuent à l'importance.
Pondération Uniforme : RIA traite les contributions des lignes et des colonnes de manière égale. Des expériences préliminaires indiquent que ces directions contribuent de manière asymétrique à la qualité de l'élagage (par exemple, l'importance par ligne produit une perplexité plus faible que l'importance par colonne sur LLaMA-2-7B), rendant le traitement uniforme sous-optimal.

De plus, l'optimisation des hyperparamètres pour les méthodes de scoring améliorées nécessite généralement un temps de recherche étendu. Une approche naïve de type "hill-climbing" basée sur la PPL pour trouver les coefficients optimaux prend environ 11 heures, ce-qui compromet l'avantage d'efficacité du PTP.

Méthodologie
Le papier propose CRePE (Convolution-aware Relative Importance in Post-training Pruning with Efficient Search) et PHO (Proxy-based Hyperparameter Optimization).

1. CRePE : Score d'Importance Amélioré
CRePE étend le mécanisme de scoring de RIA de deux manières :

Contexte de Voisinage 2D : Il introduit un terme de voisinage $N^{(k)}_{ij}$ qui capture le contexte local 2D autour de chaque poids $W_{ij}$ , excluant les voisins en forme de croix déjà couverts par RIA. Ce terme est calculé efficacement via une convolution 2D de la matrice de poids absolue avec un noyau masqué.
Coefficients Adaptatifs : Il assigne des coefficients distincts et apprenables ( $\alpha, \beta, \gamma$ ) aux termes de ligne, de colonne et de voisinage, respectivement. Cela permet au modèle de prendre explicitement en compte les contributions asymétriques de ces composants.
Formule : Le score d'importance final est calculé comme suit :
$S^{CRePE}_{ij} = \left( \alpha \cdot \frac{|W_{ij}|}{\sum_k |W_{ik}|} + \beta \cdot \frac{|W_{ij}|}{\sum_k |W_{kj}|} + \gamma \cdot \frac{|W_{ij}|}{N^{(k)}_{ij}} \right) \cdot \|X_j\|_2$
Lorsque $\alpha=\beta=1$ et $\gamma=0$ , CRePE se réduit à RIA.

2. PHO : Recherche d'Hyperparamètres Efficace
Pour éviter le coût prohibitif de la recherche basée sur la PPL pour les hyperparamètres ( $k, \alpha, \beta, \gamma$ ), les auteurs proposent PHO :

Découverte de Proxy : À travers une analyse de corrélation de Spearman sur divers modèles, les auteurs ont découvert que le coefficient de Gini des scores d'importance des poids élagués dans le module $q\_proj$ du premier calque ( $Gini_{pruned}$ ) présente une forte corrélation positive avec la PPL ( $\rho = 0,953$ ).
Cadre de Recherche : PHO exploite $Gini_{pruned}$ $G in i_{p r u n e d}$ comme un objectif de substitution (proxy). Il utilise un processus en deux étapes :
1. Filtrage par Proxy : Un échantillonneur CMA-ES (Covariance Matrix Adaptation Evolution Strategy) génère 60 candidats, en les évaluant uniquement sur $Gini_{pruned}$ (environ 6 secondes par candidat).
2. Vérification par PPL : L'élagage complet du modèle et l'évaluation de la PPL ne sont effectués que sur les 10 meilleurs candidats (environ 90 secondes chacun).
Efficacité : Cela réduit le temps de recherche total d'environ 11 heures à environ 20 minutes (une accélération de 30×).

Contributions Clés

CRePE : Une nouvelle méthode de scoring qui intègre un contexte de voisinage 2D et des coefficients adaptatifs pour modéliser l'importance différentielle des termes de ligne, de colonne et de voisinage.
PHO : Un cadre d'optimisation efficace qui utilise le coefficient de Gini des poids élagués comme proxy pour la PPL, réduisant drastiquement le temps de recherche des hyperparamètres.
Généralisation : Démontre des améliorations constantes par rapport aux bases de référence (SparseGPT, Wanda, RIA) sur divers modèles (LLaMA-1/2/3, Qwen-2.5/3/3.5, Phi-4, DeepSeek) et différents réglages de parcimonie (non structurée, 2:4, 4:8).
Orthogonalité : Vérifie que CRePE peut être combiné avec des techniques existantes, notamment la permutation de canaux (Channel Permutation), l'allocation de parcimonie non uniforme (OWL, AlphaPruning, DLP) et les méthodes de ré-élagage (DSnoT).

Résultats Expérimentaux

Perplexité : CRePE obtient systématiquement une perplexité plus faible que RIA. Par exemple, sur LLaMA-2-7B avec un élagage non structuré de 50 %, CRePE atteint une PPL de 6,74 contre 6,81 pour RIA. Sous un élagage structuré 2:4, l'écart s'accentue (10,74 contre 11,29), suggérant qu'un scoring raffiné est particulièrement bénéfique sous des contraintes structurelles plus strictes.
Performance Zero-Shot : Sur LLaMA-2-7B, CRePE atteint la précision moyenne zero-shot la plus élevée (62,18 %) sur six tâches, surpassant RIA (61,14 %).
Transférabilité des Hyperparamètres : Les hyperparamètres optimaux trouvés par PHO sur LLaMA-2-7B se transfèrent efficacement à LLaMA-2-13B sans ré-ajustement, maintenant les gains de performance à travers les échelles de modèles.
Combinaisons : Lorsqu'il est combiné avec la permutation de canaux (LSA CP) ou l'allocation non uniforme (DLP), CRePE produit des réductions supplémentaires de la perplexité, confirmant son orthogonalité vis-à-vis de ces techniques.

Signification et Limites
Le papier affirme que CRePE fournit une méthode pratique, sans réentraînement, pour améliorer significativement la précision de l'élagage des LLM tout en conservant l'efficacité des approches basées uniquement sur le scoring. L'introduction de PHO garantit que le réglage nécessaire des hyperparamètres ne vient pas annuler les avantages de gain de temps du PTP.

Les auteurs notent plusieurs limites :

À des niveaux de parcimonie extrêmes (>70 %), l'écart de performance entre CRePE et RIA se réduit, suggérant que le scoring d'importance seul peut être insuffisant et qu'une reconstruction de poids pourrait être nécessaire.
La forte corrélation entre $Gini_{pruned}$ et la PPL est empirique ; une analyse théorique rigoureuse reste une question ouverte.
La méthode est actuellement limitée aux couches linéaires denses et n'a pas été étendue aux composants structurés comme le routage des Mixture-of-Experts (MoE).
L'impact de l'opération de convolution supplémentaire sur divers environnements matériels n'a pas été évalué de manière systématique.