🤖 machine learning

CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers

L'article propose CORP, une méthode de pruning structuré en une seule passe sous forme fermée qui élimine les composants MLP et d'attention dans les Transformers en utilisant uniquement des données non étiquetées et une reconstruction affine pour atteindre une haute précision sans réentraînement ni affinage.

Auteurs originaux : Boxiang Zhang, Baijian Yang

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Boxiang Zhang, Baijian Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement intelligente (un modèle Transformer) capable de répondre à des questions, de reconnaître des images et d'écrire des histoires. Mais cette bibliothèque est si immense qu'elle occupe tout un bâtiment, nécessite un personnel colossal pour fonctionner et est trop lourde pour être déplacée dans un petit appartement (comme un téléphone ou un ordinateur portable).

Vous souhaitez réduire cette bibliothèque pour qu'elle tienne dans un sac à dos, sans perdre sa capacité à raconter de bonnes histoires ou à reconnaître des chats. C'est ce qu'on appelle l'élagage (pruning).

Le Problème : L'Approche « Force Brute »

La plupart des méthodes actuelles pour réduire ces bibliothèques consistent à embaucher une équipe d'éditeurs pour lire chaque livre, décider quelles pages couper, puis embaucher une toute nouvelle équipe d'enseignants pour réapprendre à la bibliothèque comment fonctionner avec les pages manquantes. Cela prend beaucoup de temps, nécessite une grande quantité de données « étiquetées » (clés de réponses) et risque souvent de briser la bibliothèque si vous coupez trop trop vite.

La Solution : CORP (La Correction « One-Shot »)

Les auteurs de cet article proposent une nouvelle méthode appelée CORP. Imaginez CORP comme un architecte maître qui peut examiner la bibliothèque, décider quoi couper et redessiner instantanément les étagères restantes afin que les livres s'assemblent toujours parfaitement — le tout en un seul passage, sans avoir besoin de clés de réponses ni de réapprentissage.

Voici comment CORP fonctionne, en utilisant des analogies simples :

1. Le Problème de la « Page Manquante »

Lorsque vous coupez un chapitre (une dimension) d'un livre, l'histoire se brise. Le texte restant n'a plus de sens car il dépendait de la partie manquante.

Ancienne Méthode : Couper simplement la page et espérer que le lecteur puisse deviner ce qui s'y trouvait. (Résultat : L'histoire n'a plus aucun sens).
Méthode CORP : CORP réalise que la page manquante n'était pas aléatoire ; elle était en fait un mélange prévisible des pages qui sont restées.

2. Le Traducteur « Affine » (Pour le MLP)

À l'intérieur de la bibliothèque, il existe des sections (appelées MLP) qui traitent l'information. CORP examine les pages qu'il conserve et se demande : « Puis-je écrire une formule simple qui prédit ce que les pages manquantes auraient dit, en me basant uniquement sur les pages que j'ai gardées ? »

Il utilise un peu de mathématiques (appelée régression ridge) pour créer un « traducteur ». Il calcule exactement comment les pages conservées se rapportent aux pages manquantes. Ensuite, il intègre cette traduction directement dans les étagères restantes.

La Magie : Vous n'avez pas besoin de conserver les pages manquantes. Vous ajustez simplement les étagères restantes pour qu'elles « parlent » à la place des pages manquantes. La bibliothèque devient plus petite, mais l'histoire reste la même.

3. La Correction « Attention » (Pour le Cerveau)

La bibliothèque possède également un « cerveau » (mécanisme d'Attention) qui décide quels livres examiner ensemble. Lorsque vous coupez des parties de ce cerveau, les connexions s'affaiblissent.
CORP fait quelque chose de similaire ici. Il examine les connexions qui ont été coupées et détermine comment ajuster les connexions restantes afin qu'elles puissent toujours « parler » efficacement entre elles. Il réécrit essentiellement la carte de la bibliothèque pour que les chemins restants mènent aux mêmes destinations.

Pourquoi est-ce spécial ?

Pas de Réentraînement : Vous n'avez pas besoin de réapprendre à la bibliothèque. Vous faites simplement les mathématiques une fois sur un petit échantillon de données (comme examiner quelques livres au hasard pour comprendre le style) puis vous coupez.
Pas d'Étiquettes Nécessaires : Vous n'avez pas besoin de connaître les « bonnes réponses » des livres. Vous avez juste besoin de voir le texte.
One-Shot : Cela se produit en une seule étape. Pas d'optimisation de va-et-vient.

Les Résultats

Les auteurs ont testé cela sur une célèbre bibliothèque de reconnaissance d'images (DeiT).

Ils ont supprimé 50 % de la structure de la bibliothèque (la moitié des étagères, la moitié des connexions du cerveau).
Résultat : La bibliothèque a toujours reconnu des images avec une précision de 83,27 %.
Bonus : Elle est devenue beaucoup plus rapide (accélération de 1,6x) et a utilisé moins de mémoire.

Ils l'ont également testé sur des modèles de langage (OPT) et d'autres modèles de vision (DINOv2), montrant que cette approche d'« architecte » fonctionne bien pour différents types de bibliothèques, les maintenant intelligentes même lorsqu'elles sont considérablement plus petites.

En Résumé

CORP est comme un rayon rétrécisseur magique pour les modèles d'IA. Au lieu de simplement supprimer des parties et d'espérer le meilleur, il calcule exactement comment les parties restantes doivent changer pour compenser ce qui a été perdu. Il le fait instantanément, sans avoir besoin d'un enseignant ni d'une réécriture, permettant aux énormes modèles d'IA de tenir dans des appareils plus petits tout en restant intelligents.

Résumé technique : CORP - Élagage structuré préservant la représentation en une seule passe par formule fermée pour les Transformers

1. Énoncé du problème

Les modèles basés sur les Transformers atteignent des performances de pointe mais entraînent des coûts computationnels et mémoire prohibitifs, entravant leur déploiement sur du matériel aux ressources limitées. Bien que l'élagage structuré (suppression de dimensions ou sous-structures entières) offre des accélérations pratiques, la plupart des méthodes existantes reposent sur un réentraînement, une optimisation itérative ou l'accès à des données étiquetées et à des gradients. Dans des scénarios de déploiement stricts post-entraînement, ces ressources sont souvent indisponibles.

L'élagage structuré naïf en une seule passe échoue sous ces contraintes car la suppression de canaux ou de dimensions d'attention introduit des erreurs de représentation systématiques qui s'accumulent à travers les couches, conduisant à un effondrement rapide de la précision même à des niveaux de parcimonie modérés. Les auteurs soutiennent que cet échec est dû non seulement à la qualité du classement par importance, mais à l'absence de récupération explicite de l'erreur pour les composants supprimés.

2. Méthodologie : CORP

Les auteurs proposent CORP (Élagage structuré préservant la représentation en une seule passe par formule fermée), un cadre qui reformule l'élagage comme un problème de récupération de représentation. CORP fonctionne sans étiquettes, gradients ou affinage, en utilisant uniquement un petit ensemble de données d'étalonnage non étiquetées.

Philosophie centrale

Au lieu de considérer l'élagage uniquement comme une tâche de sélection, CORP modélise les composants supprimés comme des fonctions affines des composants conservés. Il dérive des solutions de régression ridge par formule fermée pour estimer les contributions manquantes et intègre directement ces compensations dans les poids des couches restantes. Cela préserve la distribution de sortie de la couche sans nécessiter d'optimisation itérative ni de modules d'inférence supplémentaires.

Composants techniques

La méthode cible deux structures principales dans les Transformers :

A. Élagage des canaux MLP

Pour une couche MLP définie par $y = Wx + b$, où l'entrée $x$ est partitionnée en canaux conservés ( $x_S$ ) et élagués ( $x_P$ ) :

Modélisation : Les activations élaguées $x_P$ sont approximées comme une fonction affine des activations conservées : $x_P \approx Bx_S + c$ .
Solution par formule fermée : Les paramètres $(B, c)$ sont dérivés par régression ridge sur l'ensemble d'étalonnage $D$ :
$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$
où $\Sigma$ représente les matrices de covariance des activations.
Repliement des poids : La compensation est repliée dans les poids restants :
$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$
Cela résulte en une couche linéaire standard avec des dimensions réduites qui minimise l'erreur de reconstruction de la sortie originale.

B. Élagage des dimensions d'attention (Requête/Clé)

Pour l'auto-attention, CORP élague les dimensions dans les projections Requête ( $Q$ ) et Clé ( $K$ ), laissant la projection Valeur ( $V$ ) intacte pour éviter des problèmes de couplage complexes.

Récupération des logits : Les logits d'attention originaux sont $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$ . Le terme $Q_P K_P^\top$ (logits manquants) est approximé en utilisant les sous-espaces conservés : $Q_P K_P^\top \approx Q_S M K_S^\top$ , où $M$ est une petite matrice de compensation.
Solution par formule fermée : $M$ est estimé en résolvant un problème de régression ridge sur l'ensemble d'étalonnage, formulé comme une équation de Sylvester ou un système linéaire vectorisé :
$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$
Repliement des poids : La matrice $I + M$ est factorisée par SVD ( $U\Sigma V^\top$ ) et repliée dans les projections Requête et Clé :
$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$

Stratégie de classement

Avant compensation, CORP classe les canaux/dimensions à supprimer en utilisant des métriques simples, pilotées par les données :

MLP : Une métrique combinée de l'énergie d'activation ( $E_i = E[x_i^2]$ ) et de la magnitude des poids ( $|W_{:,i}|^2$ ).
Attention : Énergie logarithmique attendue ( $s_j = E[\|q_j\|^2 \|k_j\|^2]$ ).
Les canaux ayant les scores les plus bas sont élagués.

3. Contributions clés

Reformulation de l'élagage : Les auteurs déplacent le focus de l'élagage en une seule passe du simple « classement » vers la « récupération de représentation », démontrant que la compensation est cruciale pour préserver la précision.
Cadre par formule fermée : CORP fournit une solution unifiée par formule fermée pour l'élagage des canaux MLP et des dimensions d'attention Q/K, ne nécessitant ni gradients, ni étiquettes, ni affinage.
Compensation unifiée : Contrairement aux travaux antérieurs qui ne compensent peut-être que la sortie d'un bloc, CORP effectue une récupération de représentation au niveau de la couche et introduit une compensation spécifique dans l'espace des logits pour les dimensions d'attention, repliant toutes les corrections directement dans les projections réduites.

4. Résultats expérimentaux

Les expériences ont été menées sur ImageNet (modèles DeiT et ViT), WikiText-2 (OPT-1.3B) et des tâches en aval (DINOv2 sur NYU Depth V2 et ADE20k).

Préservation de la précision :
- DeiT-Huge : Atteint 83,27 % de précision Top-1 après élagage de 50 % des structures MLP et d'attention (une baisse d'environ 1,7 % par rapport à la ligne de base de 84,97 %).
- Évolutivité : Les modèles plus grands (par exemple, DeiT-Huge) montrent une redondance plus forte et une meilleure rétention de la précision sous une parcimonie agressive par rapport aux modèles plus petits (par exemple, DeiT-Tiny).
- Comparaison : CORP surpasse ou égale les méthodes de pointe comme GRAIL, SNOWS et VBP. Par exemple, sur DeiT-Base avec 50 % de parcimonie MLP, CORP atteint 72,0 % de précision Top-1, contre 68,6 % pour GRAIL et 66,4 % pour VBP.
- Sans affinage : CORP égale les performances de DC-ViT (qui utilise un affinage par mimétisme de caractéristiques en quelques exemples) sans aucune mise à jour de gradient.
Gains d'efficacité :
- DeiT-Huge : À 50 % de parcimonie, les paramètres et les FLOPs sont réduits d'environ 40–45 %, résultant en une accélération du débit de 1,6× sur une NVIDIA RTX 3090.
- OPT-1.3B : L'élagage de 30 % des structures MLP et d'attention réduit les FLOPs de 27,2 % et les paramètres de 25,0 %, avec une augmentation modeste de la perplexité (de 14,60 à 25,41 pour l'élagage conjoint).
- Tâches en aval : Sur DINOv2, un élagage de 50 % du squelette préserve les performances en aval sur l'estimation de profondeur (l'erreur quadratique moyenne RMSE passe de 0,3308 à 0,3167 pour DINOv2-Huge) et la segmentation.
Efficacité de l'étalonnage :
- La méthode est robuste à la taille de l'ensemble d'étalonnage ; les modèles plus grands restent stables même avec de petits ensembles d'étalonnage (par exemple, 1000 échantillons).
- L'analyse du temps d'exécution montre que l'étalonnage domine le coût, tandis que le classement et la compensation par formule fermée ajoutent une surcharge négligeable.

5. Signification et affirmations

L'article affirme que CORP démontre que l'élagage structuré peut être effectué efficacement dans un cadre strict en une seule passe, post-entraînement, en le traitant comme un problème de récupération de représentation. La signification clé réside dans :

Déployabilité pratique : Il permet la compression sur du matériel où le réentraînement est impossible en raison du manque d'étiquettes ou de gradients.
Insight théorique : Il met en évidence que l'« erreur systématique » introduite par la suppression de composants additifs est la cause principale de l'effondrement de la précision, et qu'une compensation affine/logit simple peut récupérer cette erreur sans optimisation complexe.
Applicabilité large : La méthode montre de solides résultats sur des modèles de vision (DeiT, ViT, DINOv2) et des modèles de langage (OPT), suggérant une forte redondance dans les représentations MLP et d'attention à travers les modalités.

Les auteurs notent modestement des limitations, notamment l'hypothèse d'une compensation de module indépendante (ignorant les interactions inter-modules), l'utilisation de ratios de parcimonie uniformes, et l'absence d'optimisation pour la composition quantification-élagage. Ils déclarent que les performances peuvent se dégrader sous de forts décalages de distribution entre les données d'étalonnage et de déploiement.