💬 NLP

RCPU: Rotation-Constrained Error Compensation for Structured Pruning of Large Language Models

Ce papier propose RCPU, une méthode de compensation d'erreurs sous contrainte de rotation combinée à un score d'importance sensible à la variance, qui permet d'améliorer significativement la précision et la perplexité des grands modèles de langage après élagage structuré en préservant la géométrie de leurs représentations.

Auteurs originaux : Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

Publié 2026-03-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : Couper les branches d'un arbre géant

Imaginez que vous avez un géant des connaissances (un modèle de langage comme Llama) qui a lu des milliards de livres. Il est très intelligent, mais il est aussi énorme, lourd et coûteux à faire fonctionner. C'est comme essayer de transporter une bibliothèque entière dans votre poche.

Pour le rendre plus léger, les chercheurs veulent lui couper des branches (c'est ce qu'on appelle le "élagage" ou pruning). Ils retirent des parties du cerveau du modèle qui semblent moins importantes pour gagner de la place.

Mais il y a un gros problème :
Quand on coupe une branche d'un arbre, l'arbre ne pousse plus exactement comme avant. De la même manière, quand on coupe des parties du modèle, il commence à halluciner ou à faire des erreurs. Il a perdu sa "mémoire" de comment les choses s'organisent.

Habituellement, pour réparer les dégâts après avoir coupé, on doit réentraîner le modèle (comme réapprendre à un enfant à marcher après une chute), ce qui prend beaucoup de temps et de données. Ou alors, on essaie de "bricoler" les poids restants, mais souvent, on déforme trop la structure originale, comme si on tordait un élastique jusqu'à ce qu'il casse.

💡 La Solution Magique : RCPU (La Réorientation)

Les auteurs de ce papier proposent une méthode appelée RCPU. Voici comment ça marche, avec une analogie simple :

1. Le "Bricolage" Intelligent (L'ajustement par rotation)

Imaginez que vous avez une photo d'un paysage (la réponse originale du modèle). Vous coupez un morceau de la photo (l'élagage). Maintenant, le morceau restant est décalé : le ciel est trop bas, les arbres sont penchés.

Au lieu de réécrire toute la photo (ce qui est long) ou de simplement coller un bout de papier blanc pour cacher le trou (ce qui est moche), RCPU fait quelque chose de très élégant : il tourne le morceau restant.

L'idée : Au lieu de changer la taille ou la forme des données (ce qui déforme la réalité), RCPU applique une rotation mathématique.
L'avantage : Imaginez que vous tournez une boussole. La direction change pour pointer vers le nord, mais la boussole garde exactement la même forme et la même taille. RCPU fait pareil : il réaligne les réponses du modèle coupé pour qu'elles correspondent à nouveau à la réalité, sans déformer la géométrie interne du modèle. Cela préserve la "mémoire" originale du modèle tout en réparant les erreurs.

2. Le Tri Sélectif (Ne pas couper les bonnes branches)

Avant de couper, il faut choisir quoi couper. Si vous coupez la branche principale qui porte tout le poids de l'arbre, l'arbre tombe.

Les chercheurs ont créé une règle intelligente pour choisir les branches à couper :

Ils regardent non seulement quelle branche est grosse (poids important), mais aussi quelle branche bouge le plus quand on lui parle de sujets différents (variance).
L'analogie : C'est comme choisir de garder les membres d'un orchestre qui jouent les mélodies principales et qui réagissent à chaque changement de musique, plutôt que de garder ceux qui ne font que du bruit de fond.
Grâce à cette règle, le modèle garde les parties les plus "vivantes" et importantes, ce qui rend la réparation par rotation beaucoup plus facile et efficace.

🚀 Pourquoi c'est génial ?

Pas de réapprentissage : Vous n'avez pas besoin de faire lire des millions de livres au modèle pour qu'il se remette en ordre. On le "tourne" juste une fois, et c'est réglé. C'est rapide !
Précision préservée : Même avec beaucoup de branches coupées (jusqu'à 30% !), le modèle reste très intelligent. Il ne perd pas sa capacité à comprendre le contexte ou à résoudre des énigmes.
Économie de ressources : Le modèle devient plus petit, consomme moins de batterie et tourne plus vite sur des téléphones ou des ordinateurs portables, tout en restant aussi "intelligent" que le modèle original.

🎯 En résumé

RCPU, c'est comme si vous aviez un puzzle géant et que vous deviez en enlever des pièces pour le rendre plus petit.

Les méthodes anciennes essayaient de recoller les pièces avec de la colle (ce qui déforme l'image) ou de tout refaire (ce qui prend du temps).
RCPU, lui, dit : "Attends, si je fais juste pivoter le morceau restant, l'image redevient parfaite, et on a même gardé les pièces les plus importantes !".

C'est une méthode rapide, élégante et efficace pour rendre les intelligences artificielles géantes plus petites et plus pratiques pour tout le monde, sans sacrifier leur génie.

1. Problématique

Les grands modèles de langage (LLM) offrent des performances exceptionnelles mais souffrent de coûts d'inférence et de mémoire élevés, ce qui entrave leur déploiement sur des appareils mobiles ou embarqués. Le élagage structuré (structured pruning) est une méthode prometteuse pour réduire ces coûts en supprimant des lignes ou des colonnes entières des matrices de poids.

Cependant, l'élagage introduit des erreurs de sortie inévitables, surtout lorsqu'il est effectué avec une petite quantité de données de calibration. Les méthodes existantes présentent des limites :

Ajustement par moindres carrés directs : Bien qu'il réduise l'erreur sur les données de calibration, il tend à surajuster (overfitting) et modifie destructivement les poids pré-entraînés, altérant la géométrie de l'espace de représentation (normes et produits scalaires).
Compensation par biais (ex: FLAP) : Utile pour corriger les décalages moyens, mais inefficace pour corriger les erreurs directionnelles dépendantes de l'entrée.
Manque de stabilité : Les méthodes d'ajustement linéaire non contraintes sont instables avec peu de données de calibration.

L'objectif est donc de compenser les erreurs d'élagage sans réentraînement (fine-tuning), tout en préservant la géométrie des représentations apprises lors du pré-entraînement.

2. Méthodologie : RCPU

Les auteurs proposent RCPU (Rotation-Constrained Parameter Update), une méthode qui combine un score d'importance nouveau et une mise à jour des paramètres contrainte par une rotation.

A. Score d'importance sensible à la variance (Variance-Aware Importance Score)

Pour décider quelles colonnes supprimer, RCPU ne se base pas uniquement sur l'ampleur des poids et des activations (comme WANDA), mais intègre la variance des entrées.
Le score $\gamma_j$ pour la colonne $j$ est défini comme :
$\gamma_j = \|W_{[:,j]}\| \cdot \|X_{[j,:]}\| \cdot \text{Var}(X_{[j,:]})$

Logique : Les colonnes dont les activations fluctuent fortement (grande variance) sont plus susceptibles de contribuer aux directions principales de la sortie. Ce score assure que les dimensions critiques pour la géométrie de la sortie sont préservées lors de l'élagage.

B. Compensation par Rotation Contrainte (Orthogonal Procrustes)

Une fois les colonnes supprimées, le sous-espace conservé est réaligné avec les sorties originales via une transformation orthogonale (rotation).

Formulation : Le problème est formulé comme un problème d'Orthogonal Procrustes. On cherche une matrice de rotation $Q$ (où $Q^T Q = I$ ) qui minimise l'erreur entre la sortie originale $Y$ et la sortie élagée réalignée $QZ$ :
$Q^* = \arg \min_{Q^T Q = I} \|Y - QZ\|_F^2$
Solution : La solution analytique est obtenue par décomposition en valeurs singulières (SVD) de la matrice de corrélation $M = YZ^T = U\Sigma V^T$ , donnant $Q^* = UV^T$ .
Avantage : Contrairement à un ajustement linéaire général, une rotation préserve les angles et les normes relatives des vecteurs de sortie. Cela évite les distorsions géométriques et le surajustement, même avec un petit ensemble de calibration. Une variante avec un facteur d'échelle isotrope ( $s$ ) est également proposée, mais les résultats montrent que la rotation seule suffit souvent.

C. Algorithme

L'algorithme s'applique couche par couche (greedy) :

Collecte des activations d'entrée et des sorties originales sur un petit ensemble de calibration.
Calcul des scores $\gamma_j$ et sélection des colonnes à conserver.
Calcul de la matrice de rotation optimale $Q^*$ via SVD.
Mise à jour des poids conservés : $\tilde{W}_K = Q^* W_K$ .
Suppression physique des colonnes élaguées.

3. Contributions Clés

Formulation géométrique : Première approche combinant l'élagage de colonnes avec une compensation via un problème d'Orthogonal Procrustes, garantissant la préservation de la géométrie des représentations.
Score d'importance novateur : Introduction d'un facteur de variance dans le score d'élagage pour mieux préserver les directions de sortie principales.
Efficacité sans réentraînement : La méthode ne nécessite aucune modification architecturale, aucun fine-tuning, et ajoute une faible surcharge computationnelle (principalement une SVD par couche).
Stabilité statistique : En restreignant les degrés de liberté à une rotation, la méthode est moins sujette au surajustement que les régressions Ridge classiques, surtout avec peu de données.

4. Résultats Expérimentaux

Les expériences ont été menées sur Llama-7B et Llama-2-13B avec des taux d'élagage de 10%, 20% et 30%, utilisant WikiText-2 pour la calibration et divers benchmarks de compréhension du langage (BoolQ, PIQA, HellaSwag, etc.).

Perplexité (PPL) : RCPU surpasse systématiquement les méthodes de base (WANDA-sp, FLAP) et les ajustements par moindres carrés (LS) sur WikiText-2. L'avantage est particulièrement marqué avec de petites tailles d'ensemble de calibration (128 échantillons), où les méthodes LS surajustent.
Précision des tâches : RCPU obtient les meilleures performances moyennes sur les benchmarks de compréhension du langage.
- À 30% d'élagage sur Llama-7B, RCPU maintient une précision moyenne bien supérieure à WANDA-sp et FLAP.
- Les tâches sensibles au contexte (HellaSwag, WinoGrande) bénéficient particulièrement de la préservation de la géométrie par rotation.
Efficacité : La méthode réduit le nombre de paramètres et la taille mémoire de manière monotone. Le temps de calcul pour l'élagage reste faible (< 10 secondes par couche), rendant la méthode applicable à grande échelle.
Analyse d'ablation : L'application de la compensation sur les projections d'attention ( $o\_proj$ ) et d'alimentation (MLP $down\_proj$ ) simultanément donne les meilleurs résultats, car elle corrige les erreurs en amont avant qu'elles ne se propagent.

5. Signification et Impact

Ce travail démontre que contraindre géométriquement la compensation d'erreur est une stratégie supérieure pour l'élagage structuré des LLM.

Préservation du savoir : En évitant les distorsions géométriques, RCPU préserve mieux les connaissances acquises lors du pré-entraînement que les ajustements linéaires libres.
Robustesse : La méthode est robuste face à la pénurie de données de calibration, un scénario courant dans les déploiements réels.
Faisabilité pratique : L'absence de besoin de réentraînement et la faible surcharge computationnelle en font une solution prête à l'emploi pour le déploiement de modèles compressés sur des ressources limitées.

En résumé, RCPU propose un cadre élégant qui allie théorie géométrique (rotations orthogonales) et heuristiques pratiques (score de variance) pour permettre une compression efficace des LLM sans sacrifier leurs capacités de raisonnement.