💬 NLP

High-Layer Attention Pruning with Rescaling

Cet article présente le High-Layer Attention Pruning with Rescaling (HARP), une nouvelle méthode sans entraînement qui supprime stratégiquement des têtes d'attention des couches supérieures des grands modèles de langage et applique un remodelage adaptatif pour préserver la magnitude de la représentation, atteignant ainsi une performance supérieure à travers diverses tâches de génération et de discrimination par rapport aux techniques de élagage structuré existantes.

Auteurs originaux : Songtao Liu, Peng Liu

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Songtao Liu, Peng Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau de robot super intelligent, un « Grand Modèle de Langage » (LLM), capable d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter comme un humain. Ces cerveaux sont incroyablement puissants, mais aussi massifs — c'est comme essayer de transporter une bibliothèque dans un sac à dos. Parce qu'ils sont si volumineux, ils sont lents à réfléchir et prennent beaucoup de place, ce qui les rend difficiles à utiliser sur des téléphones ou des ordinateurs portables classiques. Pour y remédier, les scientifiques utilisent une technique appelée « élagage » (pruning). Pensez à l'élagage comme à la taille d'un bonsaï : vous coupez soigneusement les branches qui ne travaillent pas beaucoup pour que l'arbre reste en bonne santé tout en devenant plus petit et plus rapide.

Habituellement, lorsque les gens élaguent ces cerveaux de robots, ils regardent les « têtes d'attention » — les petites parties du cerveau qui aident le modèle à décider quels mots sont importants les uns par rapport aux autres. Imaginez ces têtes d'attention comme une équipe de détectives dans une pièce, chacun observant un indice différent. L'ancienne méthode d'élagage consistait simplement à choisir quelques détectives dans chaque pièce et à les renvoyer, en espérant que l'équipe fonctionne toujours. Mais cette publication suggère que ce n'est pas la méthode la plus intelligente. Il s'avère que dans les pièces très hautes du bâtiment (les couches supérieures du modèle), les détectives ne font souvent que répéter ce que ceux du dessous ont déjà dit. Ils n'apportent pas beaucoup de valeur nouvelle. Les auteurs de cet article, Songtao Liu et Peng Liu de l'Université d'État de Pennsylvanie, ont voulu voir si nous pouvions obtenir un meilleur résultat en élaguant uniquement les détectives des étages supérieurs et en laissant tranquilles les détectives qui travaillent dur sur les étages inférieurs. Ils ont également trouvé un truc astucieux pour s'assurer que le cerveau ne soit pas confus lorsque nous retirons ces détectives des étages supérieurs.

La Grande Idée : Couper du Haut, Pas du Milieu

Les chercheurs ont proposé une nouvelle méthode appelée HARP (High-layer Attention Rescaled Pruning). Leur découverte principale est que les « couches supérieures » d'un Grand Modèle de Langage sont en réalité moins importantes que les couches inférieures. Pour comprendre pourquoi, imaginez une course de relais. Les coureurs au départ (les couches inférieures) font le gros du travail, en comprenant la forme de base des mots et des phrases. À mesure que le témoin remonte la piste vers les couches supérieures, les coureurs ne font que le transmettre. Lorsqu'en bout de course, le témoin atteint le sommet de la piste, les coureurs sont si synchronisés qu'ils font tous exactement la même chose. Si vous retirez un coureur au sommet de la piste, la course ne change pas vraiment car il se contentait de copier la personne située en dessous de lui de toute façon.

Les auteurs ont découvert que si vous élaguez (coupez) les têtes d'attention dans ces couches supérieures, le modèle fonctionne en fait mieux que si vous les coupiez de manière aléatoire partout. Ils ont testé cela sur plusieurs modèles célèbres comme LLaMA3.1-8B, Mistral-7B, Qwen2-7B et Gemma2-9B. Dans leurs expériences, ils ont supprimé des têtes d'attention spécifiques des 8 couches les plus hautes des modèles.

Le Truc du « Bouton de Volume »

Il y avait cependant un bémol. Lorsque vous retirez ces détectives des couches supérieures, le signal que le cerveau envoie devient un peu plus faible ou plus fort qu'auparavant. C'est comme si vous retiriez une enceinte d'un système stéréo ; la musique peut toujours jouer, mais le volume sera décalé et le son pourrait être déformé. Pour corriger cela, les auteurs ont introduit un « paramètre de mise à l'échelle » (rescaling parameter). Voyez cela comme un bouton de volume ou un variateur d'intensité. Après avoir coupé les couches supérieures, ils ont tourné ce bouton pour ajuster la taille des signaux, s'assurant que les parties restantes du cerveau puissent encore s'entendre clairement. Ils n'ont pas deviné le bon réglage au hasard ; ils ont utilisé une méthode de recherche intelligente pour trouver le niveau de volume parfait pour chaque couche, en testant différents nombres jusqu'à ce que le modèle sonne le mieux possible.

Ce Qu'Ils Ont Découvert

Les résultats ont été très impressionnants. Lorsqu'ils ont testé leur méthode HARP sur 27 tâches différentes — allant de la réponse à des questions de culture générale à la résolution de problèmes mathématiques complexes et à la synthèse de documents longs — elle a systématiquement battu les autres méthodes populaires d'élagage.

Tâches de Génération : C'est ici que le modèle doit créer de nouvelles choses, comme résoudre un problème mathématique étape par étape. Ici, HARP a brillé le plus. Par exemple, sur le modèle LLaMA3.1-8B, HARP a obtenu un score moyen de 31,10 % sur les tâches de génération, alors que la deuxième meilleure méthode n'a obtenu que 20,58 %. C'est un bond énorme !
Contexte Long : L'article a également examiné la capacité des modèles à gérer des histoires ou des documents très longs (jusqu'à 65 536 tokens). Comme le mécanisme d'attention est la partie qui ralentit le plus avec des textes longs, l'élagage des couches supérieures a rendu le modèle nettement plus rapide. Ils ont constaté que pour une séquence de 65 536 tokens, leur modèle élagué était 16,7 % plus rapide que le modèle original non élagué, tout en maintenant une qualité élevée.
Tâches Discriminatives : Ce sont des tâches où le modèle doit simplement choisir la bonne réponse dans une liste (comme un quiz à choix multiples). Ici, l'amélioration était plus petite mais restait positive. HARP a performé aussi bien ou mieux que les autres méthodes, montant que couper les couches supérieures n'a pas brisé la capacité du modèle à comprendre les faits.

Pourquoi Cela Importe

Les auteurs suggèrent que cette méthode change la donne pour rendre l'IA plus rapide et moins coûteuse à exécuter sans avoir besoin de réentraîner tout le modèle à partir de zéro. En réalisant que les étages supérieurs du bâtiment de l'IA sont les plus « redondants » (faisant le moins de travail unique), ils peuvent éliminer le superflu sans endommager le muscle. Le truc de la « mise à l'échelle » garantit que le modèle ne perd pas l'équilibre lorsqu'on retire ces parties.

En résumé, l'article soutient que nous ne devrions pas traiter toutes les parties d'un cerveau d'IA de la même manière. Tout comme un gratte-ciel, les étages supérieurs peuvent être moins critiques pour la structure que les fondations. En taillant soigneusement le haut et en ajustant le volume, nous pouvons rendre ces cerveaux d'IA géants plus petits, plus rapides et prêts pour une utilisation quotidienne. Le code de cette méthode est disponible pour que n'importe qui puisse l'essayer, et les auteurs espèrent qu'il aidera à rendre l'IA à contexte long (comme lire des livres entiers en quelques secondes) beaucoup plus pratique pour le monde réel.

Résumé Technique : Élagage de l'Attention des Couches Hautes avec Rescalage (HARP)

Problématique

Les grands modèles de langage (LLM) atteignent des performances de pointe mais souffrent d'une latence d'inférence élevée et de coûts de mémoire importants, particulièrement dans les scénarios à contexte long. Bien que l'élagage structuré offre une solution sans réentraînement pour réduire les paramètres, les méthodes existantes utilisent souvent des métriques heuristiques qui suppriment indistinctement des têtes d'attention à travers toutes les couches du réseau. Ces approches ne parviennent pas à prendre en compte la redondance positionnelle des têtes d'attention au sein de l'architecture. Plus précisément, les méthodes actuelles ne distinguent pas si les têtes d'attention des couches inférieures (qui traitent des représentations de tokens diversifiées) sont plus critiques que celles des couches supérieures (où les représentations peuvent être devenues hautement alignées). De plus, la suppression de têtes d'attention modifie la magnitude des représentations de tokens car l'étape d'agrégation (moyenne pondérée) est contournée, ce qui peut déstabiliser l'échelle de sortie du modèle.

Méthodologie

Les auteurs proposent HARP (High-layer Attention Rescaled Pruning), un algorithme d'élagage structuré sans réentraînement, conçu pour traiter ces problèmes via deux mécanismes clés :

1. Élagage de l'Attention des Couches Hautes

HARP opère sur la prémisse théorique et empirique que les têtes d'attention dans les couches supérieures des LLM sont moins importantes que celles des couches inférieures.

Base Théorique : À mesure que les tokens se propagent à travers le réseau, leurs représentations cachées ont tendance à devenir de plus en plus similaires (sur-lissage/over-smoothing). Lorsque la similitude cosinus moyenne des paires de représentations de tokens approche 1, les requêtes (queries) et les clés (keys) deviennent presque parallèles. Par conséquent, les poids d'attention softmax deviennent uniformes, faisant dégénérer la tête d'attention en un simple opérateur de moyenne qui ne peut plus distinguer les tokens.
Base Empirique : Des métriques telles que les scores de l'importance des blocs (Block Importance - BI) indiquent que les paramètres des couches inférieures ont généralement un impact plus important sur la performance du modèle que ceux des couches supérieures.
Implémentation : HARP élague sélectivement les paramètres de Requête ( $Q$ ) et de Clé ( $K$ ) des têtes d'attention dans les couches les plus hautes du modèle. En supprimant $Q$ et $K$ , le mécanisme d'auto-attention est effectivement contourné pour ces couches. La couche n'applique alors que les projections de Valeur ( $V$ ) et de Sortie ( $O$ ), réduisant la complexité computationnelle de $O(N^2d)$ à $O(Nd)$ pour les couches élaguées.

2. Rescalage Adaptatif

L'élagage de l'étape d'agrégation de l'attention modifie l'échelle (magnitude) des représentations d'états cachés, car l'opération de moyenne pondérée est supprimée.

Problème : Sans l'étape d'agrégation, la norme de Frobenius des états cachés change, ce qui peut entraîner une dégradation des performances.
Solution : HARP introduit un paramètre de rescalage non différentiable, $\alpha$ , dans la connexion résiduelle des couches élaguées. La sortie est formulée comme $H = H + \alpha H W_V W_O$ .
Optimisation : Puisque $\alpha$ est un hyperparamètre non différentiable plutôt qu'un paramètre entraînable, les auteurs emploient une stratégie de recherche gloutonne (greedy) descendante. En partant de la couche élaguée la plus haute, ils recherchent la valeur optimale de $\alpha$ (à partir d'un ensemble discret $\{0, 0.1, \dots, 1.0\}$ ) en minimisant la Perplexité (PPL) sur un corpus de validation. Ce processus est répété couche par couche vers le bas du réseau.

Principales Contributions

Stratégie d'Élagage Novatrice : L'introduction de HARP, qui cible spécifiquement les têtes d'attention dans les couches supérieures des LLM, basée sur l'observation que ces têtes sont moins informatives en raison du sur-lissage des représentations.
Mécanisme de Rescalage : La proposition d'un paramètre de rescalage adaptatif pour calibrer les magnitudes de représentation des tokens après l'élagage, contrecarrant le décalage d'échelle causé par le contournement de l'étape d'agrégation de l'attention.
Évaluation Complète : Des expériences étendues sur quatre architectures de LLM diverses (LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B) et 27 tâches de spécialité, couvrant des benchmarks de génération et de discrimination.
Gains d'Efficacité : Démonstration de gains de vitesse d'inférence significatifs, particulièrement dans les tâches à contexte long, en réduisant la complexité quadratique du mécanisme d'attention dans les couches élaguées.

Résultats Expérimentaux

Les auteurs ont évalué HARP par rapport à des bases de référence de pointe incluant le Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP et Wanda.

Tâches de Génération : HARP a systématiquement surpassé toutes les bases de référence. Sur LLaMA3.1-8B, HARP a obtenu un score moyen de 31,10 % sur les tâches de génération (TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH), dépassant nettement FLAP (15,05 %) et Wanda-sp (12,61 %). L'amélioration était particulièrement notable dans les tâches nécessitant des réponses longues (ex: GSM8K), où la propagation d'erreurs est un défi majeur pour les modèles élagués.
Tâches Discriminatives : HARH a atteint la performance moyenne la plus élevée sur LLaMA3.1-8B, Mistral-7B-v0.3 et Qwen2-7B, et a performé au même niveau que la meilleure base de référence sur Gemma2-9B.
Modélisation de Contexte Long : Sur le benchmark LongBench, HARP a démontré une robustesse supérieure dans les tâches de QA multi-documents et de résumé, préservant mieux les dépendances à longue portée que les autres méthodes.
Études d'Ablation :
- Sélection de Couches : L'élagage des 8 couches supérieures (Top-8) a donné des résultats nettement meilleurs que l'élagage des 8 couches inférieures (Bottom-8) ou l'utilisation de métriques basées sur l'Hessien ou la similitude pour sélectionner les couches.
- Rescalage : L'inclusion du paramètre $\alpha$ recherché a entraîné des gains de performance substantiels, particulièrement sur les tâches de génération, confirmant la nécessité de la calibration de la magnitude.
Efficacité : Pour une séquence de 65 536 tokens, HARP a obtenu une accélération de 16,7 % du temps d'inférence avec seulement une réduction de 3,3 % des paramètres, soulignant l'efficacité du ciblage des têtes d'attention dans les scénarios de contexte long.

Signification et Revendications

L'article affirme que HARP fournit une méthode pratique, sans réentraînement, pour compresser les LLM sans nécessiter de changements architecturaux ou de réentraînement complet. En ciblant stratégiquement la redondance dans les couches supérieures et en corrigeant les décalages d'échelle résultants, HARP facilite le déploiement des LLM dans des environnements aux ressources limitées et permet un service plus rapide pour les applications interactives. Les auteurs soulignent que leur approche rend le raisonnement à contexte long plus abordable dans les systèmes réels.

L'étude reconnaît des limites, notant qu'elle se concentre principalement sur l'élagage des têtes d'attention dans les couches hautes, laissant d'autres composants inexplorés. Des travaux futurs sont suggérés pour étendre HARP aux modèles plus larges et multimodaux, ainsi qu'à sa combinaison avec la quantification ou la compression du cache KV.