🤖 machine learning

Efficient LLMs with AMP: Attention Heads and MLP Pruning

Cet article introduit AMP, une nouvelle méthode de purge structurée qui compresse efficacement les grands modèles de langage en supprimant les têtes d'attention et les structures MLP les moins critiques, atteignant jusqu'à 30 % de réduction de paramètres avec une perte de performance minimale et des vitesses d'inférence améliorées à travers diverses familles de modèles.

Auteurs originaux : Leandro Giusti Mugnaini, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Edson Bollis, Lucas Pellicer, Anna Helena Reali Costa, Artur Jordao

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leandro Giusti Mugnaini, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Edson Bollis, Lucas Pellicer, Anna Helena Reali Costa, Artur Jordao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent écrire de la poésie, résoudre des énigmes et discuter comme des humains. C'est le domaine des grands modèles de langage (LLM), les cerveaux numériques derrière l'intelligence artificielle la plus avancée d'aujourd'hui. Considérez ces modèles comme d'immenses bibliothèques contenant tous les livres jamais écrits, mais au lieu de simplement les lire, ils peuvent comprendre et créer de nouvelles histoires à la volée. Cependant, il y a un piège : ces bibliothèques sont si énormes qu'elles nécessitent des serveurs géants et gourmands en énergie pour fonctionner, ce qui les rend lentes et coûteuses à utiliser. Pour y remédier, les scientifiques tentent de réduire la taille de ces modèles sans perdre leur intelligence. Une méthode populaire consiste à pratiquer l'« élagage » (pruning). Imaginez un jardinier taillant un buisson ; au lieu de couper des feuilles au hasard, il coupe soigneusement les branches qui ne travaillent pas beaucoup, laissant une plante plus petite, plus rapide, mais qui fleurit toujours magnifiquement. La grande question que se posent les chercheurs est la suivante : comment trouver les bonnes branches à couper pour que la plante reste en bonne santé, tout en poussant beaucoup plus vite ?

C'est précisément ce que les auteurs de cet article ont abordé avec une nouvelle méthode qu'ils appellent AMP, qui signifie Attention Heads and MLP Pruning (Élagage des têtes d'attention et des MLP). Ils ont réalisé que si d'autres méthodes tentaient de tailler ces buissons numériques, elles coupaient souvent trop ou utilisaient des outils compliqués nécessitant du matériel spécialisé et coûteux. AMP est comme une paire de ciseaux intelligente et légère qui peut identifier rapidement quelles parties du modèle font réellement le gros du travail et lesquelles ne sont là que pour le voyage.

L'article présente une astuce ingénieuse pour déterminer quoi couper. Au lieu de se contenter d'observer les poids statiques (la « mémoire musculaire » interne du modèle), AMP projette les données d'entrée réelles (comme une phrase) sur ces poids pour voir à quel point le modèle les utilise réellement. C'est comme vérifier quels outils dans une boîte à outils sont réellement utilisés pour construire une maison, plutôt que de deviner simplement en fonction du poids des outils. Si une « tête d'attention » spécifique (une partie du modèle qui se concentre sur différents mots) ou un « neurone » dans la couche intermédiaire ne contribue pas beaucoup à la réponse finale, AMP le marque pour suppression.

Les résultats sont très prometteurs. Les auteurs ont testé AMP sur plusieurs modèles populaires, notamment LLaMA et Phi. Ils ont constaté qu'en supprimant environ 30 % des parties les moins importantes, les modèles sont devenus nettement plus rapides — jusqu'à 1,25 fois plus rapides dans certains cas — sans nécessiter de puces informatiques spéciales. En termes de précision, AMP a mieux performé que les meilleures méthodes actuelles d'élagage structuré. Par exemple, sur le modèle LLaMA 7B, il a surpassé les techniques d'élagage structuré existantes de jusqu'à 4,81 points de pourcentage en précision moyenne des tâches. Plus impressionnant encore, sur le modèle LLaMA-2 7B, il a surpassé ces mêmes références structurées de jusqu'à 9,52 points de pourcentage.

Les chercheurs ont également veillé à prouver que leur méthode fonctionne réellement. Ils ont effectué un « test de cohérence », qui est une sorte d'expérience inversée : ils ont délibérément coupé les parties les plus importantes du modèle au lieu des moins importantes. Comme prévu, le modèle s'est effondré, avec des performances médiocres. Cela a confirmé qu'AMP est effectivement capable de distinguer les parties essentielles des parties non essentielles. Ils ont également découvert que couper un seul type de composant (comme seulement les têtes d'attention) ne suffisait pas ; il faut tailler à la fois les têtes d'attention et les neurones de la couche intermédiaire ensemble pour obtenir les meilleurs résultats.

L'un des aspects les plus passionnants est l'efficacité de l'ensemble du processus. Tout le processus d'élagage et de réglage fin (fine-tuning) n'a pris qu'environ quatre heures sur une carte graphique standard de grande consommation (une NVIDIA RTX 3090), l'étape d'élagage proprement dite ne prenant que quelques minutes. Cela rend la méthode très accessible et s'aligne sur les principes de l'« IA verte », car elle réduit l'énergie nécessaire pour faire fonctionner ces modèles de près de 20 %, économisant ainsi de l'argent et des émissions de carbone.

En résumé, l'article suggère qu'AMP est une façon hautement efficace, flexible et rapide de rendre les grands modèles d'IA plus petits et plus rapides. Elle ne nécessite pas de matériel coûteux ni de réentraînement complexe, et elle surpasse systématiquement les méthodes d'élagage structuré existantes pour maintenir l'intelligence du modèle tout en garantissant sa rapidité. Bien que les auteurs notent que les modèles plus petits (comme Phi-1.5) étaient un peu plus sensibles à l'élagage, le message global est clair : avec la bonne stratégie d'élagage, nous pouvons rendre l'IA puissante plus pratique pour une utilisation quotidienne.

Résumé Technique : LLM Efficaces avec AMP : Élagage des Têtes d'Attention et des MLP

Problématique

Les grands modèles de langage (LLM) ont atteint des performances de niveau humain dans les tâches cognitives, mais souffrent de nombres de paramètres étendus, ce qui entraîne des coûts de calcul élevés et une inférence lente. Ces facteurs entravent le déploiement dans des environnements aux ressources limitées. Bien que l'élagage (pruning) soit une stratégie prometteuse pour réduire la taille du modèle, les méthodes existantes font face à des compromis importants :

Élagage Structuré : Supprime des composants entiers (ex. : couches, têtes), mais nécessite souvent un ajustement fin (fine-tuning) coûteux en calcul ou entraîne une dégradation des performances si des composants critiques sont retirés.
Élagage Semi-Structuré : Nécessite un matériel spécialisé (ex. : motifs de parcimonie spécifiques aux GPU comme le 2:4) pour obtenir des accélérations, ce qui limite le déploiement sur du matériel grand public.
Élagage Non-Structuré : Crée des matrices creuses irrégulières qui ne parviennent pas à accélérer l'inférence sur du matériel généraliste sans optimisations logicielles spécialisées.
Limitations Générales : De nombreuses techniques existantes reposent sur des métriques basées sur la perte, des développements de Taylor ou des heuristiques complexes qui sont coûteuses en calcul, peu flexibles ou nécessitent un matériel spécialisé. Il existe un besoin pour une méthode agnostique au matériel, efficace, capable de compresser les LLM avec une perte de performance minimale et des accélérations d'inférence tangibles.

Méthodologie : AMP (Attention Heads and MLP Pruning)

Les auteurs proposent AMP, une méthode d'élagage structuré qui supprime les têtes d'attention moins critiques au sein de la Multi-Head Attention (MHA) et les neurones au sein des Multilayer Perceptrons (MLP). Contrairement aux méthodes qui reposent uniquement sur les magnitudes de poids ou les changements de perte, AMP évalue l'importance structurelle en projetant les données d'entrée sur les poids pour évaluer la contribution de chaque composant au flux résiduel.

Mécanisme Central

La méthode opère selon le principe que l'information circule à travers le flux résiduel. AMP calcule un score d'importance pour chaque composant basé sur la magnitude de sa contribution d'activation à la sortie finale de la couche.

Composant MHA :
- La sortie de la MHA est décomposée en une somme de contributions des têtes d'attention individuelles ( $O = \sum h_n W_n$ ).
- L'importance de la $n$ -ième tête ( $I_n$ ) est définie comme la norme $\ell_1$ du produit de la sortie de la tête ( $h_n$ ) et de sa matrice de projection de sortie correspondante ( $W_n$ ) :
  $I_n = \|h_n W_n\|_1$
- Cette approche prend en compte les interactions non linéaires entre les poids et les entrées, contrairement à l'élagage par norme de poids simple.
Composant MLP :
- La méthode cible le mécanisme SwiGLU utilisé dans des modèles comme LLaMA, spécifiquement les projections Up et Gate.
- Puisque SwiGLU utilise une multiplication élément par élément, les neurones doivent être élagués par paires des deux projections pour maintenir l'intégrité architecturale.
- L'importance du $m$ -ième paire de neurones ( $I_m$ ) est calculée comme la moyenne de la norme $\ell_1$ du produit élément par élément de la sortie des projections Gate et Up à travers un échantillon de tokens d'entrée :
  $I_m = \frac{1}{S} \sum_{s=1}^{S} | \text{SiLU}((x_s W_{\text{Gate}})_m) \cdot (x_s W_{\text{Up}})_m |$
Processus d'Élagage :
- Un petit ensemble de calibration (ex. : 50 échantillons aléatoires d'Alpaca) est utilisé pour extraire les valeurs moyennes d'activation.
- Les composants (têtes et neurones) sont classés par importance à travers toutes les couches.
- Pour atteindre un ratio de compression cible $c$ , les $c\%$ des têtes d'attention et les $c\%$ des neurones MLP les moins importants sont supprimés uniformément à travers toutes les couches.
- Post-Entraînement : Le modèle élagué subit un processus d'ajustement fin léger utilisant l'adaptation de bas rang (Low-Rank Adaptation - LoRA) pour récupérer les performances.

Contributions Clés

Nouvelle Métrique d'Importance : AMP introduit une métrique pilotée par les données qui projette les activations d'entrée sur les poids pour évaluer l'importance des composants, se distinguant des heuristiques traditionnelles basées uniquement sur les poids ou la perte.
Accélération Agnostique au Matériel : La méthode permet des accélérations d'inférence pratiques (jusqu'à 1,25 $\times$ ) sans nécessiter de matériel spécialisé ou de cœurs de tenseurs creux (sparse tensor cores), ce qui la rend adaptée aux GPU grand public.
Efficacité : Le processus de décision d'élagage ne prend que quelques minutes sur un GPU grand public, et l'ajustement fin ultérieur nécessite des ressources négligeables par rapport à un réentraînement complet.
Validation de la Cohérence : Les auteurs proposent et exécutent une expérience de "vérification de cohérence", démontant que supprimer les composants les plus importants identifiés par AMP provoque des chutes de performance catastrophiques, validant ainsi la capacité de la métrique à distinguer les structures critiques des non-critiques.
Flexibilité : La méthode est applicable à différentes familles de LLM (LLaMA, Phi) et permet des ratios de compression flexibles sans être liée à des motifs de parcimonie fixes (ex. : 2:4).

Résultats Expérimentaux

Les auteurs ont évalué AMP sur les modèles LLaMA 7B, LLaMA-2 7B, Phi-1.5 et Phi-2 en utilisant des benchmarks zero-shot (WinoGrande, HellaSwag, ARC-e/c, PIQA) et la perplexité (WikiText2).

Performance :
- LLaMA 7B : À un ratio d'élagage de 20 %, AMP a atteint une précision moyenne de 64,52 %, surpassant les méthodes de pointe comme LLM-Pruner (59,71 %) et Shortened LLaMA (63,46 %).
- LLaMA-2 7B : À un ratio d'élagage de 30 %, AMP a atteint une précision moyenne de 61,02 %, dépassant SliceGPT (51,50 %) et LLM Surgeon (59,03 %).
- Amélioration : AMP a surpassé les techniques d'élagage structuré existantes jusqu'à 1,49 point de pourcentage en précision moyenne des tâches.
Vitesse d'Inférence :
- AMP a obtenu une accélération de 1,25 $\times$ pour LLaMA 7B et de 1,19 $\times$ pour LLaMA-2 7B.
- Cela surpasse Shortened LLaMA (1,13 $\times$ ) et rivalise avec les méthodes semi-structurées comme Wanda (1,24 $\times$ ) sans nécessiter de matériel spécialisé.
Perplexité : Les modèles élagués et ajustés ont montré une perplexité nettement plus faible sur WikiText2 par rapport aux versions non ajustées, l'écart s'élargissant à des ratios d'élagage plus élevés.
Études d'Ablation :
- Vérification de Cohérence : Inverser l'ordre d'élagage (supprimer les composants les plus importants) a entraîné des chutes de précision de plus de 25 points de pourcentage, confirmant la validité de la métrique.
- Isolation des Composants : L'élagage des seules têtes MHA ou des seuls neurones MLP a donné des performances nettement inférieures à l'élagage simultané des deux, indiquant la nécessité d'une approche équilibrée.

Signification et Revendications

L'article affirme qu'AMP répond aux compromis critiques de la compression de modèles en offrant une méthode qui est :

Efficace : Elle surpasse les méthodes d'élagage structuré de pointe actuelles en termes de précision tout en maintenant des taux de compression élevés.
Efficiente : Elle nécessite un minimum de ressources de calcul tant pour la décision d'élagage (quelques minutes) que pour la récupération de performance (ajustement fin léger par LoRA).
Pratique : Elle permet des accélérations d'inférence tangibles sur du matériel standard, facilitant le déploiement dans des contextes de ressources limitées.
Durable : Alignée avec les principes de l'IA Verte (Green AI), la méthode réduit les coûts opérationnels d'environ 17,39 % et les émissions de carbone d'environ 19,97 % grâce à la réduction de la latence d'inférence et du nombre de paramètres.

Les auteurs soulignent que leur méthode identifie et supprime avec succès les structures non essentielles, permettant le déploiement de LLM hautement optimisés sans nécessiter d'infrastructure matérielle spécialisée. Ils mettent également en évidence le rôle critique de l'ajustement post-entraînement (fine-tuning) pour restaurer les performances du modèle après l'élagage.