Résumé technique : Un repas gratuit dans la compression des LLM : Réexamen du réentraînement après élagage

Énoncé du problème

L'élagage après entraînement est une méthode principale pour réduire les coûts d'inférence des grands modèles de langage (LLM) en supprimant les poids redondants. Cependant, l'élagage par magnitude standard entraîne souvent une dégradation significative de la qualité, à moins que les poids restants ne soient adaptés. Historiquement, le pipeline « élagage-réentraînement » impliquait un réentraînement complet du modèle élagué, mais cela s'est avéré prohibitif en termes de calcul pour les LLM en raison des exigences massives en mémoire et en puissance de calcul nécessaires à la rétropropagation sur l'ensemble du modèle sur de grands jeux de données. Par conséquent, les recherches récentes ont largement abandonné l'adaptation post-élagage, se concentrant plutôt sur la conception de critères d'élagage de plus en plus sophistiqués (par exemple, Wanda, SparseGPT) pour sélectionner des motifs de parcimonie optimaux minimisant la perte de qualité sans aucune mise à jour ultérieure des poids. L'hypothèse prédominante est que l'adaptation locale est insuffisante ou trop coûteuse, rendant la sélection sophistiquée de masques le seul levier viable pour une compression de haute qualité.

Méthodologie

Cet article réexamine le compromis entre les critères d'élagage et l'adaptation post-élagage en introduisant et en évaluant la reconstruction locale. Contrairement au réentraînement complet, qui adapte l'ensemble du modèle, ou à la reconstruction par matrice, qui optimise les matrices de poids individuelles de manière isolée, la reconstruction locale adapte de petits sous-modèles contigus (par exemple, des blocs de transformateurs individuels ou des groupes de blocs) de manière séquentielle.

L'objectif principal est de minimiser la différence entre les activations intermédiaires du sous-modèle élagué et les activations correspondantes du modèle dense original sur un petit ensemble de calibration. Formellement, pour un sous-modèle $f$ avec des paramètres denses $\theta$ et un masque d'élagage $M$, l'objectif est :
$$\min_{\hat{\theta}} \| f(X; \theta) - f(X; M\theta \odot \hat{\theta}) \|_2^2$$
où $\hat{\theta}$ représente les paramètres adaptés.

Les auteurs investiguent systématiquement la granularité de cette reconstruction, allant de :

1. Par matrice : Optimisation de chaque matrice de poids indépendamment.
2. Taille de bloc 1/2 : Optimisation séparée des composants d'attention et MLP d'un bloc de transformateur.
3. Taille de bloc 1 : Optimisation d'un bloc de transformateur complet.
4. Granularités plus grossières : Optimisation de plusieurs blocs consécutifs (par exemple, 2 blocs, 1/4 du modèle).

Des expériences ont été menées sur diverses familles de modèles (OPT, LLaMA-2, LLaMA-3, Qwen-2.5) et échelles (jusqu'à 72 milliards de paramètres), en utilisant diverses méthodes d'élagage (Magnitude, Wanda, SparseGPT) et motifs de parcimonie (non structurés et semi-structurés N:M).

Contributions et résultats clés

1. La reconstruction locale est un mécanisme d'adaptation viable et efficace

L'étude démontre que la reconstruction locale récupère efficacement les performances des modèles élagués, égalant ou surpassant les résultats des méthodes de fine-tuning efficaces en paramètres (PEFT) comme MaskLoRA. Crucialement, elle y parvient avec des ressources nettement inférieures :

• Efficacité des données : Elle nécessite plus d'un ordre de grandeur de moins de données de calibration (par exemple, 2 048 échantillons contre 131 072 pour MaskLoRA) pour atteindre une perplexité et une précision comparables.
• Efficacité de calcul : Elle offre des accélérations de 13x à 130x par rapport au fine-tuning PEFT.
• Faisabilité mémoire : En restreignant l'optimisation à un petit sous-modèle, la mémoire GPU de pointe évolue avec la taille du sous-modèle plutôt qu'avec le réseau complet. Cela permet de reconstruire des modèles comme Qwen-2.5-32B sur une seule GPU H100 de 80 Go sans checkpointing de gradient ni déchargement, un régime où le réentraînement complet ou le PEFT est irréalisable.

2. Le régime « repas gratuit » de la granularité

Une découverte centrale est l'existence d'un large régime « repas gratuit » concernant la granularité de reconstruction. Contrairement à l'intuition selon laquelle une granularité plus grossière (optimisation de plus gros morceaux) produit une meilleure qualité au prix d'une mémoire plus élevée, les auteurs constatent que :

• Insensibilité de la qualité : Une fois que la fenêtre de reconstruction inclut au moins un sous-module non linéaire (par exemple, un bloc d'attention ou MLP complet), la qualité finale du modèle est largement insensible à la taille de la région reconstruite.
• Compromis Mémoire vs Calcul : Bien que la perplexité finale reste plate à travers les granularités (de la taille de bloc 1/2 à 1/4 du modèle), l'utilisation de la mémoire de pointe augmente fortement avec une granularité plus grossière.
• Implication : Les praticiens peuvent choisir la granularité de reconstruction principalement en fonction des contraintes de mémoire matérielle sans sacrifier la qualité finale du modèle, échangeant librement la mémoire contre le temps de calcul.
• Exception : La reconstruction par matrice sous-performe systématiquement par rapport aux méthodes par bloc. Les auteurs attribuent cela à l'accumulation de la dérive des activations ; l'optimisation de matrices isolément échoue à compenser les erreurs à travers les projections couplées et les non-linéarités, tandis que des sous-modèles plus grands peuvent absorber conjointement ces perturbations.

3. Importance décroissante des critères d'élagage

L'article remet en question la nécessité de critères d'élagage complexes en présence d'une reconstruction efficace.

• Réduction de l'écart : Sans reconstruction, des critères sophistiqués (Wanda, SparseGPT) surpassent significativement l'élagage par magnitude simple. Cependant, une fois la reconstruction locale appliquée, l'écart de performance entre ces méthodes sophistiquées et les bases simples diminue considérablement à mesure que l'échelle du modèle augmente.
• Effet d'échelle : À des échelles plus grandes (par exemple, 72 milliards de paramètres), l'élagage par magnitude simple combiné à la reconstruction devient compétitif avec, et dans certains cas égalise, les performances des critères sophistiqués.
• Réinterprétation : Cela suggère que la supériorité apparente des règles complexes de sélection de masques dans les travaux antérieurs pourrait provenir en partie de leur capacité à compenser l'absence d'adaptation post-élagage. Avec une étape de reconstruction forte en place, le choix du critère d'élagage devient une considération secondaire.

Signification et affirmations

Les auteurs affirment que leurs résultats remettent fondamentalement en question le récit prédominant selon lequel l'adaptation post-élagage est impraticable pour les LLM. Ils soutiennent que :

1. La reconstruction locale n'est pas une solution de repli de second ordre mais une stratégie par défaut robuste. Elle rivalise avec le PEFT et le fine-tuning complet en qualité tout en restant réalisable à des échelles de modèles où ces méthodes sont trop coûteuses.
2. La complexité des méthodes d'élagage récentes peut être partiellement redondante. Une grande partie de la complexité dans la conception de masques d'élagage sophistiqués sert à compenser l'absence d'adaptation ; avec une reconstruction locale efficace, des méthodes plus simples deviennent viables.
3. Le paradigme « repas gratuit ». Le domaine peut se concentrer moins sur des règles élaborées de sélection de masques et davantage sur une reconstruction locale efficace et bien configurée, permettant une compression de haute qualité sous des contraintes matérielles strictes.

L'article conclut que le pipeline élagage-réentraînement, lorsqu'il est restreint à une variante locale, offre une alternative pratique et hautement efficace au saut complet de l'adaptation, démocratisant efficacement la capacité de compresser de grands modèles sans coûts computationnels prohibitifs.