GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs

Résumé Technique : GradPruner

Énoncé du Problème

Le réglage fin (fine-tuning) des grands modèles de langage (LLM) sur des données spécialisées est souvent coûteux en calcul et chronophage. Bien qu'il existe des méthodes d'élagage (pruning) structuré pour améliorer l'efficacité de l'inférence, celles-ci nécessitent généralement un entraînement supplémentaire, une distillation de connaissances ou des recherches de structures complexes, ce qui compromet l'objectif d'un réglage fin efficace. De plus, les approches d'élagage existantes reposent souvent sur des données de calibration pour évaluer l'importance des paramètres ; cependant, les LLM présentent fréquemment des performances sous-optimales sur des données spécifiques à un domaine, ce qui conduit à des évaluations d'importance biaisées.

Les auteurs identifient trois défis clés :

1. Développer une méthode pour mesurer l'importance des paramètres adaptée à des données en aval spécifiques sans augmenter la mémoire ou le temps d'entraînement.
2. Maximiser l'élagage des paramètres tout en préservant autant que possible la structure originale du modèle.
3. Prendre en charge à la fois le réglage fin complet (FFT) et les méthodes de réglage fin efficace en paramètres (PEFT) comme LoRA.

Méthodologie : GradPruder

GradPruner est un cadre d'élagage de couches guidé par le gradient conçu pour améliorer l'efficacité de l'entraînement et de l'inférence. La méthode opère en trois phases principales :

1. Évaluation de l'importance des paramètres (Matrice IGIA)

Inspirée par l'observation selon laquelle la perte diminue brusquement lors des premières étapes du réglage fin (indiquant un apprentissage rapide des tâches en aval), GradPruner utilise la Matrice d'Accumulation d'Information de Gradient Initiale (Matrice IGIA).

• Processus : Au lieu d'un entraînement complet, le modèle subit une brève phase de réglage fin LoRA (environ les premiers 1 % des étapes totales d'entraînement).
• Simulation de gradient : Pour une couche linéaire avec un poids $W$ et des adaptateurs LoRA $W_A$ et $W_B$, la méthode simule le gradient de $W$ en calculant le produit des gradients LoRA : $\nabla W_{sim} = \nabla W_B \cdot \nabla W_A$.
• Accumulation : La Matrice IGIA ($F_W$) est calculée en faisant la moyenne des carrés des gradients simulés sur les $t$ premières étapes :
  $$F_W = \frac{1}{t} \sum_{i=1}^{t} (\nabla W_{sim}^{(i)})^2$$
• Score de couche : Le score d'importance pour une couche $j$ spécifique est dérivé en sommant les valeurs de la matrice IGIA de toutes les couches linéaires au sein de ce bloc.

2. Élagage de couches (Layer Pruning)

Sur la base des scores d'importance calculés, la méthode identifie et supprime les couches les moins importantes. Les auteurs notent que l'élagage de jusqu'à 30 % des couches a un impact minimal sur la précision, mais qu'un élagage agressif au-delà de ce point provoque une dégradation significative des performances.

3. Fusion de couches (Layer Merging)

Pour permettre des taux d'élagage dépassant 30 % sans perte de précision, GradPruner introduit une stratégie de Fusion de Couches. Au lieu de simplement rejeter les couches élaguées, elles sont fusionnées avec les couches restantes.

• Sparsification : Les couches élaguées sont d'abord sparsifiées à l'aide de la matrice IGIA, ne conservant que les $p \%$ supérieurs des paramètres (basés sur la magnitude) et mettant les autres à zéro.
• Fusion basée sur le signe : Pour éviter l'interférence causée par des signes de paramètres conflictuels (où les valeurs positives et négatives s'annulent), la méthode ne fusionne que les éléments ayant le même signe. Plus précisément, un paramètre d'une couche élaguée est fusionné avec le paramètre correspondant d'une couche conservée uniquement si leurs signes concordent. Si les signes diffèrent, le paramètre élagué est rejeté.

Principales Contributions

1. Cadre GradPruner : La proposition d'une méthode qui calcule la matrice IGIA en utilisant les gradients initiaux du réglage fin LoRA pour évaluer l'importance des paramètres, éliminant ainsi le besoin d'une calibration étendue ou d'un réentraînement complet.
2. Fusion de couches sensible au signe : Une nouvelle technique de fusion qui sparsifie les couches élaguées et les combine avec les couches conservées en fonction de la cohérence des signes, permettant des taux d'élagage plus élevés (jusqu'à 40 %) tout en maintenant la précision.
3. Validation empirique : Des expériences approfondies démontrant que GradPruner atteint une réduction de 40 % des paramètres avec une diminution de seulement 0,99 % de la précision des tâches en aval sur des benchmarks médicaux, financiers et généraux.

Résultats Expérimentaux

Les auteurs ont évalué GradPruner sur deux LLM (Llama3.1-8B et Mistral-7B) à travers huit ensembles de données en aval (incluant PubMedQA, MedMCQA, BillSum, FinGPT, HellaSwag, WinoGrande, ARC et PIQA).

• Précision : GradPruner a obtenu une réduction moyenne de paramètres de 40 % avec une baisse de précision négligeable de 0,99 % par rapport aux modèles denses. Dans plusieurs cas, le modèle Llama3.1-8B élagué a surpassé le modèle plus petit et non élagué Llama3.2-3B.
• Efficacité : Comparé aux modèles denses, GradPraser a réduit le temps d'entraînement d'environ 36 % et la mémoire d'entraînement de 34 %. Le temps et la mémoire d'inférence ont été réduits respectivement d'environ 39 % et 39 %.
• Comparaison : GradPruner a systématiquement surpassé les autres bases d'élagage structuré (LLMPruner, LaCo, MINITRON, SAT, APT) en termes de précision et de métriques d'efficacité.
• Études d'ablation :
  • Le retrait de l'étape de fusion de couches a entraîné des chutes de précision significatives lorsque l'élagage dépassait 30 % des couches.
  • Remplacer la fusion basée sur le signe par une moyenne pondérée a conduit à une précision plus faible, confirmant l'importance de la cohérence des signes.
  • La méthode est restée robuste même lorsque les données d'entraînement étaient réduites à 10 % de leur taille originale, bien que les performances aient légèrement fluctué à des volumes de données extrêmement faibles (1 %).

Signification et Revendications

L'article affirme que GradPruner résout le compromis entre l'efficacité du réglage fin et la performance du modèle. En exploitant la dynamique d'apprentissage rapide lors des premières étapes du réglage fin, il identifie les paramètres critiques sans la surcharge d'un entraînement complet ou d'une distillation complexe. Les auteurs soutiennent que leur stratégie de fusion basée sur le signe atténue efficacement l'interférence typiquement associée à un élagage agressif, permettant une réduction substantielle des paramètres (40 %) tout en préservant la capacité du modèle sur des tâches spécialisées en aval. Ce travail suggère que l'élagage au niveau des couches combiné à une fusion intelligente est une voie viable pour le déploiement de LLM efficaces et adaptés au domaine.