💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM est un cadre de post-élagage sans entraînement qui restaure la précision des grands modèles de langage élagués en profondeur en insérant des adaptateurs résiduels linéaires légers, calibrés via une régression à forme fermée pour corriger les décalages de distribution causés par la suppression de blocs Transformer.

Auteurs originaux : Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Publié 2026-08-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les grands modèles de langage sont les moteurs de bon nombre des outils d'intelligence artificielle les plus avancés d'aujourd'hui, capables d'écrire des histoires, de résoudre des problèmes et de répondre à des questions complexes. Ces systèmes sont construits à partir de couches d'unités de traitement numérique empilées les unes sur les autres, un peu comme un bâtiment à plusieurs étages où chaque étage affine l'information transmise à celui du dessus. Plus un bâtiment possède d'étages, plus son résultat final peut être détaillé et sophistiqué, mais cela rend également la structure incroyablement lourde et coûteuse à exploiter. Pour de nombreuses applications pratiques, en particulier sur des appareils dotés d'une puissance ou d'une mémoire limitées, ces modèles massifs sont tout simplement trop volumineux pour être utilisés. Pour les rendre plus petits, les chercheurs ont développé des méthodes consistant à supprimer des étages entiers du bâtiment, un processus connu sous le nom de élagage de profondeur (depth pruning). Bien que cela permette de réussir à alléger la charge et d'accélérer le modèle, cela fait souvent trébucher les étages restants. Comme les étages supprimés étaient conçus pour transmettre des types d'informations spécifiques à ceux du dessus, leur retrait laisse les couches supérieures confuses, recevant des signaux qui ne correspondent plus à ce qu'elles ont été entraînées à attendre. Ce décalage, appelé décalage de distribution (distribution shift), provoque une perte de précision du modèle et des erreurs, forçant les développeurs à consacrer un temps et une puissance de calcul considérables pour réentraîner le modèle afin de corriger les erreurs.

Une équipe de chercheurs du Huawei Noah's Ark Lab a introduit une nouvelle approche appelée SHIFT-LLM qui résout ce problème sans nécessiter de réentraînement. Au lieu d'essayer de reconstruire les étages manquants ou de réenseigner aux étages restants, leur méthode insère un module de correction petit et léger à chaque endroit où une couche a été supprimée. Imaginez que si vous retiriez un étage d'un bâtiment, vous installeriez une rampe simple, fabriquée sur mesure, qui comblerait parfaitement le vide, garantissant que les personnes des étages supérieurs reçoivent exactement les mêmes instructions que si l'étage manquant était encore là. Dans le monde numérique, cette rampe est un adaptateur linéaire qui préserve le chemin direct de l'information tout en ajoutant un ajustement infime et calculé. Cet ajustement est conçu pour imiter la contribution spécifique que la couche supprimée aurait apportée, trompant efficacement le reste du modèle en lui faisant croire que l'étage manquant est toujours présent.

Le génie de cette méthode réside dans la façon dont elle calcule cet ajustement. Plutôt que de lancer des milliers d'heures d'entraînement pour comprendre ce que la couche manquante aurait dû faire, les chercheurs utilisent un petit ensemble de données d'échantillonnage pour mesurer précisément l'information qui a été perdue. Ils utilisent ensuite un calcul mathématique simple pour déterminer la correction précise nécessaire pour restaurer cette information perdue. Ce processus est entièrement automatique et ne nécessite aucune optimisation basée sur le gradient, qui est le processus d'apprentissage complexe et itératif habituellement requis pour réparer les modèles défectueux. En utilisant ce calcul de forme fermée (closed-form calculation), l'équipe peut corriger l'état interne du modèle en quelques minutes en utilisant seulement quelques centaines d'exemples, plutôt qu'en jours de temps de calcul. Le résultat est un modèle élagué qui conserve la vitesse et l'efficacité d'avoir moins de couches, mais qui affiche une précision presque identique au modèle massif d'origine.

Dans leurs expériences, les chercheurs ont testé cette technique sur cinq familles différentes de grands modèles de langage, allant de modèles plus petits de 1,5 milliard de paramètres à des versions plus grandes de 14 milliards de paramètres. Ils ont appliqué six méthodes différentes pour décider quels étages supprimer et ont évalué les résultats sur sept benchmarks conçus pour tester les connaissances générales et le raisonnement. Les conclusions sont cohérentes : les modules de correction ont réussi à récupérer la précision perdue lors de l'élagage dans presque toutes les configurations. Dans un cas notable impliquant un modèle de 8 milliards de paramètres, la méthode a récupéré un score impressionnant de 15,7 points de précision sur un benchmark standard, un gain qui nécessiterait normalement un réentraînement étendu et coûteux. Même lorsque les modèles faisaient déjà l'objet d'un ajustement fin (fine-tuning) après l'élagage, l'ajout de ce module de correction apportait un boost supplémentaire, suggérant que les deux approches fonctionnent bien ensemble pour pousser les performances encore plus haut.

Les chercheurs ont également démontré que ces modules de correction peuvent être davantage compressés pour économiser de l'espace et fusionnés lorsque plusieurs couches sont supprimées à la suite, garantissant que les gains d'efficacité de l'élagage ne soient pas perdus par la surcharge (overhead) de la correction elle-même. Ce travail suggère que le principal obstacle à la réduction de la taille des grands modèles de langage n'est pas seulement le retrait de parties, mais la perturbation du flux d'informations entre elles. En se concentrant sur la réparation de ce flux avec des ajustements simples et ciblés, SHIFT-LLM offre une manière générale et efficace de rendre les modèles d'IA puissants exploitables pour un usage quotidien. L'étude confirme qu'avec la bonne correction, nous pouvons dépouiller les parties lourdes et redondantes de ces cerveaux numériques sans perdre leur capacité à penser clairement, ouvrant la voie à une intelligence artificielle plus rapide, moins chère et plus accessible.

Résumé Technique : SHIFT-LLM

Énoncé du Problème

L'élagage de la profondeur (depth pruning) dans les grands modèles de langage (LLM) vise à améliorer l'efficacité de l'inférence en supprimant des blocs Transformer entiers. Cependant, ce processus introduit un problème critique : le décalage de distribution (distribution shift). Lorsqu'un bloc intermédiaire est supprimé, la mise à jour résiduelle qu'il aurait produite est perdue. Par conséquent, les couches en aval reçoivent des états cachés qui diffèrent systématiquement de ceux rencontrés lors du pré-entraînement. Ce décalage se propage à travers le réseau, entraînant une dégradation significative de la précision. Bien que le réglage fin (fine-tuning) post-élagage puisse permettre de récupérer les performances, il nécessite des ressources de calcul substantielles, un temps d'optimisation et un entraînement basé sur le gradient, ce qui limite son applicabilité dans les scénarios à ressources contraintes.

Méthodologie : SHIFT-LLM

Les auteurs proposent SHIFT-LLM, un cadre de correction post-élagage sans entraînement, conçu pour atténuer ce décalage de distribution sans calcul de gradient. Le mécanisme central est l'Adaptateur Résiduel Linéaire (LRA), inséré à chaque site d'élagage.

1. Formulation de l'Adaptateur Résiduel Linéaire (LRA)

Au lieu de reconstruire entièrement l'état caché de sortie à partir de zéro, le LRA préserve la voie d'identité originale et ajoute une correction résiduelle affine légère.

Structure : Pour une couche élaguée $\ell$ , la sortie originale $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ est approximée par $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ .
Fonction de Correction : L'adaptateur $g_\ell(\cdot)$ est modélisé comme une transformation affine : $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ , où $A^{(\ell)}$ est une matrice de poids et $b^{(\ell)}$ un vecteur de biais.
Objectif : Le LRA approxime spécifiquement la mise à jour résiduelle manquante ( $\delta^{(\ell)} = f_\ell(h^{(\ell-1)})$ ) plutôt que l'état caché complet. Cela simplifie le problème d'approximation en exploitant la structure résiduelle sur laquelle le modèle a été pré-entraîné.

2. Estimation en Forme Fermée (Sans Entraînement)

Les paramètres du LRA ( $A^{(\ell)}$ et $b^{(\ell)}$ ) sont estimés sans rétropropagation ni optimisation itérative :

Collecte de Données : Le modèle original non élagué effectue une passe avant sur un petit ensemble de calibration tenu à l'écart. Les états cachés d'entrée ( $H^{(\ell)}$ ) et les mises à jour résiduelles de vérité terrain correspondantes ( $\Delta^{(\ell)}$ ) sont collectés.
Régression de Ridge : Les paramètres sont résolus via une régression de moindres carrés en forme fermée (régression de ridge) pour minimiser l'erreur entre les mises à jour résiduelles prédites et réelles :
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
où $H^{(\ell)}_{aug}$ inclut une colonne de biais, et $\lambda$ est un coefficient de régularisation.
Efficacité : Ce processus nécessite uniquement une seule passe avant et une résolution linéaire par couche élaguée, évitant ainsi le besoin de calcul de gradient ou de réglage fin.

3. Extensions Pratiques

Factorisation de Bas Rang : La matrice de poids ajustée $A^{(\ell)}$ peut être compressée via la décomposition en valeurs singulières tronquée (SVD) pour réduire le nombre de paramètres de $d^2$ à $2dr + d$.
Fusion Exacte : Puisque les LRA définissent des applications affines, des LRA consécutifs situés à des sites d'élagage adjacents peuvent être mathématiquement fusionnés en une seule transformation sans erreur d'approximation, améliorant ainsi davantage la compression.

Contributions Clés

Cadre SHIFT-LLM : Une méthode de correction post-élagage sans entraînement qui cible explicitement le décalage de distribution des états cachés causé par l'élagage de la profondeur.
Adaptateur Résiduel Linéaire (LRA) : Un composant novateur qui préserve la voie d'identité tout en approximant les mises à jour résiduelles manquantes via une correction affine légère, calibrée par régression en forme fermée.
Modularité et Généralité : Le cadre est agnostique à la stratégie spécifique de sélection de couches (ex: Bloc d'Influence, Sensibilité de Taylor, Magnitude) et peut être appliqué à diverses familles de modèles.
Complémentarité : La méthode est conçue pour fonctionner aux côtés du réglage fin efficace en paramètres (ex: LoRA), offrant une récupération supplémentaire au-delà du seul réglage fin.

Résultats Expérimentaux

Les auteurs ont évalué SHIFT-LLM sur cinq familles de modèles (Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B, et Qwen2.5-14B), six critères de sélection de couches et sept benchmarks zero-shot.

Récupération Sans Entraînement : Sans aucun réglage fin, SHIFT-LLM récupère systématiquement la précision perdue à cause de l'élagage de la profondeur.
- Sur Llama-3.1-8B-Instruct avec un élagage d'ordre inverse (25 % de profondeur), la méthode a obtenu un gain de +15,74 points de précision moyenne en zero-shot.
- Sur Qwen1.5-7B, les gains ont atteint +6,88 points sous un élagage Magnitude- $\ell_1$ .
- La perplexité sur WikiText-2 a été considérablement réduite dans la plupart des configurations (par exemple, une réduction de plus de 1000 points de perplexité pour Llama-3.1-8B sous un élagage d'ordre inverse).
Scalabilité : La méthode reste efficace lorsqu'elle est étendue à Qwen2.5-14B, montrant des gains allant jusqu'à +5,36 points de précision zero-shot.
Compatibilité avec le Réglage Fin : Lorsqu'il est combiné avec LoRA ou un réglage fin partiel de couche, SHIFT-LLM offre une récupération complémentaire, améliorant davantage les performances dans la plupart des configurations évaluées (ex: +1,14 point sur Llama-3.1-8B-Instruct lorsqu'il est combiné avec LoRA).
Comparaison avec l'État de l'Art : Intégré au pipeline Navigation LLM, SHIFT-LLM a amélioré la précision moyenne de 59,08 à 59,54 sur Llama-3.1-8B-Instruct, démontrant qu'il ne dégrade pas les bases solides tout en apportant une valeur ajoutée.

Signification et Revendications

L'article affirme que SHIFT-LLM offre une solution simple, générale et efficace au problème de décalage de distribution inhérent à l'élagage de la profondeur. En approximant explicitement la mise à jour résiduelle manquante tout en préservant la structure résiduelle originale du modèle, la méthode atténue le décalage sans le coût de calcul du ré-entraînement.

Les auteurs soulignent que cette approche est particulièrement significative pour les contextes où le ré-entraînement post-élagage est indésirable ou irréalisable. La capacité du cadre à obtenir une récupération de précision substantielle (jusqu'à +15,7 points) en utilisant seulement quelques centaines d'échantillons de calibration et sans calcul de gradient positionne l'outil comme une alternative pratique à un réglage fin extensif. De plus, la capacité de fusionner les adaptateurs consécutifs et de compresser les poids via la factorisation de bas rang garantit que les gains d'efficacité de l'élagage de la profondeur sont préservés et potentiellement augmentés.