🤖 machine learning

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Le papier propose des « couches fantômes », une méthode sans entraînement qui restaure les performances des grands modèles de langage dont des couches ont été élaguées en dérivant un opérateur linéaire optimal sous forme fermée pour aligner les distributions d'activation entre les couches survivantes, surpassant ainsi les bases contraintes existantes tout en préservant les gains d'efficacité.

Auteurs originaux : Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

Publié 2026-05-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef très talentueux et hautement formé (un Grand Modèle de Langage) qui a passé des années à apprendre à cuisiner des plats complexes. Ce chef travaille dans une immense cuisine avec 32 postes différents, chacun ajoutant une saveur ou une texture spécifique au plat.

Le Problème : Couper le Milieu
Pour rendre la cuisine plus rapide et moins coûteuse à faire fonctionner, quelqu'un décide de retirer un gros bloc de postes au milieu — disons 7 ou 11 postes d'un coup. C'est ce qu'on appelle l'élagage de couches.

Le problème est que les postes avant la coupe et les postes après la coupe avaient été entraînés à communiquer entre eux par l'intermédiaire de ces postes manquants. Lorsque vous retirez le milieu, le poste immédiatement après la coupe reçoit un ingrédient qui ne ressemble en rien à ce qu'il attend. C'est comme si un boulanger s'attendait à une pâte parfaitement pétrie mais recevait à la place un mélange brut et grumeleux. Le boulanger (la couche suivante) est confus, la recette s'effondre et le plat final (la réponse de l'IA) a un goût terrible.

Les Anciennes Solutions : Tenter de Reboucher le Trou
Les tentatives précédentes pour résoudre ce problème étaient comme essayer de forcer un clou carré dans un trou rond.

Certaines méthodes ont essayé de simplement « étirer » les ingrédients existants pour qu'ils ressemblent un peu plus à ce qui était attendu, mais elles étaient trop rigides.
D'autres ont essayé d'utiliser un outil très spécifique et symétrique pour corriger le désajustement. L'article soutient que c'est comme essayer de réparer un cadre de tableau de travers en utilisant uniquement une règle qui ne peut se déplacer que de haut en bas, pas de côté. C'est un outil limité qui ne peut pas atteindre la solution parfaite.

La Nouvelle Solution : « Couches Fantômes »
Les auteurs proposent une nouvelle méthode appelée Couches Fantômes. Imaginez cela comme un « chef fantôme » ou un pont magique qui apparaît exactement là où se trouvaient les postes manquants.

Voici comment cela fonctionne en termes simples :

L'Étalonnage (Le Test de Goût) : Avant que la cuisine ne soit modifiée de façon permanente, l'équipe prend un petit échantillon d'ingrédients (quelques phrases de texte) et les fait passer dans la cuisine complète originale. Ils enregistrent exactement à quoi l'ingrédient ressemblait avant d'entrer dans les postes manquants et exactement à quoi il ressemblait après en être sorti.
La Magie Mathématique : Ils calculent la différence exacte entre les états « avant » et « après ». Au lieu de deviner ou d'utiliser un outil limité, ils utilisent une formule mathématique pour trouver la transformation parfaite et sans restriction nécessaire pour transformer l'état « avant » en l'état « après ».
- Analogie : Si les postes manquants avaient transformé une pomme rouge en pomme verte, un outil limité ne pourrait peut-être que la peindre légèrement plus verte. La « Couche Fantôme » calcule le changement chimique exact nécessaire pour transformer parfaitement cette pomme rouge en pomme verte, peu importe la complexité du changement.
Le Résultat : Ils insèrent cette « Couche Fantôme » parfaite dans la cuisine élaguée. Maintenant, lorsque l'ingrédient s'écoule du poste pré-coupe au poste post-coupe, il passe à travers ce fantôme, est instantanément transformé exactement en ce que le poste suivant attend, et la cuisson se poursuit sans accroc.

Pourquoi C'est Mieux
L'article affirme que les méthodes précédentes étaient comme essayer de résoudre un puzzle avec seulement la moitié des pièces ou en utilisant un outil trop simple. La « Couche Fantôme » résout le puzzle avec l'ensemble complet des pièces et l'outil le plus flexible possible.

Pas de Réentraînement : Vous n'avez pas besoin de réapprendre au chef comment cuisiner. Vous installez simplement ce nouveau « pont fantôme » et la cuisine fonctionne à nouveau.
Même Vitesse : Même si les mathématiques pour concevoir le fantôme sont complexes, une fois construit, il ne ralentit pas la cuisine. Il fonctionne aussi vite que les anciennes solutions limitées.
Meilleur Goût : Dans les tests, cette méthode a produit de bien meilleurs résultats (précision plus élevée et confusion réduite) que les méthodes précédentes, surtout lorsqu'un gros bloc de la cuisine a été retiré.

En Résumé
Lorsque vous retirez des parties d'une IA intelligente, les parties restantes deviennent confuses car le flux d'informations est rompu. Les « Couches Fantômes » agissent comme un traducteur parfait et invisible qui répare instantanément le flux brisé, permettant à l'IA de continuer à fonctionner à pleine vitesse sans avoir besoin d'être réentraînée.

Résumé technique : Couches fantômes – Alignement d'activation sans contrainte pour la récupération de modèles de langage de grande taille (LLM) après élagage de couches

1. Énoncé du problème

L'élagage de couches est une technique de compression pratique pour les modèles de langage de grande taille (LLM) qui supprime des blocs entiers de décodeurs Transformer afin de réduire la taille du modèle et le coût d'inférence, sans nécessiter de noyaux personnalisés ni de modifications architecturales. Cependant, la suppression de ces blocs crée un désaccord d'activation aux frontières. L'état caché transmis à la prochaine couche survivante diffère considérablement de la distribution que la couche était à l'origine entraînée à traiter. Ce décalage de distribution se propage à travers les couches en aval, entraînant une dégradation substantielle des performances, tant en termes de perplexité que de précision sur les tâches en aval.

Les méthodes existantes de récupération sans entraînement tentent d'atténuer ce désaccord mais souffrent de limitations structurelles :

ReplaceMe approxime le calcul du bloc élagué via une transformation linéaire absorbée dans les poids survivants, mais ne traite pas directement le désaccord aux frontières.
LinearPatch cible directement le désaccord d'activation aux frontières en insérant un opérateur linéaire paramétré comme une mise à l'échelle par canal rotative de Hadamard. Crucialement, cette paramétrisation est symétrique par construction, restreignant l'espace de recherche à un sous-espace strict d'opérateurs linéaires et empêchant la méthode d'atteindre l'optimum global de l'objectif d'alignement.

L'analyse empirique montre que ces méthodes laissent une part importante de l'erreur d'activation aux frontières non corrigée, suggérant que la nature contrainte de leurs opérateurs est insuffisante pour récupérer pleinement les performances du modèle élagué.

2. Méthodologie : Couches fantômes

Les auteurs proposent les Couches fantômes, un module de récupération sans entraînement, plug-and-play, qui résout le désaccord d'activation aux frontières en calculant l'opérateur linéaire optimal sans contrainte.

Formulation de base

La méthode formule la récupération comme un problème d'alignement d'activation. Soit $X_{pre}$ l'état caché d'entrée de la première couche élaguée et $X_{post}$ l'état caché de sortie de la dernière couche élaguée (entrée de la prochaine couche survivante) dans le modèle original non élagué. L'objectif est de trouver un opérateur linéaire $W$ tel que $X_{pre}W \approx X_{post}$ .

Les auteurs définissent l'écart d'activation aux frontières comme $\Delta = X_{post} - X_{pre}$ . Ils réparamétrisent l'opérateur sous la forme $W = I + M$ , transformant l'objectif en la minimisation de l'erreur de reconstruction de l'écart :
$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$

Solution en forme close

Contrairement aux méthodes précédentes qui optimisent sur des sous-espaces contraints, les Couches fantômes dérivent une solution en forme close de moindres carrés à norme minimale sur l'espace complet des opérateurs linéaires $\mathbb{R}^{C \times C}$ :
$M^* = X_{pre}^\dagger \Delta$
où $X_{pre}^\dagger$ est la pseudo-inverse de Moore-Penrose des activations pré-frontières. L'opérateur final est $W^* = I + M^*$ .

Implémentation

Calibration : Un petit ensemble de séquences de calibration (par exemple, 128 séquences issues de C4) est passé à travers le modèle original non élagué pour collecter $X_{pre}$ et $X_{post}$ via des crochets de pré-propagation.
Calcul : L'opérateur optimal $M^*$ est calculé hors ligne en utilisant un solveur de moindres carrés régularisé (ou une SVD) pour assurer la stabilité numérique.
Déploiement : L'opérateur $W^*$ est inséré à la frontière d'élagage via un crochet de propagation. L'opération est $x_{new} = x W^* = x + x M^*$ , où le terme additif $x M^*$ estime la mise à jour incrémentale que les couches élaguées auraient contribué.

Avantage théorique

L'article démontre que l'opérateur optimal $W^*$ contient une composante antisymétrique substantielle. Puisque LinearPatch restreint sa recherche aux matrices symétriques (où $W = W^\top$ ), il ne peut structurellement pas accéder à cette composante antisymétrique. Les Couches fantômes, en opérant sur l'espace sans contrainte, capturent cette composante, atteignant théoriquement le véritable optimum de l'objectif d'alignement.

3. Contributions clés

Formulation de la récupération post-élagage : Les auteurs formulent la récupération comme un problème d'alignement d'activation et dérivent directement sa solution optimale en forme close à partir des activations aux frontières.
Optimalité sans contrainte : Ils démontrent que cette formulation produit un optimum sans contrainte incluant une composante antisymétrique significative, inaccessible aux constructions symétriques comme LinearPatch.
Module Couches fantômes : Ils proposent un module sans entraînement, plug-and-play, compatible avec tout critère d'élagage et toute architecture de modèle. Il surpasse systématiquement les bases de référence sans entraînement précédentes à coûts d'inférence équivalents.

4. Résultats expérimentaux

La méthode a été évaluée sur plusieurs architectures de LLM (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B, et d'autres dans l'annexe) et stratégies d'élagage (LLM-Streamline, ShortGPT, Shortened LLaMA).

Précision : Les Couches fantômes atteignent systématiquement la précision moyenne zero-shot la plus élevée ou compétitive sur neuf benchmarks de raisonnement de bon sens (ARC, HellaSwag, WinoGrande, etc.) par rapport aux bases de référence sans entraînement. Par exemple, sur LLaMA-3.1-8B avec 7 couches élaguées, les Couches fantômes ont atteint une précision moyenne de 60,01 %, surpassant LinearPatch (Rotate) à 53,27 % et ReplaceMe (LS) à 59,68 %.
Perplexité : La méthode réduit significativement la perplexité sur WikiText-2, C4 et Penn Treebank. Dans des scénarios d'élagage agressif (11 couches supprimées), l'écart d'amélioration par rapport aux bases de référence s'élargit, les Couches fantômes atteignant la perplexité la plus faible dans la plupart des combinaisons.
Efficacité : Malgré la résolution d'une matrice complète $C \times C$ , les Couches fantômes n'engendrent aucun coût d'inférence supplémentaire par rapport à LinearPatch. Les deux méthodes fusionnent leurs opérations en une seule multiplication de matrice dense $C \times C$ à la frontière. Les mesures empiriques de latence confirment qu'elles sont indiscernables dans les marges de bruit.
Sensibilité à la calibration : La méthode est robuste à la taille de l'ensemble de calibration ; la précision sature avec aussi peu que 32 séquences, et le choix de l'ensemble de données de calibration (C4 vs WikiText-2) a un impact minimal sur les performances.
Affinage (Fine-Tuning) : Même combiné à une distillation de connaissances légère, les Couches fantômes maintiennent un avantage de performance par rapport aux variantes affinées de LinearPatch, suggérant que l'initialisation en forme close fournit un point de départ supérieur.

5. Importance et affirmations

L'article affirme que résoudre l'alignement d'activation aux frontières à son optimum sans contrainte suffit à récupérer substantiellement les performances des LLM après élagage de couches sans réentraînement.

L'importance de ce travail réside dans la démonstration que la dégradation des performances des modèles élagués n'est pas simplement le résultat d'une capacité manquante, mais d'un décalage de distribution correctible. En allant au-delà des sous-espaces d'opérateurs contraints (comme les matrices symétriques) vers l'espace complet des applications linéaires, les Couches fantômes récupèrent des informations structurelles (spécifiquement les composantes antisymétriques) que les méthodes précédentes ont manquées. Cette approche offre une solution simple, efficace sur le plan computationnel et hautement efficace pour déployer des LLM plus petits et élagués tout en préservant leurs capacités originales.