Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

1. Énoncé du problème

Les grands modèles de langage (LLM) engendrent des coûts de déploiement importants en raison de leur échelle. L'élagage de la profondeur, qui supprime des blocs entiers de Transformer, est une technique de compression structurée qui réduit les coûts d'inférence de manière linéaire avec le nombre de couches conservées.

Les recherches antérieures sur l'élagage de la profondeur ont largement opéré sous une "vue structurelle" de la redondance. Cette perspective suppose que l'importance d'une couche est une propriété intrinsèque du réseau pré-entraîné, indépendante de la tâche en aval. Par conséquent, les travaux précédents se concentrent sur la recherche d'un seul classement "universel" des couches (via des critères d'importance comme la similarité cosinus ou la magnitude) et sur l'application d'algorithmes de recherche sophistiqués pour identifier le sous-ensemble optimal de couches à supprimer.

La question centrale : La redondance des couches est-elle vraiment une propriété structurelle du modèle, ou est-elle une propriété fonctionnelle déterminée conjointement par le modèle et l'objectif d'évaluation spécifique (perte de calibration) ? Les auteurs émettent l'hypothèse qu'une couche jugée redondante pour la modélisation du langage (perplexité) pourrait être critique pour le raisonnement en aval, suggérant qu'un classement universel est insuffisant.

2. Méthodologie

Pour tester empiriquement les vues structurelle et fonctionnelle, les auteurs ont conçu une expérience contrôlée qui démêle deux axes clés de l'élagage de la profondeur : l'Objectif de Calibration et l'Algorithme de Recherche.

• Formulation du problème : L'élagage de la profondeur est formulé comme un problème de sélection de sous-ensemble :
  $$S^* = \arg \min_{|S|=k} \mathcal{L}(D; f_{\theta_0} \odot m_S)$$
  Où $S$ est l'ensemble des couches supprimées, $\mathcal{L}$ est la fonction de perte, et $D$ est l'ensemble de données de calibration.
• Variables expérimentales :
  • Modèles : Trois familles de LLM à poids ouverts (LLaMA3 8B, LLaMA3.1 8B, Qwen3 8B) avec des pipelines d'entraînement variés mais des échelles comparables.
  • Objectifs de Calibration ($\mathcal{L}$) :
    1. Perplexité (Indépendante de la tâche) : Négatif de la vraisemblance logarithmique sur l'ensemble de données C4.
    2. Marge de vraisemblance de la tâche (Centrée sur la tâche) : L'écart de vraisemblance logarithmique entre les réponses correctes et incorrectes sur Commonsense 170k.
  • Algorithmes de Recherche : Sept algorithmes distincts ont été testés sous chaque objectif pour isoler l'impact de la stratégie de recherche :
    1. Sélection top-k en un seul passage (One-shot)
    2. Suppression itérative gloutonne
    3. Recherche par faisceau (Beam search)
    4. Algorithme génétique (GA) guidé par des a priori
    5. Optimisation bayésienne (BO) guidée par des a priori
    6. Optimisation binaire contrainte (CBO)
    7. Fast-block-select
• Évaluation :
  • Les modèles élagués via la Perplexité ont été évalués sur WikiText-2, C4 et LAMBADA.
  • Les modèles élagués via la Marge de vraisemblance de la tâche ont été évalués en zéro-shot sur des benchmarks de raisonnement de bon sens (HellaSwag, WinoGrande, ARC, PIQA, BoolQ).
  • Budgets d'élagage : Deux niveaux de compression ($M=7$ et $M=9$ couches supprimées).

3. Contributions clés

1. Vue fonctionnelle de la redondance : Le papier articule et valide empiriquement que la redondance des couches n'est pas une propriété structurelle intrinsèque, mais une propriété fonctionnelle dépendante de l'objectif d'évaluation.
2. Démêlage de la recherche et de l'objectif : En maintenant une variable fixe tout en faisant varier l'autre à travers trois familles de modèles, les auteurs isolent la source des gains de performance, traitant ainsi le "conflit métrique-recherche" courant dans la littérature antérieure.
3. Désalignement systématique : Les auteurs identifient un décalage systématique entre la perplexité de calibration et la précision du raisonnement en aval, démontrant que l'optimisation de l'un ne garantit pas l'optimisation de l'autre.

4. Résultats clés

A. Les objectifs redéfinissent les motifs d'élagage (Section 5.1)

• Calibration par perplexité : Les motifs d'élagage étaient hautement cohérents entre différents algorithmes de recherche. Les suppressions se concentraient dans des clusters contigus de couches intermédiaires à tardives (par exemple, les couches 9–12 et 22–26 dans LLaMA3).
• Calibration par marge de vraisemblance de la tâche : Les motifs d'élagage étaient dispersés à travers le réseau et variaient considérablement selon l'algorithme de recherche utilisé.
• Conclusion : Les deux objectifs produisent des ensembles structurellement différents de couches "redondantes", réfutant l'idée d'une seule carte universelle de redondance.

B. Désalignement entre perplexité et précision (Section 5.2)

• Les auteurs ont comparé le classement des modèles élagués basé sur la perplexité de calibration avec leur précision de raisonnement en aval.
• Résultat : Les corrélations de Spearman variaient de $\rho = -0,78$ à près de zéro. Dans la plupart des conditions, la corrélation était négative.
• Implication : La configuration de modèle qui minimise la perplexité n'est souvent pas celle qui maximise la précision du raisonnement en aval.

C. Les algorithmes de recherche sont secondaires (Section 5.3)

• Variance intra-objectif : Lorsque l'objectif de calibration était fixe, différents algorithmes de recherche convergeaient vers des solutions avec des performances très similaires.
  • Pour l'élagage par vraisemblance de tâche, les différences de précision entre les meilleurs et les pires algorithmes de recherche étaient typiquement de 1 à 3 points de pourcentage.
  • Même les méthodes complexes (comme BO ou GA) offraient des rendements décroissants par rapport aux méthodes plus simples (comme One-shot ou Gloutonne) une fois l'objectif fixé.
• Coût-bénéfice : Les méthodes simples (One-shot, Fast-block-select) ont atteint des résultats quasi optimaux en quelques minutes, tandis que les méthodes complexes prenaient des heures pour des gains marginaux.
• Conclusion : Le choix de l'objectif de calibration a une influence bien plus grande sur la performance et la structure finale du modèle que le choix de l'algorithme de recherche.

5. Signification et implications

• Changement de paradigme : Le papier remet en question l'hypothèse prévalente selon laquelle l'importance des couches est statique. Il suggère que les chercheurs devraient cesser de chercher un classement "universel" des couches et se concentrer plutôt sur la redondance conditionnée par l'objectif.
• Efficacité pratique : Pour les praticiens, les résultats impliquent que l'investissement de ressources informatiques dans des algorithmes de recherche complexes (par exemple, recherche évolutionnaire, optimisation bayésienne) apporte des bénéfices limités si l'objectif de calibration est sous-optimal.
• Priorité de conception : La décision de conception la plus critique dans l'élagage de la profondeur est l'objectif de calibration. Sélectionner un objectif qui s'aligne avec la tâche en aval visée (par exemple, utiliser une perte de marge spécifique à la tâche pour les tâches de raisonnement plutôt qu'une perplexité générique) a plus d'impact que d'affiner la stratégie de recherche.
• Directions futures : Les travaux futurs devraient prioriser la conception d'objectifs de calibration et l'étude de la façon dont différentes tâches définissent la redondance, plutôt que de se concentrer uniquement sur l'amélioration des heuristiques de recherche.

En résumé, le papier démontre que dans l'élagage de la profondeur des LLM, l'objectif définit le paysage, tandis que l'algorithme de recherche ne fait que le naviguer. Un mauvais objectif ne peut pas être corrigé par une recherche sophistiquée, mais un objectif bien choisi permet même à des méthodes de recherche simples de trouver des solutions de haute qualité.