Résumé Technique : Élagage de la Redondance Conscient de la Localité pour la Compression de la Profondeur des LLM

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) basés sur des architectures Transformer souffrent d'une profondeur extrême et d'un surparamétrage, entraînant des coûts computationnels et mémoire substantiels lors de l'inférence. Bien que l'élagage au niveau des couches (profondeur) soit une stratégie efficace pour réduire la latence et la mémoire en supprimant des blocs Transformer entiers, les méthodes existantes en un seul passage et sans entraînement reposent sur des hypothèses erronées concernant la redondance.

Les approches actuelles se divisent généralement en deux catégories :

1. Méthodes basées sur l'importance locale : Estiment la redondance à l'aide de scores de couches isolés (par exemple, l'Influence de Bloc).
2. Méthodes basées sur la similarité contiguë : Supposent que la redondance est concentrée au sein de régions de profondeur adjacentes.

Cependant, une analyse empirique révèle que ces hypothèses sont insuffisantes. La redondance inter-couches n'est pas uniforme à travers les architectures ; elle peut être soit localisée (concentrée dans des régions de profondeur spécifiques), soit globalement distribuée (répartie sur l'ensemble du réseau). Des priors d'élagage fixes échouent à prendre en compte ces différences structurelles dépendantes de l'architecture, entraînant une dégradation sous-optimale des performances.

2. Méthodologie : Élagage de la Redondance Conscient de la Localité (LoRP)

Les auteurs proposent LoRP, un cadre d'élagage de profondeur en un seul passage et sans entraînement qui s'adapte à la géométrie de représentation spécifique de chaque LLM. Le flux de travail comprend cinq étapes clés :

2.1 Mesure de Similarité Inter-Couches

En utilisant un petit ensemble de données d'étalonnage (128 séquences issues de C4), LoRP collecte les activations d'état caché d'entrée pour chaque bloc Transformer. Il calcule une matrice de similarité cosinus d'état caché inter-couches ($S$) par paires, où chaque entrée $S_{ij}$ représente la similarité cosinus moyenne par token entre les représentations d'entrée des couches $i$ et $j$.

2.2 Score de Localité de Représentation (RLS)

Pour quantifier la structure globale de la redondance, les auteurs introduisent le Score de Localité de Représentation (RLS).

• Premièrement, la moyenne globale de similarité hors diagonale ($\bar{S}_{off}$) est calculée sur toutes les paires de couches.
• Le RLS est défini comme : $RLS(S) = -\log_2(\bar{S}_{off})$.
• Interprétation : Un RLS élevé indique une décroissance rapide de la similarité à travers la profondeur, impliquant une redondance localisée (la redondance est concentrée dans des régions spécifiques). Un RLS faible indique une forte similarité globale, impliquant une redondance distribuée (la redondance est répartie sur le réseau).

2.3 Clustering des Couches

Sur la base de la matrice de similarité $S$ et du RLS, les couches sont partitionnées en clusters de représentation en utilisant un clustering spectral sur une matrice d'affinité $A = (S + 1)/2$.

• La granularité du clustering est guidée par le RLS : un RLS plus élevé conduit à un clustering plus grossier (régions concentrées), tandis qu'un RLS plus faible encourage un partitionnement plus fin pour gérer la redondance distribuée.
• Cette étape regroupe les couches qui traitent des représentations de flux résiduel similaires, indépendamment de leur adjacence physique.

2.4 Élagage à Deux Étapes Conscient de la Redondance

LoRP alloue le budget d'élagage ($k$ couches à supprimer) via une procédure à deux étapes pour équilibrer la couverture et la redondance :

1. Étape 1 : Initialisation consciente de la couverture : Pour éviter que l'élagage ne se collapse en un seul cluster, la méthode sélectionne la couche éligible la plus redondante de chaque cluster pour former un pool de candidats initial.
2. Étape 2 : Allocation de la redondance résiduelle : Le budget restant est alloué de manière itérative. À chaque étape, l'algorithme identifie le cluster ayant la redondance résiduelle la plus élevée (similarité moyenne par paires parmi les couches éligibles restantes) et élague la couche la plus redondante au sein de ce cluster.

Cette allocation dynamique garantit que les architectures à redondance localisée élaguent au sein de régions concentrées, tandis que celles à redondance distribuée élaguent à travers plusieurs régions.

3. Contributions Clés

L'article apporte les contributions spécifiques suivantes :

• Observation Empirique : Démonstration que la localité de représentation varie considérablement entre les familles de LLM (par exemple, les modèles Qwen présentent une similarité distribuée, tandis que LLaMA/Mistral présentent une redondance localisée).
• Proposition de Métrique : Introduction du Score de Localité de Représentation (RLS), une métrique simple dérivée de la similarité globale des états cachés inter-couches pour quantifier ce phénomène.
• Conception de Cadre : Proposition de LoRP, un cadre d'élagage en un seul passage et sans entraînement qui regroupe les couches par similarité de représentation et alloue l'élagage en fonction de la structure de redondance spécifique de l'architecture.
• Validation des Performances : Démonstration que LoRP améliore systématiquement la perplexité et la précision du raisonnement en aval à travers diverses familles de LLM sans nécessiter de récupération post-élagage ni de fine-tuning.

4. Résultats Expérimentaux

Des expériences ont été menées sur cinq LLM open-source (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) utilisant neuf benchmarks de raisonnement en zéro-shot et trois ensembles de données de perplexité (WikiText-2, C4, PTB).

• Perplexité (PPL) : LoRP a obtenu la perplexité moyenne la plus faible sur la plupart des modèles et budgets d'élagage par rapport aux bases de comparaison (ShortGPT, LLM-Streamline, LaCo). L'amélioration était particulièrement significative pour les modèles Qwen, où les méthodes d'élagage contigu ont échoué.
• Précision en Aval : LoRP a mieux préservé les performances de raisonnement en zéro-shot que les méthodes existantes. Par exemple, sur Qwen3-8B avec 7/36 couches élaguées, LoRP a atteint une précision moyenne de 56,65 %, surpassant ShortGPT (51,50 %) et LaCo (55,82 %).
• Motifs d'Élagage : La visualisation a confirmé que LoRP adapte son motif d'élagage au modèle : il supprime des couches de régions concentrées pour LLaMA/Mistral (RLS élevé) et répartit les suppressions à travers le réseau pour Qwen (RLS faible).
• Comparaison avec les Méthodes Itératives : Bien que des méthodes itératives comme Shortened LLaMA aient parfois atteint une perplexité plus faible (en raison de l'adaptation à l'objectif d'étalonnage), LoRP a maintenu une précision de généralisation en aval supérieure, suggérant une meilleure robustesse au-delà de l'ensemble d'étalonnage.

5. Signification et Revendications

L'article affirme que la localité de représentation est un facteur critique et dépendant de l'architecture pour un élagage de profondeur efficace. La signification de ce travail réside dans le changement de paradigme d'un score de couches fixe, contigu ou isolé vers une approche globale et consciente de la géométrie.

• Revendications Modérées : Les auteurs déclarent explicitement que leurs résultats suggèrent que la redondance est une propriété structurée de la géométrie de représentation. Ils ne prétendent pas que LoRP est une solution universelle pour toutes les tâches de compression, mais plutôt un cadre qui améliore l'efficacité en respectant les différences architecturales.
• Limites : Les auteurs reconnaissent que leur politique de clustering guidée par le RLS est dérivée empiriquement des modèles évalués. Ils notent que la méthode actuelle repose sur un nombre de clusters ($K$) spécifié manuellement basé sur des plages de RLS et n'inclut pas encore de récupération post-élagage ni de fine-tuning. Des travaux futurs sont nécessaires pour valider la généralisation sur des architectures, des échelles et des recettes d'entraînement plus larges, et pour développer des stratégies entièrement automatiques de sélection des paramètres de clustering.

En résumé, LoRP démontre qu'en caractérisant et en s'adaptant à la structure de redondance spécifique d'un LLM, on peut obtenir une compression de profondeur plus efficace sans sacrifier les performances du modèle.