💬 NLP

Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs

Ce document présente une recette d'entraînement continu qui transforme un modèle dense Qwen2.5-8B en un LLM à parcimonie de canaux et efficace sur le plan matériel par l'intégration d'un mécanisme de routage à porte prédictive lors de l'entraînement, tout en traitant des modes de défaillance spécifiques liés au contexte long grâce à un algorithme de réparation ciblé.

Auteurs originaux : Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement intelligente (un Grand Modèle de Langage, ou LLM) qui sait presque tout. Mais il y a un problème : chaque fois que quelqu'un pose une question, le bibliothécaire doit parcourir chaque livre de la bibliothèque pour trouver la réponse, même si seule une infime fraction de ces livres est réellement pertinente. C'est lent, coûteux et cela gaspille énormément d'énergie.

Ce document présente une nouvelle façon d'entraîner ces « bibliothécaires » pour qu'ils deviennent super efficaces sans perdre leur intelligence. Ils appellent ce processus le « Dense-to-Sparse Upcycling » (Recyclage de Dense à Sparse).

Voici la décomposition simple de leur méthode :

1. Le Problème : L'approche « Tous les Livres »

Dans les modèles d'IA standards, chaque fois que le modèle traite un mot, il active un vaste réseau de « neurones » internes (pensez à ces neurones comme des étagères de livres). Même si le modèle n'a besoin que de 4 étagères spécifiques, il ouvre actuellement toutes les 16 étagères par sécurité. C'est l'approche « Dense ». Cela fonctionne bien, mais c'est lourd et lent.

2. La Solution : Le « Prédicteur Intelligent »

Les auteurs ont voulu apprendre au modèle à n'ouvrir que les 4 étagères les plus importantes sur 16. C'est ce qu'on appelle la « Sparsité » (Sparsity).

Cependant, on ne peut pas deviner quelles étagères ouvrir. Si vous vous trompez, le modèle devient stupide.

L'ancienne méthode : Certaines méthodes examinent les livres après qu'ils ont été ouverts pour décider s'ils étaient utiles. C'est trop tard ; l'énergie est déjà gaspillée.
La nouvelle méthode (Ce document) : Ils ont installé un « Prédicteur » minuscule et super rapide (comme un assistant de bibliothécaire intelligent) juste avant l'ouverture des étagères.
- Cet assistant examine la question et le contexte actuel.
- Il prédit instantanément quelles 4 étagères sur 16 sont nécessaires.
- Il dit au système principal : « N'ouvre que ces 4 là ; ignore les 12 autres. »

3. Le Système de « Banques »

Pour rendre cela organisé, ils ont divisé les étagères en groupes appelés « Banques ».

Imaginez qu'une banque possède 64 étagères.
La règle est simple : pour chaque question, l'assistant choisit les 16 meilleures étagères dans cette banque et ignore le reste.
Cela réduit le travail de 4 fois (sparsité de 4x).

4. La Recette d'Entraînement : « Apprendre en faisant »

On ne peut pas simplement prendre un modèle fini, lourd, et essayer de le forcer à être paresseux ; cela le casse généralement. Au lieu de cela, ils ont utilisé une recette d'entraînement spécifique :

Commencer lourd : Ils ont d'abord entraîné un modèle standard et lourd (jusqu'à 8 000 mots de contexte).
Étendre la mémoire : Ils lui ont appris à gérer des conversations plus longues (jusqu'à 32 000 mots).
Introduire l'assistant : Seulement après que le modèle était déjà intelligent, ils ont ajouté l'« Assistant Prédicteur ».
Pratiquer : Ils ont entraîné le modèle et l'assistant ensemble. Le modèle a appris à compter sur les prédictions de l'assistant pour économiser de l'énergie, tandis que l'assistant a appris à devenir meilleur pour deviner les bonnes étagères.

5. Les Résultats : Plus Intelligent et Plus Rapide

Ils ont testé ce nouveau modèle « Sparse » contre deux autres :

Le Modèle Lourd : La version originale, lente.
Le Modèle Sparse « Naïf » : Une version où ils ont simplement éteint les étagères de manière aléatoire ou paresseuse sans entraîner de prédicteur.

Le Gagnant : Le modèle « Predictor-Gated » était presque aussi intelligent que le Modèle Lourd, mais beaucoup plus efficace. La version « Naïve », quant à elle, est devenue nettement plus stupide. Cela prouve que entraîner le modèle pour qu'il soit sparse dès le départ est crucial ; on ne peut pas simplement bricoler cela plus tard.

6. La « Falaise » et la Correction

Lors des tests, ils ont découvert un bug étrange. Le modèle fonctionnait très bien pour les questions courtes et moyennes, mais lorsque la conversation devenait très longue (autour de 12 000 à 16 000 mots), il commençait soudainement à échouer. C'était comme si le bibliothécaire perdait la tête et oubliait comment trouver les livres au milieu d'une histoire très longue.

Ils ont découvert que ce n'était pas un problème avec toute la bibliothèque. C'était juste une étagère spécifique (la Couche 7) qui échouait.

La Correction : Ils ont créé un « patch de réparation » qui dit au modèle : « Si la conversation devient trop longue, ignore simplement l'assistant intelligent pour cette étagère spécifique et utilise plutôt la version lourde complète à la place. »
Ce correctif simple a permis au modèle de fonctionner parfaitement à nouveau pour les histoires longues.

Résumé

Ce document montre que vous pouvez prendre un modèle d'IA lourd et lent et le « upcycler » en une version légère et rapide en lui apprenant un prédicteur qui sait exactement quelles parties de son cerveau utiliser pour chaque mot. C'est comme apprendre à un chef à ne saisir que les épices spécifiques dont il a besoin pour un plat, plutôt que de verser tout le présentoir d'épices dans la marmite. Le résultat est un modèle qui est 4 fois plus efficace tout en conservant presque toute son intelligence.

Résumé Technique : Upcycling Continuel de LLM via une Sparsité par Banques avec Prédicteur à Portillon

Énoncé du Problème

Le coût computationnel des Grands Modèles de Langage (LLM), particulièrement les Transformers de type décodeur uniquement, est de plus en plus dominé par la taille des paramètres et le calcul par jeton requis par les réseaux Feed-Forward (FFN) denses. Dans les architectures SwiGLU modernes, le FFN étend l'état caché vers une dimension intermédiaire importante, le traite, puis le projette à nouveau. Lors de l'entraînement et de l'inférence à contexte long, ce calcul dense est appliqué à tous les jetons, bien qu'un sous-ensemble de canaux intermédiaires soit critique pour un jeton spécifique.

Les solutions existantes font face à des limitations :

Mixture-of-Experts (MoE) : Réduit le calcul en routant les jetons vers des pools d'experts spécifiques, mais introduit des pools de paramètres séparés, des exigences complexes d'équilibrage de charge et un surcoût de communication all-to-all.
Sparsité Post-hoc : Les méthodes qui dérivent des masques de sparsité à partir des activations natives des FFN arrivent souvent trop tard pour sauter les calculs de la porte (gate) dominante et de la projection ascendante (up-projection), échouant ainsi à fournir une accélération au niveau matériel.
Sparsité Contextuelle : Bien que des travaux antérieurs montrent que le calcul des LLM dépend de l'entrée, les méthodes sans entraînement peuvent être fragiles lors de tâches de génération complexes.

L'article traite du défi consistant à convertir un LLM dense pré-entraîné en un modèle à canaux épars par le biais d'un entraînement continu (upcycling) sans dégradation significative des performances, visant à créer un chemin creux orienté vers le matériel où le signal de routage est disponible avant le calcul principal du FFN.

Méthodologie

L'approche proposée, Predictor-Gated Bank-Wise Sparsity (Sparsité par banques avec prédicteur à portillon), transforme un modèle dense Qwen2.5-8B en une variante éparse via une recette d'entraînement continu spécifique.

1. Architecture : SwiGLU à Sparsité par Prédicteur à Portillon

Au lieu d'utiliser les sorties de la porte native pour déterminer la sparsité, les auteurs introduisent un prédicteur de bas rang ( $P_l$ ) qui opère sur l'état caché du jeton ( $x_{l,t}$ ) avant le calcul du FFN.

Prédicteur : Un module léger à deux couches ( $R^d \to R^{448} \to R^{d_i}$ ) qui mappe l'état caché vers les logits sur les canaux intermédiaires du FFN.
Mécanisme de Routage : Le prédicteur génère des logits qui sont utilisés pour générer un signal de routage. Cela remplace la porte SwiGLU dense standard $\sigma(u_{l,t})$ .
Règle Top-k par Banque : La dimension intermédiaire ( $d_i = 14336$ ) est partitionnée en banques fixes de taille 64. Pour chaque banque, une règle top-k stricte ( $k=16$ ) est appliquée. Cela conserve 16 canaux actifs par banque de 64 canaux, atteignant une sparsité de 4x dans la largeur d'activation intermédiaire du FFN ( $d_s = 3584$ ).
Exécution :
- Passage Avant (Forward Pass) : Un masque binaire strict est appliqué. Les canaux inactifs sont exactement nuls.
- Passage Arrière (Backward Pass) : La sélection top-k non différentiable est gérée via un gradient de substitution doux (gradient local de type sigmoïde) autour du seuil de sélection, permettant aux paramètres du prédicteur d'être mis à jour par la perte de modélisation du langage.

2. Recette d'Entraînement (Dense-vers-Sparse Continuel)

Le processus convertit un modèle dense Qwen2.5-8B entraîné sur un contexte de 8K en un modèle épars de 32K via quatre étapes distinctes :

Étape Dense 8K : Entraînement à partir de zéro en utilisant l'architecture standard Qwen2.5-8B.
Étape Dense 32K : Reprise à partir du checkpoint 8K, extension du contexte à 32K, et poursuite de l'entraînement dense pour environ 3T de jetons.
Warm-up du Prédicteur : Introduction du prédicteur de bas rang comme branche auxiliaire pour imiter le signal de la porte native. Cette branche n'affecte pas la perte principale.
FFN Dense avec Prédicteur à Portillon : Routage de la porte principale du FFN via le prédicteur (en utilisant une sigmoïde) afin que le prédicteur affecte la perte, mais sans appliquer encore la sélection top-k stricte.
FFN Sparse Top-k avec Prédicteur à Portillon : Activation de la sélection top-k par banque pour imposer la sparsité de 4x.

Note : La branche éparse est introduite tardivement dans l'étape 32K (après ~3T de jetons) pour refléter un scénario d'upcycling pratique où un modèle dense est converti en modèle épars.

3. Implications Matérielles

L'entraînement est effectué sur des GPU en tant que simulation fonctionnelle. Bien que l'implémentation GPU actuelle matérialise les projections de la porte (gate) et ascendante (up) avant le masquage (limitant l'accélération immédiate du temps réel), le principe algorithmique permet à un matériel spécialisé pour la sparsité de sauter les calculs dans les trois étapes du FFN (projections gate, up et down) pour les canaux inactifs, réduisant théoriquement la largeur intermédiaire effective de 4x.

Contributions Clés

Modèle de Sparsité de Canal par Prédicteur à Portillon : Une architecture novatrice où un prédicteur de bas rang génère des logits de routage de canal avant le calcul du FFN, combinée à une règle top-k par banque. Cela permet de sauter les canaux inactifs des projections gate, up et down, à condition d'utiliser des kernels ou un matériel spécialisés.
Recette d'Entraînement Continuel Dense-vers-Sparse : Un flux de travail pratique pour convertir un modèle dense Qwen2.5-8B (entraîné en 8K, poursuivi en 32K) en un modèle FFN épars de 4x avec une dégradation de performance limitée.
Leçons d'Entraînement et Modes d'Échec :
- Équilibrage des Canaux : L'article démontre que les biais d'équilibrage d'experts de type MoE ne se transfèrent pas proprement au routage de canaux par banque. Forcer explicitement l'équilibre des canaux (via des mises à jour en ligne) s'est avéré préjudiciable ou neutre par rapport à l'absence d'équilibrage.
- Échec de Contexte Long Local à la Couche : L'évaluation sur RULER-CWE a révélé un décrochage brutal de performance (12K–16K) dans le modèle épars, invisible dans les benchmarks de contexte court. Les auteurs ont identifié cela comme un échec local à la couche (spécifiquement dans la 7ème couche) et ont proposé un algorithme de réparation par couche unique (intervention de repli dense) qui récupère substantiellement la performance dans la plage de longueur affectée.

Résultats

Le modèle épars a été évalué par rapport à deux lignes de base : un Compagnon Dense (entièrement dense, même budget) et une ligne de base Dense-4x (sparsité 4x naïve appliquée post-hoc selon la magnitude d'activation).

Proximité de Performance : Sur un large ensemble de benchmarks (QA factuelle, Code, Raisonnement, Mathématiques, Composites), le modèle épars avec prédicteur à portillon reste systématiquement plus proche du compagnon dense que la ligne de base Dense-4x naïve.
Gains Spécifiques :
- Le modèle épars égale ou dépasse légèrement le modèle dense sur MBPP, MultiPL-E et MMLU.
- Il réduit considérablement la dégradation observée de la ligne de base Dense-4x sur Chinese SimpleQA, MBPP+, MBXP et KOR-Bench.
Performance en Contexte Long :
- Sur les benchmarks RULER (4K, 8K, 16K), le modèle épars est comparable au modèle dense.
- À 32K, le modèle épars (80.4) surpasse la ligne de base Dense-4x (73.5) et dépasse légèrement le compagnon dense (79.2).
- Analyse RULER-CWE : Le modèle épars présente un "décrochage" de rappel entre 12K et 16K. L'application de la réparation sur une seule couche (Couche 7) améliore le rappel moyen dans la plage 8.7K–12.2K de 0.856 à 0.947 et dans la plage 12.8K–16.3K de 0.583 à 0.802.

Signification et Revendications

L'article affirme que l'upcycling épars n'est pas sans perte mais constitue une voie viable pour construire des modèles épars orientés matériel à partir de checkpoints denses.

Approche Centrée sur l'Entraînement : Contra-irement à la compression post-hoc, cette méthode traite la sparsité de canal comme une partie intégrante du chemin de modélisation du langage, optimisée durant l'entraînement continu.
Alignement Matériel : En plaçant le prédicteur de routage avant le calcul du FFN et en utilisant un masque strict, la méthode s'aligne sur les exigences d'un matériel dédié à la sparsité pour obtenir une véritable accélération, plutôt qu'une simple sparsité théorique.
Valeur Diagnostique : Ce travail souligne que l'évaluation en contexte long est critique pour identifier les modes d'échec (comme le décrochage local à la couche) que les benchmarks de contexte court manquent. Il fournit également un résultat négatif concernant la transférabilité des stratégies d'équilibrage MoE aux réglages de routage de canal dans les contextes d'entraînement continu.

Les auteurs concluent que bien que le modèle épars ne soit pas un remplacement parfait du modèle dense dans tous les scénarios, il offre une recette pratique pour transformer des modèles denses en variantes éparses efficaces avec des compromis de performance gérables.