💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

Cet article introduit l'Expert Tying, une méthode qui partage les paramètres d'experts entre des couches transformer consécutives dans les modèles Mixture-of-Experts afin de réduire de près de moitié les besoins en mémoire avec un impact négligeable sur la performance, améliorant ainsi considérablement le compromis calcul-mémoire pour l'entraînement et la mise à l'échelle des grands modèles de langage.

Auteurs originaux : Martin Jaggi

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Martin Jaggi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « bibliothèque géante » vs le « petit lecteur »

Imaginez que vous construisez un robot bibliothécaire géant et super intelligent (un grand modèle de langage ou LLM) pour aider les gens à écrire des histoires ou à résoudre des problèmes.

Pour rendre ce bibliothécaire incroyablement intelligent, vous lui donnez accès à une bibliothèque massive contenant des milliards de livres (ce sont les « paramètres » ou les « experts »). Cependant, pour que le bibliothécaire reste rapide et efficace, vous décidez que pour chaque phrase qu'il lit, il n'ouvrira qu'un ou deux livres spécifiques pour trouver la réponse. C'est ce qu'on appelle un modèle de « Mélange d'Experts » (Mixture-of-Experts ou MoE).

Le piège : Même si le bibliothécaire ne lit qu'une infime fraction des livres à un instant donné, vous devez quand même garder toute la bibliothèque physiquement présente dans la pièce (dans la mémoire de l'ordinateur). Si la bibliothèque contient 1 000 livres mais que le bibliothécaire n'en ouvre que 10 à la fois, vous avez toujours besoin d'une pièce assez grande pour contenir les 1 000 livres. Cela rend le système très coûteux et lent car la « pièce » (la mémoire) est immense, même si la « lecture » (le calcul) est petite.

La solution : « Tying the Loop » (Nouer la boucle)

Les auteurs proposent une astuce ingénieuse appelée Expert Tying (Liaison d'experts).

Imaginez que le bibliothécaire travaille dans un long couloir avec 32 pièces (couches/layers). Dans une configuration standard, chaque pièce possède son propre ensemble unique de 1 000 livres.

Ancienne méthode : La pièce 1 a les livres A à Z. La pièce 2 a les livres A à Z (mais une copie différente). La pièce 3 a les livres A à Z (une autre copie). Vous avez besoin de 32 ensembles de livres.
Nouvelle méthode (Expert Tying) : Vous réalisez que les livres de la pièce 1, de la pièce 2 et de la pièce 3 font en réalité un travail très similaire. Vous allez donc les lier ensemble. Vous placez un seul ensemble de livres sur un chariot roulant qui passe de la pièce 1 à la pièce 2, puis à la pièce 3. Le bibliothécaire utilise les mêmes livres physiques dans les trois pièces.

Le résultat : Vous n'avez plus besoin de 32 ensembles de livres ; vous n'avez besoin que d'un seul ensemble pour toutes les 3 pièces. Cela réduit la taille de la « bibliothèque » (la mémoire) de près de moitié, mais le bibliothécaire lit toujours aussi vite car il n'ouvre toujours qu'un seul livre à la fois.

La recette secrète : Ce qu'il faut lier et ce qu'il faut garder séparé

Les chercheurs n'ont pas simplement tout lié aveuglément. Ils ont mené des expériences pour déterminer exactement ce qui pouvait être partagé sans rendre le bibliothécaire stupide.

Considérez une pièce de la bibliothèque comme ayant quatre parties :

Les Livres (Experts) : Le savoir réel.
Les Lunettes du Bibliothécaire (Attention) : Sa façon de regarder les mots.
La Fiche Index (Routeur) : Quel livre choisir.
Le Bureau (Normalisation) : Sa façon d'organiser ses notes.

La découverte :

Partager les livres, c'est possible : Vous pouvez partager les mêmes livres à travers plusieurs pièces. Le bibliothécaire peut toujours faire un excellent travail parce que les Lunettes (Attention) sont différentes dans chaque pièce. Les lunettes changent la façon dont le bibliothécaire regarde les mots, ce qui rend chaque pièce unique même si les livres sont les mêmes.
Ne pas partager les lunettes : Si vous partagez aussi les lunettes, le bibliothécaire s'embrouille et la qualité chute.
La règle du « Prélude et du Coda » : La toute première pièce (où le bibliothécaire prend le livre) et la toute dernière pièce (où il écrit la réponse) ont besoin de leurs propres livres uniques. Si vous forcez le bibliothécaire à utiliser le chariot partagé pour le début et la fin, la qualité en pâtit. Ainsi, gardez les deux premières et les deux dernières pièces uniques, et liez les pièces du milieu.

Les résultats : Plus rapide, plus petit et tout aussi intelligent

L'article a testé cette méthode sur trois modèles d'IA célèbres (OLMoE, Qwen3 et DeepSeek). Voici ce qui s'est passé :

Économies de mémoire : En liant les experts par groupes de 4, ils ont réduit la mémoire totale nécessaire de 40 % à 50 %. C'est comme réduire la taille de la bibliothèque de moitié.
Pas de perte d'intelligence : La « l'intelligence » (perplexité et précision) a très peu chuté. C'était presque aussi bon que le modèle original, qui est beaucoup plus gros.
Gain de vitesse : Comme l'ordinateur n'avait pas besoin de charger autant de livres en mémoire, le processus d'entraînement a été 23 % plus rapide.
L'astuce du « Réinvestissement » : Puisqu'ils ont économisé tellement d'espace en partageant les livres, ils ont utilisé cet espace économisé pour ajouter plus de livres sur le chariot partagé. Cela a créé un modèle qui est en fait meilleur que l'original, même s'il utilise la même quantité totale de mémoire.

Analogie de synthèse

Imaginez une équipe de construction construisant un gratte-ciel.

Ancienne méthode : Chaque étage possède sa propre boîte à outils complète et unique. Le camion transportant toutes les boîtes à outils est énorme et coûteux.
Nouvelle méthode (Tying the Loop) : Les étages 3 à 28 partagent tous la même boîte à outils qui est montée par l'ascenseur. Les étages 1, 2, 29 et 30 gardent leurs propres boîtes à outils spéciales.
Résultat : Le camion est maintenant deux fois plus petit (gain d'argent et d'espace), l'équipe se déplace plus vite car elle ne transporte pas de poids supplémentaire, et le bâtiment est tout aussi solide. En fait, parce qu'ils ont économisé de l'argent sur le camion, ils ont acheté de meilleurs outils pour la boîte à outils partagée, rendant le bâtiment encore plus solide.

L'essentiel : Vous pouvez rendre les modèles d'IA beaucoup plus petits et rapides en réutilisant le même « savoir » à travers plusieurs couches du modèle, tant que vous gardez les « lunettes » (attention) uniques pour chaque couche et que vous laissez les toutes premières et toutes dernières couches intactes.

Résumé Technique : Tying the Loop - Couplage des Couches d'Experts dans les Modèles de Langage à Mélange d'Experts

Énoncé du Problème

Les architectures de Mélange d'Experts (MoE) sont devenues la norme pour le passage à l'échelle des modèles de langage de grande taille (LLM) en découplant le nombre total de paramètres du calcul par jeton. En n'activant qu'un sous-ensemble restreint de réseaux de neurones à propagation avant (FFN) d'experts par jeton, les modèles MoE atteignent une haute capacité avec une efficacité d'inférence. Cependant, un goulot d'étranglement critique subsiste : l'empreinte mémoire. Même si seule une fraction des paramètres est active lors d'une passe avant donnée, l'ensemble complet des paramètres (dominé par les poids des experts) doit résider en mémoire pendant l'entraînement et l'inférence.

Cela crée une tension avec la tendance émergente de l'« efficacité paramétrique » dans les modèles de raisonnement et de profondeur bouclée, qui visent à extraire plus de calcul de chaque paramètre unique. Les architectures MoE standard sont considérées comme inefficaces à cet égard car elles gonflent la mémoire avec des paramètres qui restent inactifs lors de toute passe donnée. L'article cherche à réconcilier le faible calcul par jeton du MoE avec l'objectif d'une plus grande efficacité de calcul par paramètre unique sans sacrifier la qualité du modèle.

Méthodologie : Couplage d'Experts (Expert Tying)

Les auteurs proposent le Couplage d'Experts, une modification architecturale qui partage les paramètres des FFN d'experts entre un groupe de couches transformatrices consécutives tout en préservant les composants spécifiques à chaque couche.

Mécanisme Central

Partage de Paramètres : Pour un groupe de $g$ couches consécutives, les poids de projection du gate (porte), de l'up (montée) et du down (descente) des $N$ experts sont aliasés (partagés). Cela réduit les paramètres FFN uniques d'un facteur $g$ .
Indépendance Préservée : Crucialement, le routeur (réseau de routage), les projections de l'auto-attention (Q, K, V, O) et les couches de normalisation restent indépendants pour chaque couche.
Implémentation : La méthode est implémentée comme une simple assignation de pointeur dans le code du modèle (par exemple, Hugging Face Transformers). Elle ne nécessite aucun changement dans l'infrastructure d'entraînement ou d'inférence, si ce n'est de s'assurer que l'optimiseur accumule correctement les gradients provenant des multiples sites d'utilisation des paramètres couplés.
Mise à l'échelle du Taux d'Apprentissage : Pour gérer l'accumulation de gradients de $g$ couches, le taux d'apprentissage pour les poids d'experts couplés est mis à l'échelle par $1/\sqrt{g}$ .

Rationnel de Conception

Les auteurs émettent l'hypothologie que le pool d'experts FFN peut être partagé entre des couches proches car l'attention par couche garantit que l'opérateur effectif de chaque couche reste distinct. Même avec des poids d'experts identiques, le fait d'être attentif à des mélanges différents de positions de jetons produit des transformations différentes à chaque profondeur.

Contributions Clés

1. Ablation Contrôlée des Composants

Avant de passer à l'échelle sur des modèles de production, les auteurs ont mené une étude d'ablation contrôlée sur une architecture plus petite pour déterminer quels composants peuvent être couplés sans dégrader la qualité.

Résultat : L'attention par couche est le principal moteur de la distinction entre les couches. Le fait de ne pas coupler l'attention (la garder indépendante) améliore la perte de manière plus significative que le non-couplage du routeur.
Impact du Routeur : Bien que le non-couplage du routeur augmente la diversité du routage (l'accord inter-boucle chute), il a un impact négligeable sur la perte finale si l'attention est couplée.
Conclusion : La stratégie optimale consiste à coupler les poids des experts, garder l'attention par couche, et traiter le routeur comme couplé ou non-couplé avec une différence de coût minimale.
Prélude/Coda : Les premières et dernières couches de la pile (entrée d'embedding et sortie de la tête LM) doivent rester non couplées. Un prélude et une coda « 2+2 » non couplés offrent le plus grand gain architectural par rapport aux conceptions entièrement récurrentes.

2. Passage à l'Échelle vers des Architectures de Production

La méthode a été appliquée à trois architectures MoE de pointe : OLMoE, Qwen3-MoE et DeepSeekMoE.

Configuration : Des groupes de $g=4$ couches partagent les poids des experts, avec 2 couches non couplées au début et à la fin.
Réduction de Paramètres : Cette configuration réduit le nombre total de paramètres de 29 % à 52 % (selon l'architecture et la taille du groupe) avec une dégradation négligeable de la perplexité ou de la précision en aval.
Débit (Throughput) : La réduction des paramètres uniques conduit à une accélération du temps de calcul de l'entraînement de 23,7 % grâce à la réduction de la bande passante de chargement des poids et des mises à jour de l'état de l'optimiseur.

3. Expansion de Largeur Hétérogène

L'article introduit une utilisation novatrice des paramètres économisés : le réinvestissement de ces derniers dans les couches moyennes couplées :

Au lieu de simplement compresser le modèle, les auteurs élargissent les couches moyennes couplées (augmentant le nombre d'experts) pour correspondre au nombre total de paramètres d'origine (« iso-paramétrique »).
Résultat : Les modèles avec des couches couplées de largeur étendue surpassent systématiquement la base non couplée au même nombre de paramètres. Cela recadre le couplage d'experts non pas seulement comme une technique de compression, mais comme un axe de conception profondeur-vs-largeur.

4. Validation à Grande Échelle

Les expériences ont été étendues à un modèle de 7 milliards de paramètres (OLMoE-1B-7B).

Le modèle couplé à $g=4$ a atteint une perte et une précision en aval équivalentes à la base non couplée, tout en utilisant moins de la moitié des paramètres totaux (3,50B contre 7,12B).
La variante à largeur étendue a encore amélioré les performances, surpassant le checkpoint officiel d'OLMoE-1B-7B entraîné sur deux fois plus de tokens, malgré la moitié de ses paramètres.

Résumé des Résultats

Efficacité Mémoire : Le couplage d'experts réduit l'empreinte mémoire de près de 2× (jusqu'à 52 % de réduction de paramètres) avec une dégradation quasi nulle de la perplexité.
Préservation de la Qualité : À $g=4$ , la pénalité de perte est minimale (ex: +0,05 à +0,07 de perte de validation), et la précision en aval chute au maximum de 1,9 %.
Gains de Performance : Le débit d'entraînement augmente de 15,7 % à 23,7 % grâce à la réduction des mouvements de données et des surcharges de l'optimiseur.
Supériorité Iso-Paramétrique : Lorsque les paramètres économisés sont réinvestis pour élargir les couches couplées, les modèles résultants surpassent les MoE standards non couplés de même taille.

Signification et Revendications

L'article affirme que le Couplage d'Experts réussit à réconcilier les tendances opposées de l'échelle MoE (faible calcul par jeton) et de l'efficacité paramétrique (haut calcul par paramètre unique). En exploitant la redondance inhérente des chemins MoE, la méthode supprime la pénalité mémoire de la parcimonie sans supprimer la parcimonie elle-même.

Les auteurs soulignent que leur contribution n'est pas simplement la configuration (qui présente des similitudes avec des travaux antérieurs comme Megrez2) mais l'étude contrôlée qui identifie quels composants peuvent être partagés. Ils démontrent que l'attention, et non le routage, est le composant critique pour maintenir la distinction entre les couches, permettant ainsi de partager le plus grand pool de paramètres (les experts) au coût de qualité le plus bas.

Ce travail positionne le couplage d'experts comme une modification « prête à l'emploi » pour les bases de code MoE existantes, faisant progresser l'entraînement et l'échelle efficace des prochains LLM, offrant un compromis calcul-mémoire extrêmement favorable. Les auteurs restent modestes quant aux limites, notant que les expériences sont actuellement limitées à 7 milliards de paramètres et que les gains d'efficacité sont des valeurs inférieures dues à l'absence de noyaux (kernels) spécialisés pour les couches couplées.