💬 NLP

Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

Ce papier démontre que les modèles de langage à mélange d'experts (MoE) peuvent surpasser leurs homologues denses dans des conditions de ressources strictement égales (nombre total de paramètres, puissance de calcul et données) en identifiant un taux d'activation optimal qui reste constant quelle que soit la taille du modèle, une conclusion validée par des expériences extensives ayant entraîné près de 250 modèles et traité 50 billions de tokens.

Auteurs originaux : Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

Publié 2026-05-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une gigantesque bibliothèque de connaissances. Vous disposez d'un budget strict : vous ne pouvez acheter qu'un nombre précis de livres (paramètres), vous ne pouvez passer qu'une durée déterminée à les lire (calcul), et vous n'avez accès qu'à un nombre spécifique d'histoires uniques à lire (données).

Pendant longtemps, la méthode standard pour construire cette bibliothèque consistait à engager un seul bibliothécaire massif et surdoué qui lisait chaque livre unique de la bibliothèque pour chaque question posée. C'est ce que l'article appelle un Modèle Dense. C'est fiable, mais lent et coûteux car ce seul bibliothécaire doit effectuer tout le travail lourd.

Récemment, une nouvelle idée appelée Mélange d'Experts (MoE) est devenue populaire. Au lieu d'un seul bibliothécaire géant, vous engagez une équipe de 100 experts spécialisés. Lorsqu'une question arrive, un « gestionnaire » (la porte) choisit rapidement quelques-uns des meilleurs experts pour y répondre, tandis que les autres prennent une pause café. C'est plus rapide et cela vous permet d'avoir une bibliothèque beaucoup plus grande (plus de livres au total) sans ralentir la vitesse de lecture.

La Grande Question
L'article pose une question très spécifique et épineuse : Si nous donnons au « Un Seul Bibliothécaire Géant » et à l'« Équipe d'Experts » exactement le même budget pour les livres, le temps et les histoires uniques, l'Équipe d'Experts peut-elle réellement gagner ?

Les études précédentes trichaient souvent en donnant à l'Équipe d'Experts plus de livres ou plus de temps. Cet article voulait voir si l'Équipe pouvait gagner lorsque les règles étaient strictement égales.

L'Expérience : Trouver le Point Idéal
Les chercheurs n'ont pas simplement jeté de l'argent sur le problème ; ils ont agi comme des architectes maîtres. Ils ont construit près de 200 versions différentes de ces bibliothèques pour trouver la conception parfaite.

L'Architecture : Ils ont déterminé la meilleure façon d'arranger les experts. Ils ont découvert qu'avoir une couche « généraliste » (comme une couche dense standard) au début, suivie des couches d'experts, fonctionnait le mieux.
Le Taux d'Activation (Le Ratio « Pause Café ») : C'est la découverte la plus importante. Dans une équipe MoE, le « taux d'activation » est le pourcentage d'experts qui se réveillent réellement pour travailler sur un problème.
- Si vous réveillez trop peu d'experts (un taux trop bas), l'équipe n'a pas assez de puissance cérébrale.
- Si vous réveillez trop d'experts (un taux trop élevé), l'équipe se confond et perd son focus spécial.
- La Règle d'Or : Les chercheurs ont trouvé un « point idéal » où exactement 20 % des experts se réveillent. Peu importe que la bibliothèque soit petite (2 milliards de livres) ou de taille moyenne (7 milliards de livres), cette règle des 20 % a toujours produit les meilleurs résultats.

Le Problème des Données : Réutiliser les Histoires
Il y avait un piège. Parce que l'Équipe d'Experts est si efficace, elle avait besoin de lire plus d'histoires pour apprendre aussi bien que le Bibliothécaire Géant. Si vous lui donniez les mêmes histoires uniques que le Bibliothécaire Géant, elle serait en retard.

Pour résoudre cela, les chercheurs ont essayé une stratégie appelée Réutilisation des Données. Imaginez que le Bibliothécaire Géant lit une histoire une fois. L'Équipe d'Experts lit la même histoire, mais ils la lisent deux ou trois fois (réutilisant les données).

Le Résultat : Même lorsque l'Équipe d'Experts était forcée de lire les mêmes histoires uniques que le Bibliothécaire Géant (en les relisant), elle a réussi à surpasser le Bibliothécaire Géant, à condition qu'elle respecte ce taux d'activation de 20 %.

La Conclusion
L'article conclut que oui, l'Équipe d'Experts peut battre le Bibliothécaire Géant même lorsqu'ils disposent exactement des mêmes ressources totales (livres, temps et histoires uniques).

Cependant, cela ne fonctionne que si vous :

Concevez la disposition de l'équipe parfaitement.
Maintenez le taux de « réveil » des experts à ce 20 % magique.
Permettez à l'équipe de relire les mêmes histoires quelques fois supplémentaires pour combler le fossé d'efficacité.

En bref, l'article prouve que, avec la bonne conception et un peu de « relecture », une équipe spécialisée d'experts est un moyen plus puissant de construire des systèmes intelligents qu'un seul travailleur massif, même lorsque le budget est identique.

Résumé technique : Les modèles à mélange d'experts peuvent surpasser les LLM denses sous des contraintes de ressources strictement égales

Énoncé du problème
Bien que les modèles de langage à mélange d'experts (MoE) soient largement reconnus pour augmenter la capacité des modèles sans accroître le calcul par token, une question critique demeure sans réponse : les architectures MoE peuvent-elles surpasser les architectures denses lorsque les contraintes sont strictement limitées à un nombre total de paramètres identique ( $N$ ), un calcul total d'entraînement identique ( $C$ ) et un budget de données total identique ( $D$ ) ? Les comparaisons précédentes favorisaient souvent les MoE en assouplissant ces contraintes (par exemple, en permettant aux MoE d'utiliser plus de données ou en comparant des modèles avec des nombres de paramètres très différents). Cet article comble le manque de compréhension quant à savoir si les avantages architecturaux seuls, sous une parité stricte des ressources, peuvent générer des performances supérieures.

Méthodologie
Les auteurs proposent une perspective nouvelle et une méthodologie expérimentale rigoureuse en trois étapes pour assurer une comparaison équitable sous des contraintes fixes de $N$ , $C$ et $D$ :

Recherche d'architecture optimisée : Avant de comparer les taux d'activation, les auteurs optimisent systématiquement le socle MoE. Ils étudient les arrangements de couches (MoE complet, entrelacé, ou 1-dense + MoE), la normalisation des scores de porte, l'allocation des paramètres (paramètres Top- $K$ ) et les hyperparamètres structurels (rapport d'aspect du modèle $\zeta$ et ratios d'expansion FFN). Ils identifient une configuration « 1dense + Expert Partagé » avec des ratios structurels spécifiques ( $\zeta \approx 88$ , $\mu \approx 22$ ) comme étant le socle optimal.
Analyse du taux d'activation (AR) sous $N$ et $C$ fixes : En utilisant le socle optimisé, les auteurs entraînent des modèles MoE avec des taux d'activation variables ( $r_a$ , le ratio de paramètres activés sur le nombre total de paramètres) tout en égalisant le calcul total d'entraînement d'une base dense. Pour maintenir une égalité de $C$ , les modèles MoE (qui ont un calcul par token plus faible) sont entraînés sur proportionnellement plus de tokens initialement.
Stratégie de réutilisation des données : Pour égaliser strictement le budget de données uniques ( $D$ ), les auteurs introduisent une stratégie de réutilisation des données. Ils entraînent les modèles sur un ensemble de données uniques fixe et plus petit $\hat{D}$ pendant plusieurs époques. Ils comparent une réutilisation « stricte » (correspondant exactement à $N, C, D$ ) et une réutilisation « lâche » (fixant les époques à 2) par rapport à des bases denses entraînées sur des données uniques.

Résultats clés
L'étude a impliqué l'entraînement de près de 200 modèles à l'échelle de 2 milliards de paramètres et de plus de 50 à l'échelle de 7 milliards, traitant cumulativement 50 billions de tokens.

Existence d'un taux d'activation optimal : Les expériences révèlent une région stable de « taux d'activation optimal » ( $R^*_a$ ) où les modèles MoE surpassent systématiquement leurs homologues denses. Ce taux optimal est d'environ 20 % ( $r_a \approx 0,2$ ).
Supériorité des performances : Sous des contraintes fixes de $N$ et $C$ , les modèles MoE avec $r_a \approx 20 \%$ atteignent une perte plus faible (meilleures performances) que les modèles denses. Plus précisément, un modèle MoE de 2 milliards de paramètres avec un AR optimal surpasse un modèle dense entraîné avec le même calcul, s'approchant des performances d'un modèle dense entraîné avec le double du calcul.
Cohérence à travers les échelles : Le taux d'activation optimal d'environ 20 % reste cohérent à travers différentes tailles de modèles (2B, 3B et 7B), suggérant que cette découverte est indépendante de l'échelle dans la plage testée. Cela contraste avec certains travaux antérieurs suggérant que la sparsité optimale évolue avec la taille du modèle.
Efficacité de la réutilisation des données : La stratégie de réutilisation des données compense avec succès les besoins supplémentaires en données des modèles MoE. Bien que la réutilisation des données entraîne une légère réduction des performances par rapport à l'entraînement sur des données uniques, les modèles MoE avec un AR optimal surpassent toujours les bases denses, même sous des contraintes de données strictes.
Généralisation en aval : La supériorité des modèles MoE avec $r_a \approx 20 \%$ se généralise aux tâches en aval (SFT) à travers les benchmarks de raisonnement, de connaissances, de mathématiques et de code. Notamment, la réutilisation des données a un impact négatif minimal sur les tâches de raisonnement mais dégrade les performances en connaissances ; cependant, à l'AR optimal, les MoE SFT avec des données réutilisées surpassent toujours les modèles denses entraînés sur des données uniques.

Signification et revendications
L'article revendique fournir la première preuve définitive que les architectures MoE peuvent surpasser les LLM denses sous des contraintes de ressources strictement égales ( $N, C, D$ ), à condition que l'architecture soit optimisée et que le taux d'activation se situe dans la région optimale identifiée.

Avantage architectural : Les gains de performance sont attribués exclusivement aux avantages architecturaux plutôt qu'aux disparités dans le nombre de paramètres ou le budget de calcul.
Efficacité des ressources : Les découvertes remettent en cause la sagesse conventionnelle selon laquelle les modèles denses sont supérieurs lorsque les ressources sont fixes, ouvrant la voie à des architectures plus économes en ressources pour les systèmes NLP de nouvelle génération.
Stratégie pratique : L'introduction d'une stratégie de réutilisation des données démontre que la demande accrue en données des modèles MoE peut être atténuée, rendant la performance supérieure réalisable sans nécessiter des budgets de données uniques significativement plus grands que ceux des modèles denses.

Les auteurs reconnaissent des limitations, notamment la contrainte de ne pas entraîner de modèles plus grands que 7 milliards de paramètres en raison des coûts de calcul et le focus sur des composants MoE spécifiques tout en en fixant d'autres. Ils suggèrent que des travaux futurs pourraient explorer comment les taux d'activation optimaux améliorent les capacités dans d'autres paradigmes d'entraînement comme le recyclage (upcycling) et la transformation en MoE (MoEfication).

Articles similaires