💬 NLP

OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale

OmniMoE est un cadre de co-conception système-algorithme qui atteint à la fois une grande précision et des accélérations d'inférence significatives en poussant la granularité du Mixture-of-Experts au niveau du vecteur grâce à des composants novateurs tels que le Cartesian Product Router et l'Expert-Centric Scheduling.

Auteurs originaux : Jingze Shi, Zhangyang Peng, Yizhang Zhu, Yifan Wu, Guang Liu, Yuyu Luo

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingze Shi, Zhangyang Peng, Yizhang Zhu, Yifan Wu, Guang Liu, Yuyu Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une bibliothèque massive et ultra-rapide où des millions de livres (des données) doivent être traités instantanément. Dans le monde de l'intelligence artificielle, cette bibliothèque est un « Modèle », et les livres sont les informations dont il a besoin pour comprendre.

Pendant longtemps, ces bibliothèques avaient deux manières principales de fonctionner, et les deux présentaient des problèmes majeurs :

L'approche de la « Grande Équipe » (Granularité grossière) : Imaginez que pour chaque question que vous posez, vous fassiez appel à une équipe entière de 256 bibliothécaires. Même si vous n'avez besoin que d'un seul fait spécifique, les 256 bibliothécaires commencent à travailler. C'est rapide car ils travaillent ensemble en un grand groupe, mais c'est un énorme gaspillage d'énergie car la plupart d'entre eux ne font rien de pertinent pour votre question spécifique.
L'approche du « Spécialiste Solo » (Granularité fine) : Pour économiser l'énergie, vous embauchez des millions de petits bibliothécaires hyper-spécialisés. Pour chaque question, vous n'appelez que l'unique bibliothécaire parfait qui connaît exactement ce fait. C'est incroyablement efficace en termes de ressources, mais c'est un cauchemar logistique. Courir dans la bibliothèque pour trouver des millions de petits spécialistes éparpillés est lent. Les bibliothécaires passent plus de temps à marcher vers leur bureau qu'à lire les livres.

Entrée en scène : OmniMoE, le système de bibliothécaires ultime

Le document présente OmniMoE, un nouveau système qui combine le meilleur des deux mondes. C'est comme avoir une bibliothèque qui est à la fois incroyablement précise et fulgurante. Voici comment cela fonctionne, décomposé en trois parties simples :

1. Les bibliothécaires « Atomiques » (Les petits spécialistes)

Au lieu d'embaucher des équipes entières, OmniMoE embauche des « Experts Atomiques ». Ce sont les plus petites unités de connaissance possibles — imaginez-les comme des phrases ou des faits uniques et parfaits, plutôt que des chapitres entiers.

L'innovation : Quand vous posez une question, le système ne se contente pas de choisir un bibliothécaire ; il assemble dynamiquement une équipe de spécialistes sur mesure, juste pour cette question spécifique. C'est comme construire une pièce de puzzle personnalisée pour chaque mot que vous tapez.

2. La carte du « Produit Cartésien » (Le système d'adressage intelligent)

Le problème avec le fait d'avoir des millions de petits spécialistes est le suivant : Comment les trouver rapidement ? Si vous devez consulter une liste de 10 millions de noms, cela prend trop de temps.

La solution : OmniMoE utilise un « Routeur de Produit Cartésien ». Imaginez que la bibliothèque ne soit pas une immense liste de noms, mais une immense grille (comme un tableur avec des lignes et des colonnes).
Comment cela aide : Au lieu de chercher un nom spécifique dans une liste de millions de noms, le système trouve simplement la « Ligne » et la « Colonne » où se trouve le bibliothécaire. C'est comme dire : « Allez à la Ligne 5, Colonne 3 », au lieu de chercher « Le Bibliothécaire Bob ». Cela transforme une recherche massive et lente en un calcul minuscule et instantané.

3. L'emploi du temps « Centré sur l'Expert » (Le régulateur de trafic)

Même avec une carte intelligente, si vous envoyez un bus pour récupérer 1 000 spécialistes dispersés un par un, le bus va se retrouver coincé dans les embouteillages (ce qu'on appelle un « goulot d'étranglement de la mémoire »). Le bus passe tout son temps à s'arrêter et à repartir.

La solution : OmniMoğuMoE change l'ordre des opérations. Au lieu de prendre les spécialistes pour chaque question l'un après l'autre, il regroupe les spécialistes d'abord.
La métaphore : Imaginez que le chauffeur du bus dise : « D'accord, tous ceux qui vont dans la section "Sciences", montez dans le bus d'abord. Ensuite, nous prendrons la section "Histoire" ». Le bus charge tout un groupe de spécialistes à la fois, les emmène vers la zone de travail, et ils travaillent tous ensemble en un bloc efficace. Cela transforme un embouteillage chaotique et saccadé en une autoroute fluide et à grande vitesse.

Le résultat : Rapide, peu coûteux et intelligent

Le document a testé ce système par rapport aux meilleures méthodes actuelles :

Vitesse : Il est 10,9 fois plus rapide que le précédent meilleur système de « petits spécialistes ». Il est passé de 73 millisecondes à seulement 6,7 millisecondes.
Intelligence : Il est également plus précis. En conservant un « MLP Dense Partagé » (un cerveau à usage général qui gère le bon sens et la grammaire) aux côtés des petits spécialistes (qui gèrent les faits rares et spécifiques), il ne perd pas sa capacité de raisonnement.
Efficacité : Il utilise bien mieux la mémoire de l'ordinateur, évitant les « embouteillages » qui ralentissent habituellement ces systèmes.

En résumé
OmnoMoE est une astuce ingénieuse qui permet aux modèles d'IA d'utiliser des millions de petits experts hyper-spécifiques sans ralentir. Il y parvient en organisant les experts sous forme de grille (pour les trouver vite) et en regroupant leur travail comme un emploi du temps de bus (pour les déplacer vite). Le résultat est une IA qui est à la fois incroyablement instruite sur les détails spécifiques et assez rapide pour être pratique.

Résumé Technique : OmniMoE

1. Énoncé du Problème

Les architectures de type Mixture-of-Experts (MoE) sont devenues un standard pour le passage à l'échelle des modèles de langage en découplant la capacité du modèle de la puissance de calcul par jeton (token). Cependant, les conceptions existantes font face à un compromis fondamental entre la granularité des experts et l'efficacité d'exécution matérielle :

MoEs à granularité grossière (Coarse-Grained) : (ex. DeepSeek-V3, KIMI-K2) utilisent de larges blocs de réseaux Feed-Forward (FFN) denses comme experts. Bien qu'ils bénéficient de multiplications de matrices denses adaptées au matériel et d'un accès mémoire contigu, ils souffrent d'une activation imprécise. L'activation d'un large bloc d'experts implique souvent le calcul de paramètres non pertinents pour le jeton spécifique, ce qui entraîne un gaspillage de calcul et des contraintes de mise à l'échelle rigides.
MoEs à granularité fine (Fine-Grained) : (ex. PEER, PKM) utilisent des millions d'experts légers (par exemple, des vecteurs statiques) pour maximiser l'efficacité des paramètres et la précision du routage. Cependant, le passage à l'échelle de ces modèles vers des magnitudes massives introduit de graves goulots d'étranglement systémiques :
1. Expressivité limitée : Réduire les experts à des vecteurs statiques supprime les transformations non linéaires dépendantes du jeton (comme les projections MLP) essentielles aux dépendances linguistiques complexes.
2. Surcharge de routage : Le routage vers des millions d'experts induit des coûts de calcul et de mémoire prohibitifs ( $O(N)$ ).
3. Inefficacité matérielle : Le routage fin déclenche des accès mémoire dispersés et non contigus, déplaçant le goulot d'étranglement de l'exécution du calcul vers la bande passante mémoire (limitation par la mémoire/memory-bound), ce qui entraîne une faible utilisation des GPU et une latence élevée.

Le défi central est de savoir s'il est possible de réconcilier l'efficacité des paramètres des modèles à granularité fine avec l'efficacité matérielle des architectures à granularité grossière.

2. Méthodologie : OmniMoE

OmniMoE est un cadre de co-conception système-algorithme qui pousse la granularité des experts à son extrême logique tout en maintenant l'efficacité matérielle. Il emploie une architecture hybride combinant un MLP dense partagé avec un pool massif d'« Experts Atomiques » routés.

2.1 Composants Architecturaux Clés

Experts Atomiques : L'unité de calcul fondamentale est l'« Expert Atomique », défini comme une unité routable minimale paramétrée par une paire de vecteurs ( $w_{in}, w_{out}$ ). Un expert atomique effectue une transformation non linéaire légère : $E_i(x) = \sigma(x w_{in}^T) w_{out}$ .
Assemblage Dynamique d'Experts (DEA - Dynamic Expert Assembly) : Au lieu de stocker des millions d'experts indépendants, OmniMoE consolide tous les $N$ experts atomiques en deux matrices de paramètres globales ( $W, V$ ). Pour chaque jeton, le système récupère dynamiquement un sous-ensemble épars de lignes de ces matrices et les assemble en un bloc de calcul fusionné et spécifique au jeton. Cela permet une efficacité extrême des paramètres tout en conservant une haute expressivité grâce à la composition dynamique.
MLP Dense Partagé : Une branche MLP dense standard est universellement activée pour toutes les entrées afin de gérer le raisonnement sémantique général et de fournir une structure stable, complétant la branche routée qui se spécialise dans la récupération de connaissances de la longue traîne.

2.2 Innovations Algorithmiques

Pour gérer l'échelle de millions d'experts atomiques, OmniMoE introduit deux mécanismes algorithmiques clés :

Routeur Produit Cartésien (Cartesian Product Router) :
- Problème : Le routage standard vers $N$ experts nécessite une matrice de projection de taille $d \times N$ , entraînant une complexité de $O(Nd)$.
- Solution : Le routeur décompose l'espace d'index des experts 1D en une grille 2D ( $N_r \times N_c$ ). Il prédit deux distributions de faible dimension indépendantes (logits de ligne et de colonne) et les combine pour scorer les experts.
- Impact : Cette factorisation réduit la complexité du routage et le stockage des paramètres de $O(Nd) $à$ O(\sqrt{N}d)$, rendant le routage à grande échelle pratique.
Ordonnancement Centré sur l'Expert (Expert-Centric Scheduling) :
- Problème : L'exécution standard « centrée sur le jeton » récupère les paramètres pour chaque jeton indépendamment, provoquant des entrées/sorties (I/O) mémoire éparses et empêchant la vectorisation.
- Solution : Le paradigme d'exécution est inversé pour devenir « centré sur l'expert ».
  - Collecte de Tâches : Toutes les décisions de routage pour un batch sont aplaties en une liste de tâches.
  - Groupement et Tri : Les tâches sont regroupées par plages contigues d'identifiants d'experts et triées par identifiant de jeton au sein de chaque groupe.
  - GEMM Groupé (Grouped GEMM) : Ce réorganisation permet au système de charger un bloc de poids d'experts une seule fois et de les réutiliser sur un batch de jetons, convertissant les recherches mémoire éparses en opérations GEMM groupées contiguës à haut débit.
- Impact : Cela transforme l'exécution d'un mode limité par la mémoire vers un mode limité par le calcul, maximisant l'utilisation des Tensor Cores et la bande passante mémoire.

3. Contributions Clés

Formulation d'Expert Atomique : Une nouvelle unité routable minimale qui permet de passer à l'échelle vers des millions d'experts tout en maintenant l'expressivité non linéaire via l'assemblage dynamique.
Routeur Produit Cartésien : Un mécanisme de routage qui réduit la complexité de linéaire à racine carrée par rapport au nombre d'experts, résolvant le goulot d'étranglement de l'indexation pour les pools d'experts massifs.
Ordonnancement Centré sur l'Expert : Une stratégie d'ordonnancement au niveau système qui réorganise le calcul pour éliminer les goulots d'étranglement de la bande passante mémoire, permettant aux MoEs à granularité fine d'atteindre une efficacité matérielle comparable aux conceptions à granularité grossière.
Co-conception Système-Algorithme : Un cadre holistique qui intègre ces composants pour atteindre à la fois une haute expressivité du modèle et une efficacité matérielle à grande échelle.

4. Résultats Expérimentaux

OmniMoE a été évalué sur sept benchmarks de bon sens et cinq benchmarks étendus de raisonnement/codage, ainsi que sur des tests d'efficacité approfondis.

Précision : Le modèle OmniMoE de 6,4 milliards de paramètres totaux / 1,7 milliard de paramètres actifs a atteint une précision moyenne zero-shot de 50,9 % sur sept benchmarks de bon sens. Il surpasse les baselines à granularité grossière (ex. DeepSeekMoE) de +0,7 et les baselines à granularité fine (ex. PEER) de +2,0.
Raisonnement et Débit : Sur les benchmarks étendus (GSM8K, MATH, etc.), OmniMoE a obtenu un score moyen de 42,5, surpassant de manière significative PEER (+15,5) et DeepSeekMoE (+2,0). En termes de débit, OmniMoE a atteint environ 14,2k jetons/seconde, comparable aux baselines denses et nettement plus rapide que PEER (~~11,6k) et PKM (~~7,9k).
Efficacité : OmniMoE a démontré une accélération de 10,9× de la latence d'inférence par rapport à PEER (réduisant la latence de 73ms à 6,7ms) tout en maintenant une empreinte mémoire comparable aux MoEs à granularité grossière.
Lois d'Échelle (Scaling Laws) : Sous des budgets de FLOPs d'entraînement et de paramètres activés équivalents, OmniMoE a systématiquement obtenu la perplexité la plus basse parmi toutes les baselines, indiquant une efficacité supérieure du calcul et des paramètres.

5. Signification et Revendications

L'article affirme que OmniMoE démontre que les MoEs à granularité fine à grande échelle peuvent être à la fois précis et hautement efficaces, à condition qu'ils soient soutenus par une co-conception système-algorithme holistique.

Réconciliation des Compromis : Il comble avec succès l'écart entre l'efficacité des paramètres des modèles à granularité fine et l'efficacité matérielle des modèles à granularité grossière.
Spécialisation Fonctionnelle : Les études d'ablation et l'analyse de la dominance des branches révèlent une division claire du travail : le MLP Dense Partagé gère les motifs linguistiques généraux et les connecteurs de raisonnement, tandis que les Experts Atomiques Routés se spécialisent dans les entités factuelles et la connaissance de la longue traîne.
Impact Systémique : Le travail souligne que la complexité du routage et les modèles d'accès mémoire sont les principaux goulots d'étranglement pour les MoEs à granularité fine, et que les innovations algorithmiques (Routeur Produit Cartésien) combinées aux optimisations au niveau système (Ordonnancement Centré sur l'Expert) sont nécessaires pour libérer le potentiel des pools d'experts à l'échelle du million.

Les auteurs notent que l'implémentation actuelle repose sur des kernels Triton personnalisés pour les GPU NVIDIA et que le passage à l'échelle au-delà de 6,4 milliards de paramètres totaux reste un domaine à valider ultérieurement.