💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

Le papier propose $\infty$ -MoE, une nouvelle architecture qui généralise le mélange d'experts à un espace infini en sélectionnant des portions continues de paramètres de grands réseaux de propagation avant par jeton, permettant ainsi un entraînement efficace avec un nombre massif d'experts tout en offrant des performances comparables à des modèles denses beaucoup plus grands et en proposant un compromis précision-vitesse flexible.

Auteurs originaux : Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Publié 2026-01-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une bibliothèque massive et de haute technologie où chaque livre représente une parcelle de connaissance. Dans une bibliothèque traditionnelle (un modèle d'IA standard), vous avez quelques bibliothécaires très polyvalents et de grande envergure. Lorsque vous posez une question, chaque bibliothécaire tente d'y répondre, et leurs réponses sont fusionnées. C'est précis, mais lent et coûteux, car vous payez tous pour travailler sur chaque question.

Pour corriger cela, les chercheurs ont inventé le Mixture of Experts (MoE). Au lieu que tout le monde travaille, vous avez un « Bibliothécaire en chef » (appelé routeur) qui examine votre question et choisit juste deux bibliothécaires spécifiques pour y répondre. C'est beaucoup plus rapide et moins cher. Cependant, il y a un hic : dans cette configuration traditionnelle, vous devez décider exactement combien de bibliothécaires embaucher (par exemple 16 ou 100). Si vous en embauchez trop, le Bibliothécaire en chef se confonde sur qui choisir, et l'entraînement de tout le système devient un cauchemar. C'est comme essayer de gérer une équipe de 1 000 personnes quand vous ne pouvez parler qu'à deux à la fois ; il est difficile de garder tout le monde synchronisé.

La nouvelle idée : ∞-MoE (Infinite Mixture of Experts)

Les auteurs de ce papier, de l'Université de Tokyo, ont posé une question audacieuse : Et si nous n'avions pas un nombre fixe de bibliothécaires ? Et si nous avions un nombre infini d'entre eux ?

Ils appellent leur nouveau système ∞-MoE. Voici comment il fonctionne, en utilisant une analogie simple :

1. L'espace des experts continu

Au lieu d'avoir le Bibliothécaire n°1, le Bibliothécaire n°2 et le Bibliothécaire n°3 assis en rang, imaginez que les bibliothécaires soient répartis sur une carte infinie et continue.

Dans l'ancien système, vous deviez choisir des points spécifiques sur une carte (comme « le Bibliothécaire à la coordonnée 5 »).
Dans le nouveau système, le Bibliothécaire en chef dessine un nuage sur la carte pour chaque question que vous posez. Ce nuage représente une gamme d'experts qui pourraient être utiles.

2. L'échantillonnage plutôt que le choix

Lorsque vous posez une question, le Bibliothécaire en chef ne se contente pas de choisir deux personnes spécifiques. Au lieu de cela, il prend un « instantané » (un échantillon) de ce nuage.

Il peut choisir un point à la coordonnée 5,2.
Il peut choisir un point à la coordonnée 5,3.
Parce que la carte est continue, chaque fois que le Bibliothécaire en chef prend un instantané, il obtient un expert unique qui n'a jamais existé auparavant.

3. Le « Masque » (Allumer et éteindre les neurones)

Comment avoir des experts infinis sans construire des ordinateurs infinis ? Le secret réside dans le masque.
Considérez le cerveau de l'IA comme une gigantesque grille d'ampoules (neurones).

Dans une IA standard, toutes les ampoules sont allumées.
Dans l'ancien MoE, le routeur allume un bloc spécifique d'ampoules pour l'Expert n°1 et un autre bloc pour l'Expert n°2.
Dans l'∞-MoE, l'« échantillon » (la coordonnée sur la carte) agit comme un pochoir. Le système prend la gigantesque grille d'ampoules et utilise le pochoir pour n'allumer que les 25 % d'ampoules les plus brillantes pour cette question spécifique.
Comme le pochoir est basé sur un nombre continu, chaque question reçoit un motif légèrement différent d'ampoules allumées. C'est comme avoir un outil unique et sur mesure pour chaque phrase que vous tapez, mais vous construisez cet outil à partir de pièces que vous possédez déjà.

Pourquoi est-ce une avancée majeure ?

Les auteurs ont testé cela sur deux modèles (GPT-2 Small et Medium) et ont obtenu des résultats impressionnants :

Une meilleure performance avec un « cerveau actif » réduit :
Le modèle ∞-MoE avec 129 millions de paramètres actifs (les parties qui travaillent réellement) a performé aussi bien qu'un modèle dense standard de 350 millions de paramètres. C'est comme obtenir l'intelligence d'un cerveau géant tout en n'utilisant que l'énergie d'un petit cerveau.
La flexibilité :
Dans l'ancien MoE, si vous vouliez aller plus vite, vous deviez réentraîner tout le modèle. Avec l'∞-MoE, vous pouvez simplement changer le nombre d'« échantillons » (instantanés) que vous prenez au moment où vous posez la question.
- Besoin de vitesse ? Prenez moins d'échantillons (moins d'experts).
- Besoin d'une précision maximale ? Prenez plus d'échantillons.
- Le papier montre que vous pouvez obtenir un gain de précision de 2,5 % par rapport au MoE standard simplement en ajustant ce paramètre, sans modifier le modèle lui-même.
La stabilité :
L'un des problèmes majeurs lorsqu'on ajoute des experts aux anciens systèmes est qu'ils deviennent instables et difficiles à entraîner. Parce que l'∞-MoE traite les experts comme un espace lisse et continu plutôt que comme une liste discontinue de personnes séparées, l'entraînement reste stable même lorsque le « nombre » d'experts tend vers l'infini.

Le revers de la médaille (Limites)

Les auteurs sont honnêtes sur ce qu'ils n'ont pas encore résolu :

Le passage à l'échelle (Scaling Up) : Ils ont testé cela sur des modèles de taille moyenne. Ils ne sont pas tout à fait sûrs de la manière dont cela se comportera sur les modèles massifs utilisés par les entreprises aujourd'hui (comme l'échelle de GPT-4), bien qu'ils s'attendent à ce que cela fonctionne.
La vitesse matérielle : Bien que les mathématiques indiquent que cela devrait être rapide, le code informatique réel est complexe. Comme les « ampoules » allumées changent pour chaque mot, il est difficile pour les puces informatiques standard de les traiter toutes simultanément de manière efficace. Ils ont dû écrire un code spécial pour les faire fonctionner rapidement, et il reste de la marge de progression.

Résumé

∞-MoE est comme passer d'une équipe fixe de spécialistes à une équipe polymorphe et infinie. Au lieu d'embaucher 100 personnes spécifiques, vous avez une machine magique capable de créer instantanément un spécialiste unique et parfait pour chaque question que vous posez, en n'utilant qu'une fraction de la puissance informatique. Cela permet à l'IA d'être plus intelligente et plus flexible sans être entravée par le coût d'un cerveau massif et statique.

Résumé Technique : ∞-MoE : Généraliser le Mixture of Experts à un nombre infini d'experts

1. Énoncé du Problème

Les grands modèles de langage (LLM) ont obtenu des gains de performance significatifs grâce à l'augmentation des paramètres, des données et du calcul. Cependant, l'augmentation simple de la taille du modèle entraîne des surcoûts substantiels en termes de calcul et de mémoire. Les architectures Mixture of Experts (MoE) répondent à cela en acheminant chaque jeton vers un sous-ensemble spécialisé d'experts, augmentant ainsi la capacité de paramètres sans augmentation linéaire du coût de calcul par jeton.

Malgré ces avantages, le MoE conventionnel fait face à des limites lorsqu'on augmente le nombre d'experts :

Contraintes Discrètes : Les experts sont traités comme des entités entièrement indépendantes dans un espace discret.
Instabilité de l'Entraînement : À mesure que le nombre d'experts augmente, l'entraînement efficace de chaque expert devient difficile.
Surcoût du Routeur : Augmenter agressivement le pool d'experts (par exemple, jusqu'à des millions) peut entraîner une croissance du surcoût du routeur ou des experts sur-compressés qui dégradent la précision.

La question centrale posée est de savoir si les performances peuvent être améliorées en allant au-delà d'un ensemble fini d'experts pour passer à un nombre potentiellement infini d'experts, tout en maintenant l'efficacité computationnelle.

2. Méthodologie : ∞-MoE

Les auteurs proposent ∞-MoE, un cadre qui généralise le MoE d'un ensemble discret d'experts à un espace d'experts continu, potentiellement infiniment dénombrable.

2.1 Espace d'Experts Continu

Contrairement au MoE standard, où un routeur sélectionne un indice discret $i$ issu d'un ensemble $Z = \{1, \dots, n\}$ , ∞-MoE définit l'espace des experts comme un domaine continu $Z \subseteq \mathbb{R}^{d_z}$ .

Routeur : Le routeur produit une densité de probabilité $p(z|x)$ sur l'espace continu, modélisée comme une distribution gaussienne $\mathcal{N}(z | \mu(x), \Sigma(x))$ .
Échantillonnage : Pendant l'entraînement et l'inférence, le modèle échantillonne $K$ indices d'experts continus $z^{(k)} \sim p(z|x)$ .
Intégration : La sortie est approximée via un échantillonnage de Monte Carlo : $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ .

2.2 Conception des Experts via le Masquage Dynamique

Pour réaliser un nombre infini d'experts avec un budget de paramètres fixe, les auteurs modulent un seul réseau de propagation avant (FFN) en utilisant l'indice continu échantillonné $z$ .

Mécanisme : Le $z$ échantillonné est utilisé pour générer un masque qui sélectionne dynamiquement un sous-ensemble de neurones dans la couche intermédiaire du FFN.
Implémentation :
1. Calculer les valeurs intermédiaires $\hat{m} = W_z z$ .
2. Appliquer un opérateur top- $N\%$ pour ne conserver que les $N\%$ de nœuds les plus grands, en mettant les autres à zéro.
3. La sortie finale de l'expert est $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ .
Effet : Chaque $z$ distinct activé crée un sous-ensemble unique de paramètres du FFN, créant ainsi un "expert" distinct à partir d'un continuum continu tout en maintenant la caractéristique de parcimonie du MoE traditionnel.

3. Principales Contributions

Généralisation Théorique : Le papier introduit une formulation qui étend le MoE d'un pool d'experts discret à un domaine continu, permettant théoriquement un nombre illimité d'experts.
Implémentation Efficace : En combinant l'échantillonnage continu avec le masquage de neurones dynamique, la méthode atteint la capacité d'experts infinis tout en préservant l'efficacité computationnelle du routage parcimonieux (seule une petite fraction des paramètres est active par jeton).
Inférence Flexible : L'approche permet un compromis flexible entre précision et vitesse lors de l'inférence en ajustant le nombre d'échantillons $K$ .
Optimisation de Noyau Personnalisée : Les auteurs ont développé un noyau CUDA fusionné pour gérer efficacement les opérations de masquage et de réduction, atteignant une accélération de 1,25 fois par rapport aux implémentations PyTorch standards.

4. Résultats Expérimentaux

Les auteurs ont évalué ∞-MoE sur des architectures GPT-2 Small et GPT-2 Medium à travers diverses tâches de référence NLP zero-shot (BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE).

Performance vs Modèles Denses : Un ∞-MoE basé sur GPT-2 Small (129M actifs, 186M de paramètres totaux) a obtenu un score moyen de 39,8, surpassant le GPT-2 Medium dense (350M de paramètres) qui a obtenu 39,8 (égalité sur la moyenne, mais ∞-MoE utilise moins de paramètres actifs). Plus précisément, ∞-MoE a surpassé le GPT-2 Small dense (38,5) et les variantes MoE standard.
Performance vs MoE Standard : ∞-MoE a systématiquement surpassé le Switch Transformer (Top-1) et le MoE standard (Top-2) sur tous les benchmarks. Pour GPT-2 Small, il a amélioré le score moyen de 38,8 (MoE) à 39,8.
Évolutivité avec $K$ : L'augmentation du nombre d'échantillons $K$ pendant l'inférence a généré des gains de précision supplémentaires. Même avec un échantillonnage minimal ( $K=1$ ), le modèle a maintenu une amélioration de la précision de 2,5 % par rapport au MoE standard.
Stabilité : Les mesures d'entropie de routage ont indiqué que le modèle s'est rapidement stabilisé pendant l'entraînement, avec une entropie de routage normalisée élevée ( $\approx 0,9$ ), suggérant une utilisation uniforme de l'espace des experts.
Études d'Ablation :
- Taille du Jeu de Données : La performance sur HellaSwag a évolué positivement avec la taille des données d'entraînement jusqu'à 100 milliards de jetons.
- Dimension de l'Indice : L'augmentation de la dimension de l'indice continu $z$ a amélioré les performances jusqu'à $d_z=128$ , aucun gain supplémentaire n'ayant été observé au-delà.

5. Signification et Revendications

Le papier affirme que ∞-MoE comble avec succès l'écart entre la haute capacité des modèles denses et l'efficacité du MoE parcimonieux. En traitant les experts comme un espace continu, la méthode permet une spécialisation "infinie" sans l'instabilité d'entraînement associée aux énorms pools d'experts discrets.

Les auteurs soulignent que le cadre offre un compromis vitesse-précision flexible : les utilisateurs peuvent ajuster le nombre d'experts échantillonnés ( $K$ ) lors de l'inférence pour répondre à des contraintes spécifiques de latence ou de matériel sans réentraînement.

6. Limites et Travaux Futurs

Les auteurs notent explicitement plusieurs limites et défis ouverts :

Mise à l'échelle vers de plus Grands Modèles : Le comportement de ∞-MoE sur des modèles plus grands que GPT-2 Medium (par exemple, l'échelle GPT-3) n'est pas encore pleinement compris, particulièrement concernant les compromis entre les paramètres totaux et les paramètres actifs.
Distributions du Routeur : L'implémentation actuelle utilise un routeur gaussien unimodal. Des distributions plus complexes (par exemple, des mélanges de gaussiennes) pourraient offrir une meilleure couverture mais introduiraient une variance d'entraînement et une complexité d'échantillonnage.
Généralisation de Domaine : L'applicabilité à des domaines non-NLP (par exemple, les Vision Transformers ou les modèles multimodaux) reste inexplorée.
Efficacité Matérielle : Bien que les FLOPs théoriques soient faibles, le débit pratique peut être entravé par la nature dynamique des ensembles de neurones actifs, ce qui complique le batching et l'utilisation de GEMM à formes fixes. Les auteurs notent que leur implémentation actuelle privilégie le débit via des multiplications de matrices denses masquées, mais combler l'écart entre les économies de calcul théoriques et la vitesse pratique nécessite des optimisations supplémentaires au niveau du système.