Imaginez le cerveau d'un ordinateur super-intelligent comme une immense et trépidante bibliothèque. Dans les temps anciens, pour répondre à une seule question, l'ordinateur envoyait un bibliothécaire lire chaque livre sur les étagères, un par un, juste pour être sûr. C'était lent et gaspillait beaucoup d'énergie. Puis, les ingénieurs ont inventé un moyen plus intelligent : un « Mélange d'Experts » (Mixture of Experts). Au lieu d'un seul bibliothécaire lisant tout, ils ont engagé des milliers de spécialistes. Lorsqu'une question sur la cuisine arrive, seul le bibliothécaire « Chef » ouvre son livre ; lorsqu'une question sur l'espace arrive, seul l'« Astronome » se réveille. C'est l'idée centrale du Mixture-of-Experts (MoE) dans les Grands Modèles de Langage (LLM) : cela permet aux modèles d'IA de devenir incroyablement vastes et intelligents sans effectuer chaque calcul pour chaque mot qu'ils traitent.

Mais voici la partie délicate : si vous avez un million de spécialistes, comment décidez-vous qui reçoit le travail ? Si vous envoyez toutes les questions sur l'« Espace » à l'Astronome, il sera submergé et ralentira tout, tandis que le « Chef » restera inactif. C'est le problème du « routage ». C'est comme essayer de gérer un immense concert où vous devez décider instantanément quel musicien joue quelle note, en veillant à ce que personne ne soit surchargé, que personne ne s'ennuie, et que la musique coule parfaitement. Si vous ratez le routage, tout le système s'arrête net.

Ce document, écrit par Jiguo Li en août 2026, est une analyse approfondie de l'évolution de ces systèmes d'« experts » au fil du temps. Il soutient que l'histoire du MoE n'est pas seulement une liste de modèles plus récents et plus grands sortis année après année. Au lieu de cela, c'est l'histoire de la résolution d'un embouteillage spécifique après un autre. L'auteur suggère que le domaine est passé par huit « jalons » majeurs, passant de simples astuces statistiques à des systèmes complexes et dynamiques où l'ordinateur peut décider non seulement de qui aide, mais aussi de combien d'aide est nécessaire, et même de l'endroit où cette aide réside physiquement dans le matériel de l'ordinateur. Le document conclut que l'avenir ne consiste pas seulement à ajouter plus d'experts, mais à démêler la logique de « ce que l'IA pense » de la réalité physique de « comment l'ordinateur fonctionne », permettant une IA plus intelligente, plus rapide et plus efficace qui ne reste pas coincée dans le trafic.

L'histoire des huit jalons

Considérez l'évolution du MoE comme l'histoire du système de transport public d'une ville. Cela a commencé par un bus unique qui s'arrêtait partout, puis est passé à un système où l'on pouvait appeler un taxi, pour finalement devenir un réseau hyper-efficace et auto-organisé de drones et de métros. Le document divise ce voyage en huit phases distinctes, ou « jalons », où chaque étape a résolu un goulot d'étranglement majeur mais a créé un nouveau défi.

1. La division statistique du travail (Le vieux bus)
Aux débuts, l'idée était simple : avoir une « porte » qui décide quel « expert » (une petite partie du cerveau) doit gérer une tâche. Mais au début, tout le monde aidait encore un peu. C'était comme avoir un bus où chaque passager devait se lever et faire signe au chauffeur, même s'il ne descendait pas. C'était une division statistique du travail, mais cela n'économisait aucune énergie. L'ordinateur faisait toujours tout le travail ; il le faisait juste d'une manière légèrement plus intelligente.

2. L'interrupteur « Top-K » (Le service de taxi)
Puis vint la grande percée : le Calcul Conditionnel Sparse. Imaginez un interrupteur qui dit : « Seuls les 2 meilleurs experts travaillent ; les 98 autres peuvent rentrer chez eux. » C'est le routage Top-K. Soudain, l'ordinateur pouvait avoir une immense bibliothèque de connaissances (des millions de paramètres) mais n'en utiliser qu'une infime partie pour chaque mot. C'était le « levier de capacité » : vous pouviez rendre le modèle plus intelligent sans le rendre plus lent. Mais cela a introduit un nouveau problème : et si le « Chef » recevait 1 000 commandes et l'« Astronome » aucune ? Le système commençait à devenir déséquilibré.

3. La montée en échelle par grappes (Le réseau de métro)
À mesure que les modèles grandissaient pour tenir sur des milliers de puces informatiques (GPU), le problème est devenu le déplacement des données. Si le « Chef » vit sur la Puce A et l'« Astronome » sur la Puce B, comment amener les ingrédients là-bas ? Cette ère a introduit le Parallélisme d'Experts et la communication All-to-All. C'est comme construire un vaste réseau de métro où les jetons (les mots) sont les passagers, et ils doivent prendre des trains pour atteindre le bon expert. Le défi est passé de « qui fait les calculs » à « à quelle vitesse pouvons-nous déplacer les données sans que le train ne reste bloqué ».

4. L'ère des poids ouverts (L'application de transport public)
Ensuite, des modèles comme Mixtral ont montré que ce système complexe pouvait réellement fonctionner pour le grand public, et pas seulement pour les grands laboratoires. Ils ont prouvé que l'on pouvait avoir un MoE grossier et de grande échelle (de gros experts) ouvert à tous. Mais les « experts » étaient encore trop gros et maladroits. Ils avaient tendance à réapprendre les mêmes choses de base (comme dire « bonjour »), ce qui était un gaspillage d'espace.

5. Experts fins et partagés (Les kiosques spécialisés)
Pour corriger cette maladresse, les ingénieurs ont commencé à diviser les gros experts en de nombreux petits experts très fins. C'est comme remplacer un géant « Magasin Général » par des centaines de petits kiosques : un pour la « nourriture épicée », un pour les « desserts », un pour les « options végétaliennes ». Cela a permis un routage beaucoup plus précis. Ils ont également ajouté des Experts Partagés — un chemin permanent pour les choses dont tout le monde a besoin (comme la grammaire de base) — afin que le système de routage ne perde pas de temps à décider des bases. Cela a rendu le système plus rapide et plus intelligent, mais cela a créé un nouveau embouteillage : trop de petits kiosques signifiaient trop de petits trajets pour le métro, ce qui ralentissait les choses.

6. Mise à l'échelle ultra-sparse (La bibliothèque au million d'experts)
Ensuite, les chercheurs se sont demandé : « Et si nous avions beaucoup plus d'experts, mais encore plus petits ? » Des modèles comme Kimi K2 et PEER ont commencé à utiliser des centaines de petits experts (parfois plus d'un million !). L'idée était d'avoir un bassin de candidats si vaste que l'IA pourrait trouver le spécialiste parfait pour chaque mot. Mais le document note un piège : si vous avez trop d'experts, l'ordinateur passe plus de temps à chercher qui appeler (récupération) et à déplacer les données qu'à effectuer le travail proprement dit. Le « I/O de poids » (le chargement du cerveau de l'expert) est devenu le nouveau goulot d'étranglement.

7. Calcul dynamique (Le budget flexible)
Jusqu'à présent, chaque mot recevait la même quantité d'aide (ex. : « Top-2 » experts). Mais certains mots sont difficiles (comme « physique quantique ») et d'autres sont faciles (comme « le »). Le Calcul Dynamique change les règles : l'IA peut décider d'utiliser 1 expert pour les mots faciles et 4 pour les mots difficiles. Certains modèles utilisent même des créneaux de « calcul zéro », où l'IA dit simplement « Je sais cela, pas besoin d'appeler qui que ce soit ». Cela économise de l'énergie, mais crée un nouveau risque : si un groupe de mots difficiles apparaît en même temps, le système peut être submergé, causant des retards (latence de queue).

8. Découplage de la logique et de la physique (Le réseau de téléportation)
La dernière frontière est le Routage Sémantique Découplé de l'Exécution Physique. Actuellement, si l'IA décide d'appeler l'« Astronome », les données doivent physiquement voyager vers la puce de l'Astronome immédiatement. Les nouvelles idées (comme ScMoE ou les Experts Hétérogènes) suggèrent que nous pouvons séparer la décision du mouvement. Peut-être que l'IA décide d'utiliser l'Astronome, mais que les données attendent dans un tampon, ou que l'Astronome est de taille différente selon la tâche. C'est comme avoir un réseau de téléportation où la destination est décidée logiquement, mais le transport physique est optimisé séparément pour éviter les embouteillages.

Les quatre plans de contrôle

Le document organise tous ces changements en quatre « plans de contrôle », qui sont comme les différents niveaux de direction dans une grande entreprise :

1. La Couche Objet (Topologie) : C'est l'« Organigramme ». Elle définit qui sont les experts, quelle est leur taille et s'ils partagent un bureau. Elle demande : « Avons-nous 8 gros experts ou 128 petits ? »
2. La Couche Décision (Routage) : C'est le « Dispatcher ». Pour chaque mot, elle décide : « Qui est-ce que j'appelle ? » Elle utilise une règle « Top-K » pour choisir les meilleurs spécialistes.
3. La Couche de Contrôle (Équilibre) : C'est le « Responsable RH ». Elle surveille pour s'assurer qu'aucun expert ne travaille 24h/24 pendant que d'autres dorment. Si le « Chef » est surchargé, elle peut doucement pousser le système à envoyer certaines commandes au « Boulanger », en utilisant des astuces mathématiques spéciales (comme l'Auxiliary-Loss-Free pour l'équilibre) pour le faire sans perturber l'apprentissage de l'IA.
4. La Couche d'Exécution (Parallélisme d'Experts) : C'est l'« Équipe Logistique ». Elle détermine comment déplacer réellement les données à travers les puces physiques, gérer le trafic et s'assurer que les calculs sont effectués rapidement.

Ce que le document écarte et ce qu'il suggère

L'auteur est très clair sur ce qui ne fonctionne pas comme une solution miracle. Il soutient l'idée qu'il n'existe pas de structure « parfaite » unique pour tous les modèles MoE. Il suggère que le simple fait d'ajouter plus d'experts n'est pas la solution si le système ne peut pas déplacer les données assez vite. Il souligne également que le Soft MoE (où les experts se mélangent de manière continue plutôt que de choisir un seul) n'a pas été prouvé efficace sur les systèmes massifs et réels que nous utilisons aujourd'hui, même si cela semble séduisant en théorie.

Le document suggère que l'avenir réside dans le découplage. Nous devons cesser de lier la « décision intelligente » (quel expert utiliser) à la « réalité physique » (sur quelle puce il réside). Il propose que les meilleurs systèmes utiliseront des budgets dynamiques (changer la quantité de travail effectuée selon la difficulté) et un placement au moment de l'exécution (déplacer les experts pendant que l'ordinateur fonctionne pour éviter les embouteillages).

Cependant, le document prend soin de préciser que ce ne sont pas des problèmes « résolus ». Par exemple, bien que les Experts Hétérogènes (experts de tailles différentes) soient une excellente idée, le document note qu'ils sont encore au stade de la « recherche de pointe » et n'ont pas été pleinement testés à l'échelle massive des modèles de milliers de milliards de paramètres. De même, le partage entre couches (où un expert de la couche 1 aide la couche 100) est une idée intéressante, mais l'auteur affirme que nous avons besoin de plus de preuves pour voir si cela fonctionne sans créer de confusion.

En résumé

En termes simples, ce document nous dit que le voyage pour rendre l'IA plus intelligente ne consiste pas seulement à construire un cerveau plus grand. Il s'agit de construire un meilleur système de circulation. Nous sommes passés d'un bus unique à un réseau complexe de taxis, de métros et de drones. La prochaine étape n'est pas seulement d'ajouter plus de véhicules, mais de rendre les feux de signalisation plus intelligents, les routes plus flexibles et les répartiteurs capables de gérer l'heure de pointe sans s'effondrer. L'auteur conclut que la « prochaine génération » d'IA ne sera pas un seul nouveau modèle, mais une combinaison de ces astuces de routage intelligent, de budgets dynamiques et d'optimisations physiques travaillant ensemble. C'est un rappel que dans le monde des ordinateurs super-intelligents, parfois, la partie la plus difficile n'est pas de réfléchir, mais d'arriver à destination.