🤖 machine learning

Compute-Optimal Is Not Cluster-Optimal: Systems-Aware Scaling for Sparse Mixture-of-Experts

Ce document présente MOSAIC, un cadre de co-conception sensible au système qui démontre comment la parcimonie optimale pour les modèles de mélange d'experts parcimonieux n'émerge que lors de l'optimisation conjointe de l'architecture du modèle avec les contraintes matérielles, plutôt que par les seules lois d'échelle traditionnelles de calcul optimal.

Auteurs originaux : Soumajyoti Sarkar, Yuxin Tang, Sheng Zha

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Soumajyoti Sarkar, Yuxin Tang, Sheng Zha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire le cerveau robotique ultime et le plus puissant. Dans le monde de l'intelligence artificielle, ce « cerveau » est un programme informatique massif appelé Modèle de Langage Étendu (LLM). Pour rendre ces cerveaux plus intelligents, les scientifiques ont découvert une règle simple : si on les nourrit avec plus de données et qu'on les rend plus grands, ils deviennent meilleurs pour comprendre le monde. Cette règle est appelée une « loi d'échelle » (scaling law). Pendant longtemps, la recette de construction de ces cerveaux était divisée en deux étapes distinctes. D'abord, un mathématicien calculait la taille parfaite du cerveau en fonction de la puissance informatique disponible (appelée « compute »). Ensuite, un ingénieur différent essayait de faire entrer ce cerveau dans une puce informatique spécifique pour le faire fonctionner aussi vite que possible.

Voyez cela comme la planification d'un voyage en voiture. La première étape consiste à décider de la distance que vous voulez parcourir en fonction de votre budget d'essence. La deuxième étape consiste à choisir la voiture. Mais que se passe-t-il si la voiture que vous avez choisie est si lourde et encombrante qu'elle consomme de l'essence à un rythme terrible, ce qui signifie que vous ne pouvez pas réellement parcourir la distance prévue ? C'est le problème que cet article traite. Il soutient que vous ne pouvez pas simplement choisir la taille d'un cerveau, puis vous soucier de la voiture. Vous devez concevoir le cerveau et la voiture ensemble, car la forme du cerveau modifie l'efficacité avec laquelle la voiture roule. Si vous ignorez le moteur de la voiture, vous pourriez vous retrouver avec un cerveau « parfait » trop lourd pour bouger, vous laissant bloqué à la ligne de départ.

Le Problème : Le Cerveau « Parfait » qui ne rentre pas

L'article introduit une nouvelle façon de penser appelée MOSAIC (Model Optimization via Systems-Aware TraIning Co-design). Les auteurs, travaillant chez Amazon AGI Foundations, ont remarqué que l'ancienne méthode de travail laissait de l'argent sur la table. Traditionnellement, les chercheurs calculaient un modèle « optimal en termes de calcul » (Compute-Optimal). Il s'agit de la taille de modèle qui donne les meilleurs résultats pour une quantité fixe de puissance informatique, en supposant que chaque fragment de puissance est utilisé parfaitement.

Cependant, les auteurs ont découvert un piège caché. Ils se sont concentrés sur un type spécial d'architecture d'IA appelé Mixture-of-Experts (MoE) ou Mélange d'Experts. Imaginez une immense bibliothèque où, au lieu d'un seul immense bibliothécaire lisant tous les livres, vous avez des milliers de petits experts spécialisés. Lorsqu'une question arrive, un routeur intelligent l'envoie à seulement quelques-uns de ces experts (par exemple, 2 sur 100) pour répondre. Cela rend le modèle très rapide et efficace car il n'a pas besoin de réveiller toute la bibliothèque pour chaque question.

L'ancienne mathématique suggérait que pour obtenir les meilleurs résultats, il fallait rendre la bibliothèque aussi immense que possible et réveiller le moins d'experts possible. En d'autres termes, le modèle « parfait » devrait être incroyablement parcimonieux (très vide). La mathématique indique que le meilleur niveau de parcimonie se situe à la limite même de ce qui est possible.

Le Rebondissement : Le Moteur de la Voiture Compte

C'est ici que l'histoire change. Les auteurs ont réalisé que, bien que les mathématiques disent « rendez-le super parcimonieux », la réalité physique des puces informatiques dit « pas question ».

Lorsque vous avez un modèle avec des milliers de petits experts, l'ordinateur doit fournir un effort supplémentaire considérable juste pour décider quels experts réveiller et pour transmettre l'information entre eux. C'est comme avoir un immense immeuble de bureaux où le manager passe sa journée à courir entre les bureaux pour livrer des mémos, laissant très peu de temps pour le travail réel. Plus le modèle devient parcimonieux, plus l'ordinateur perd de temps dans ces tâches de « déplacements » (coûts de communication) et moins il passe de temps sur la réflexion réelle (les calculs).

L'article soutient que l'ancienne mathématique du « Modèle Optimal en Calcul » était erronée car elle supposait que l'ordinateur pouvait consacrer 100 % de sa puissance à la partie réflexion. En réalité, un modèle extrêmement parcimonieux pourrait n'utiliser que 8 % de la puissance de l'ordinateur pour la réflexion réelle, tandis qu'un modèle légèrement plus dense pourrait en utiliser 15 %.

La Solution : MOSAIC

Pour corriger cela, l'équipe a construit MOSAIC. Au lieu de demander : « Quel est le meilleur modèle pour une quantité fixe de mathématiques ? », ils ont demandé : « Quel est le meilleur modèle que nous pouvons réellement faire fonctionner sur notre cluster d'ordinateurs spécifique dans un temps donné ? »

Ils ont combiné deux éléments :

Une Loi d'Échelle : Une prédiction de l'intelligence du modèle basée sur sa taille et sa forme.
Un Modèle de Performance : Un simulateur qui prédit la vitesse à laquelle le modèle s'exécutera réellement sur le matériel réel, en tenant compte des coûts de « déplacements ».

Lorsqu'ils ont testé MOSAIC, les résultats ont été surprenants. Le modèle « parfait » n'était pas celui situé à l'extrême de la parcimonie. Au contraire, le meilleur modèle était une solution intérieure — un juste milieu. Il était assez parcimonieux pour être efficace, mais pas trop pour que l'ordinateur soit entravé par la gestion de tous ces petits experts.

Ce Qu'Ils Ont Découvert

L'équipe a testé cela sur du matériel réel en utilisant des GPU NVIDIA B200. Ils ont entraîné des modèles allant de 700 millions à 18 milliards de paramètres actifs (et jusqu'à 79 milliards de paramètres totaux).

L'Ancienne Méthode : Si vous suiviez simplement l'ancienne mathématique, vous choisiriez un modèle avec une parcimonie d'environ 0,985 (ce qui signifie que 98,5 % des experts dorment). Mais sur leur cluster spécifique, ce modèle serait si lent qu'il prendrait une éternité à entraîner, et il finirait par être moins intelligent qu'un modèle légèrement plus dense.
La Méthode MOSAIC : Le système a trouvé que le point idéal était une parcimonie d'environ 0,96. Ce modèle n'était pas le meilleur sur le plan « théorique », mais il était le meilleur sur le plan « pratique ». Il s'exécutait plus rapidement, utilisait la puissance de l'ordinateur plus efficacement et atteignait un taux d'erreur plus bas (signifiant qu'il était plus intelligent) que le meilleur modèle « théorique ».

En fait, ils ont montré que le modèle qui semblait le meilleur sur le papier (celui avec le plus de « FLOPs de Modèle ») était en réalité le plus lent à entraîner dans la vie réelle. Le modèle qui a gagné est celui qui a équilibré les mathématiques avec la réalité du matériel.

Pourquoi Cela Importe

Cet article suggère que nous devons cesser de traiter la conception des modèles d'IA et la conception des ordinateurs qui les font fonctionner comme des étapes séparées. Vous ne pouvez pas simplement choisir une taille de modèle et espérer que les ordinateurs puissent la gérer. La forme du modèle modifie le comportement de l'ordinateur.

Les auteurs précisent avec prudence que leurs conclusions sont spécifiques au type de puces qu'ils ont utilisées (NVIDIA B200) et au logiciel spécifique qu'ils ont développé. Ils n'ont pas trouvé une loi universelle applicable à tous les ordinateurs de l'univers. Cependant, ils ont prouvé que pour la frontière de l'entraînement de l'IA, ignorer les « systèmes » (le matériel et la façon dont les données circulent) mène à des résultats sous-optimaux.

En utilisant MOSAIC, ils ont montré que le « meilleur » modèle n'est pas un point fixe sur un graphique, mais une cible mouvante qui dépend de votre budget matériel spécifique. Le modèle le plus efficace est celui qui s'ajuste parfaitement à votre cluster, et non celui qui a l'air le meilleur sur une feuille de papier. C'est un passage de l'« Optimal en Calcul » (ce que disent les mathématiques) à l'« Optimal en Cluster » (ce que le matériel peut réellement délivrer).

En résumé, si vous voulez construire l'IA la plus intelligente possible, vous n'avez pas seulement besoin d'un cerveau plus grand ; vous avez besoin d'un cerveau qui s'adapte au corps dans lequel il vit.

Résumé Technique : L'optimalité de calcul n'est pas l'optimalité de cluster

Énoncé du problème
Les flux de travail actuels de pré-entraînement à grande échelle séparent conventionnellement les décisions d'échelle algorithmique de l'implémentation système. Une étape de « loi d'échelle » (scaling law) sélectionne une architecture de modèle et un budget de données pour minimiser la perte sous une contrainte de calcul fixe (FLOPs), suivie d'une étape « système » déconnectée qui optimise l'implémentation pour l'efficacité matérielle. Les auteurs soutiennent que cette séparation est défectueuse pour les modèles de type Mixture-of-Experts (MoE) parcimonieux. Alors que les lois d'échelle traditionnelles optimisent pour les FLOPs du modèle ( $C_{model}$ ), elles ignorent l'efficacité système de l'architecture prescrite. Deux architectures ayant une perte prédite et un $C_{model}$ identiques peuvent produire des débits d'entraînement (throughput) très différents en raison des variations de l'utilisation des FLOPs du modèle (MFU), des coûts de communication et des empreintes mémoire. Par conséquent, la configuration « optimale en calcul » dérivée d'un budget de FLOPs peut être irréalisable ou sous-optimale sur un cluster matériel spécifique, car elle ne tient pas compte du calcul « livrable » qu'un cluster peut réellement soutenir sur une fenêtre d'entraînement fixe.

Méthodologie : MOSAIC
Les auteurs introduisent MOSAIC (Model Optimization via Systems-Aware Training Co-design), un cadre qui formule la co-conception de l'architecture du modèle et du système comme un problème d'optimisation unique. MOSAIC sélectionne conjointement l'architecture du modèle, le budget de tokens d'entraînement et le schéma d'exécution distribuée (stratégie de parallélisme) pour minimiser la perte prédite sous un budget contraint par le matériel.

Le cadre intègre trois composantes centrales :

Une loi d'échelle conjointe à quatre dimensions : Les auteurs ajustent une nouvelle loi d'échelle pour les modèles MoE parcimonieux qui inclut le nombre total de paramètres ( $N_{tot}$ ), les tokens d'entraînement ( $D$ ), la parcimonie ( $S$ ) et un facteur de division des experts ( $G$ ). $G$ est défini comme le ratio entre la largeur du feed-forward dense et la largeur d'un expert unique ( $G = d_{ff}/d_{expert}$ ), capturant la granularité des experts. La loi est formulée comme suit :
$L(N_{tot}, S, D, G) = \frac{a}{N_{tot}^\alpha} + \frac{b}{D^\beta} + \frac{c}{(1-S)^\lambda} + \frac{j}{(1-S)^\delta N_{tot}^\gamma G^\eta} + e$
Cette formulation permet de prédire la perte en fonction de choix géométriques discrets plutôt que de comptes de paramètres abstraits.
Un modèle de performance au niveau des opérateurs : Pour estimer l'efficacité système, les auteurs ont développé un modèle de performance analytique qui prédit le MFU et l'empreinte mémoire pour une architecture et un schéma de parallélisme donnés. Ce modèle prend en compte :
- Les coûts de calcul (GEMM denses et groupés, attention).
- Les surcoûts de communication (all-to-all pour le parallélisme d'experts, bulles de pipeline, collectifs de parallélisme de données).
- La latence de dispatch CPU (critique pour les micro-lots de petite taille).
- Les facteurs de calibration spécifiques au matériel pour les retardataires (stragglers) inter-nœuds et le chevauchement intra-nœud.
  Le modèle est validé par des sessions d'entraînement allant jusqu'à 18 milliards de paramètres actifs, atteignant une erreur absolue moyenne (MAPE) de moins de 15 % dans la prédiction du MFU.
Optimisation conjointe (MINLP) : MOSAIC résout un programme non linéaire en nombres entiers mixtes (MINLP) qui minimise la perte prédite sous la contrainte que les FLOPs du modèle requis ( $C_{model}$ ) ne dépassent pas les FLOPs du modèle livrables ( $C_{deliverable}$ ).
$C_{deliverable} = C_{peak} \times \text{MFU}(Z, P_\ell, B) \times \eta_{good}$
Ici, $C_{peak}$ est le plafond brut du matériel, et le MFU dépend de l'architecture. L'optimisation recherche dans une grille discrète de géométries réalisables ( $Z$ ) et de plans d'exécution ( $P_\ell$ ) pour trouver la configuration qui minimise la perte en fonction des capacités réelles du cluster.

Contributions clés

Reformulation du budget de calcul : Le papier démontre que pour les modèles MoE parcimonieux, l'optimisation sous un budget $C_{model}$ fixe conduit à un comportement de « recherche de bordure » où la parcimonie optimale se situe à la limite supérieure du support de données (c'est-à-dire le modèle le plus parcimonieux possible). Cela est dû au fait que la loi d'échelle prédit une perte plus faible pour les modèles plus parcimonieux à FLOPs fixes, ignorant le coût système.
Co-conception sensible au système : En couplant la loi d'échelle avec un modèle de performance, MOSAIC déplace le budget de $C_{model}$ vers $C_{deliverable}$ . Cela révèle que la parcimonie optimale est un point intérieur déterminé par les contraintes spécifiques du cluster (mémoire, bande passante, surcoûts de parallélisme), plutôt que par la bordure.
Validation du modèle de performance : Les auteurs fournissent un modèle de performance validé, au niveau des opérateurs, qui prédit avec précision le MFU et identifie le schéma de parallélisme optimal (parallélisme de tenseur, d'expert, de pipeline, de données) pour les MoE parcimonieux, montrant que le « meilleur » schéma dépend fortement de la géométrie spécifique et de la taille du cluster.
Validation empirique : Le cadre a été testé sur des nœuds AWS p6 (GPU NVIDIA B200) avec des sessions allant jusqu'à 250 milliards de paramètres totaux. Les résultats ont confirmé que le classement des configurations basé sur les FLOPs du modèle diffère significativement du classement basé sur l'efficacité de calcul du matériel (temps de calcul réel/wall-clock time).

Résultats

Optimum de bordure vs Optimum d'intérieur : Sous un $C_{model}$ fixe, la perte ajustée diminue de manière monotone avec l'augmentation de la parcimonie, poussant l'optimum vers la bordure ( $S_{max}$ ). Cependant, sous un budget matériel ( $C_{deliverable}$ ) fixe, la courbe de perte présente un minimum intérieur. Les coûts système (communication, mémoire) des modèles extrêmement parcimonieux finissent par l'emporter sur leurs bénéfices théoriques de perte.
Compromis Perte vs Débit : Dans des expériences avec un budget de 20 jours sur 32 nœuds, la configuration qui a réalisé le plus de FLOPs du modèle (une géométrie d'expert plus dense et plus grossière) n'a pas atteint la perte la plus faible. Inversement, la configuration optimale en termes de perte (une géométrie d'expert plus parcimonieuse et plus fine) a maintenu un MFU plus faible mais a atteint une perte finale plus basse car elle était la seule configuration capable de s'insérer dans la contrainte de FLOPs livrables tout en maintenant une trajectoire de perte favorable.
Validation en conditions réelles : Des sessions de pré-entraînement par étapes sur des clusters de 8 nœuds ont validé le cadre. L'ordonnancement du MFU mesuré correspondait à l'ordonnancement prédit. De plus, en traçant la perte par rapport au « calcul matériel équivalent de crête » (tenant compte du MFU), le classement des configurations s'est inversé par rapport au classement contre les FLOPs bruts du modèle, confirmant que le modèle « optimal en calcul » n'est pas le modèle « optimal pour le cluster ».

Signification
Le papier plaide pour un changement fondamental dans la manière dont les modèles de langage de pointe sont entraînés : passer de l'étape déconnectée de « sélection de la loi d'échelle » et de « réglage système » à une co-conception architecture-système unifiée. Les auteurs affirment que s'appuyer uniquement sur des budgets de FLOPs du modèle est insuffisant pour les modèles MoE parcimonieux car cela ne permet pas d'intégrer l'efficacité système de l'architecture. En introduisant MOSAIC, ils démontrent que la géométrie optimale du modèle n'est pas une constante universelle mais dépend du cluster matériel spécifique, de la fenêtre d'entraînement et des contraintes de parallélisme. Cette approche garantit que l'architecture sélectionnée est non seulement optimale en termes de perte théorique, mais aussi pratiquement réalisable et efficace sur le matériel cible.

Articles similaires