🤖 machine learning

Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory

Ce papier introduit DODOCO pour démontrer que la surcharge de routage AlltoAll dans les modèles de type Mixture-of-Experts est déterminée par des déséquilibres de routage intrinsèques et spécifiques à l'architecture plutôt que par le placement des experts ou des benchmarks factices, révélant ainsi que la conception du modèle (par exemple, MLA/GDN par rapport à MHA/Mamba) dicte la répartition de la charge de manière bien plus significative que l'échelle du parallélisme ou les hypothèses de données synthétiques.

Auteurs originaux : Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une bibliothèque massive et ultra-rapide où des milliers de livres (données) doivent être triés et envoyés à des experts spécifiques (ordinateurs spécialisés) qui savent les lire. C'est ainsi que fonctionnent les modèles d'IA modernes appelés « Mixture of Experts » (MoE).

Le goulot d'étranglement le plus important dans cette bibliothèque n'est pas la lecture des livres ; c'est le service de tri postal. Chaque fois qu'un livre arrive, un routeur décide quel expert le reçoit. Si le routeur envoie 90 % des livres à l'Expert A et seulement 1 % à l'Expert B, l'Expert A est submergé (un « traînard »), et toute la bibliothèque doit attendre qu'il termine avant de pouvoir continuer.

Ce papier, DODOCO, examine trois grands mythes que la communauté informatique a cru concernant la façon de résoudre ce goulot d'étranglement du service de tri postal.

Les Trois Mythes Testés

Mythe 1 : « Il suffit d'ajouter plus de services de tri postal, et la charge se répartira d'elle-même. »

L'Ancienne Croyance : Si vous avez trop de livres pour un seul expert, embauchez simplement plus d'experts (augmentez l'échelle du système). La théorie voulait que la répartition du travail parmi plus de personnes rende naturellement la charge égale.
La Vérification de la Réalité : Les chercheurs ont testé cela en ajoutant plus de « services de tri postal » (rangs) à leur système. Ils ont découvert que ajouter plus d'experts ne résolvait pas le déséquilibre.
L'Analogie : Imaginez un café populaire où tout le monde commande un « Latte ». Si vous ouvrez 10 caisses supplémentaires, mais que tout le monde commande toujours un Latte, le barista qui prépare les Lattes reste le goulot d'étranglement. Le modèle de ce que les gens commandent (la décision du modèle) est le problème, pas le nombre de caisses. Le déséquilibre est « intégré » dans le cerveau de l'IA, pas dans le matériel.

Mythe 2 : « Nous pouvons tester nos services de tri postal avec de faux livres aléatoires. »

L'Ancienne Croyance : Parce que les vrais livres sont difficiles à obtenir, les chercheurs utilisent des « jetons factices » (nombres aléatoires comme « 1, 5, 9, 2 ») pour simuler le trafic. Ils supposaient que ces nombres aléatoires se comportaient exactement comme le vrai langage.
La Vérification de la Réalité : C'est une énorme erreur. Les chercheurs ont découvert que les données factices faisaient paraître le problème beaucoup plus grave qu'il ne l'est réellement.
L'Analogie : C'est comme tester un système de feux de circulation en lançant des rochers aléatoires à l'intersection. Les rochers pourraient provoquer un embouteillage massif et chaotique (déséquilibre élevé). Mais lorsque vous passez à de vraies voitures circulant sur une route (vrai texte), le trafic s'écoule beaucoup plus fluidement car les voitures suivent des modèles et des règles. Les données factices ont surestimé l'embouteillage jusqu'à 2,35 fois. Pire encore, les données factices suggéraient que des lots de trafic plus importants causeraient plus de chaos, mais le trafic réel reste stable quelle que soit la taille du lot.

Mythe 3 : « Tous les modèles d'IA sont identiques ; nous pouvons les traiter tous de la même manière. »

L'Ancienne Croyance : Puisque tous ces modèles font des choses similaires, nous pouvons concevoir un seul système de tri postal qui fonctionne pour tout le monde.
La Vérification de la Réalité : Les chercheurs ont découvert que les modèles se divisent en deux équipes distinctes avec des comportements totalement différents.
- Équipe « Résistante aux Données » (MHA, Mamba-2) : Ces modèles sont comme des élèves disciplinés. Lorsqu'on leur donne du vrai texte, ils répartissent leur travail presque parfaitement de manière égale. Ils sont faciles à gérer.
- Équipe « Persistamment Concentrée » (MLA, GDN) : Ces modèles sont comme des artistes chaotiques. Peu importe le texte que vous leur donnez (même du vrai texte), ils continuent de déverser 80 % du travail sur quelques experts spécifiques. Ils sont intrinsèquement déséquilibrés.
- L'Enfant du Milieu (GQA) : Celui-ci se situe quelque part entre les deux.

La Grande Conclusion

Le papier soutient que depuis des années, les ingénieurs tentent de résoudre un problème qui n'existe pas (le mythe de « l'échelle de la taille des lots ») et utilisent la mauvaise carte (données factices) pour concevoir leurs systèmes.

Au lieu d'essayer de forcer chaque modèle à être équilibré en ajoutant plus de matériel, les auteurs suggèrent que nous devrions catégoriser les modèles en premier :

Si vous avez un modèle Résistant aux Données, vous pouvez utiliser un réseau standard et simple car le trafic est naturellement équilibré.
Si vous avez un modèle Persistamment Concentré, vous avez besoin d'un réseau spécial et complexe conçu spécifiquement pour gérer le fait qu'un ou deux experts seront toujours submergés.

En bref : Vous ne pouvez pas corriger une mauvaise décision de routage simplement en ajoutant plus d'ordinateurs. Et vous ne pouvez pas concevoir un système de circulation basé sur une simulation de rochers aléatoires ; vous devez observer comment les vraies voitures conduisent réellement. La « forme » du modèle d'IA lui-même est le facteur le plus important dans la quantité de trafic qu'il génère.

Résumé technique : Diagnostic des surcoûts dans les opérations de dispatch : Observatoire inter-architectures (DODOCO)

Énoncé du problème
Le dispatch AlltoAll constitue le goulot d'étranglement dominant dans le parallélisme d'experts (EP) des modèles à mélange d'experts (MoE). La communauté des interconnexions a proposé quatre familles de solutions d'atténuation : le placement prédictif des échantillons, le réagencement adaptatif des experts, les collectes hiérarchiques et la topologie consciente de l'EP. Ces solutions reposent sur deux hypothèses non examinées :

Corrigibilité (Hypothèse A) : Le déséquilibre de routage est une propriété de la charge de travail qu'une couche système suffisamment ingénieuse peut réduire.
Validité des benchmarks (Hypothèse B) : Les benchmarks de tokens factices (utilisant des identifiants uniformément aléatoires) représentent fidèlement le comportement de routage en production.

L'article soutient que ces hypothèses n'ont pas été testées frontalement, ce qui pourrait conduire à des conceptions de systèmes optimisées pour des charges de travail fantômes.

Méthodologie
Les auteurs introduisent DODOCO, une étude empirique conçue pour tester ces hypothèses en utilisant un plan factoriel 5×6 couvrant cinq architectures MoE distinctes et six conditions de données.

Architectures : L'étude couvre cinq conceptions de mélangeurs de séquences englobant les principales familles de modèles :
- DeepSeek-V2-Lite : Attention Latente Multi-Têtes (MLA).
- DeepSeek-MoE-16B : Attention Multi-Têtes Standard (MHA).
- Qwen3-30B-A3B : Attention par Requêtes Groupées (GQA).
- Nemotron-30B-A3B : Mamba-2 (Modèle d'Espace d'État).
- Qwen3.5-35B-A3B : Réseaux Delta à Portes (GDN).
- Note : Le couple MLA et MHA forme une comparaison contrôlée, partageant le nombre d'experts, le top-k, la porte et les stratégies d'équilibrage de charge, ne différant que par le mécanisme d'attention.
Conditions de données : Six conditions isolent des propriétés indépendantes des flux de tokens :
1. Fictif (Mock) : Identifiants de tokens uniformément aléatoires (défaut standard des benchmarks).
2. Mélangé (Shuffled) : Tokens réels de wikitexte avec permutation globale (préserve la fréquence, détruit la séquence).
3. Recodé (Remapped) : Séquences réelles avec des identifiants de vocabulaire permutés (préserve la séquence, détruit les plongements).
4. Romansh : Texte réel dans une langue romane à ressources limitées (structure de langue inédite).
5. Opus : Traces de raisonnement en anglais post-coupure (contenu inédit).
6. Wikitext : Wikipédia en anglais (structure et contenu familiers).
Matériel et échelle : Les expériences s'exécutent sur des GPU H100 (supercalculateur Helma de NHR@FAU) avec NVLink intra-nœud et InfiniBand inter-nœud. L'étude inclut un scan EP à fenêtre correspondante (4, 8, 16, 32 rangs) et une exploration de la taille de lot globale (GBS) de 64 à 2048.
Métriques : L'étude utilise trois résumés scalaires de la matrice des comptes d'envoi ( $S$ ) :
- Ratio max/moyen par expert : Pour mesurer l'asymétrie des décisions de routage indépendamment de la correspondance expert-rang.
- Coefficient de Gini : Pour mesurer le déséquilibre de charge par rang.
- $\alpha$ de Dirichlet symétrique ajusté : Pour résoudre les différences dans les régimes quasi-uniformes où le Gini comprime les valeurs.

Résultats clés

1. La mise à l'échelle de l'EP ne réduit pas les traînards (Q1)
Contrairement à l'hypothèse selon laquelle l'augmentation des degrés d'EP lisse la distribution de la charge, l'étude constate que la mise à l'échelle de l'EP ne réduit pas le déséquilibre de routage.

Au sein de chaque architecture, le ratio tokens max/moyen par expert reste essentiellement plat (variations $\le$ 5 %) sur toute la plage EP (4 à 32).
Le traînard est intrinsèque à la décision de routage que le modèle prend, et non à la manière dont les experts sont mappés sur les rangs. L'augmentation de l'EP change quel rang détient un expert spécifique, mais pas quels experts reçoivent des tokens.
Par conséquent, le degré EP n'est pas un levier pour améliorer l'équilibre du routage ; l'asymétrie est bornée inférieurement par une concentration invariante à l'EP.

2. Les tokens factices surestiment le déséquilibre et fabriquent des tendances (Q2)
Les benchmarks de tokens factices représentent mal le routage en production.

Ampleur de l'erreur : Les tokens factices surestiment le Gini de routage jusqu'à 2,35 fois par rapport au texte réel (Wikitext). Sur le modèle Nemotron, l'écart dans la métrique $\alpha$ de Dirichlet atteint 47 fois.
Artéfact de taille de lot : Les données factices présentent une fausse tendance où le déséquilibre augmente avec la taille de lot (GBS). Les données réelles montrent un Gini essentiellement plat sur toutes les tailles de lot. Les praticiens s'appuyant sur des données factices pourraient conclure à tort que des lots plus grands aggravent le déséquilibre.
Mécanisme : Le routeur nécessite à la fois une structure séquentielle et des plongements appris. Le texte réel mélangé (fréquence préservée, séquence détruite) ou le texte recodé (séquence préservée, plongements détruits) se comporte aussi mal que les tokens factices.

3. Classes d'architectures émergentes (Q3)
Les cinq architectures ne se comportent pas de manière interchangeable ; elles se divisent en deux bandes stables basées sur l'impact des données réelles sur le routage :

Résistantes aux données (MHA, Mamba-2) : Ces modèles atteignent un faible Gini sous texte réel (respectivement 0,105 et 0,150) et montrent une amélioration significative des données factices aux données réelles. Leur routage tend vers l'uniformité.
Persistamment concentrées (MLA, GDN) : Ces modèles restent fortement concentrés quelle que soit la condition de données, restant au-dessus d'un Gini de 0,24 même sur Wikitext et atteignant 0,29–0,38 sur des données factices.
Intermédiaire (GQA) : Se situe entre les deux extrêmes, montrant une amélioration modérée mais restant dans la bande médiane.
Analyse de profondeur : La paire « résistante aux données » commence presque uniformément à la première couche MoE et se concentre avec la profondeur (forme en U), tandis que la paire « persistamment concentrée » est concentrée dès la toute première couche.

Signification et affirmations
L'article affirme que le modèle de charge de travail utilisé pour concevoir et évaluer les interconnexions conscientes des MoE est au mieux une approximation à facteur constant et au pire un fantôme.

Implications pour la conception système : La « taxonomie à deux classes » (résistant aux données vs persistamment concentré) est une entrée plus utile pour la conception système que le degré EP ou les profils de données factices.
- Pour les modèles résistants aux données, le trafic est principalement limité par la bande passante ; des modèles de charge uniforme suffisent.
- Pour les modèles persistamment concentrés, un dispatch conscient de la localité et des conceptions de topologie exploitant la concentration sur des paires inter-nœuds spécifiques sont nécessaires.
Étalonnage : Les auteurs recommandent que les benchmarks de communication MoE rapportent à la fois les conditions de données factices et réelles pour révéler l'artéfact de mise à l'échelle de la taille de lot et les différentiels de classe d'architecture.
Limites : L'étude caractérise les décisions de routage et les statistiques AlltoAll mais ne mesure pas l'accélération de l'entraînement de bout en bout résultant des interventions système. Elle ne prétend pas que le déséquilibre est sans importance, mais plutôt que les hypothèses concernant sa corrigibilité et sa mesure sont erronées.

L'article conclut que le déséquilibre de routage est une propriété du modèle et des données que la couche système peut localiser et partiellement exploiter, mais ne peut pas rendre uniforme par la mise à l'échelle de l'EP seule. Les benchmarks synthétiques actuellement utilisés manquent cette réalité de deux manières spécifiques : en surestimant le déséquilibre et en fabriquant des tendances de mise à l'échelle inexistantes.

Les Trois Mythes Testés

La Grande Conclusion

Résumé technique : Diagnostic des surcoûts dans les opérations de dispatch : Observatoire inter-architectures (DODOCO)

Articles similaires