🤖 machine learning

EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference

EasyBalance est une stratégie d'équilibrage de charge inter-couches pour l'inférence distribuée de Mixture-of-Experts (MoE) qui atténue l'inactivité des GPU causée par des distributions de routage asymétriques en planifiant et en différant de manière gloutonne les charges de travail à travers les couches sans nécessiter de réplication d'experts, de migration ou de modifications de la correspondance expert-périphérique.

Auteurs originaux : Yize Wu, Ke Gao, Ling Li, Yanjun Wu

Publié 2026-08-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yize Wu, Ke Gao, Ling Li, Yanjun Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une bibliothèque massive et à grande vitesse où des milliers d'étudiants (tokens) doivent trouver des réponses dans une encyclopédie géante. Cette encyclopédie n'est pas écrite par une seule personne ; c'est un « Mélange d'Experts » (MoE - Mixture of Experts), ce qui signifie qu'il y a des centaines de différents écrivains spécialisés (experts) à l'intérieur. Lorsqu'un étudiant pose une question, un bibliothécaire intelligent (le routeur) décide rapidement quels quelques écrivains sont les mieux qualifiés pour répondre. Pour que cela soit super rapide, la bibliothèque répartit ces écrivains sur de nombreux ordinateurs différents (dispositifs) travaillant en parallèle.

Mais il y a un piège. Toutes les questions ne sont pas les mêmes. Parfois, une foule immense d'étudiants pose des questions dont un écrivain spécifique connaît la réponse. L'ordinateur de cet écrivain est alors submergé et ralentit, tandis que les autres ordinateurs, dont les écrivains sont moins occupés, restent là à attendre sans rien faire. Ce « jeu de l'attente » gaspille énormément d'énergie et de temps. Pendant des années, la solution consistait à embaucher plus d'écrivains ou à les déplacer pour équilibrer la charge, mais cela consomme trop de mémoire et est difficile à faire à la volée.

Entrez en scène EasyBalance, une nouvelle stratégie ingénieuse qui résout ce jeu de l'attente sans embaucher de nouveaux écrivains ni déplacer de meubles. Au lieu d'essayer de réparer les écrivains, EasyBalance change quand les étudiants posent leurs questions. Il réalise que, bien que la bibliothèque traite généralement les questions couche par couche, elle peut en fait laisser les étudiants de différentes couches travailler ensemble en même temps. En mélangeant et en associant ces groupes, l'écrivain occupé reçoit un répit car les questions « lourdes » d'un groupe sont équilibrées par les questions « légères » d'un autre. Le résultat ? Les ordinateurs restent occupés, le temps d'attente disparaît et toute la bibliothèque fonctionne beaucoup plus vite.

Le Problème : La règle du « Attendre le plus lent »

Dans le monde de l'IA, spécifiquement avec ces modèles de « Mélange d'Experts », le système est conçu pour être incroyablement efficace. Il n'active qu'un petit nombre d'« experts » pour chaque donnée. Mais dans une configuration distribuée — où ces experts sont répartis sur plusieurs cartes graphiques (GPU) — les choses deviennent désordonnées.

Imaginez une course de relais où le témoin n'est passé au coureur suivant que lorsque tout le monde a terminé sa part. Si un coureur porte un sac à dos lourd (un expert « chaud » avec trop de tokens), il ralentit toute l'équipe. Les autres coureurs, qui ont terminé leurs charges légères, doivent rester immobiles et attendre. Dans les termes de l'article, cela est appelé déséquilibre de charge (load imbalance). Le système est limité par le dispositif le plus lent, laissant les autres inactifs.

Les tentatives précédentes pour corriger cela impliquaient la réplication d'experts (embaucher des copies supplémentaires des écrivains occupés) ou la migration d'experts (déplacer les écrivains vers d'autres ordinateurs). Bien que cela fonctionne, ces méthodes présentent des inconvénients majeurs : elles consomment beaucoup de mémoire, coûtent du temps de communication supplémentaire et sont rigides. Si vous changez le type de questions que la bibliothèque reçoit (la tâche), l'ancien plan pourrait totalement échouer.

La Solution : EasyBalance

Les auteurs de cet article, Yize Wu et ses collègues, proposent une approche nouvelle appelée EasyBalance. Leur grande idée est d'arrêter d'essayer de fixer le mappage des écrivains aux ordinateurs et de plutôt fixer l'ordonnancement du travail.

Ils s'appuient sur deux intuitions clés :

Redondance inter-couches : Même si une couche spécifique du modèle possède un ensemble spécifique d'experts, les experts des autres couches sont déjà présents dans la mémoire de l'ordinateur, prêts à l'action. Ils sont « naturellement redondants » pour la tâche actuelle. Vous n'avez pas besoin d'embaucher de nouvelles copies ; vous devez simplement utiliser celles que vous avez déjà.
Combinaison de la charge de travail : L'article suggère que vous pouvez exécuter des micro-lots (petits groupes de questions) provenant de différentes couches du modèle en même temps. Même si le modèle traite normalement les choses une couche à la fois, les mathématiques montrent que combiner ces groupes est sûr. En fait, c'est souvent préférable. Si le Groupe A a une charge lourde sur l'Ordinateur 1, mais que le Groupe B a une charge lourde sur l'Ordinateur 2, les exécuter ensemble équilibre le poids total. Le scénario du « pire cas » (où les deux groupes frappent le même ordinateur) est statistiquement rare, surtout lorsque vous ajoutez plus d'ordinateurs.

Comment ça marche : Le « Planificateur Intelligent »

EasyBalance agit comme un contrôleur de trafic intelligent. Au lieu d'envoyer tous les étudiants de la Couche 1, puis tous ceux de la Couche 2, il observe la foule actuelle. Il choisit un mélange d'étudiants de différentes couches pour les faire fonctionner ensemble.

Il sélectionne un sous-ensemble de ces micro-lots pour les exécuter immédiatement.
Il reporte (attend) les autres s'ils devraient causer un goulot d'étranglement.
Il fait cela sans changer l'emplacement de l'expert sur l'ordinateur.

Cela signifie que le système peut s'adapter instantanément à tout nouveau type de tâche sans avoir besoin de reconfigurer le matériel ou la mémoire. C'est comme une cuisine de restaurant qui décide de cuisiner un burger et une salade en même temps parce que le grill est occupé mais que le poste de la salade est libre, plutôt que d'attendre que le grill finisse tout avant de commencer la salade.

Les Résultats : Plus Rapide et Moins de Gaspillage

Les chercheurs ont testé EasyBalance sur plusieurs grands modèles, notamment Qwen3-30B et Moonlight-16B, en les faisant tourner sur 8 GPU. Ils ont utilisé un benchmark appelé LongBench, qui couvre de nombreuses tâches différentes comme la compréhension de lecture et la génération de code.

Les conclusions ont été cohérentes et impressionnantes :

Réduction de l'inactivité : EasyBalance a réduit la « sous-utilisation » des GPU (le temps où les ordinateurs ne font rien) de plus de 40 % dans la plupart des cas. Dans de nombreux cas, le temps d'inactivité est passé d'environ 0,35 (35 % de gaspillage) à environ 0,2 (20 % de gaspillage).
Inférence plus rapide : Parce que les ordinateurs n'attendaient plus les uns les autres, le temps total pour obtenir une réponse (latence de bout en bout) a considérablement diminué.
Flexibilité : Contrairement aux méthodes précédentes qui nécessitaient de connaître la tâche spécifique à l'avance pour configurer les experts, EasyBalance a fonctionné tout aussi bien sur les 13 tâches différentes testées, de la culture générale au code.

L'article a également exploré différentes stratégies d'« ordonnancement » (comment le système décide de mélanger les groupes). Ils ont trouvé qu'une stratégie appelée MaxUtil (qui tente de maximiser l'utilisation de chaque GPU) fonctionnait le mieux, mais même des stratégies plus simples et plus rapides comme CumUtil (ajouter des lots un par un s'ils aident) étaient toujours bien meilleures que de ne rien faire.

Pourquoi c'est important

La partie la plus excitante d'EasyBalance est qu'il ne nécessite aucune mémoire supplémentaire ni reconfiguration complexe. Il fonctionne avec la configuration existante. À mesure que les modèles d'IA deviennent plus grands et plus complexes, le problème de certains ordinateurs attendant pendant que d'autres travaillent ne fera que s'aggraver. Cet article suggère qu'en étant simplement plus intelligents sur le moment où nous exécutons le travail, plutôt que sur l'endroit où nous plaçons les experts, nous pouvons rendre ces systèmes d'IA massifs nettement plus efficaces.

Les auteurs notent que bien que leur méthode soit hautement efficace, elle repose sur la probabilité statistique que les charges lourdes ne frappent pas toujours le même ordinateur au même moment. Dans leurs tests sur divers modèles et tâches, cette stratégie a systématiquement accéléré l'inférence, prouant que parfois, la meilleure façon de résoudre un goulot d'étranglement est de laisser les travailleurs s'entraider pour franchir la ligne d'arrivée, plutôt que d'essayer de déplacer les travailleurs eux-mêmes.

Résumé Technique : EasyBalance

Énoncé du Problème

Dans l'inférence distribuée des modèles Mixture-of-Experts (MoE), le parallélisme d'experts est la méthode standard pour mettre à l'échelle le calcul sur plusieurs dispositifs. Cependant, cette approche souffre d'un grave déséquilibre de charge. En raison de la nature asymétrique des distributions de routage des jetons (tokens), certains dispositifs hébergeant des experts « chauds » deviennent des goulots d'étranglements, tandis que d'autres restent inactifs en attendant la synchronisation lors de la communication all-to-all et de l'agrégation des résultats.

Les solutions existantes tentent d'atténuer cela via la réplication d'experts (duplication d'experts pour distribuer la charge) ou la migration d'experts (déplacement d'experts entre les dispositifs en fonction des statistiques de routage). L'article identifie deux limitations critiques de ces approches :

Manque de Flexibilité : Les sché patterns de routage varient considérablement selon les tâches et les entrées. Un mappage statique expert-dispositif optimisé pour une tâche peut être sous-optimal ou préjudiciable pour une autre.
Problèmes de Scalabilité : La réplication entraîne un surcoût substantiel en mémoire, tandis que la migration introduit des coûts de communication et de synchronisation. Ces surcoûts augmentent mal avec la taille du modèle et l'échelle du déploiement.

Méthodologie : EasyBalance

Les auteurs proposent EasyBalance, une stratégie d'équilibrage de charge inter-couches qui opère sans modifier le mappage expert-dispositif. Elle repose sur deux intuitions fondamentales :

1. Redondance d'Experts Inter-Couches

Alors que les méthodes traditionnelles introduisent de la redondance en répliquant des experts au sein d'une couche (ce qui coûte de la mémoire), les auteurs observent que les experts des autres couches sont naturellement redondants pour la couche actuelle. Puisque ces experts résident déjà dans la mémoire GPU et sont prêts à être utilisés, ils peuvent être exploités pour équilibrer les charges de travail sans engendrer de coûts de mémoire ou de communication supplémentaires.

2. Combinaison de Charge de Travail Inter-Couches

Bien que l'inférence du modèle suive un ordre séquentiel strict par couche, les micro-batches peuvent progresser simultanément à travers différentes couches. EasyBalance exploite cela en exécutant conjointement les charges de travail MoE de plusieurs micro-batches résidant à différentes couches ( $l_j$ et $l_k$ ) au sein d'une seule étape.

Sécurité et Bénéfice Théorique :

Sécurité dans le Pire Cas : La charge de travail effective de la combinaison de deux distributions $w_1$ et $w_2$ est $\max(w_1 + w_2)$ . Comme $\max(w_1 + w_2) \leq \max(w_1) + \max(w_2)$ , la combinaison des charges de travail ne dégrade jamais les performances par rapport à une exécution séparée.
Bénéfice Probabiliste : Le pire scénario (où le pic combiné égale la somme des pics individuels) ne se produit que si toutes les charges de travail culminent sur le même dispositif. À mesure que le nombre de dispositifs augmente, la probabilité de cet alignement diminue, rendant la combinaison inter-couches généralement bénéfique pour réduire la charge de travail effective.

Algorithme de Programmation (Scheduling)

EasyBalance utilise un algorithme de programmation glouton (Algorithme 1) qui opère à chaque étape de calcul MoE :

Sélection : À partir d'un pool de micro-batches en attente, il sélectionne un sous-ensemble à exécuter conjointement.
Différé : Les lots non sélectionnés sont différés aux étapes futures, en attendant de meilleures opportunités d'équilibrage.
Contraintes : Un seuil minimum $m$ est imposé pour garantir que le sous-ensemble sélectionné est suffisamment large pour un chevauchement efficace entre calcul et communication.
Heuristiques : L'article évalue plusieurs stratégies, constatant que MaxUtil (maximisation de l'utilisation du GPU) offre généralement les meilleures performances, bien que des heuristiques plus simples en temps linéaire comme CumUtil (utilisation cumulée) et DiffPeak (sélection de lots avec des dispositifs de pic différents) surpassent également la ligne de base.

Contributions Clés

Nouveau Paradigme : Introduit la première stratégie d'équilibrage de charge inter-couches qui est agnostique au mappage expert-dispositif, éliminant ainsi le besoin de réplication ou de migration.
Zéro Surcoût : Réalise l'équilibrage de charge avec pratiquement aucun coût de mémoire ou de communication supplémentaire, répondant aux limites de scalabilité des méthodes précédentes.
Adaptabilité Instantanée : Parce qu'il repose uniquement sur les distributions de charge actuelles plutôt que sur les statistiques de routage historiques, il s'adapte instantanément aux nouvelles tâches sans reconfiguration.
Garantie Théorique : Fournit une preuve que la combinaison de charge de travail inter-couches est sûre pour les performances dans le pire des cas.

Résultats Expérimentaux

Les auteurs ont évalué EasyBalance sur trois modèles MoE open-source (Qwen3-30B, Moonlight-16B, Qwen3-235B) à travers 13 tâches diverses du benchmark LongBench en utilisant 8×A800 GPU.

Accélération des Performances : EasyBalance réduit systématiquement la latence d'inférence de bout en bout pour tous les modèles et toutes les tâches.
Utilisation des Ressources : Il réduit la sous-utilisation du GPU (temps d'inactivité) de plus de 40 % la plupart du temps (par exemple, en réduisant la sous-utilisation de ~0,35 à ~0,2).
Robustesse : La méthode démontre une efficacité constante quel que soit la tâche ou la configuration du modèle, contrairement aux méthodes de mappage d'experts qui montrent des gains dépendants de la tâche.
Orthogonalité : Lorsqu'il est combiné avec des méthodes de mappage existantes comme EPLB, EasyBalance apporte des gains de performance additifs, confirmant qu'il opère sur un axe orthogonal.
Surcoût : Le surcoût de programmation est négligeable (millisecondes par étape) par rapport à la latence de bout en bout.

Signification et Revendications

L'article affirme qu'EasyBalance offre une approche fondamentalement différente de l'équilibrage de charge qui surmonte les compromis de flexibilité et de scalabilité inhérents à la réplication ou à la migration d'experts. En exploitant la redondance inhérente des experts inter-couches et le parallélisme du micro-batching, il permet une adaptabilité instantanée à divers scénarios d'inférence sans modifier l'architecture système sous-jacente. Les auteurs positionnent cela comme une solution évolutive pour les déploiements MoE distribués à grande échelle où le déséquilibre de routage est de plus en plus sévère.