Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling

Ce papier propose Semantic Parallelism, une nouvelle approche de parallélisme implémentée dans le framework Sem-MoE, qui optimise l'inférence des modèles MoE massifs en colocalisant proactivement les experts et leurs tokens d'activation sur les mêmes dispositifs grâce à une planification conjointe du modèle et des données, réduisant ainsi considérablement les coûts de communication et améliorant le débit d'inférence.

L'essentiel

🚀 Le Problème : Un Embouteillage Numérique

Imaginez un immense restaurant gastronomique (c'est le Modèle d'IA ou LLM) qui doit préparer des milliers de plats complexes (les réponses).

Pour être ultra-rapide et capable de cuisiner des plats de toutes les cuisines du monde, ce restaurant a recruté des milliers de chefs spécialisés, appelés "Experts" (c'est la technologie Mixture-of-Experts ou MoE).

• Il y a des experts pour la cuisine italienne, d'autres pour la japonaise, d'autres pour les desserts, etc.
• Quand un client commande un plat, un Chef de Rang (le "routeur") regarde la commande et l'envoie immédiatement au chef spécialisé qui sait la faire.

Le problème actuel :
Dans les systèmes actuels, tous ces chefs spécialisés sont répartis dans différentes cuisines (des GPU ou puces informatiques) qui sont physiquement séparées.

1. Le client arrive.
2. Le Chef de Rang envoie la commande à l'expert italien qui se trouve dans la cuisine du fond (Cuisine A).
3. Mais le client est assis à la Cuisine B.
4. Il faut donc faire courir un serveur (les données) de la Cuisine B vers la Cuisine A, puis rapporter le plat fini.
5. Si 100 clients commandent des plats différents, les serveurs sont partout, en train de courir dans les couloirs. C'est là que tout le temps est perdu. Le temps passé à courir (communication) est plus long que le temps passé à cuisiner (calcul).

💡 La Solution : "Le Parallélisme Sémantique"

L'équipe de Huawei et de l'Université Sun Yat-Sen propose une nouvelle façon de gérer ce restaurant, qu'ils appellent Sem-MoE (Parallelisme Sémantique).

Leur idée géniale est simple : "Faire en sorte que le client et le chef spécialisé soient dans la même cuisine."

Au lieu de laisser les clients arriver au hasard et courir partout, ils utilisent la sémantique (le sens des mots) pour prédire qui va cuisiner quoi, et réorganiser le restaurant en conséquence.

Comment ça marche ? (Les 3 Astuces Magiques)

1. La Carte des Affinités (Le Prévisionnel)
Avant même que le restaurant ouvre, les chercheurs ont observé des millions de commandes passées. Ils ont remarqué quelque chose d'étonnant :

• Si un client commande un plat "Pâtes", il y a 99% de chances que ce soit le chef italien qui le fasse, peu importe le contexte.
• Si un client demande un conseil juridique, c'est le chef "Droit" qui sera appelé.
• L'analogie : C'est comme savoir que si vous commandez un café, vous irez toujours à la même machine. Le système apprend ces habitudes.

2. Le Réarrangement des Cuisines (Ordonnancement du Modèle)
Au lieu de laisser les chefs italiens, japonais et français éparpillés au hasard dans les différentes cuisines du bâtiment, Sem-MoE les regroupe intelligemment.

• Il met tous les chefs qui travaillent souvent ensemble (ex: les chefs de la cuisine asiatique) dans la même cuisine.
• Cela crée des "îlots de compétence".

3. L'Accueil Intelligent (Ordonnancement des Données)
C'est ici que la magie opère en temps réel :

• Cas 1 (Commandes séparées) : Quand un groupe de clients arrive (une requête), le système regarde ce qu'ils veulent manger. S'ils veulent tous des plats asiatiques, le système les installe directement dans la cuisine où se trouvent les chefs asiatiques. Résultat : Plus besoin de courir dans les couloirs !
• Cas 2 (Commandes complexes) : Si un client commande un menu très long (une phrase très longue), le système réorganise les plats à l'intérieur de la commande pour que chaque étape soit faite par le chef le plus proche, sans faire de détours inutiles.

📊 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, le restaurant fonctionne comme un chef d'orchestre parfait :

• Moins de courses : Les serveurs (les données) ne parcourent plus tout le bâtiment. Ils restent dans la cuisine.
• Plus de plats servis : Le restaurant peut servir beaucoup plus de clients par seconde (le "débit" ou throughput augmente jusqu'à 2,78 fois dans certains cas).
• Moins d'attente : Le temps pour recevoir le premier plat (la latence) diminue drastiquement.

En Résumé

Imaginez que vous avez un problème de bouchons de circulation dans une ville où les gens doivent aller au travail.

• L'ancien système : Tout le monde habite au même endroit et doit traverser toute la ville pour aller travailler, créant des embouteillages monstres.
• Le système Sem-MoE : On déplace les bureaux pour qu'ils soient juste à côté des maisons des employés qui y travaillent le plus souvent. Plus de bouchons, tout le monde arrive plus vite, et la ville respire mieux.

Ce papier montre comment, en comprenant simplement qui fait quoi (la sémantique) et en réorganisant intelligemment où ça se passe (le matériel), on peut rendre les intelligences artificielles beaucoup plus rapides et économes en énergie.

Résumé technique

1. Problématique et Contexte

L'architecture Mixture-of-Experts (MoE) est devenue la norme pour les grands modèles de langage (LLM) modernes (comme DeepSeek-V3, Qwen3, Kimi-K2), permettant de passer à l'échelle du nombre de paramètres sans augmenter proportionnellement le coût computationnel par token. Cependant, l'inférence de ces modèles à grande échelle se heurte à un goulot d'étranglement majeur : la communication inter-dispositifs.

• Limitation actuelle : Les moteurs d'inférence actuels utilisent l'Expert Parallelism (EP), où les experts sont répartis sur différents GPU/NPU. Cela nécessite des opérations coûteuses de type all-to-all pour router les tokens vers les experts distants.
• Observation clé : Dans des configurations réelles (ex: DeepSeek-V2-Lite sur 8 GPU), la communication EP peut représenter jusqu'à 59,2 % de la latence d'une couche MoE, même sur des interconnexions rapides.
• Défaut des solutions existantes : Les approches de pointe traitent le placement des experts (modèle) et l'ordonnancement des requêtes/tokens (données) comme des problèmes séparés. Cela entraîne une dispersion des tokens et des experts, maximisant ainsi la communication inutile.

2. Méthodologie : Le Parallélisme Sémantique

L'article propose un nouveau paradigme appelé Semantic Parallelism, implémenté dans un système nommé Sem-MoE. L'idée centrale est d'exploiter l'affinité intrinsèque entre les tokens d'entrée et les experts activés pour réaliser un ordonnancement collaboratif modèle-données.

Le système repose sur trois techniques clés :

A. Prédiction de l'activation des experts (Offline)

Les auteurs ont observé que, contrairement à la théorie, l'activation des experts par un token est indépendante du contexte dans une large mesure. Un token donné tend à activer un sous-ensemble statique et restreint d'experts, quelle que soit la phrase dans laquelle il apparaît.

• Modélisation : En utilisant des profils hors ligne (sur des jeux de données comme ShareGPT), Sem-MoE construit des tables de probabilité (Token-to-Expert) pour prédire quels experts seront activés par quels tokens.
• Résultat : Cette prédiction permet de regrouper les tokens et les experts qui ont une forte affinité.

B. Ordonnancement Collaboratif (Co-Scheduling)

Le système formule le problème comme un problème de clustering co-optimisé (résolu via un algorithme d'optimisation alternée) pour maximiser l'activation locale (tokens et experts sur le même GPU).

1. Ordonnancement du Modèle (Offline) :

   • Les experts sont regroupés en "clusters" basés sur leurs tendances d'activation conjointe.
   • Ces clusters sont ensuite placés sur des dispositifs spécifiques pour minimiser les communications croisées.
   • Cela se fait hors ligne pour éviter la surcharge à l'exécution.

2. Ordonnancement des Données (Online) :

   • Cas Attention-DP (Data Parallelism) : Le système réorganise les requêtes entrantes. Les requêtes ayant des tokens activant les mêmes groupes d'experts sont batchées ensemble et envoyées au même rank DP, réduisant ainsi les transferts inter-GPU.
   • Cas Attention-TP (Tensor Parallelism) : Le système réorganise les tokens au sein d'une même requête. Il fusionne la réorganisation des tokens avec les opérations de communication standard (Reduce-Scatter et All-Gather) en utilisant des primitives personnalisées : Shuffled-Reduce-Scatter (SRS) et Shuffled-Allgather (SAG). Cela permet de router les tokens vers les bons dispositifs avant le calcul MoE, évitant une redistribution ultérieure.

3. Contributions Clés

1. Analyse Empirique : Démonstration d'une corrélation forte et contextuellement indépendante entre les tokens et les experts dans les grands modèles MoE, fournissant la base théorique pour l'optimisation.
2. Algorithme d'Ordonnancement : Conception d'un algorithme de co-clustering modèle-données qui améliore le taux d'activation locale de 15,4 % par rapport aux méthodes de base.
3. Implémentation Système (Sem-MoE) : Intégration réussie dans SGLang, un moteur d'inférence LLM de pointe, avec des noyaux personnalisés (Triton) pour les opérations de communication hybrides.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des serveurs 8-GPU avec des modèles comme DeepSeek-V2-Lite et Qwen3-30B-A3B, comparés à SGLang (baseline) et MoETuner.

• Scénario Attention-DP (Débit) :
  • Sem-MoE atteint une amélioration du débit allant jusqu'à 2,78x par rapport aux solutions existantes sous des contraintes de latence (SLO).
  • Réduction significative de la latence TTFT (Time To First Token) et de la latence globale.
• Scénario Attention-TP (Latence) :
  • Réduction de la latence d'inférence de bout en bout jusqu'à 24,9 %.
  • Amélioration du TTFT de 12,2 % à 18,9 % selon la longueur de séquence.
• Réduction de la Communication :
  • Le taux d'activation locale (LAR) passe de 25 % (Vanilla) à **61-65 %** avec Sem-MoE.
  • Cela se traduit par une réduction de la latence de la couche expert unique de 41,8 % à 46,6 %.
• Généralisation : Le modèle de prédiction montre une robustesse en "zero-shot" sur des jeux de données non vus (MMLU, LMSYS-Chat-1M), confirmant que les affinités token-expert sont des propriétés structurelles du modèle.

5. Signification et Impact

Ce travail redéfinit l'efficacité de l'inférence MoE en passant d'une approche statique ou purement basée sur l'équilibrage de charge à une approche sémantique et proactive.

• Efficacité Économique : En réduisant drastiquement la communication inter-GPU (souvent le facteur limitant sur les clusters), Sem-MoE permet d'exploiter pleinement la bande passante de calcul des GPU, rendant l'inférence de modèles de plusieurs billions de paramètres plus abordable et rapide.
• Architecture Logicielle : L'intégration transparente dans SGLang et l'utilisation de primitives de communication fusionnées (SRS/SAG) montrent qu'il est possible d'optimiser le routage sans modifier l'architecture du modèle MoE lui-même.
• Futur de l'Inférence : Cette approche ouvre la voie à des systèmes d'inférence qui anticipent les besoins de calcul en fonction du contenu sémantique des requêtes, plutôt que de réagir passivement aux flux de données.

En résumé, Semantic Parallelism résout le goulot d'étranglement de communication des modèles MoE en alignant intelligemment les données (tokens) et le modèle (experts), offrant des gains de performance substantiels pour les services LLM à grande échelle.