🤖 AI

M*: A Modular, Extensible, Serving System for Multimodal Models

Cet article présente M*, un système de service modulaire et extensible qui représente les modèles multimodaux composites sous forme de graphes de flux de données afin de permettre une composition flexible des composants et une optimisation distribuée, atteignant des améliorations significatives de la latence et du débit par rapport aux frameworks existants à travers diverses tâches telles que le texte-vers-image, le texte-vers-parole et la planification robotique.

Auteurs originaux : Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une cuisine technologique de pointe et de grande envergure.

L'Ancienne Méthode (Systèmes Existants) :
Pendant longtemps, les modèles d'IA étaient comme des chaînes de montage simples à voie unique. Si vous vouliez préparer un gâteau (générer du texte), tous les ingrédients suivaient le même chemin : mélanger, cuire, glacer, servir. Les systèmes comme vLLM ont été conçus spécifiquement pour cette chaîne de montage « uniquement textuelle ». Ils étaient incroyablement rapides pour cuire des gâteaux.

Mais maintenant, l'IA entre dans une nouvelle ère. Nous ne nous contentons plus de préparer des gâteaux ; nous gérons une cuisine composite. Nous avons des modèles qui peuvent :

Regarder une photo et la décrire (Vision).
Écouter une voix et répondre avec une voix différente (Parole).
Regarder une vidéo et prédire ce qui va se passer ensuite (Modèles de monde/World Models).
Contrôler un bras robotique sur la base d'une commande (Robotique).

Ces nouveaux modèles « composites » sont désordonnés. Ils ne suivent pas une ligne droite unique. Parfois, ils doivent revenir en arrière pour vérifier leur travail (comme un modèle de diffusion qui affine une image). Parfois, ils doivent se diviser en trois chemins parallèles simultanément (comme vérifier une image sous trois angles différents). Parfois, ils doivent diffuser de l'audio en temps réel, un mot à la fois.

Les anciens systèmes de cuisine (vLLM, SGLang) tentaient de forcer ces modèles complexes et multimodaux dans leurs simples chaînes de montage linéaires. C'était comme essayer de faire entrer un spectacle de jonglage dans un tapis roulant. Cela fonctionnait, mais c'était lent, maladroit et nécessitait beaucoup de code de « colle » personnalisé pour faire tenir les pièces ensemble.

La Nouvelle Solution : M*
Le document présente M, un nouveau système d'exploitation pour ces cuisines d'IA complexes. Au lieu de forcer les modèles à suivre une ligne droite, M les traite comme une carte dynamique ou un organigramme.

Voici comment fonctionne M*, en utilisant des analogies simples :

1. Le « Walk Graph » (La Carte)

Dans l'ancien temps, le gestionnaire de cuisine devait connaître la recette exacte de chaque plat. Dans M*, le créateur du modèle dessine simplement une carte (un graphe) de la cuisine.

Nœuds : Ce sont les stations (ex : « La Station Vision », « La Station Langage », « La Station Audio »).
Walks (Trajets) : Ce sont les itinéraires spécifiques que prend la commande d'un client.
- Commande A (Texte vers Image) : Le trajet va de la Station Langage → boucle 50 fois à la Station Art → se termine à l'Imprimante.
- Commande B (Parole vers Parole) : Le trajet part de la Station Micro → se divise en deux chemins → fusionne à nouveau → va vers le Haut-parleur.

M* appelle cela le Walk Graph. Cela permet au système de comprendre que différentes tâches empruntent différents chemins à travers la même cuisine, sans avoir besoin de réécrire la disposition de la cuisine à chaque fois.

2. Le « Conductor » (Le Chef d'Orchestre)

Une fois la carte dessinée, M* possède un Conductor. C'est un contrôleur de trafic intelligent qui ne se soucie pas de savoir ce que l'on cuisine, mais seulement de où cela doit aller.

Si une requête doit boucler (comme pour affiner une image), le Conductor la renvoie au début de la boucle.
Si une requête doit se diviser en trois (comme pour vérifier la sécurité, le style et le contenu), le Conductor envoie trois copies à trois chefs différents simultanément.
Si une requête diffuse de l'audio, le Conductor s'assure que le chef livre le premier mot immédiatement, plutôt que d'attendre la fin de toute la phrase.

3. Placement Flexible (Seating)

Dans les anciens systèmes, si vous aviez un grand chef (un grand modèle d'IA), vous deviez le mettre sur une table géante (un GPU). Si vous aviez un petit assistant (un petit encodeur), il devait s'asseoir à une petite table.
M* vous permet de désagréger la cuisine. Vous pouvez placer le « Chef Vision » sur un ordinateur, le « Chef Langage » sur un autre, et le « Chef Audio » sur un troisième. Ils peuvent communiquer entre eux instantanément. Cela signifie que vous pouvez augmenter l'échelle uniquement de la partie du modèle qui est lente, sans gaspiller d'argent pour les parties qui sont rapides.

Qu'ont-ils prouvé ? (Les Résultats)

Les auteurs ont testé M* contre les anciens systèmes (vLLM-Omni, SGLang-Omni, VoxServe) sur cinq types différents de modèles complexes. Voici ce qu'il s'est passé :

Génération d'images (BAGEL) : Lors de la transformation de texte en images, M* était 20 % à 50 % plus rapide que les anciens systèmes. Il gérait les « boucles » complexes nécessaires pour affiner l'image de manière beaucoup plus efficace.
Parole (Qwen3-Omni & Orpheus) : Lors de la génération de parole, M* était jusqu'à 2,9 fois plus rapide en termes de performance en temps réel et gérait 2,7 fois plus de requêtes simultanément. C'était comme passer d'une radio lente et saccadée à une diffusion en direct et fluide.
Robotique (V-JEPA 2) : Pour la prédiction des futures images vidéo pour la planification de robots, M* était jusqu'à 12,5 fois plus rapide. L'ancien système devait tout recalculer à partir de zéro à chaque étape ; M* se souvenait des étapes précédentes et ne mettait à jour que les nouvelles.

L'essentiel

M* est un système universel qui cesse d'essayer de forcer chaque modèle d'IA dans une forme unique et rigide. Au lieu de cela, il laisse le modèle définir sa propre forme (un graphe) puis construit un moteur flexible et haute vitesse pour exécuter cette forme.

C'est la différence entre une ligne de montage rigide qui casse si vous essayez de construire une voiture au lieu d'un grille-pain, et un atelier intelligent et adaptable capable de construire aussi bien un grille-pain qu'une fusée, avec la même vitesse et la même efficacité. Le document affirme que cela permet aux développeurs de déployer ces modèles multimodaux complexes avec un effort minimal tout en obtenant des performances nettement supérieures.

Résumé Technique : M* - Un système de service modulaire et extensible pour les modèles multimodaux

1. Énoncé du Problème

Le paysage de l'IA évolue vers des architectures de modèles composites qui intègrent divers composants tels que des encodeurs de vision, des backbones de langage, des têtes de diffusion, des codecs audio et des générateurs d'actions. Ces modèles — incluant les modèles multimodaux unifiés (UMM), les modèles Omni, les modèles de langage et de parole (SpeechLMs), les politiques Vision-Langage-Action (VLA) et les modèles de monde (World Models) — présentent des structures d'exécution qui varient considérablement selon la modalité d'entrée et la tâche. Contraques les LLM traditionnels (uniquement textuels) qui suivent une boucle autorégressive (AR) fixe, les modèles composites présentent :

Des chemins d'exécution diversifiés : Différentes tâches (ex: génération d'images vs compréhension d'images) traversent différents sous-ensembles de composants au sein du même modèle.
Un flux de contrôle complexe : Les motifs incluent des boucles non autorégressives (ex: étapes de diffusion, rollouts de modèles de monde), un parallélisme interne (ex: branches de Classifier-Free Guidance) et des dépendances de données en streaming.
Des exigences matérielles hétérogènes : Les composants peuvent nécessiter une mise à l'échelle indépendante ou un placement sur des topologies matérielles spécifiques.

Les frameworks de service existants (ex: vLLM, SGLang) sont optimisés pour la génération de texte AR. Bien que des extensions récentes (vLLM-Omni, SGLang-Omni) tentent de prendre en charge les modèles multimodaux via des graphes acycliques dirigés (DAG) de "étapes" fixes, elles échouent à capturer des motifs complexes comme les boucles entre étapes, le parallélisme interne et le streaming dynamique. Cela conduit à une performance sous-optimale, un placement physique rigide et la nécessité de recourir à d'importants "codes de colle" personnalisés pour de nouvelles architectures.

2. Méthodologie : L'Abstraction du Walk Graph

Les auteurs proposent M*, un système de service universel construit sur une abstraction centrale appelée le Walk Graph. Cette abstraction découple l'architecture du modèle du runtime du système.

2.1 Définition Centrale

Un modèle dans M* est défini par un tuple $(G, W)$ :

$G$ (Graphe de Calcul) : Un graphe dirigé de nœuds hétérogènes (ex: encodeurs, décodeurs, couches transformer) et d'arêtes (flux de tenseurs).
$W$ (Walks/Traversées) : Un ensemble fini de sous-graphes nommés représentant des phases spécifiques du comportement du modèle (ex: prefill_text, image_gen). Une requête utilisateur est une séquence de ces traversées.

2.2 Primitives Compositionnelles

Le graphe est construit à l'aide de quatre primitives pour gérer le flux de contrôle complexe :

Séquentiel : Chaînage de sous-graphes où les sorties alimentent le suivant.
Parallèle : Exécution en éventail (fan-out) des nœuds enfants (ex: pour les branches CFG).
Boucle (Loop) : Itération bornée avec accumulation des sorties (ex: étapes de diffusion).
Boucle Dynamique (DynamicLoop) : Itération avec conditions de sortie anticipée par requête (ex: End-of-Sequence en AR ou horizons variables dans les modèles de monde).

2.3 Streaming et Découpage (Chunking)

Pour supporter la génération en temps réel (ex: parole), M* introduit des StreamingGraphEdges paramétrés par des ChunkPolicies. Ces politiques dictent quand un nœud consommateur s'active en fonction des tenseurs d'entrée accumulés. Les politiques supportées incluent :

FixedChunkPolicy : S'active tous les $K$ éléments.
SlidingWindowChunkPolicy : S'active lorsqu'un tampon contient $W$ éléments, avec un avancement de $S$ .
LeftContextChunkPolicy : Prépende des trames de contexte aux morceaux (chunks).

2.4 Architecture du Runtime

Le runtime de M* exécute le Walk Graph via une architecture distribuée :

Conductor (Conducteur) : Maintient l'état par requête et distribue le travail aux workers via ZeroMQ.
Workers (Ouvriers) : Un processus par rang GPU, exécutant des sous-graphes locaux. Ils supportent le batching continu, la capture de CUDA-graph et torch.compile.
Engines (Moteurs) : Instances d'inférence spécialisées (ex: KVCacheEngine pour les transformers avec l'attention paginée de FlashInfer, StatelessEngine pour les nœuds simples).
Placement : Les utilisateurs définissent un mappage des GraphNodes vers les rangs GPU. Cela permet des stratégies flexibles telles que la désagrégation prefill-decode, la désagrégation encodeur/décodeur et la mise à l'échelle indépendante des composants.

3. Contributions Clés

Abstraction Walk Graph : Une représentation unifiée qui capture les structures de modèles composites arbitraires (boucles, parallélisme, streaming) sous forme de graphes de flux de données, dépassant les limites des DAG à étapes fixes.
Runtime Modulaire : Un système qui compile l'abstraction de graphe en une exécution haute performance, intégrant des optimisations de pointe (attention paginée, CUDA graphs) à travers les modalités sans nécessiter de code de colle spécifique au modèle.
Placement Physique Flexible : Une API découplée permettant aux déployeurs de mapper les composants au matériel de manière arbitraire, favorisant la mise à l'échelle indépendante et le partage de ressources entre différents types de requêtes.
Support du Streaming : Gestion native des motifs producteur-consommateur via des politiques de découpage, essentielle pour la génération de parole et de vidéo en temps réel.

4. Résultats Expérimentaux

Les auteurs ont évalué M* sur cinq modèles représentatifs : BAGEL (UMM), Qwen3-Omni (Omni), Orpheus (SpeechLM), V-JEPA 2 (World Model) et $\pi$ 0.5 (VLA).

BAGEL (Text-to-Image & Image Editing) :
- Comparé à vLLM-Omni, M* a atteint une latence de bout en bout p50 environ 30 % plus faible pour le text-to-image et environ 50 % plus faible pour l'édition d'image (avec parallélisme CFG).
- M* a utilisé une configuration unique pour optimiser toutes les modalités, tandis que vLLM-Omni nécessitait des compromis entre configurations (ex: mono-étape vs multi-étape) qui dégradaient les performances dans des tâches spécifiques.
- Les gains sont attribués à la gestion du cache KV paginé de M* pour les branches CFG, évitant la concaténation de tenseurs denses utilisée par vLLM-Omni.
Qwen3-Omni (Text-to-Speech) :
- Sur le benchmark Seed-TTS, M* a délivré un facteur de temps réel (RTF) jusqu'à 2,9× plus bas et un débit 2,7× plus élevé que vLLM-Omni et SGLang-Omni.
- À une taille de batch de 16, le débit était environ 15 % supérieur à celui de vLLM-Omni.
- Les améliorations proviennent de la capture de CUDA graph par sous-module (permettant à l'entièreté de la boucle Talker de tourner comme un seul graphe) et de l'élimination de la communication inter-processus pour les composants colocalisés.
Orpheus (Speech) :
- M* a obtenu un RTF p50 13,6 % plus bas et des améliorations de débit allant de 20 % à 52 % par rapport à VoxServe (un système de service de parole spécialisé).
V-JEPA 2 (Robotic Planning/World Models) :
- Pour les rollouts conditionnés par l'action, M* a surpassé l'implémentation native de Meta jusqu'à 12,5× pour un horizon de rollout de 30.
- Cela a été rendu possible en encodant le rollout comme un DynamicLoop avec un cache KV d'attention paginée, évitant les pré-remplissages (prefills) coûteux requis par la boucle écrite à la main de la baseline.

5. Signification et Revendications

L'article affirme que M* ouvre la voie à un service efficace des modèles composites complexes de prochaine génération avec un effort de développement minimal. En traitant l'inférence multimodale comme une traversée de graphe, M* permet aux auteurs de modèles de déclarer leurs architectures une seule fois tout en permettant aux déployeurs d'optimiser le placement physique et l'exécution de manière dynamique.

Les auteurs affirment que M* atteint des performances égales ou supérieures aux baselines spécialisées par modalité (comme VoxServe) et aux frameworks généralistes (comme vLLM-Omni) à travers une diversité de tâches. La capacité du système à gérer des boucles arbitraires, le parallélisme et le streaming sans code de colle personnalisé répond au décalage fondamental d'abstraction dans les piles de service actuelles, facilitant le déploiement de modèles multimodaux unifiés, omni et de modèles de monde dans des applications réelles.