🤖 AI

M*: A Modular, Extensible, Serving System for Multimodal Models

Dit artikel introduceert M*, een modulair en uitbreidbaar servingsysteem dat samengestelde multimodale modellen representeert als datastroomgrafieken om flexibele componentcompositie en gedistribueerde optimalisatie mogelijk te maken, waarbij significante verbeteringen in latentie en doorvoer worden bereikt ten opzichte van bestaande frameworks voor diverse taken zoals tekst-naar-beeld, tekst-naar-spraak en robotische planning.

Oorspronkelijke auteurs: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, high-tech keuken runt.

De Oude Manier (Bestaande Systemen):
Lange tijd waren AI-modellen als eenvoudige, enkelsporen lopende assemblagebanden. Als je een taart wilde bakken (tekst genereren), gingen alle ingrediënten via dezelfde route: mengen, bakken, decoreren, serveren. Systemen zoals vLLM waren specif으로 gebouwd voor deze "alleen tekst"-assemblageband. Ze waren ongelooflijk snel in het bakken van taarten.

Maar nu gaat AI een nieuw tijdperk binnen. We bakken niet meer alleen maar taarten; we runnen een composietkeuken. We hebben modellen die kunnen:

Naar een foto kijken en deze beschrijven (Visie).
Naar een stem luisteren en antwoorden met een andere stem (Spraak).
Een video bekijken en voorspellen wat er daarna gebeurt (World Models).
Een robotarm aansturen op basis van een commando (Robotica).

Deze nieuwe "composiete" modellen zijn rommelig. Ze volgen niet één enkele rechte lijn. Soms moeten ze teruglopen om hun werk te controleren (zoals een diffusiemodel dat een afbeelding verfijnt). Soms moeten ze tegelijkertijd in drie parallelle paden splitsen (zoals een afbeelding vanuit drie verschillende hoeken controleren). Soms moeten ze audio in realtime streamen, woord voor woord.

De oude keukensystemen (vLLM, SGLang) probeerden deze complexe, multi-task modellen in hun eenvoudige, rechte assemblagebanden te dwingen. Het was alsof je een jongleeract probeerde te passen in een lopende band. Het werkte wel, maar het was traag, lomp en vereiste veel aangepaste "lijm"-code om de stukken bij elkaar te houden.

De Nieuwe Oplossing: M*
Het paper introduceert M, een nieuw besturingssysteem voor deze complexe AI-keukens. In plaats van modellen in een rechte lijn te dwingen, behandelt M ze als een dynamische kaart of een flowchart.

Zo werkt M*, met behulp van eenvoudige analogieën:

1. De "Walk Graph" (De Kaart)

In de oude dagen moest de keukenmanager het exacte recept voor elke gerecht kennen. In M* tekent de maker van het model simpelweg een kaart (een graaf) van de keuken.

Nodes (Knopen): Dit zijn de stations (bijv. "Het Visie-station," "Het Taalstation," "Het Audiostation").
Walks (Routes): Dit zijn de specifieke routes die een bestelling van een klant aflegt.
- Bestelling A (Tekst-naar-Afbeelding): Loopt van het Taalstation → voert 50 keer een lus uit bij het Kunststation → eindigt bij de Printer.
- Bestelling B (Spraak-naar-Spraak): Loopt van het Mic-station → splitst zich in twee paden → komt weer samen → gaat naar de Speaker.

M* noemt dit de Walk Graph. Het stelt het systeem in staat om te begrijpen dat verschillende taken verschillende routes door dezelfde keuken afleggen, zonder dat de lay-out van de keuken telkens opnieuw geschreven hoeft te worden.

2. De "Conductor" (De Verkeersregelaar)

Zodra de kaart is getekend, heeft M* een Conductor. Dit is de slimme verkeersregelaar die niet geeft wat het eten is, maar alleen waar het naartoe moet.

Als een verzoek een lus moet maken (zoals het verfijnen van een afbeelding), stuurt de Conductor het terug naar het begin van de lus.
Als een verzoek moet splitsen in drieën (zoals het controleren van veiligheid, stijl en inhoud), stuurt de Conductor tegelijkertijd drie kopieën naar drie verschillende chefs.
Als een verzoek audio streamt, zorgt de Conductor ervoor dat de chef het eerste woord direct overhandigt, in plaats van te wachten tot de hele zin voltooid is.

3. Flexibele Zitplaatsen (Placement)

In de oude systemen, als je een grote chef had (een groot AI-model), moest je hem aan één grote tafel zetten (één GPU). Als je een kleine helper had (een kleine encoder), moest die aan een kleine tafel zitten.
M* laat je de keuken disaggregeren. Je kunt de "Visie-chef" op één computer zetten, de "Taal-chef" op een andere, en de "Audio-chef" op een derde. Ze kunnen direct met elkaar communicen. Dit betekent dat je alleen het deel van het model dat traag is kunt opschalen, zonder geld te verspillen aan de delen die snel zijn.

Wat hebben ze bewezen? (De Resultaten)

De auteurs hebben M* getest tegen de oude systemen (vLLM-Omni, SGLang-Omni, VoxServe) op vijf verschillende soorten complexe modellen. Dit is wat er gebeurde:

Beeldgeneratie (BAGEL): Bij het omzetten van tekst naar afbeeldingen was M* 20% tot 50% sneller dan de oude systemen. Het handelde de complexe "lussen" die nodig zijn om de afbeelding te verfijnen veel efficiënter.
Spraak (Qwen3-Omni & Orpheus): Bij het genereren van spraak was M* tot wel 2,9 keer sneller in real-time prestaties en verwerkte het 2,7 keer meer verzoeken tegelijkertijd. Het was alsof je overstapte van een trage, haperende radio naar een kristalheldere live-uitzending.
Robotica (V-JEPA 2): Bij het voorspellen van toekomstige videoframes voor robotplanning, was M* tot wel 12,5 keer sneller. Het oude systeem moest elke stap alles vanaf nul opnieuw berekenen; M* onthield de vorige stappen en update alleen de nieuwe delen.

De Kern van het Verhaal

M* is een universeel systeem dat stopt met proberen elk AI-model in één enkele, rigide vorm te persen. In plaats daarvan laat het het model zijn eigen vorm definiëren (een graaf) en bouwt het vervolgens een flexibele, hogesnelheidsmotor om die vorm uit te voeren.

Het is het verschil tussen een starre assemblageband die breekt als je een auto probe in plaats van een broodrooster probeert te maken, en een slimme, aanpasbare werkplaats die alles van een broodrooster tot een raket kan bouwen met gelijke snelheid en efficiëntie. Het paper beweert dat dit ontwikkelaars in staat stelt om deze complexe, multi-modale modellen met minimale inspanning te implementeren, terwijl ze aanzienlijk betere prestaties leveren.

Technische Samenvatting: M* - Een Modulair, Uitbreidbaar Serving-Systeem voor Multimodale Modellen

1. Probleemstelling

Het AI-landschap verschuift naar composiet modelarchitecturen die diverse componenten integreren, zoals visuele encoders, taalbackbones, diffusiekoppen, audio-codecs en actiegeneratoren. Deze modellen—inclusclusief Unified Multimodal Models (UMMs), Omni-modellen, Speech-Language Models (SpeechLMs), Vision-Language-Action (VLA) policies en World Models—vertonen executiestructuren die aanzienlijk variëren op basis van de input-modaliteit en de taak. In tegenstelling tot traditionele tekstgebaseerde Large Language Models (LLMs) die een vaste autoregressieve (AR) loop volgen, kenmerken composiet modellen zich door:

Diverse executiepaden: Verschillende taken (bijv. beeldgeneratie versus beeldbegrip) doorlopen verschillende subsets van componenten binnen hetzelfde model.
Complexe control flow: Patronen omvatten niet-autoregressieve loops (bijv. diffusiestappen, world model rollouts), interne parallelliteit (bijv. Classifier-Free Guidance branches) en streaming data-afhankelijkheden.
Heterogene hardwarevereisten: Componenten moeten mogelijk onafhankelijk worden geschaald of op specifieke hardwaretopologieën worden geplaatst.

Bestaande serving-frameworks (bijv. vLLM, SGLang) zijn geoptimaliseerd voor AR-tekstgeneratie. Hoewel recente uitbreidingen (vLLM-Omni, SGLang-Omni) proberen multimodale modellen te ondersteunen via vaste Directed Acyclic Graphs (DAGs) van "stages", slagen ze er niet in om complexe patronen zoals cross-stage loops, interne parallelliteit en dynamische streaming te vatten. Dit leidt tot suboptimale prestaties, rigide fysieke plaatsing en de noodzaak voor aanzienlijke aangepaste "glue code" voor nieuwe architecturen.

2. Methodologie: De Walk Graph Abstractie

De auteurs stellen M* voor, een universeel serving-systeem gebouwd op een kernabstractie genaamd de Walk Graph. Deze abstractie ontkoppelt de modelarchitectuur van de systeemruntime.

2.1 Kerndefinitie

Een model in M* wordt gedefinieerd als een tupel $(G, W)$ :

$G$ (Computation Graph): Een gerichte graaf van heterogene nodes (bijv. encoders, decoders, transformer layers) en edges (tensor flows).
$W$ (Walks): Een eindige verzameling genamde subgrafen die specifieke fasen van modelgedrag vertegenwoordigen (bijv. prefill_text, image_gen). Een gebruikersverzoek is een sequentie van deze walks.

2.2 Compositionele Primitieven

De graaf wordt geconstrueerd met behulp van vier primitieven om complexe control flow af te handelen:

Sequential: Het ketenen van subgrafen waarbij de outputs de volgende voeden.
Parallel: Fan-out executie van kind-nodes (bijv. voor CFG branches).
Loop: Begrensde iteratie met geaccumuleerde outputs (bijv. diffusiestappen).
DynamicLoop: Iteratie met per-verzoek vroege-exit-condities (bijv. End-of-Sequence in AR of variabele horizonten in world models).

2.3 Streaming en Chunking

Om real-time generatie te ondersteunen (bijv. spraak), introduceert M* StreamingGraphEdges geparametriseerd door ChunkPolicies. Deze policies dicteren wanneer een consumer node wordt geactiveerd op basis van geaccumuleerde input-tensors. Ondersteunde policies zijn onder andere:

FixedChunkPolicy: Activeert elke $K$ items.
SlidingWindowChunkPolicy: Activeert wanneer een buffer $W$ items bevat, met een voortgang van $S$ .
LeftContextChunkPolicy: Voegt contextframes toe aan de voorkant van chunks.

2.4 Runtime Architectuur

De M* runtime voert de Walk Graph uit via een gedistribueerde architectuur:

Conductor: Houdt per-verzoek staat bij en stuurt werk uit naar workers via ZeroMQ.
Workers: Eén proces per GPU-rank, die lokale subgrafen uitvoeren. Zij ondersteunen continuous batching, CUDA-graph capture en torch.compile.
Engines: Gespecialiseerde inference instanties (bijv. KVCacheEngine voor transformers met FlashInfer paged attention, StatelessEngine voor eenvoudige nodes).
Placement: Gebruikers definiëren een mapping van GraphNodes naar GPU-ranks. Dit maakt flexibele strategieën mogelijk zoals prefill-decode disaggregatie, encoder/decoder disaggregatie en onafhankelijke schaling van componenten.

3. Belangrijkste Bijdragen

Walk Graph Abstractie: Een verenigde representatie die willekeurige composiet modelstructuren (loops, parallelliteit, streaming) vastlegt als dataflow grafen, waarmee de beperkingen van vaste stage-DAGs worden overstegen.
Modulaire Runtime: Een systeem dat de graafabstractie compileert naar hoogperformante executie, waarbij state-of-the-art optimalisaties (paged attention, CUDA graphs) integreert over verschillende modaliteiten zonder dat er model-specifieke glue code nodig is.
Flexibele Fysieke Plaatsing: Een ontkoppelde API die deployers in staat stelt componenten willekeurig aan hardware te mappen, wat onafhankelijke schaling en resource sharing over verschillende verzoektypen mogelijk maakt.
Streaming Support: Ingebouwde afhandeling van producer-consumer patronen via chunk policies, essentieel voor real-time spraak- en videogeneratie.

4. Experimentele Resultaten

De auteurs evalueerden M* op vijf representatieve modellen: BAGEL (UMM), Qwen3-Omni (Omni), Orpheus (SpeechLM), V-JEPA 2 (World Model) en $\pi$ 0.5 (VLA).

BAGEL (Text-to-Image & Image Editing):
- Vergeleken met vLLM-Omni bereikte M* ~30% lagere p50 end-to-end latentie voor text-to-image en ~50% lagere voor image editing (met CFG parallelliteit).
- M* maakte gebruik van een enkele configuratie om alle modaliteiten te optimaliseren, terwijl vLLM-Omni trade-offs vereiste tussen configuraties (bijv. single-stage vs. multi-stage) die de prestaties in specifieke taken verslechterden.
- De winst werd toegeschreven aan de paged KV cache management van M* voor CFG branches, wat de dense tensor concatenatie gebruikt door vLLM-Omni vermijdt.
Qwen3-Omni (Text-to-Speech):
- Op de Seed-TTS benchmark leverde M* tot wel 2.9× lagere real-time factor (RTF) en 2.7× hogere throughput vergeleken met vLLM-Omni en SGLang-Omni.
- Bij een batch size 16 was de throughput ~15% hoger dan die van vLLM-Omni.
- Verbeteringen kwamen voort uit per-submodule CUDA graph capture (waardoor de gehele Talker loop als één graaf kan draaien) en het elimineren van inter-process communicatie voor gealloceerde componenten.
Orpheus (Speech):
- M* bereikte een 13.6% lagere p50 RTF en throughput verbeteringen variërend van 20% tot 52% vergeleken met VoxServe (een gespecialiseerd speech serving systeem).
V-JEPA 2 (Robotic Planning/World Models):
- Voor actie-geconditioneerde rollouts presteerde M* tot wel 12.5× beter dan de native Meta implementatie bij een rollout horizon van 30.
- Dit werd bereikt door de rollout te coderen als een DynamicLoop met paged-attention KV caching, waardoor de kostbare herhaalde prefills van de baseline-loop werden vermeden.

5. Betekenis en Claims

De paper claimt dat M* de weg vrijmaakt voor de efficiënte serving van complexe, volgende generatie composiet modellen met minimale ontwikkelaarsinspanning. Door multimodal inference te behandelen als graaf-traversale, stelt M* model-auteurs in staat architecturen eenmalig te declareren, terwijl deployers de fysieke plaatsing en executie dynamisch kunnen optimaliseren.

De auteurs stellen dat M* prestaties levert die gelijkwaardig aan of beter zijn dan state-of-the-art, modaliteit-specifieke baselines (zoals VoxServe) en algemene purpose frameworks (zoals vLLM-Omni) over een breed scala aan taken. Het vermogen van het systeem om willekeurige loops, parallelliteit en streaming af te handelen zonder aangepaste glue code, adresseert de fundamentele abstractie-mismatch in huidige serving stacks, wat de deployment van verenigde multimodale, omni en world modellen in real-world applicaties faciliteert.