🤖 AI

M*: A Modular, Extensible, Serving System for Multimodal Models

Questo articolo introduce M*, un sistema di serving modulare ed estensibile che rappresenta i modelli multimodali compositi come grafi di dataflow per consentire una composizione flessibile dei componenti e un'ottimizzazione distribuita, ottenendo miglioramenti significativi in termini di latenza e throughput rispetto agli framework esistenti in diversi compiti come text-to-image, text-to-speech e pianificazione robotica.

Autori originali: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Pubblicato 2026-06-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire una cucina massiccia e high-tech.

Il Vecchio Modo (I Sistemi Esistenti):
Per molto tempo, i modelli AI sono stati come semplici linee di montaggio a corsia singola. Se volevi preparare una torta (generare testo), ogni ingrediente seguiva lo stesso percorso: mescolare, cuocere, decorare, servire. Sistemi come vLLM sono stati costruiti specificamente per questa linea di montaggio "solo testo". Erano incredibilmente veloci nel preparare torte.

Ma ora, l'AI sta entrando in una nuova era. Non stiamo più solo preparando torte; stiamo gestendo una cucina composita. Abbiamo modelli che possono:

Guardare una foto e descriverla (Visione).
Ascoltare una voce e rispondere con una voce diversa (Speech).
Guardare un video e prevedere cosa accadrà dopo (World Models).
Controllare un braccio robotico basandosi su un comando (Robotica).

Questi nuovi modelli "compositi" sono disordinati. Non seguono una singola linea retta. A volte devono tornare indietro per controllare il proprio lavoro (come un modello di diffusione che perfeziona un'immagine). A volte devono dividersi in tre percorsi paralleli contemporaneamente (come controllare un'immagine da tre angolazioni diverse). A volte devono trasmettere l'audio in tempo reale, una parola alla volta.

I vecchi sistemi di cucina (vLLM, SGLang) cercavano di forzare questi complessi modelli multi-task nelle loro semplici linee di montaggio rettilinee. Era come cercare di far stare un numero di giocolieri in un nastro trasportatore. Funzionava, ma era lento, goffo e richiedeva molto codice di "colla" personalizzato per far aderire i pezzi tra loro.

La Nuova Soluzione: M*
Il paper introduce M, un nuovo sistema operativo per queste complesse cucine AI. Invece di forzare i modelli in una linea retta, M li tratta come una mappa dinamica o un diagramma di flusso.

Ecco come funziona M*, usando semplici analogie:

1. Il "Walk Graph" (La Mappa)

Ai vecchi tempi, il manager della cucina doveva conoscere la ricetta esatta per ogni piatto. In M*, il creatore del modello disegna semplicemente una mappa (un grafo) della cucina.

Nodi: Queste sono le stazioni (es. "La Stazione Visione", "La Stazione Linguaggio", "La Stazione Audio").
Walks (Percorsi): Questi sono i percorsi specifici che l'ordine di un cliente compie.
- Ordine A (Testo-Immagine): Percorso dalla Stazione Linguaggio → loop 50 volte alla Stazione Arte → finisce alla Stampante.
- Ordine B (Speech-to-Speech): Percorso dal Microfono → si divide in due percorsi → si riunisce → va all'Altoparlante.

M* chiama questo il Walk Graph. Permette al sistema di capire che compiti diversi seguono percorsi diversi attraverso la stessa cucina, senza dover riscrivere l'intera disposizione della cucina ogni volta.

2. Il "Conduttore" (Il Controllore del Traffico)

Una volta disegnata la mappa, M* ha un Conduttore. Questo è uno smarino intelligente che non gli importa cosa sia il cibo, ma solo dove deve andare.

Se una richiesta deve tornare indietro (come perfezionare un'immagine), il Conduttore la rimanda all'inizio del loop.
Se una richiesta deve dividersi in tre (come controllare sicurezza, stile e contenuto), il Conduttore invia tre copie a tre chef diversi simultaneamente.
Se una richiesta sta trasmettendo l'audio, il Conduttore assicura che lo chef consegni immediatamente la prima parola, invece di aspettare che l'intera frase sia finita.

3. Posti a Sedere Flessibili (Placement)

Nei vecchi sistemi, se avevi un grande chef (un modello AI grande), dovevi metterlo su un tavolo gigante (una GPU). Se avevi un piccolo aiutante (un piccolo encoder), dovevano sedersi a un tavolino.
M* ti permette di disaggregare la cucina. Puoi mettere lo "Chef Visione" su un computer, lo "Chef Linguaggio" su un altro e lo "Chef Audio" su un terzo. Possono comunicare tra loro istantaneamente. Questo significa che puoi scalare solo la parte del modello che è lenta, senza sprecare denaro sulle parti che sono veloci.

Cosa hanno dimostrato? (I Risultati)

Gli autori hanno testato M* contro i vecchi sistemi (vLLM-Omni, SGLang-Omni, VoxServe) su cinque diversi tipi di modelli complessi. Ecco cosa è successo:

Generazione di Immagini (BAGEL): Quando si trasforma il testo in immagini, M* è stato dal 20% al 50% più veloce dei vecchi sistemi. Ha gestito i complessi "loop" necessari per perfezionare l'immagine in modo molto più efficiente.
Speech (Qwen3-Omni & Orpheus): Quando generava il parlato, M* è stato fino a 2,9 volte più veloce nelle prestazioni in tempo reale e ha gestito 2,7 volte più richieste contemporaneamente. È stato come passare da una radio lenta e traballante a una trasmissione live nitida.
Robotica (V-JEPA 2): Quando prevedeva i futuri fotogrammi video per la pianificazione robotica, M* è stato fino a 12,5 volte più veloce. Il vecchio sistema doveva ricalcolare tutto da zero ad ogni passaggio; M* ricordava i passaggi precedenti e aggiornava solo quelli nuovi.

Il Punto Fondamentale

M* è un sistema universale che smette di cercare di forzare ogni modello AI in una singola forma rigida. Invece, permette al modello di definire la propria forma (un grafo) e poi costruisce un motore flessibile e ad alta velocità per eseguire quella forma.

È la differenza tra una linea di montaggio rigida che si rompe quando provi a costruire un'auto invece di un tostapane, e un laboratorio intelligente e adattabile che può costruire qualsiasi cosa, da un tostapane a un razzo spaziale, con la stessa velocità ed efficienza. Il paper afferma che questo permette agli sviluppatori di distribuire questi complessi modelli multimodali con il minimo sforzo, ottenendo al contempo prestazioni significativamente migliori.

Sintesi Tecnica: M* - Un Sistema di Serving Modulare ed Estendibile per Modelli Multimodali

1. Definizione del Problema

Il panorama dell'IA si sta spostando verso architetture di modelli compositi che integrano componenti eterogenei quali encoder visivi, backbone linguistici, teste di diffusione, codec audio e generatori di azioni. Questi modelli — inclusi i Modelli Multimodali Unificati (UMM), i modelli Omni, i Modelli Linguistici-Parlati (SpeechLM), le policy Vision-Language-Action (VLA) e i Modelli di Mondo (World Models) — esibiscono strutture di esecuzione che variano significativamente in base alla modalità di input e al compito. A differenza dei tradizionali LLM solo testuali che seguono un ciclo autoregressivo (AR) fisso, i modelli compositi presentano:

Percorsi di esecuzione diversificati: Compiti differenti (ad es. generazione di immagini vs. comprensione di immagini) attraversano sottoinsiemi diversi di componenti all'interno dello stesso modello.
Flussi di controllo complessi: I pattern includono loop non autoregressivi (ad es. step di diffusione, rollout di modelli di mondo), parallelismo interno (ad es. rami di Classifier-Free Guidance) e dipendenze di streaming dei dati.
Requisiti hardware eterogenei: I componenti possono dover essere scalati indipendentemente o posizionati su topologie hardware specifiche.

Gli attuali framework di serving (ad es. vLLM, SGLang) sono ottimizzati per la generazione testuale AR. Sebbene estensioni recenti (vLLM-Omni, SGLang-Omni) tentino di supportare modelli multimodali tramite grafi aciclici diretti (DAG) di "stadi" fissi, esse non riescono a catturare pattern complessi come i loop tra gli stadi, il parallelismo interno e lo streaming dinamico. Ciò porta a prestazioni subottimali, un posizionamento fisico rigido e la necessità di una significativa quantità di "codice di colla" (glue code) personalizzato per nuove architetture.

2. Metodologia: L'Astrazione Walk Graph

Gli autori propongono M*, un sistema di serving universale costruito su un'astrazione centrale chiamata Walk Graph. Questa astrazione disaccoppia l'architettura del modello dal runtime di sistema.

2.1 Definizione Core

Un modello in M* è definito come una tupla $(G, W)$ :

$G$ (Grafo di Computazione): Un grafo diretto di nodi eterogenei (ad es. encoder, decoder, strati transformer) ed archi (flussi di tensori).
$W$ (Walks): Un insieme finito di sottografi nominati che rappresentano fasi specifiche del comportamento del modello (ad es. prefill_text, image_gen). Una richiesta utente è una sequenza di questi walk.

2.2 Primitivi Composizionali

Il grafo è costruito utilizzando quattro primitivi per gestire il controllo complesso del flusso:

Sequenziale (Sequential): Concatenazione di sottografi in cui gli output alimentano il successivo.
Parallelo (Parallel): Esecuzione fan-out dei nodi figli (ad es. per i rami CFG).
Loop: Iterazione limitata con output accumulati (ad es. step di diffusione).
DynamicLoop: Iterazione con condizioni di uscita anticipata per richiesta (ad es. End-of-Sequence in AR o orizzonti variabili nei modelli di mondo).

2.3 Streaming e Chunking

Per supportare la generazione in tempo reale (ad es. il parlato), M* introduce StreamingGraphEdges parametrizzati da ChunkPolicies. Queste policy dettano quando un nodo consumatore viene attivato in base ai tensori di input accumulati. Le policy supportate includono:

FixedChunkPolicy: Attiva ogni $K$ elementi.
SlidingWindowChunkPolicy: Attiva quando un buffer contiene $W$ elementi, avanzando di $S$ .
LeftContextChunkPolicy: Prepend i frame di contesto ai chunk.

2.4 Architettura del Runtime

Il runtime di M* esegue il Walk Graph attraverso un'architettura distribuita:

Conductor: Mantiene lo stato per richiesta e dispaccia il lavoro ai worker tramite ZeroMQ.
Workers: Un processo per ogni rank GPU, che esegue sottografi locali. Supportano continuous batching, CUDA-graph capture e torch.compile.
Engines: Istanze di inferenza specializzate (ad es. KVCacheEngine per i transformer con paged attention di FlashInfer, StatelessEngine per nodi semplici).
Placement: Gli utenti definiscono una mappatura dai GraphNodes ai rank GPU. Ciò consente strategie flessibili come la disaggregazione prefill-decode, la disaggregazione encoder/decoder e lo scaling indipendente dei componenti.

3. Contributi Chiave

Astrazione Walk Graph: Una rappresentazione unificata che cattura arbitrarie strutture di modelli compositi (loop, parallelismo, streaming) come grafi di dataflow, superando i limiti dei DAG a stadi fissi.
Runtime Modulare: Un sistema che compila l'astrazione del grafo in un'esecuzione ad alte prestazioni, integrando ottimizzazioni allo stato dell'arte (paged attention, CUDA graphs) attraverso diverse modalità senza richiedere codice di colla specifico per il modello.
Flessibilità del Posizionamento Fisico: Un'API disaccoppiata che permette ai deployer di mappare i componenti sull'hardware in modo arbitrario, abilitando lo scaling indipendente e la condivisiona delle risorse tra diversi tipi di richieste.
Supporto allo Streaming: Gestione nativa dei pattern producer-consumer tramite chunk policy, essenziale per la generazione di speech e video in tempo reale.

4. Risultati Sperimentali

Gli autori hanno valutato M* su cinque modelli rappresentativi: BAGEL (UMM), Qwen3-Omni (Omni), Orpheus (SpeechLM), V-JEPA 2 (World Model) e $\pi$ 0.5 (VLA).

BAGEL (Text-to-Image & Image Editing):
- Rispetto a vLLM-Omni, M* ha ottenuto una latenza end-to-end p50 inferiore del ~30% per il text-to-image e del ~50% inferiore per l'editing di immagini (con parallelismo CFG).
- M* ha utilizzato una singola configurazione per ottimizzare tutte le modalità, mentre vLLM-Omni richiedeva compromessi tra configurazioni (ad es. single-stage vs. multi-stage) che degradavano le prestazioni in compiti specifici.
- I guadagni sono stati attribuiti alla gestione della paged KV cache di M* per i rami CFG, evitando la concatenazione di tensori densi usata da vLLM-Omni.
Qwen3-Omni (Text-to-Speech):
- Sul benchmark Seed-TTS, M* ha fornito un RTF (Real-Time Factor) fino a 2.9× inferiore e un throughput 2.7× superiore rispetto a vLLM-Omni e SGLang-Omni.
- Con un batch size di 16, il throughput è stato ~15% superiore rispetto a vLLM-Omni.
- I miglioramenti derivano dalla cattura di CUDA graph per ogni sottomodulo (permettendo all'intero loop del Talker di girare come un unico grafo) ed eliminando la comunicazione inter-processo per i componenti co-locati.
Orpheus (Speech):
- M* ha ottenuto un RTF p50 inferiore del 13.6% e miglioramenti di throughput compresi tra il 20% e il 52% rispetto a VoxServe (un sistema di serving specializzato per lo speech).
V-JEPA 2 (Robotic Planning/World Models):
- Per i rollout condizionati dall'azione, M* ha superato l'implementazione nativa di Meta fino a 12.5× con un orizzonte di rollout di 30.
- Ciò è stato ottenuto codificando il rollout come un DynamicLoop con paged-attention KV caching, evitando i costosi prefill ripetuti richiesti dal loop scritto a mano del baseline.

5. Significato e Rivendicazioni

Il paper sostiene che M* apra la strada al serving efficiente di complessi modelli compositi di prossima generazione con il minimo sforzo da parte dello sviluppatore. Trattando l'inferenza multimodale come un attraversamento di grafi, M* consente agli autori dei modelli di dichiarare le architetture una sola volta, permettendo ai deployer di ottimizzare il posizionamento fisico e l'esecuzione dinamicamente.

Gli autori affermano che M* raggiunge prestazioni pari o superiori a quelle dei baseline specifici per modalità (come VoxServe) e dei framework general-purpose (come vLLM-Omni) attraverso una vasta gamma di compiti. La capacità di M* di gestire loop arbitrari, parallelismo e streaming senza codice di colla personalizzato affronta il fondamentale mismatch di astrazione negli attuali stack di serving, facilitando il deployment di modelli unificati, omni e di mondo in applicazioni del mondo reale.