🤖 AI

M*: A Modular, Extensible, Serving System for Multimodal Models

Este artículo presenta M*, un sistema de servicio modular y extensible que representa modelos multimodales compuestos como grafos de flujo de datos para permitir la composición flexible de componentes y la optimización distribuida, logrando mejoras significativas en latencia y rendimiento sobre los marcos de trabajo existentes en diversas tareas como texto a imagen, texto a voz y planificación robótica.

Autores originales: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Publicado 2026-06-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás dirigiendo una cocina masiva y de alta tecnología.

La vieja forma (Sistemas existentes):
Durante mucho tiempo, los modelos de IA fueron como líneas de ensamblaje simples de un solo carril. Si querías hornear un pastel (generar texto), todos los ingredientes seguían el mismo camino: mezclar, hornear, decorar, servir. Los sistemas como vLLM fueron construidos específicamente para esta línea de ensamblaje de "solo texto". Eran increíblemente rápidos horneando pasteles.

Pero ahora, la IA está entrando en una nueva era. Ya no solo estamos horneando pasteles; estamos dirigiendo una cocina compuesta. Tenemos modelos que pueden:

Ver una foto y describirla (Visión).
Escuchar una voz y responder con una voz diferente (Habla).
Observar un video y predecir qué pasará después (Modelos de mundo).
Controlar un brazo robótico basado en un comando (Robótica).

Estos nuevos modelos "compuestos" son desordenados. No siguen una sola línea recta. A veces necesitan volver atrás para revisar su trabajo (como un modelo de difusión refinando una imagen). A veces necesitan dividirse en tres caminos paralelos a la vez (como revisar una imagen desde tres ángulos diferentes). A veces necesitan transmitir audio en tiempo real, palabra por palabra.

Los viejos sistemas de cocina (vLLM, SGLang) intentaban forzar estos modelos multitareales complejos en sus líneas de ensamblaje simples y rectas. Era como intentar meter un acto de malabares en una cinta transportadora. Funcionaba, pero era lento, torpe y requería mucho código de "pegamento" personalizado para hacer que las piezas encajaran.

La Nueva Solución: M*
El artículo presenta M, un nuevo sistema operativo para estas cocinas de IA complejas. En lugar de forzar a los modelos a seguir una línea recta, M los trata como un mapa dinámico o un diagrama de flujo.

Así es como funciona M*, usando analogías simples:

1. El "Grafo de Caminos" (El Mapa)

En los viejos tiempos, el gerente de la cocina tenía que conocer la receta exacta de cada plato. En M*, el creador del modelo simplemente dibuja un mapa (un grafo) de la cocina.

Nodos: Estas son las estaciones (por ejemplo, "La Estación de Visión", "La Estación de Lenguaje", "La Estación de Audio").
Caminos (Walks): Estos son los recorridos específicos que toma el pedido de un cliente.
- Pedido A (Texto a Imagen): Camina desde la Estación de Lenguaje → hace un bucle 50 veces en la Estación de Arte → termina en la Impresora.
- Pedido B (Voz a Voz): Camina desde la Estación del Micrófono → se divide en dos caminos → se fusiona de nuevo → va al Altavoz.

M* llama a esto el Grafo de Caminos (Walk Graph). Permite que el sistema entienda que diferentes tareas toman diferentes rutas a través de la misma cocina, sin necesidad de reescribir el diseño de la cocina cada vez.

2. El "Director de Orquesta" (El Controlador de Tráfico)

Una vez dibujado el mapa, M* tiene un Director de Orquesta. Este es un inteligente controlador de tráfico al que no le importa qué es la comida, solo a dónde debe ir.

Si un pedido necesita volver atrás (como refinar una imagen), el Director lo envía de regreso al inicio del bucle.
Si un pedido necesita dividirse en tres (como verificar seguridad, estilo y contenido), el Director envía tres copias a tres chefs simultáneamente.
Si un pedido está transmitiendo audio, el Director asegura que el chef entregue la primera palabra inmediatamente, en lugar de esperar a que termine toda la frase.

3. Asientos Flexibles (Colocación)

En los sistemas antiguos, si tenías un gran chef (un modelo de IA grande), tenías que ponerlo en una mesa gigante (una GPU). Si tenías un pequeño ayudante (un codificador pequeño), debían sentarse en una mesa pequeña.
M* permite desagregar la cocina. Puedes poner al "Chef de Visión" en una computadora, al "Chef de Lenguaje" en otra y al "Chef de Audio" en una tercera. Pueden hablar entre sí instantáneamente. Esto significa que puedes escalar solo la parte del modelo que es lenta, sin desperdiciar dinero en las partes que son rápidas.

¿Qué demostraron? (Los Resultados)

Los autores probaron M* contra los sistemas antiguos (vLLM-Omni, SGLang-Omni, VoxServe) en cinco tipos diferentes de modelos complejos. Esto fue lo que sucedió:

Generación de Imágenes (BAGEL): Al convertir texto en imágenes, M* fue entre un 20% y un 50% más rápido que los sistemas antiguos. Manejó los "bucles" complejos necesarios para refinar la imagen de manera mucho más eficiente.
Habla (Qwen3-Omni & Orpheus): Al generar voz, M* fue hasta 2.9 veces más rápido en rendimiento de tiempo real y manejó 2.7 veces más solicitudes a la vez. Fue como cambiar una radio lenta y entrecortada por una transmisión en vivo nítida.
Robótica (V-JEPA 2): Al predecir futuros fotogramas de video para la planificación de robots, M* fue hasta 12.5 veces más rápido. El sistema antiguo tenía que recalcular todo desde cero en cada paso; M* recordó los pasos anteriores y solo actualizó los nuevos.

La Conclusión

M* es un sistema universal que deja de intentar forzar cada modelo de IA en una forma única y rígida. En su lugar, permite que el modelo defina su propia forma (un grafo) y luego construye un motor flexible y de alta velocidad para ejecutar esa forma.

Es la diferencia entre una línea de ensamblaje rígida que se rompe cuando intentas construir un coche en lugar de una tostadora, y un taller inteligente y adaptable que puede construir desde una tostadora hasta un cohete espacial con la misma velocidad y eficiencia. El artículo afirma que esto permite a los desarrolladores desplegar estos modelos multimodales complejos con un esfuerzo mínimo mientras obtienen un rendimiento significativamente mejor.

Resumen Técnico: M* - Un Sistema de Servicio Modular y Extensible para Modelos Multimodales

1. Planteamiento del Problema

El panorama de la IA se está desplazando hacia arquitecturas de modelos compuestos que integran diversos componentes, tales como codificadores de visión, núcleos de lenguaje, cabezales de difusión, códecs de audio y generadores de acciones. Estos modelos —que incluyen Modelos Multimodales Unificados (UMMs), modelos Omni, Modelos de Lenguaje y Voz (SpeechLMs), políticas de Visión-Lenguaje-Acción (VLA) y Modelos de Mundo— exhiben estructuras de ejecución que varían significamente según la modalidad de entrada y la tarea. A diferencia de los modelos tradicionales de solo texto (LLMs) que siguen un bucle autorregresivo (AR) fijo, los modelos compuestos presentan:

Trayectorias de ejecución diversas: Diferentes tareas (por ejemplo, generación de imágenes frente a comprensión de imágenes) atraviesan diferentes subconjuntos de componentes dentro del mismo modelo.
Flujo de control complejo: Los patrones incluyen bucles no autorregresivos (por ejemplo, pasos de difusión, despliegues de modelos de mundo), paralelismo interno (por ejemplo, ramas de Classifier-Free Guidance) y dependencias de datos de streaming.
Requerimientos de hardware heterogéneos: Los componentes pueden necesitar escalarse de forma independiente o colocarse en topologías de hardware específicas.

Los marcos de servicio existentes (por ejemplo, vLLM, SGLang) están optimizados para la generación de texto AR. Aunque extensiones recientes (vLLM-Omni, SGLang-Omni) intentan dar soporte a modelos multimodales mediante DAGs (Grafos Acíclicos Dirigidos) de "etapas" fijas, no logran capturar patrones complejos como bucles entre etapas, paralelismo interno y streaming dinámico. Esto conduce a un rendimiento subóptimo, una colocación física rígida y la necesidad de una cantidad significativa de "código de unión" (glue code) personalizado para nuevas arquitecturas.

2. Metodología: La Abstracción del Grafo de Caminata (Walk Graph)

Los autores proponen M*, un sistema de servicio universal construido sobre una abstracción central llamada Walk Graph. Esta abstracción desacopla la arquitectura del modelo del tiempo de ejecución del sistema.

2.1 Definición Central

Un modelo en M* se define como una tupla $(G, W)$ :

$G$ (Grafo de Computación): Un grafo dirigido de nodos heterogéneos (por ejemplo, codificadores, decodificadores, capas de transformador) y aristas (flujos de tensores).
$W$ (Caminatas/Walks): Un conjunto finito de subgrafos con nombre que representan fases específicas del comportamiento del modelo (por ejemplo, prefill_text, image_gen). Una solicitud de usuario es una secuencia de estas caminatas.

2.2 Primitivas Composicionales

El grafo se construye utilizando cuatro primitivas para manejar el flujo de control complejo:

Secuencial: Encadenamiento de subgrafos donde las salidas alimentan al siguiente.
Paralelo: Ejecución de fan-out de los nodos hijos (por ejemplo, para ramas de CFG).
Bucle (Loop): Iteración acotada con salidas acumuladas (por ejemplo, pasos de difusión).
Bucle Dinámico (DynamicLoop): Iteración con condiciones de salida temprana por solicitud (por ejemplo, End-of-Sequence en AR o horizontes variables en modelos de mundo).

2.3 Streaming y Fragmentación (Chunking)

Para soportar la generación en tiempo real (por ejemplo, voz), M* introduce StreamingGraphEdges parametrizados por ChunkPolicies. Estas políticas dictan cuándo se dispara un nodo consumidor basándose en los tensores de entrada acumulados. Las políticas soportadas incluyen:

FixedChunkPolicy: Se dispara cada $K$ elementos.
SlidingWindowChunkPolicy: Se dispara cuando un búfer contiene $W$ elementos, avanzando de $S$ en $S$ .
LeftContextChunkPolicy: Prepend de cuadros de contexto a los fragmentos.

2.4 Arquitectura de Tiempo de Ejecución (Runtime)

El runtime de M* ejecuta el Walk Graph a través de una arquitectura distribuida:

Conductor: Mantiene el estado por solicitud y despacha el trabajo a los workers vía ZeroMQ.
Workers: Un proceso por rango de GPU, ejecutando subgrafos locales. Soportan batching continuo, captura de CUDA-graph y torch.compile.
Engines: Instancias de inferencia especializadas (por ejemplo, KVCacheEngine para transformadores con atención paginada de FlashInfer, StatelessEngine para nodos simples).
Colocación (Placement): Los usuarios definen un mapeo de GraphNodes a rangos de GPU. Esto permite estrategias flexibles como la desagregación prefill-decode, desagregación encoder/decoder y el escalado independiente de componentes.

3. Contribuciones Clave

Abstracción de Walk Graph: Una representación unificada que captura estructuras de modelos compuestos arbitrarias (bucles, paralelismo, streaming) como grafos de flujo de datos, superando las limitaciones de los DAGs de etapas fijas.
Runtime Modular: Un sistema que compila la abstracción del grafo en una ejecución de alto rendimiento, integrando optimizaciones de vanguardia (atención paginada, CUDA graphs) a través de diversas modalidades sin requerir código de unión específico para cada modelo.
Colocación Física Flexible: Una API desacoplada que permite a los implementadores mapear componentes al hardware de forma arbitraria, permitiendo el escalado independiente y el uso compartido de recursos entre diferentes tipos de solicitudes.
Soporte de Streaming: Manejo nativo de patrones productor-consumidor mediante políticas de fragmentación (chunk policies), esencial para la generación de voz y video en tiempo real.

4. Resultados Experimentales

Los autores evaluaron M* en cinco modelos representativos: BAGEL (UMM), Qwen3-Omni (Omni), Orpheus (SpeechLM), V-JEPA 2 (Modelo de Mundo) y $\pi$ 0.5 (VLA).

BAGEL (Texto-a-Imagen y Edición de Imágenes):
- En comparación con vLLM-Omni, M* logró un ~30% menor latencia de extremo a extremo p50 para texto-a-imagen y un ~50% menor para edición de imágenes (con paralelismo CFG).
- M* utilizó una única configuración para optimizar todas las modalidades, mientras que vLLM-Omni requería compromisos entre configuraciones (por ejemplo, etapa única vs. múltiples etapas) que degradaban el rendimiento en tareas específicas.
- Las ganancias se atribuyeron a la gestión de caché KV paginada de M* para las ramas de CFG, evitando la concatenación de tensores densos utilizada en vLLM-Omni.
Qwen3-Omni (Texto-a-Voz):
- En el benchmark Seed-TTS, M* entregó hasta un 2.9× menor factor de tiempo real (RTF) y un 2.7× mayor throughput comparado con vLLM-Omni y SGLang-Omni.
- Con un tamaño de batch de 16, el throughput fue ~15% mayor que el de vLLM-Omni.
- Las mejoras provinieron de la captura de CUDA graph por submódulo (permitiendo que todo el bucle del 'Talker' corra como un solo grafo) y la eliminación de la comunicación entre procesos para componentes colocados en el mismo lugar.
Orpheus (Voz):
- M* logró un 13.6% menor RTF p50 y mejoras de throughput que oscilan entre el 20% y el 52% en comparación con VoxServe (un sistema de servicio de voz especializado).
V-JEPA 2 (Planificación Robótica/Modelos de Mundo):
- Para despliegues condicionados por acción, M* superó la implementación nativa de Meta hasta en 12.5× en un horizonte de despliegue de 30.
- Esto se logró codificando el despliegue como un DynamicLoop con caché KV de atención paginada, evitando los costosos pre-fills repetidos requeridos por el bucle escrito a mano de la línea base.

5. Significancia y Reivindicaciones

El artículo afirma que M* allana el camino para el servicio eficiente de modelos compuestos complejos de próxima generación con un esfuerzo de desarrollo mínimo. Al tratar la inferencia multimodal como un recorrido de grafos, M* permite a los autores de modelos declarar sus arquitecturas una sola vez, permitiendo a los implementadores optimizar la colocación física y la ejecución de forma dinámica.

Los autores aseguran que M* logra un rendimiento igual o superior al de las líneas base especializadas por modalidad (como VoxServe) y de los marcos de propósito general (como vLLM-Omni) a través de una diversidad de tareas. La capacidad del sistema para manejar bucles arbitrarios, paralelismo y streaming sin código de unión personalizado aborda la desconexión fundamental de abstracción en los stacks de servicio actuales, facilitando el despliegue de modelos unificados, omni y de mundo en aplicaciones del mundo real.