Resumo Técnico: M* - Um Sistema de Servimento Modular e Extensível para Modelos Multimodais

1. Declaração do Problema

O cenário da IA está se deslocando em direção a arquiteturas de modelos compostos que integram diversos componentes, como codificadores de visão, backbones de linguagem, cabeças de difusão, codecs de áudio e geradores de ação. Esses modelos — incluindo Modelos Multimodais Unificados (UMMs), modelos Omni, Modelos de Linguagem e Fala (SpeechLMs), políticas de Visão-Linguagem-Ação (VLA) e Modelos de Mundo — exibem estruturas de execução que variam significativamente com base na modalidade de entrada e na tarefa. Diferente dos tradicionais LLMs apenas de texto, que seguem um loop autorregressivo (AR) fixo, os modelos compostos apresentam:

• Caminhos de execução diversos: Diferentes tarefas (ex: geração de imagem vs. compreensão de imagem) percorrem subconjuntos diferentes de componentes dentro do mesmo modelo.
• Fluxo de controle complexo: Padrões incluem loops não autorregressivos (ex: passos de difusão, rollouts de modelos de mundo), paralelismo interno (ex: ramos de Classifier-Free Guidance) e dependências de streaming de dados.
• Requisitos de hardware heterogêneos: Os componentes podem precisar ser escalados independentemente ou posicionados em topologias de hardware específicas.

Os frameworks de servimento existentes (ex: vLLM, SGLang) são otimizados para a geração de texto AR. Embora extensões recentes (vLLM-Omni, SGLang-Omni) tentem suportar modelos multimodais via Grafos Acíclicos Dirigidos (DAGs) de "estágios" fixos, elas falham em capturar padrões complexos como loops entre estágios, paralelismo interno e streaming dinâmico. Isso leva a um desempenho subótimo, posicionamento físico rígido e à necessidade de significativa "cola" (glue code) personalizada para novas arquiteturas.

2. Metodologia: A Abstração Walk Graph

Os autores propõem o M*, um sistema de servimento universal construído sobre uma abstração central chamada Walk Graph. Esta abstração desacopla a arquitetura do modelo do tempo de execução do sistema.

2.1 Definição Central

Um modelo em M* é definido como uma tupla $(G, W)$:

• $G$ (Grafo de Computação): Um grafo dirigido de nós heterogêneos (ex: codificadores, decodificadores, camadas de transformer) e arestas (fluxos de tensores).
• $W$ (Walks/Caminhadas): Um conjunto finito de subgrafos nomeados que representam fases específicas do comportamento do modelo (ex: prefill_text, image_gen). Uma requisição do usuário é uma sequência desses walks.

2.2 Primitivos Composicionais

O grafo é construído usando quatro primitivos para lidar com fluxos de controle complexos:

1. Sequential (Sequencial): Encadeamento de subgrafos onde as saídas alimentam o próximo.
2. Parallel (Paralelo): Execução de fan-out dos nós filhos (ex: para ramos de CFG).
3. Loop (Loop): Iteração limitada com saídas acumuladas (ex: passos de difusão).
4. DynamicLoop (Loop Dinâmico): Iteração com condições de saída antecipada por requisição (ex: End-of-Sequence em AR ou horizontes variáveis em modelos de mundo).

2.3 Streaming e Chunking

Para suportar geração em tempo real (ex: fala), o M* introduz StreamingGraphEdges parametrizados por ChunkPolicies. Estas políticas ditam quando um nó consumidor é acionado com base em tensores de entrada acumulados. As políticas suportadas incluem:

• FixedChunkPolicy: Dispara a cada $K$ itens.
• SlidingWindowChunkPolicy: Dispara quando um buffer retém $W$ itens, avançando por $S$.
• LeftContextChunkPolicy: Prependente quadros de contexto aos chunks.

2.4 Arquitetura de Runtime

O runtime do M* executa o Walk Graph através de uma arquitetura distribuída:

• Conductor (Condutor): Mantém o estado por requisição e despacha o trabalho para os workers via ZeroMQ.
• Workers (Trabalhadores): Um processo por rank de GPU, executando subgrafos locais. Eles suportam batching contínuo, captura de CUDA-graph e torch.compile.
• Engines (Motores): Instâncias de inferência especializadas (ex: KVCacheEngine para transformers com atenção paginada FlashInfer, StatelessEngine para nós simples).
• Placement (Posicionamento): Usuários definem um mapeamento de GraphNodes para ranks de GPU. Isso permite estratégias flexíveis como desagregação de prefill-decode, desagregação de encoder/decoder e escalonamento independente de componentes.

3. Principais Contribuições

1. Abstração Walk Graph: Uma representação unificada que captura estruturas arbitrárias de modelos compostos (loops, paralelismo, streaming) como grafos de fluxo de dados, indo além das limitações dos DAGs de estágios fixos.
2. Runtime Modular: Um sistema que compila a abstração do grafo em execução de alto desempenho, integrando otimizações de ponta (atenção paginada, CUDA graphs) através de diversas modalidades sem exigir código de integração específico para cada modelo.
3. Posicionamento Físico Flexível: Uma API desacoplada que permite aos implantadores mapear componentes para o hardware arbitrariamente, permitindo o escalonamento independente e o compartilhamento de recursos entre diferentes tipos de requisições.
4. Suporte a Streaming: Tratamento nativo de padrões produtor-consumidor via políticas de chunk, essencial para geração de fala e vídeo em tempo real.

4. Resultados Experimentais

Os autores avaliaram o M* em cinco modelos representativos: BAGEL (UMM), Qwen3-Omni (Omni), Orpheus (SpeechLM), V-JEPA 2 (World Model) e $\pi$0.5 (VLA).

• BAGEL (Texto-para-Imagem & Edição de Imagem):

  • Comparado ao vLLM-Omni, o M* alcançou ~30% de menor latência p50 end-to-end para texto-para-imagem e ~50% menor para edição de imagem (com paralelismo CFG).
  • O M* utilizou uma única configuração para otimizar todas as modalidades, enquanto o vLLM-Omni exigia trocas entre configurações (ex: estágio único vs. multi-estágio) que degradavam o desempenho em tarefas específicas.
  • Os ganhos foram atribuídos ao gerenciamento de cache KV paginado do M* para ramos de CFG, evitando a concatenação de tensores densos usada no vLLM-Omni.

• Qwen3-Omni (Texto-para-Fala):

  • No benchmark Seed-TTS, o M* entregou até 2.9× menor fator de tempo real (RTF) e 2.7× maior throughput comparado ao vLLM-Omni e SGLang-Omni.
  • Com batch size de 16, o throughput foi ~15% superior ao vLLM-Omni.
  • As melhorias derivaram da captura de CUDA graph por submódulo (permitindo que todo o loop do Talker rode como um único grafo) e da eliminação de comunicação entre processos para componentes colocados no mesmo local.

• Orpheus (Fala):

  • O M* alcançou 13.6% de menor p50 RTF e melhorias de throughput variando de 20% a 52% em comparação ao VoxServe (um sistema de servimento especializado em fala).

• V-JEPA 2 (Planejamento Robótico/Modelos de Mundo):

  • Para rollouts condicionados por ação, o M* superou a implementação nativa da Meta em até 12.5× em um horizonte de rollout de 30.
  • Isso foi alcançado ao codificar o rollout como um DynamicLoop com cache de atenção paginada, evitando os prefills repetitivos custosos exigidos pelo loop escrito à mão da baseline.

5. Significância e Alegações

O artigo afirma que o M* pavimenta o caminho para o servimento eficiente de modelos compostos complexos da próxima geração com esforço mínimo do desenvolvedor. Ao tratar a inferência multimodal como travessia de grafo, o M* permite que autores de modelos declarem arquiteturas uma única vez, enquanto permite que implantadores otimizem o posicionamento físico e a execução dinamicamente.

Os autores asseguram que o M* atinge desempenho equivalente ou superior ao de baselines específicos de modalidade (como VoxServe) e frameworks de propósito geral (como vLLM-Omni) através de uma diversidade de tarefas. A capacidade do sistema de lidar com loops arbitrários, paralelismo e streaming sem código de integração personalizado aborda o descompasso fundamental de abstração nos atuais stacks de servimento, facilitando o deployment de modelos unificados, omni e de modelos de mundo em aplicações do mundo real.