Cornserve: A Distributed Serving System for Any-to-Any Multimodal Models

O artigo apresenta o Cornserve, um sistema de serviço distribuído de código aberto baseado em Kubernetes para modelos multimodais "qualquer-para-qualquer", que utiliza abstração de tarefas flexível, desagregação de componentes e um modelo de execução eficiente para alcançar até 3,81 vezes maior vazão e 5,79 vezes menor latência em comparação com abordagens existentes.

O essencial

Imagine que você tem um restaurante de comida futurista chamado "Cornserve".

No mundo antigo (os sistemas de IA atuais), se você quisesse pedir um prato, o restaurante tinha apenas um único chef (um modelo monolítico) que fazia tudo: cortava os vegetais, cozinhava a carne, fazia o molho e servia o prato. Se você pedisse apenas uma salada, esse chef fazia tudo sozinho. Se você pedisse um banquete completo com música ao vivo, ele ainda fazia tudo sozinho, o que deixava a cozinha lenta e bagunçada.

Agora, os novos modelos de IA (chamados de Modelos "Qualquer-para-Qualquer") são como clientes que pedem coisas muito estranhas e variadas:

• "Quero transformar uma foto em um poema."
• "Quero transformar um vídeo em um áudio."
• "Quero ouvir uma história baseada em uma imagem."

O problema é que cada pedido usa ferramentas diferentes na cozinha. O sistema antigo não sabia lidar com essa variedade, ficando lento e travando.

O que é o Cornserve?
O Cornserve é um novo sistema de gerenciamento de cozinha que muda completamente a forma como servimos esses pedidos. Em vez de um único chef fazendo tudo, o Cornserve divide a cozinha em estações especializadas e permite que elas trabalhem separadamente, mas em perfeita sincronia.

Aqui está como funciona, usando analogias simples:

1. A Cozinha Desmontável (Fissão do Modelo)

No sistema antigo, a "receita" era um bloco único. No Cornserve, eles pegam a receita e a desmontam em peças independentes.

• Imagine que o modelo de IA é um carro. No sistema antigo, você tinha que trocar o motor inteiro para consertar uma roda.
• No Cornserve, eles separam o motor, as rodas e o volante. Se você precisa de mais velocidade (processamento de texto), você adiciona mais motores. Se precisa de mais capacidade de áudio, você adiciona mais alto-falantes. Cada peça roda em seu próprio computador (GPU), escalando exatamente o que é necessário.

2. O Chefe de Cozinha Flexível (Abstração de Tarefas)

Os desenvolvedores podem escrever a "receita" do modelo em uma linguagem simples (Python), como se estivessem escrevendo um roteiro de filme.

• Eles dizem: "Se o cliente mandar uma foto, use o 'Chef de Imagem'. Se mandar texto, pule essa etapa e vá direto para o 'Chef de Texto'".
• Isso permite que o sistema lide com qualquer combinação: vídeo para áudio, texto para imagem, etc., sem precisar reescrever o código inteiro para cada novo tipo de pedido.

3. O Sistema de "Gravar e Repetir" (Record-and-Replay)

Esta é a parte mais mágica e inteligente. Como o sistema sabe qual caminho a receita vai seguir antes de começar a cozinhar?

• Fase de Gravação: Quando o pedido chega, o sistema faz uma "simulação rápida" (como um rascunho). Ele olha para o pedido e anota mentalmente: "Ok, vamos usar o Chef de Imagem, depois o Chef de Texto, e ignorar o Chef de Áudio". Nada de comida real é cozida aqui, apenas o mapa do caminho é traçado.
• Fase de Repetição: Agora que o sistema sabe o caminho exato, ele manda os ingredientes reais (os dados) para as estações certas, exatamente na ordem correta, ao mesmo tempo. É como se o sistema tivesse um GPS que traça a rota antes de você entrar no carro, evitando trânsito.

4. Os Mensageiros Rápidos (Sidecars e Transferência de Dados)

Como as estações de cozinha estão em computadores diferentes, elas precisam trocar os ingredientes (dados) rapidamente.

• O Cornserve usa "mensageiros" (Sidecars) que correm entre as estações.
• Se as estações estão no mesmo prédio (no mesmo servidor), eles usam um "túnel secreto" (memória compartilhada) para passar os dados instantaneamente, sem atrapalhar o trânsito principal.
• Se as estações estão em prédios diferentes (servidores diferentes), eles usam uma "estrada de alta velocidade" (RDMA) para garantir que os dados cheguem rápido, mesmo que a distância seja grande.

5. Compartilhar Ferramentas (Component Sharing)

Se dois restaurantes diferentes usam o mesmo "Forno de Pizza" (um encoder de visão comum), o Cornserve não instala dois fornos. Ele faz com que ambos usem o mesmo forno. Isso economiza espaço e energia (GPUs), deixando o sistema mais barato e eficiente.

O Resultado Final?

O artigo mostra que, ao usar o Cornserve:

• Mais pedidos por segundo: O sistema consegue servir até 3,8 vezes mais pedidos ao mesmo tempo do que os sistemas antigos.
• Menos espera: O tempo para o último pedido ser atendido (latência) cai em até 5,8 vezes. É como sair de um restaurante onde você espera 1 hora por um prato para um onde você espera apenas 10 minutos.

Resumo:
O Cornserve é como transformar uma cozinha de restaurante antiga, onde um único cozinheiro fazia tudo e ficava sobrecarregado, em uma linha de montagem inteligente e flexível. Ele separa as tarefas, usa mensageiros rápidos para trocar ingredientes e sabe exatamente qual caminho cada pedido deve seguir, garantindo que a IA multimodal (que entende texto, imagem, vídeo e áudio) seja rápida, eficiente e capaz de atender a qualquer tipo de pedido complexo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Cornserve: A Distributed Serving System for Any-to-Any Multimodal Models", apresentado em português:

1. O Problema

O surgimento de modelos Any-to-Any (qualquer-para-qualquer) representa uma nova classe de modelos multimodais capazes de aceitar combinações de dados (texto, imagem, vídeo, áudio) como entrada e gerar qualquer uma dessas modalidades como saída. No entanto, servir esses modelos é extremamente desafiador devido a duas formas de heterogeneidade:

1. Heterogeneidade de Tipo de Solicitação e Caminho de Computação: Diferentes solicitações ativam diferentes componentes do grafo de computação do modelo. Por exemplo, uma solicitação que gera apenas texto pode pular o codificador de áudio, enquanto uma que gera áudio requer todo o pipeline. Isso resulta em taxas de solicitação desiguais para cada componente.
2. Heterogeneidade de Escalabilidade e Recursos: Os componentes do modelo possuem características de escalabilidade distintas. Por exemplo, em alguns modelos, a geração de texto pode ter um throughput 4 vezes maior do que a geração de áudio na mesma GPU.

Sistemas existentes (como vLLM ou xDiT) focam em casos específicos (apenas texto ou apenas geração de imagem/vídeo) e não conseguem lidar com a complexidade de grafos arbitrários e componentes heterogêneos dos modelos Any-to-Any.

2. Metodologia e Arquitetura

O Cornserve é apresentado como o primeiro sistema de serviço distribuído genérico para modelos Any-to-Any. A arquitetura é construída sobre o Kubernetes e utiliza uma abordagem de desagregação de componentes (Model Fission).

Principais Componentes do Sistema:

• Plano de Controle (Control Plane):
  • Gateway: Ponto de entrada para registro de aplicativos e solicitações.
  • Gerenciador de Recursos: Orquestra os Task Managers e aloca GPUs.
  • Task Dispatcher: Roteia as invocações de componentes para os executores adequados.
• Plano de Dados (Data Plane):
  • Task Executors: Processos que executam os componentes do modelo (ex: codificadores multimodais, LLMs, geradores). O Cornserve fornece executores especializados (Eric para codificadores, vLLM modificado para LLMs, Geri para geradores).
  • Sidecar: Um daemon por GPU que gerencia o encaminhamento de dados tensores entre executores, utilizando memória compartilhada (intra-nó) ou RDMA (inter-nós), contornando o plano de controle para baixa latência.

Abstrações Chave:

1. Abstração de Tarefa Flexível: O sistema introduz três níveis de abstração definidos em Python puro:
   • Unit Tasks: Componentes atômicos (ex: EncoderTask, LLMTask).
   • Composite Tasks: Classes que compõem unidades para definir a lógica do modelo.
   • Apps: Módulos Python que instanciam tarefas e definem o ponto de entrada (serve).
2. Fissão de Modelo (Model Fission): Permite desagregar o modelo em componentes independentes que podem ser escalados separadamente em GPUs dedicadas. Por exemplo, o codificador de imagem pode rodar em menos GPUs do que o gerador de áudio, dependendo da demanda.
3. Execução Record-and-Replay (Gravar e Reproduzir):
   • Fase de Gravação: Para uma solicitação, o sistema executa a lógica de controle do modelo (sem computação real do modelo) para registrar o subgrafo de tarefas necessárias e suas dependências de dados.
   • Fase de Reprodução: O sistema despacha as tarefas registradas para os executores apropriados e coleta os resultados reais. Isso permite lidar com fluxos de controle complexos (loops, ramificações) sem reescrever a lógica de inferência.
4. Compartilhamento de Componentes: Se múltiplos aplicativos usam o mesmo componente (ex: um codificador de visão compartilhado), o Cornserve compartilha automaticamente a implantação do executor, economizando GPUs.

3. Contribuições Principais

• Primeiro Sistema Genérico: O primeiro sistema de serviço distribuído projetado especificamente para modelos Any-to-Any genéricos.
• Desagregação Dinâmica: Capacidade de decompor modelos complexos em componentes escaláveis independentemente, resolvendo gargalos de recursos desiguais.
• Mecanismo de Execução Eficiente: Uso de record-and-replay para lidar com grafos de computação arbitrários e encaminhamento direto de tensores via Sidecar (memória compartilhada/RDMA) para minimizar a latência de comunicação.
• Otimização de Recursos: Compartilhamento automático de executores para componentes comuns entre diferentes modelos.

4. Resultados Experimentais

Os experimentos foram realizados em nós com GPUs NVIDIA A100-80GB, comparando o Cornserve com uma implantação monolítica (todos os componentes em um único executor).

• Modelos Testados: Qwen 2.5 Omni, Qwen 3 Omni, InternVL 3, entre outros.
• Throughput (Vazão):
  • O Cornserve alcançou um aumento de 3,09x a 3,81x no throughput para o Qwen 2.5 Omni em configurações de 8 e 16 GPUs, respectivamente.
  • Para o Qwen 3 Omni (30B), a implantação monolítica falhou devido à falta de memória (OOM), enquanto o Cornserve conseguiu servir o modelo com sucesso através da fissão.
• Latência:
  • Redução significativa na latência de cauda (tail latency). Para o Qwen 2.5 Omni em 16 GPUs, houve melhoria de 5,79x no P99 e 5,3x no P95.
  • A redução deve-se à eliminação de bloqueios entre componentes (em monolíticos, apenas um componente roda por vez) e à capacidade de usar continuous batching em componentes desagregados (como geradores de áudio).
• Escalabilidade: A escala de 8 para 16 GPUs resultou em um ganho de 2,68x no throughput, superando a escala linear esperada (2x) devido ao melhor balanceamento de carga entre componentes heterogêneos.
• Overhead: O overhead do Sidecar é mínimo (5-27ms para transferências de 8-32MB), não sendo o gargalo principal.

5. Significado e Conclusão

O Cornserve representa um avanço fundamental na infraestrutura de IA generativa multimodal. Ao permitir que modelos Any-to-Any sejam servidos de forma eficiente, flexível e escalável, ele remove as barreiras de hardware e software que limitavam a adoção desses modelos complexos.

A capacidade de tratar modelos como grafos de componentes heterogêneos e escalá-los independentemente permite que desenvolvedores criem sistemas mais robustos e econômicos. O sistema é de código aberto e serve como uma base para pesquisas futuras em otimização de serviço de modelos multimodais, prometendo acelerar o desenvolvimento de modelos mais poderosos e eficientes.