🤖 AI

Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs

Coral é um sistema de serviço multi-LLM adaptativo e consciente de heterogeneidade que otimiza conjuntamente a alocação de recursos e as estratégias de serviço em GPUs de nuvem diversas, alcançando até 2,79 $\times$ de redução de custos e 2,39 $\times$ de maior goodput ao utilizar uma decomposição em dois estágios sem perdas para permitir tomada de decisão rápida e quase ótima.

Autores originais: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Publicado 2026-05-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você administra uma cozinha de restaurante enorme e de alto padrão. No passado, todos pensavam que você precisava do chef mais caro e de ponta e do fogão maior e mais rápido para cozinhar cada prato individualmente. Mas, no mundo dos Modelos de Linguagem Grandes (LLMs) — os cérebros de IA por trás de chatbots e geradores de código — as coisas mudaram. Nenhum "modelo de IA" único é o melhor em tudo. Alguns são ótimos em escrever código, outros em conversar, e alguns são apenas bons em tarefas simples.

Além disso, a "cozinha" (os servidores em nuvem) é um caos de equipamentos diferentes. Você tem fogões super-rápidos e caros "H100", mas eles frequentemente estão fora de estoque. Você também tem fogões mais antigos e baratos "L4" ou "A100" que estão disponíveis e, surpreendentemente, oferecem tanto poder de cocção por dólar quanto os outros.

O problema é: Como você administra uma cozinha com 46 receitas diferentes (modelos) usando uma mistura de fogões caros e baratos, sem desperdiçar dinheiro ou deixar clientes esperando?

Este é o problema que o Coral resolve.

O Jeito Antigo: O Erro de "Tamanho Único"

Sistemas anteriores tentaram resolver isso tratando cada prato como uma caixa preta. Eles diziam: "Para o prato de escrita de código, precisamos de um fogão inteiro H100. Para o prato de conversa, precisamos de um A100." Eles não olhavam dentro da receita para ver se podiam misturar e combinar partes do fogão.

Isso levou a dois grandes problemas:

Dinheiro Desperdiçado: Eles frequentemente compravam o equipamento mais caro, mesmo quando uma mistura mais barata teria funcionado tão bem quanto.
Gargalos: Se os fogões caros acabassem, toda a cozinha parava, mesmo que houvesse muitos fogões mais baratos ociosos.

A Solução Coral: O Chef "Mistura e Combina Inteligente"

O Coral é como um chef-executivo genial que percebe que um único prato não precisa ser cozido em apenas um tipo de fogão. Em vez disso, o Coral divide o processo de cocção em etapas e atribui o fogão perfeito a cada etapa.

Veja como funciona, usando uma analogia simples:

1. A Estratégia de Duas Etapas (Offline vs. Online)

O Coral divide seu pensamento em duas partes para evitar ficar sobrecarregado:

Etapa 1: O Livro de Receitas (Offline)
Antes do restaurante abrir, o Coral gasta tempo criando um enorme "Livro de Receitas". Para cada prato possível (modelo) e cada combinação possível de fogões (GPUs), ele calcula a melhor maneira absoluta de cozinhá-lo.
- Exemplo: Ele descobre que, para o prato "Qwen-3 235B", a melhor maneira de cozinhar a primeira parte (preenchimento inicial) é usando três fogões baratos L40S e dois fogões caros H100, dispostos em uma linha específica.
- Ele escreve essas "receitas" perfeitas como Modelos de Serviço. Isso leva muito tempo para ser feito, mas só precisa acontecer uma vez.
Etapa 2: O Turno Diário (Online)
Quando o restaurante abre e os pedidos começam a chegar, o Coral não para para descobrir como cozinhar do zero. Ele apenas olha para seu Livro de Receitas.
- Ele verifica: "Temos 5 L40s e 2 H100s disponíveis agora. Precisamos cozinhar 100 pratos Qwen-3."
- Ele instantaneamente escolhe a receita pré-calculada que se encaixa nesses fogões específicos e atende aos requisitos de velocidade do cliente.
- Como a matemática difícil foi feita antes, o Coral pode tomar essas decisões em segundos, não horas. Isso permite que a cozinha se adapte instantaneamente se um fogão quebrar ou se uma nova enxurrada de pedidos entrar.

2. A Analogia do "Trabalho em Equipe"

Imagine que você tem duas equipes de trabalhadores (dois modelos de IA diferentes) e um suprimento limitado de ferramentas (GPUs).

O Jeito Antigo: A Equipe A pega todas as melhores ferramentas porque são a equipe "melhor". A Equipe B fica com ferramentas quebradas e não consegue terminar seu trabalho.
O Jeito do Coral: O Coral olha para o quadro geral. Ele percebe que a Equipe A pode, na verdade, fazer seu trabalho muito bem com uma mistura de ferramentas boas e razoáveis, se rearranjarem seu fluxo de trabalho. Isso libera as melhores ferramentas para a Equipe B. Ambas as equipes terminam seu trabalho a tempo, e nenhuma ferramenta é desperdiçada.

Por Que Isso Importa

O artigo testou o Coral com 6 modelos de IA diferentes e 20 tipos diferentes de chips de computador (GPUs). Os resultados foram impressionantes:

Mais Barato: O Coral reduziu o custo de execução desses modelos de IA em até 2,79 vezes comparado aos melhores métodos existentes. É como pagar $100 por uma refeição e pagar apenas $36 pela mesma qualidade.
Mais Rápido (Quando os Recursos são Escassos): Quando a "cozinha" está lotada e as ferramentas são difíceis de encontrar, o Coral conseguiu atender 2,39 vezes mais clientes do que a concorrência sem desacelerar.

A Conclusão

O Coral é um sistema que para de tratar modelos de IA como máquinas rígidas de bloco único. Em vez disso, ele os trata como receitas flexíveis que podem ser cozinhadas em uma mistura de equipamentos antigos e novos. Ao planejar a "mistura perfeita" com antecedência e depois aplicá-la rapidamente em tempo real, ele economiza quantidades massivas de dinheiro e mantém a IA funcionando suavemente, mesmo quando o suprimento de hardware é instável.

Em resumo: O Coral é o gerente inteligente que sabe como usar uma mistura de ferramentas caras e baratas para fazer o trabalho mais rápido e mais barato do que qualquer outra pessoa.

Resumo Técnico: Coral – Serviço Multi-LLM Custo-Eficiente sobre GPUs de Nuvem Heterogêneas

1. Declaração do Problema

O cenário de implantação de Modelos de Linguagem de Grande Porte (LLMs) está cada vez mais fragmentado, sem um único modelo dominante; em vez disso, os provedores devem servir múltiplos modelos simultaneamente, cada um com arquiteturas distintas e compensações custo-qualidade específicas. Simultaneamente, os provedores de nuvem oferecem uma mistura heterogênea de gerações de GPU (desde as H100 de ponta até as A100 de nível médio e as L4 mais antigas). Embora o hardware de ponta ofereça desempenho máximo, GPUs de nível médio e mais antigas frequentemente proporcionam desempenho por dólar comparável ou superior e melhor disponibilidade.

O desafio central abordado pelo Coral é o serviço adaptativo e custo-eficiente de múltiplos LLMs em recursos de nuvem heterogêneos. Isso requer a otimização conjunta de duas decisões intimamente acopladas:

Alocação de Recursos: Determinar quais nós provisionar em diferentes regiões de nuvem.
Posicionamento do Modelo: Decidir como particionar cada modelo entre esses nós heterogêneos (por exemplo, via paralelismo de pipeline e paralelismo de dados).

Sistemas existentes falham em abordar isso de ponta a ponta. Trabalhos anteriores ou otimizam a alocação de recursos assumindo réplicas homogêneas (ignorando a otimização de posicionamento) ou otimizam o posicionamento para um único modelo em um conjunto fixo de nós (ignorando a alocação global). Uma otimização conjunta por força bruta é intratável devido ao espaço de busca exponencial de ambas as dimensões e à exigência de re-solução rápida (minutos, não horas) para se adaptar à demanda flutuante e aos preços dos recursos.

2. Metodologia

O Coral introduz um sistema adaptativo e consciente da heterogeneidade que desacopla o problema de otimização conjunta em uma decomposição em dois estágios sem perdas.

Insight Chave: Modelos de Serviço

O Coral observa que, para um modelo fixo e um Objetivo de Nível de Serviço (SLO) de latência, o posicionamento do modelo com throughput ótimo em um conjunto específico de nós depende apenas dessa combinação de nós, independentemente de como o restante do cluster é alocado. Isso permite que a busca de posicionamento seja movida para o modo offline.

Estágio 1: Geração Offline de Modelos de Serviço

Processo: Para cada par (modelo, SLO), o Coral enumera um subconjunto principiado de combinações de nós. Para cada combinação, utiliza um Programa Linear Inteiro (ILP) para calcular o posicionamento do modelo com throughput ótimo (particionamento de camadas e atribuição de nós) que satisfaça o SLO de latência.
Saída: Uma Biblioteca de Modelos de Serviço. Cada modelo é um artefato reutilizável especificando uma combinação de nós e sua estratégia de posicionamento ótima.
Otimização: O ILP maximiza o throughput sujeito a restrições de latência. Para lidar com a complexidade combinatória, o Coral poda o espaço de busca limitando o número máximo de nós por modelo ( $N_{max}$ ) e a razão total de memória ( $\rho$ ) em relação ao tamanho do modelo, pois combinações maiores frequentemente incorrem em sobrecarga de comunicação proibitiva.

Estágio 2: Alocação Online de Recursos

Processo: O alocador de recursos online consulta periodicamente a Biblioteca de Modelos de Serviço pré-computada. Ele resolve um segundo ILP leve para determinar quais modelos instanciar em todas as regiões para atender à demanda de throughput atual com custo mínimo.
Entradas: Demanda de throughput em tempo real, disponibilidade de GPU e preços entre regiões.
Objetivo: Minimizar o custo total de provisionamento mais uma penalidade de inicialização (para desencorajar mudanças excessivas) enquanto satisfaz restrições de throughput e disponibilidade.
Eficiência: Ao remover a complexa busca de posicionamento do modelo do caminho crítico, o solucionador online é concluído em dezenas de segundos em vez de horas, permitindo que o cluster se adapte a mudanças dinâmicas na demanda e na oferta.

Implementação do Sistema

O Coral é implementado como um sistema de tempo de execução usando ZeroMQ para controle, NCCL para comunicação intra-instância e vLLM como mecanismo de execução. Ele suporta tanto o serviço desagregado quanto agregado de Pré-enchimento-Decodificação (PD). Um simulador baseado em eventos de alta fidelidade, validado contra hardware real, é usado para avaliação em larga escala onde o provisionamento físico é proibitivo em termos de custo.

3. Contribuições Principais

O artigo afirma as seguintes contribuições:

Formulação do Problema: Uma formalização do serviço multi-LLM consciente da heterogeneidade como uma otimização conjunta sobre alocação de recursos e posicionamento do modelo sob SLOs de latência por modelo.
Decomposição Sem Perdas: Uma abordagem inovadora em dois estágios usando Modelos de Serviço reutilizáveis para mover a complexa busca de posicionamento para o modo offline, reduzindo os tempos de resolução online de horas para dezenas de segundos sem sacrificar a optimalidade.
Solucionadores Escaláveis: Solucionadores baseados em ILP para posicionamento offline e alocação online que escalonam para clusters de milhares de nós.
Sistema de Ponta a Ponta: Uma implementação completa do Coral e um simulador validado para avaliação em larga escala.
Validação Empírica: Avaliação em 6 modelos e 20 configurações de GPU demonstrando reduções significativas de custos e melhoria no bom throughput.

4. Resultados

A avaliação foi conduzida em diversos modelos (variando de 14B a 235B parâmetros) e configurações de GPU (incluindo H100, A100, L40S, L4, A10G) sob disponibilidade variável de recursos.

Eficiência de Custo: O Coral reduz os custos de serviço em até 2,79× em comparação com a melhor linha de base (Homo, que usa réplicas homogêneas) e 2,66× em comparação com o Cauchy (uma linha de base desagregada PD) em configurações estendidas. Em configurações principais, as reduções foram de 1,62× e 1,60×, respectivamente.
Bom Throughput sob Escassez: Sob disponibilidade escassa de recursos, o Coral entrega até 2,39× mais bom throughput (tokens por segundo atendendo aos SLOs) em comparação com as linhas de base. Isso é alcançado coordenando recursos entre modelos para resolver contenção, enquanto as linhas de base falham em atender à demanda para modelos específicos.
Tempo de Resolução: O ILP de alocação de recursos online resolve em média 0,24 segundos (configuração principal) e 9,68 segundos (configuração estendida), bem dentro da janela de adaptação necessária.
Comparação com Helix: Em um regime de modelo único em um cluster heterogêneo fixo, o Coral reduziu os custos em 21% e melhorou o throughput em 26% em comparação com o Helix, enquanto satisfazia estritamente os SLOs de latência.
Sensibilidade: A análise mostra que a eficiência de custo dos modelos gerados estabiliza quando o limite de nós ( $N_{max}$ ) é definido como 6 e a razão de memória ( $\rho$ ) como 12, justificando a estratégia de poda.

5. Significado

O artigo argumenta que a otimização conjunta de alocação de recursos e posicionamento do modelo é essencial para o serviço multi-LLM custo-eficiente. Ao tratar réplicas de modelos como caixas pretas em hardware homogêneo, os sistemas existentes deixam economias de custos substanciais na mesa e lutam sob restrições de recursos. O Coral demonstra que a heterogeneidade intra-réplica — misturar diferentes tipos de GPU dentro de uma única réplica de modelo via paralelismo híbrido de pipeline e dados — permite que os sistemas adaptem instâncias a características específicas de carga de trabalho e SLOs.

O significado do Coral reside em sua capacidade de tornar essa otimização conjunta tratável e adaptativa. Ao pré-computar posicionamentos ótimos como modelos reutilizáveis, ele preenche a lacuna entre a optimalidade teórica da busca conjunta e a necessidade prática de reconfiguração rápida e online. Isso permite que provedores de nuvem aproveitem um intervalo mais amplo e custo-efetivo de inventário de GPU, mantendo garantias estritas de latência para cargas de trabalho diversas e concorrentes de LLM.