Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prism é um framework de co-serviço de LLM centrado em memória que utiliza uma nova técnica de expansão de memória chamada kvcached para reclamar e realocar dinamicamente a memória da GPU entre múltiplos modelos, unificando assim o compartilhamento espacial e temporal para melhorar a eficiência de custo e a conformidade com SLOs em ambientes de produção.

O essencial

Imagine que você administra um hotel enorme com milhares de quartos (GPUs) e milhares de hóspedes diferentes (modelos de IA). Alguns hóspedes são celebridades que querem um quarto 24 horas por dia, 7 dias por semana, enquanto outros são turistas que só aparecem para um check-in de 10 minutos uma vez por dia.

O problema é que manter o seu hotel é caro. Se você der a cada turista seu próprio quarto privado para o caso de eles aparecerem, você acabará com 90% do seu hotel vazio e desperdiçado. Mas se você tentar espremer todo mundo em um único quarto, haverá o caos, e as celebridades ficarão irritadas porque terão que esperar.

Prism é um novo e inteligente gerente de hotel que resolve isso usando um truque chamado "Memory Ballooning" (Inflamento de Memória).

Veja como funciona, dividido em conceitos simples:

1. O Problema: A Armadilha do "Quarto Estático"

Na forma antiga de gerenciar IA, se um modelo (um hóspede) fosse designado para um quarto, esse quarto seria dele para sempre, mesmo que ele estivesse dormindo (ocioso).

• Compartilhamento de Espaço (A Forma Antiga): Você tenta colocar vários hóspedes em um quarto. Funciona muito bem se todos estiverem acordados e conversando. Mas se um hóspede sair por uma semana, metade do quarto dele ficará vazia, e o outro hóspede não poderá usá-la.
• Compartilhamento de Tempo (A Outra Forma Antiga): Você expulsa um hóspede para deixar outro entrar. Isso funciona se os hóspedes chegarem em momentos diferentes. Mas se dois hóspedes chegarem exatamente no mesmo segundo, você terá que constantemente expulsá-los e colocá-los de volta no quarto. Esse processo de "expulsar" é lento e faz todos esperarem (atraso/lag), fazendo com que percam seus prazos.

O tráfego de IA no mundo real é bagunçado. Às vezes, um grupo de modelos fica ocupado ao mesmo tempo, e às vezes todos ficam quietos. Nenhuma estratégia antiga sozinha conseguia lidar com essa alternância.

2. A Solução: O Truque do "Ballooning" (Inflamento)

O Prism introduz um novo gerente chamado kvcached (o motorista do balão). Pense na memória da GPU não como um conjunto de quartos fixos, mas como balões infláveis.

• O Balão Elástico: Quando um modelo está ocupado e precisa de mais espaço para pensar, o gerente infla seu balão, roubando o ar vazio de outros modelos que estão dormindo no momento.
• Desinflar para Outros: Quando um modelo vai dormir, seu balão encolhe, liberando esse espaço para que um novo modelo, que está acordando, possa inflar seu próprio balão instantaneamente.
• Sem Mudar os Móveis: O melhor de tudo? Os modelos nem sabem que isso está acontecendo. Eles apenas veem um quarto que expande e contrai magicamente. O gerente cuida de todo o trabalho pesado nos bastidores.

3. A Estratégia de Dois Passos

O Prism usa duas regras inteligentes para decidir quem recebe o ar:

• Regra 1: O Agendador Global (O Gerente do Hotel): Ele olha para o hotel inteiro. Ele pergunta: "Qual grupo de hóspedes está ativo no momento?". Ele então coloca esses hóspedes ativos no mesmo andar (GPU) para que possam compartilhar o espaço facilmente. Se um hóspede estiver dormindo, ele o move para um armário de armazenamento (CPU) para liberar espaço. Ele rearranja constantemente o hotel para garantir que nenhum andar esteja superlotado enquanto outro está vazio.
• Regra 2: O Agendador Local (O Concierge): Ele olha para as solicitações específicas que estão chegando agora. Se dois hóspedes estiverem lutando pelo último pedaço de espaço, o concierge verifica quem tem o prazo mais urgente. Ele deixa o hóspede urgente entrar primeiro e diz ao menos urgente para esperar um momento. Isso garante que as tarefas mais importantes sejam concluídas no prazo.

4. Os Resultados

O artigo testou o Prism com dados reais de grandes provedores de IA e descobriu que:

• Serviço Mais Rápido: Ele cumpriu suas promessas de velocidade (SLOs) até 3,3 vezes melhor do que os métodos anteriores.
• Custos Menores: Para obter o mesmo nível de desempenho, o Prism precisou de metade do número de GPUs (ou pode lidar com o dobro de solicitações com o mesmo hardware).
• Prova do Mundo Real: Ele já foi implantado em ambientes de produção com mais de 10.000 GPUs, ajudando empresas a gerar significativamente mais receita por GPU ao transformar o tempo "ocioso" desperdiçado em trabalho faturável.

Resumo

O Prism é como um gerente de hotel inteligente e elástico. Em vez de prender os hóspedes em quartos fixos ou expulsá-los constantemente, ele usa balões infláveis para compartilhar o espaço dinamicamente. Ele expande o espaço para modelos ocupados e encolhe para os que estão dormindo, garantindo que o hotel esteja sempre cheio, eficiente e rápido, sem que ninguém precise esperar na fila.

Resumo técnico

Resumo Técnico: Prism

Declaração do Problema

Provedores de inferência que hospedam milhares de Grandes Modelos de Linguagem (LLMs) enfrentam um desafio crítico de eficiência: manter a disponibilidade para modelos essenciais de baixo volume enquanto minimizam os custos à medida que os preços dos tokens diminuem. A análise de traços de produção revela que as cargas de trabalho do mundo real exibem um padrão de grupo explosivo dinâmico (dynamic bursty-group pattern), onde subconjuntos específicos de modelos tornam-se ativos juntos e mudam ao longo do tempo, impulsionados por sistemas de IA composta e pipelines de agentes.

As estratégias de serviço existentes falham em se adaptar a essa variabilidade:

• Compartilhamento de Espaço (Colocação): Colocar múltiplos modelos em uma GPU para utilizar a memória não utilizada funciona para modelos contínuos de baixo tráfego, mas cria uma fragmentação de memória severa durante períodos longos de ociosidade. Isso impede que modelos ativos escalem para atender aos requisitos de Objetivo de Nível de Serviço (SLO), pois a memória é estaticamente travada por modelos ociosos.
• Compartilhamento de Tempo (Troca/Swapping): Trocar modelos para dentro e para fora da memória da GPU lida bem com tráfego esporádico, mas sofre com alta latência de overhead (segundos) durante flutuações rápidas de carga de trabalho. Isso causa "thrashing" quando múltiplos modelos experimentam requisições intercaladas, levando a violações de SLO.

O desafio central é a falta de um mecanismo principiado para unificar o compartilhamento espacial e temporal. Os sistemas atuais forçam um compromisso entre a adesão ao SLO e a eficiência de recursos, sendo incapazes de transitar fluidamente entre estratégias conforme os padrões de carga de trabalho mudam de surtos voláteis para atividade intercalada.

Metodologia

O Prism é um framework de compartilhamento de GPU centrado em memória, projetado para unificar o compartilhamento espacial e temporal através de alocação elástica de memória. Sua arquitetura consiste em três componentes primários:

1. Balonamento de Memória da GPU (O Driver kvcached)

O Prism introduz um driver de balão, o kvcached, que se posiciona entre os motores de inferência (ex: SGLang) e a memória física da GPU. Este driver implementa o balonamento de memória para recuperar e realocar memória entre modelos sem interromper a execução.

• Desacoplamento Virtual/Físico: Os motores reservam um grande espaço de endereçamento virtual, mas a memória física é alocada e mapeada sob demanda. Isso permite que o sistema reduza ou expanda a pegada física de um modelo em tempo de execução.
• Gerenciamento Unificado: O kvcached trata os pesos do modelo e o KV cache como um pool unificado de páginas físicas. Ele suporta diversas arquiteturas de modelos ao mapear blocos de tokens para páginas virtuais e segregá-los fisicamente para evitar conflitos de forma.
• Otimizações: Para minimizar o overhead, utiliza páginas de memória de 2MB, prioriza páginas parcialmente preenchidas e emprega uma thread de pré-alocação para preparação assíncrona de páginas. Ele expõe uma abstração de tensor elástico (eTensor) compatível com kernels de atenção existentes e CUDA graphs, exigindo zero mudanças no código dos motores de serviço.
• Carregamento Rápido: Para mitigar a latência de cold-start, o Prism desacopla os ciclos de vida dos motores dos ciclos de vida dos modelos usando um pool de motores reutilizável e emprega carregamento paralelo de pesos entre GPUs via NVLink para saturar a largura de banda de interconexão.

2. Plano de Controle Centrado em Memória

O Prism emprega um escalonador hierárquico para gerenciar a elasticidade proporcionada pelo kvcached:

• Posicionamento de Modelo Sensível à Carga (Global): Um escalonador global posiciona modelos entre as GPUs para maximizar a folga de memória para o balonamento. Ele utiliza uma heurística de Razão de Pressão de KV (KVPR), que quantifica a contenção de memória baseada em taxas de tokens ponderadas por SLO. O algoritmo coloca modelos de alta demanda de forma gananciosa em GPUs com a menor pressão existente, garantindo que modelos ativos tenham espaço para expandir seus caches de KV durante surtos.
• Arbitragem de Requisição Sensível ao Slack (Local): Um escalonador local de GPU gerencia requisições concorrentes de modelos colocados. Em vez de isolamento estático, ele utiliza uma fila de requisições compartilhada e aplica o algoritmo de Moore-Hodgson para minimizar perdas de prazo (deadlines). Ele prioriza requisições baseando-se em seu tempo de folga (slack) (a diferença entre o prazo e o tempo de execução necessário), garantindo que requisições urgentes e de baixa latência sejam servidas antes das de execução mais longa, maximizando assim a obtenção do SLO de TTFT (Tempo até o Primeiro Token).

3. Integração de Sistema

O Prism é implementado como uma biblioteca que estende o SGLang, utilizando APIs de Gerenciamento de Memória Virtual (VMM) do CUDA. Ele opera como um processo de controle separado que coordena evacuações, ativações e migrações de modelos baseadas em métricas de tempo de execução.

Principais Contribuições

1. Mecanismo de Compartilhamento Unificado: O Prism é o primeiro sistema a unificar o compartilhamento espacial e temporal sob um único esquema, tratando a memória da GPU como um recurso elástico. Ele permite que o sistema atue como um sistema de compartilhamento de tempo (evacuando modelos ociosos) e um sistema de compartilhamento de espaço (co-servindo surtos ativos) simultaneamente.
2. Driver de Balão kvcached: Um driver de código aberto que permite a redistribuição flexível e granular (2MB) de memória entre LLMs heterogêneos com overhead de milissegundos e zero modificações de kernel.
3. Implantação em Escala de Produção: O sistema foi implantado em ambientes de produção em mais de 10.000 GPUs e é mantido ativamente.
4. Avaliação Abrangente: O artigo fornece uma análise rigorosa de traços de produção de grandes provedores (Hyperbolic, Novita AI) e plataformas de avaliação (Chatbot Arena), cobrindo 58 modelos heterogêneos em períodos variando de 11 dias a 16 meses.

Resultados

Avaliado em um cluster de até 32 GPUs NVIDIA H100 usando traços do mundo real:

• Obtenção de SLO: O Prism alcança até 3,3× mais alta obtenção de SLO de TTFT e 2× mais alta obtenção de SLO de TPOT em comparação com baselines de última geração (incluindo MuxServe++, QLM e ServerlessLLM) dado o mesmo número de GPUs.
• Eficiência de Custo: Para atingir o mesmo nível de obtenção de SLO, o Prism reduz a contagem de GPUs necessária em 2× (ex: alcançando 99% de SLO de TTFT com 16 GPUs vs. 32+ para baselines) ou lida com 3,5× mais requisições com o mesmo hardware.
• Impacto na Produção: Em implantações de sombra em duas empresas, o Prism aumentou o throughput por GPU em 3,89× (Empresa A) e a receita por GPU em 2,86× (Empresa B), convertendo capacidade ociosa em tokens faturáveis sem violar os SLOs.
• Latência: A latência de ativação de modelo é reduzida para menos de 1,5 segundo mesmo para modelos de 70B, e o overhead de migração é negligenciável (dezenas de milissegundos) quando usando NVLink.

Significância

O artigo argumenta que o gargalo fundamental no serviço de múltiplos LLMs é a contenção de memória da GPU, não o computo. Ao mudar a perspectiva de particionamento estático ou fatiamento de tempo rígido para o gerenciamento de memória elástica, o Prism resolve o conflito entre a necessidade de resposta imediata (que exige colocação) e a necessidade de eficiência de recursos (que exige evacuação). O trabalho demonstra que uma visão centrada em memória pode se adaptar fluidamente à natureza de "grupo explosivo" das cargas de trabalho modernas de IA, permitindo que provedores hospedem milhares de modelos de forma econômica enquanto aderem estritamente aos SLOs de latência. A abertura do código do kvcached e sua adoção em ambientes de produção de larga escala validam a viabilidade prática desta abordagem.