Resumo Técnico: DiLaServe

Declaração do Problema

Os Modelos de Linguagem de Difusão (DLMs) emergiram como uma alternativa promissora aos modelos de linguagem autorregressivos (LLMs), oferecendo a capacidade de gerar múltiplos tokens em paralelo durante cada etapa de denoising. Este paralelismo teoricamente permite um throughput de inferência significativamente maior em comparação com a geração sequencial de tokens dos modelos autorregressivos. No entanto, implantar DLMs em sistemas de serviço de produção apresenta desafios únicos que impedem a realização desses ganhos de throughput ao mesmo tempo em que se cumprem rigorosos Objetivos de Nível de Serviço (SLOs) de latência.

Os principais desafios identificados são:

1. Compromisso Velocidade-Qualidade (Speed-Quality Trade-off): Os DLMs utilizam um processo de denoising baseado em confiança, onde os tokens são desmascarados apenas se a confiança prevista exceder um limite. Reduzir este limite reduz o número de etapas de denoising (melhorando a velocidade), mas corre o risco de desmascarar tokens incorretos (degradando a qualidade). Os sistemas existentes carecem de mecanismos para ajustar dinamicamente este limite por requisição para equilibrar a adesão ao SLO com a qualidade de geração.
2. Compromisso Latência-Throughput em Nível de Cluster: Os DLMs são computacionalmente intensivos por etapa e beneficiam-se de Paralelismo de Tensor (TP). No entanto, aumentar o grau de TP reduz a latência por etapa, mas reduz o número total de instâncias de modelo que um cluster pode suportar, diminuindo assim o throughput agregado. Configurações estáticas de cluster falham em se adaptar a cargas de trabalho flutuantes, levando ou a atrasos excessivos de enfileiramento sob alta carga, ou a uma latência suboptimal sob baixa carga.
3. Heterogeneidade do Cache KV Aproximado: Diferente dos modelos autorregressivos, os DLMs não podem usar cache KV exato devido à atenção bidirecional. Técnicas recentes de cache KV aproximado introduzem custos computacionais não uniformes: "etapas de cache" (reutilização de estados KV) são baratas, enquanto "etapas de recomputação" (atualização de estados KV) são caras. Sistemas de serviço devem considerar esta heterogeneidade de etapa para estimar com precisão a latência e a carga.

Metodologia

Os autores apresentam o DiLaServe, um sistema de serviço em nível de cluster projetado especificamente para DLMs. O DiLaServe integra três mecanismos principais para abordar os desafios acima:

1. Ajuste Dinâmico do Limite de Confiança

O DiLaServe trata o limite de confiança como um controle para cada requisição.

• Seleção Consciente de SLO: Para cada requisição, o sistema prevê o número restante de etapas de denoising necessárias sob diferentes limites candidatos. Ele seleciona o limite de confiança mais alto que garante que a latência restante estimada caiba dentro do orçamento de SLO restante da requisição.
• Controle de Carga Adaptativo: Para evitar que a carga agregada exceda a capacidade do cluster (o que causaria atrasos de enfileiramento e violações de SLO), o sistema limita o limite de confiança máximo disponível para cada requisição. Ele calcula a carga agregada de pior caso assumindo que todas as requisições usem seu limite máximo permitido e garante que esta soma permaneça dentro da capacidade de processamento do cluster.
• Predição de Etapa: Um modelo de gradient boosting leve, treinado offline, prevê as etapas de denoising restantes com base em características de tempo de execução (progresso de desmascaramento, estatísticas de confiança de tokens e comprimento de saída). Estas previsões são atualizadas online conforme a requisição progride, reduzindo significamente o erro de predição em comparação com estimativas de etapa única.

2. Escalonamento de Grão Fino

O DiLaServe escala requisições na granularidade de etapas individuais de denoising.

• Seleção de Instância: O escalonador atribui a próxima etapa de denoising à instância de modelo com o menor tempo de conclusão de etapa previsto, considerando tanto a carga atual da instância quanto o seu grau de Paralelismo de Tensor.
• Migração: As requisições podem ser migradas entre instâncias entre as etapas. Como as etapas de denoising são sem estado sem cache KV (ou requerem apenas o estado KV em etapas de recomputação), a migração é leve. Isso permite um balanceamento de carga de grão fino e reduz a latência de cauda.

3. Reconfiguração de Cluster via Programação Linear Inteira (ILP)

Para se adaptar a padrões de carga de trabalho em mudança, o DiLaServe resolve periodicamente uma ILP de dois estágios:

• Estágio 1 (Planejamento de Capacidade): Determina o número ideal de instâncias de modelo em cada grau de TP para maximizar o limite de confiança médio (e, portanto, a qualidade) enquanto garante a suficiência de capacidade em estado estacionário e a satisfação do SLO.
• Estágio 2 (Planejamento de Reconfiguração): Computa um plano de migração para transitar da configuração atual do cluster para a configuração alvo com overhead mínimo, priorizando a preservação das instâncias existentes para minimizar a interrupção do serviço.

4. Suporte para Cache KV Aproximado

O DiLaServe modela explicitamente a heterogeneidade introduzida pelo cache KV aproximado. Ele distingue entre "etapas de cache" e "etapas de recomputação" ao estimar a carga da requisição, a capacidade do cluster e a latência restante. Crucialmente, ele restringe a migração de requisições para ocorrer apenas em etapas de recomputação para evitar o overhead de reconstruir caches KV na instância de destino.

Principais Contribuições

• Sistema DiLaServe: O primeiro sistema de serviço em nível de cluster projetado especificamente para Modelos de Linguagem de Difusão, abordando os compromissos únicos de velocidade-qualidade e latência-throughput inerentes à arquitetura.
• Otimização Conjunta: Uma abordagem inovadora que otimiza conjuntamente os limites de confiança por requisição, o controle de carga em todo o cluster e a reconfiguração dinâmica do cluster (alocação de grau de TP).
• Integração de Cache KV Aproximado: Um framework que incorpora os custos não uniformes do cache KV aproximado nas decisões de escalonamento e reconfiguração, permitindo o serviço eficiente sem sacrificar os benefícios do cache.
• Predição de Etapa: Um mecanismo de predição de etapa online que utiliza características de tempo de execução para estimar com precisão o trabalho restante, permitindo uma seleção de limite precisa e consciente do SLO.

Resultados

Os autores avaliaram o DiLaServe em clusters de 16 GPUs usando traços de serviço de LLM do mundo real (derivados de ShareGPT e BurstGPT) e benchmarks de acurácia padrão (GSM8K, MMLU-Pro, MBPP). O sistema foi testado contra baselines adaptados de sistemas de serviço existentes (INFaaS e Llumnix) que utilizam limites de confiança fixos.

• Atingimento de SLO: O DiLaServe melhorou o atingimento de SLO em até 56,6 pontos percentuais em comparação com os baselines sob alta carga. Em avaliações de traços do mundo real, alcançou uma melhoria de 30,2 pontos percentuais.
• Latência: A latência de ponta a ponta da requisição foi reduzida em até 46%.
• Qualidade: Estas melhorias foram alcançadas com degradação mínima de acurácia, tipicamente menos de 1% (por exemplo, uma queda de 0,9% na acurácia sob alta carga, e uma queda de 0,09 pontos em pontuações de LLM-judge em dados conversacionais).
• Estudos de Ablação: Os autores demonstraram que tanto o ajuste dinâmico de limite quanto o controle de carga em todo o sistema são críticos; remover o controle de carga reduziu o atingimento de SLO em até 42,4 pontos percentuais em cenários de alta carga. Da mesma forma, a reconfiguração melhorou significativamente o desempenho através de vários níveis de carga.

Significância

O artigo afirma que o DiLaServe demonstra a viabilidade de servir Modelos de Linguagem de Difusão em escala enquanto cumpre requisitos rigorosos de latência. Ao modelar explicitamente as características únicas dos DLMs — especificamente o processo de denoising baseado em confiança e o cache KV aproximado — o DiLaServe desbloqueia o potencial de throughput destes modelos sem sacrificar a qualidade de geração ou a adesão ao SLO. O trabalho sugere que mecanismos de controle dinâmicos e conscientes da qualidade são essenciais para a próxima geração de sistemas de serviço de modelos de linguagem, indo além de configurações estáticas para equilibrar adaptativamente velocidade, qualidade e utilização de recursos.