Resumo Técnico: BlendServe

Declaração do Problema

A inferência em lote (batch inference) offline emergiu como uma solução de baixo custo para tarefas de Grandes Modelos de Linguagem (LLMs) que não são sensíveis à latência, como avaliação de modelos e curadoria de dados. Diferente da inferência online, que prioriza a baixa latência, a inferência offline visa maximizar o rendimento (throughput - tokens por segundo) dentro de uma janela de tempo flexível.

Técnicas existentes de otimização de rendimento, como o preenchimento em blocos (chunked prefill da Sarathi-Serve) e a sobreposição ao nível de operador (NanoFlow, Orion), focam em equilibrar recursos computacionais e de memória dentro de um único lote. No entanto, essas abordagens enfrentam retornos decrescentes à medida que a diversidade de aplicações aumenta. As cargas de trabalho modernas de LLM exibem demandas de recursos vastamente diferentes:

• Intensivas em computação: Tarefas com sequências de entrada longas, mas saídas curtas (ex: sumarização de documentos, benchmarks como MMLU), que saturam as unidades de computação da GPU enquanto deixam a largura de banda de memória subutilizada.
• Intensivas em memória: Tarefas com sequências de saída longas (ex: geração de vídeo, raciocínio), que saturam a largura de banda de memória durante a fase de decodificação autorregressiva, deixando as unidades de computação subutilizadas.

Quando um lote consiste predominantemente de um tipo de requisição, os recursos de hardware permanecem desequilibrados, limitando o rendimento. Além disso, simplesmente reordenar as requisições para maximizar a sobreposição de recursos frequentemente conflita com o compartilhamento de prefixo (prefix sharing), uma técnica que agrupa requisições com prefixos comuns para evitar computação redundante. Uma ordem de requisições que maximiza o compartilhamento de prefixo (tipicamente Busca em Profundidade - DFS - em uma árvore de prefixos) pode resultar em lotes dominados por um único tipo de recurso, enquanto uma ordem que maximza a sobreposição de recursos pode destruir a localidade do prefixo.

Metodologia: BlendServe

O BlendServe é um sistema de serviço projetado para harmonizar o agrupamento consciente de recursos (resource-aware batching) e o compartilhamento de prefixo para maximizar o rendimento da inferência offline. Seu design central envolve três componentes principais:

1. Modelagem de Desempenho e Densidade de Computação

O BlendServe introduz uma métrica chamada densidade de computação ($\rho$), definida como a razão entre o tempo de operador limitado por computação e o tempo de operador limitado por memória para uma requisição.

• Nível de Requisição: $\rho(r) = \frac{\text{Comp}(r)}{\text{Mem}(r)}$. Um $\rho$ alto indica cargas de trabalho intensivas em computação; um $\rho$ baixo indica cargas de trabalho intensivas em memória.
• Nível de Lote: O sistema modela o tempo total de execução $T$ como uma função do tempo de computação ($T_{comp}$), tempo de memória ($T_{mem}$) e a razão de compartilhamento de prefixo ($s$). O objetivo é minimizar $T$ maximizando a sobreposição das operações de computação e memória enquanto minimiza a computação redundante.
• Estimativa de Saída: Como os comprimentos de saída são desconhecidos na geração autorregressiva, o BlendServe emprega uma estratégia de amostragem durante uma fase de aquecimento (warm-up). Ele infere distribuições de comprimento de saída baseadas na semântica do prompt e nos tipos de tarefa, usando requisições amostradas para estimar a densidade de requisições não amostradas dentro da mesma subárvore de prefixo.

2. Árvore de Prefixo Consciente de Recursos

Para gerenciar o equilíbrio entre compartilhamento de prefixo e sobreposição de recursos, o BlendServe constrói uma árvore de prefixo consciente de recursos:

• Estrutura: Baseada na estrutura de Trie usada em sistemas como o SGLang, onde os nós representam segmentos de prompt compartilhados.
• Melhoria: Cada nó é anotado com a densidade de computação de todas as requisições em sua subárvore.
• Ordenação e Divisão: O sistema ordena os nós em cada camada com base em sua densidade de computação, colocando nós intensivos em computação à esquerda e nós intensivos em memória à direita. Para lidar com valores discrepantes (outliers) que interrompem essa ordenação global, é utilizada uma técnica de divisão de nó condicional (conditional node splitting). Se a densidade de um nó desviar significamente de seus vizinhos, ele é dividido e reposicionado. Isso acarreta um custo controlado de recomputação de um pequeno segmento de prefixo para alcançar um melhor equilíbrio de recursos.

3. Algoritmo de Varredura Dupla (Dual Scanning)

Para gerar o escalonamento final de requisições, o BlendServe utiliza um algoritmo de varredura dupla:

• Mecanismo: O algoritmo varre as folhas da árvore de prefixo ordenada simultaneamente pelas extremidades esquerda (intensiva em computação) e direita (intensiva em memória).
• Formação de Lotes: Ele calcula dinamicamente a partição de memória necessária ($M_L$ e $M_R$) para atingir uma densidade de computação global alvo ($\rho_{target}$) que corresponda à raiz da árvore. As requisições são selecionadas de ambas as extremidades para preencher essas partições, garantindo que cada lote contenha uma mistura equilibrada de requisições intensivas em computação e em memória.
• Resultado: Esta abordagem preserva a estrutura hierárquica da árvore de prefixo (mantendo alto compartilhamento de prefixo) enquanto intercala as requisições para maximizar a sobreposição de recursos de hardware.

4. Implantação Distribuída

O BlendServe suporta Paralelismo de Dados (DP) e Paralelismo de Tensor (TP).

• No DP, a árvore de prefixo centralizada é decomposta em subárvores atribuídas a diferentes ranks, garantindo cargas de trabalho equilibradas.
• No TP, o sistema integra-se com estratégias de pipeline existentes para sobrepor o overhead de comunicação com a computação, mantendo a compatibilidade com implantações de larga escala.

Principais Contribuições

1. Análise da Diversidade de Carga de Trabalho: Uma caracterização detalhada de como diversas aplicações de LLM (chat, codificação, geração de vídeo) criam demandas de recursos conflitantes (computação vs. memória) que limitam as estratégias de agrupamento existentes.
2. Árvore de Prefixo Consciente de Recursos: Uma nova estrutura de dados que codifica demandas de recursos (densidade de computação) enquanto preserva as estruturas de prefixo, permitindo que o sistema raciocine sobre o compartilhamento de prefixo e a sobreposição de recursos simultaneamente.
3. Algoritmo de Varredura Dupla: Um algoritmo de escalonamento heurístico que constrói lotes varrendo uma árvore de prefixo ordenada de ambas as extremidades, misturando efetivamente os tipos de requisições para maximizar a sobreposição de recursos sem sacrificar o compartilhamento de prefixo.
4. Protótipo e Avaliação: Uma implementação completa construída sobre o NanoFlow e SGLang, avaliada em múltiplos modelos (Llama-3-8B/70B, Qwen-2.5, DeepSeek) e diversas cargas de trabalho sintéticas.

Resultados Experimentais

Os autores avaliaram o BlendServe contra baselines padrão da indústria (vLLM, SGLang) e sistemas de ponta orientados para throughput (NanoFlow).

• Aceleração de Rendimento (Throughput Speedup):
  • Comparado ao vLLM e SGLang, o BlendServe alcança até 1.44× de aceleração de throughput.
  • Comparado ao NanoFlow (o estado da arte atual para throughput), o BlendServe entrega, em média, 20.84% mais throughput.
• Lacuna de Otimalidade: O BlendServe atinge uma média de 86.55% do throughput teoricamente ideal (até 90% em configurações específicas), demonstrando que ele se aproxima efetivamente do limite do que é alcançável com sobreposição perfeita de recursos e compartilhamento de prefixo.
• Utilização de Recursos: Visualizações de uso de computação e memória mostram que o BlendServe mantém uma utilização de recursos estável e equilibrada através dos passos de inferência, enquanto baselines como o NanoFlow-DFS exibem flutuações significativas e períodos de subutilização de recursos.
• Compartilhamento de Prefixo: Apesar de reordenar as requisições para o equilíbrio de recursos, o BlendServe mantém 97% da razão máxima de compartilhamento de prefixo alcançável por uma travessia DFS padrão.
• Escalabilidade: O sistema demonstra escalonamento quase linear com Paralelismo de Dados (DP) e permanece eficaz em diferentes tamanhos de modelo (7B a 72B) e configurações de hardware.

Significância e Alegações

O artigo afirma que o BlendServe é o primeiro sistema de serviço especificamente otimizado para inferência em lote offline que harmoniza com sucesso dois objetivos tradicionalmente conflitantes: sobreposição de recursos e compartilhamento de prefixo.

Os autores argumentam que, à medida que as aplicações de LLM se diversificam, a suposição de demandas de recursos uniformes dentro de um lote não é mais válida. Ao aproveitar as restrições de latência relaxadas da inferência offline para reordenar as requisições, o BlendServe desbloqueia ganhos significativos de rendimento que as otimizações intra-lote anteriores não puderam alcançar. O sistema demonstra que é possível se aproximar do throughput ideal (90%) sem sacrificar os ganhos de eficiência do cache de prefixo, fornecendo uma solução robusta para a inferência de LLM de alto rendimento e baixo custo.