More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving

Resumo Técnico: Mais GPUs ou um Cache Menor? Paralelismo de Tensores versus Compressão de KV para o Atendimento de LLMs Limitado por Memória

Definição do Problema
Quando as implantações de atendimento de Large Language Models (LLMs) encontram restrições de memória devido a contextos longos ou tamanhos de lote (batch sizes) elevados, os profissionais enfrentam uma escolha binária entre duas estratégias estabelecidas que raramente se comunicam:

1. Paralelismo de Tensores (Comunidade de Sistemas): Fragmentação (sharding) dos pesos do modelo e dos caches KV entre múltiplas GPUs. Isso aumenta a margem de memória, mas acarreta custos de hardware lineares e overhead de comunicação (all-reduce) em cada camada.
2. Compressão de KV (Comunidade de Algoritmos): Redução da pegada do cache KV via quantização (ex: 8-bit, 4-bit) ou expulsão (eviction) (mantendo apenas tokens de alto valor) em uma única GPU. Isso evita custos de hardware, mas sacrifica a qualidade da geração e introduz overhead de desquantização.

O problema central é a falta de uma comparação unificada e normalizada por custo. Artigos sobre paralelismo relatam escalonamento de throughput, enquanto artigos sobre compressão relatam razões de memória. Consequentemente, um engenheiro não consegue determinar qual estratégia é mais barata por milhão de tokens para um modelo, um piso de qualidade e um alvo de latência fixos.

Metodologia
Os autores construíram uma fronteira normalizada por custo para comparar essas estratégias diretamente.

• Base de Simulação: O estudo utiliza o Vidur, um simulador perfilado e calibrado em hardware real A100, A40 e H100. Os autores não tiveram acesso direto a GPUs; a latência e o throughput são derivados dos preditores do Vidur (validados contra hardware real com erro <9%).
• Métrica de Custo: O eixo primário é o Custo por Milhão de Tokens, calculado como:
  $$\text{Custo/Mtok} = \frac{C_{gpu/hr} \times p}{3600 \times \text{Throughput} \times 10^6}$$
  onde $p$ é o grau de paralelismo de tensor. Crucialmente, o multiplicador de contagem de dispositivos $p$ está incluído, garantendo que adicionar GPUs não seja tratado como memória "gratuita".
• Configuração Experimental:
  • Modelos: Llama-2-7B (primário) e Llama-2-70B (para testar o limite de viabilidade).
  • Configurações: Graus de Paralelismo de Tensor (TP) de 1, 2, 4, 8; configurações de compressão de KV incluindo larguras de bits (16, 8, 4) e razões de retenção (keep-ratios) (1.0, 0.5, 0.25).
  • Cargas de Trabalho: Cargas de trabalho sintéticas de comprimento fixo (W1: interativo; W2: pesado em prefill/saturado) para garantir aritmética de memória exata.
  • Verificação de Viabilidade: Uma configuração é válida apenas se tanto os pesos quanto o cache KV couberem na memória do dispositivo ($2W/p + B \cdot m_{kv} \le M_{dev}$).
• Restrições: O estudo não avalia a qualidade da saída (precisão) nem modela o overhead específico de kernel de desquantização, tratando este último como um cenário de "melhor caso" para testar a robustez.

Principais Resultados
A descoberta central é que não existe um cruzamento de equivalência de custo dentro dos regimes testados. A premissa de que as duas estratégias competem em uma única curva de custo é inválida.

1. A Compressão Domina Abaixo do Limite de Viabilidade:

   • Para modelos que cabem em uma única GPU (ex: Llama-2-7B em uma A100 de 80GB), a compressão de KV é consistentemente mais barata do que adicionar GPUs.
   • Em níveis de alívio de memória equivalentes, a compressão é de 1,20× a 2,00× mais barata que o paralelismo de tensores.
   • Capacidade vs. Latência: A compressão multiplica a capacidade de concorrência por dólar em 16,5×, enquanto um aumento de 8x no gasto com GPU (TP=8) gera apenas um ganho de 1,21× na capacidade por dólar.
   • Troca de Latência (Trade-off): Embora a compressão reduza o custo, ela degrada a latência por token (TPOT) em 8% a 93% devido ao aumento da contenção de batching. O paralelismo de tensores é a única alavanca que melhora tanto a latência quanto a capacidade.

2. O Limite de Viabilidade (Tamanho do Modelo vs. Memória do Dispositivo):

   • A fronteira de decisão não é o comprimento do contexto ou o tamanho do lote, mas o tamanho do modelo em relação à memória do dispositivo.
   • Para um dispositivo de 80GB, o limite reside em aproximadamente 36B de parâmetros (pesos em fp16).
   • Abaixo do limite (ex: 7B): O cache KV raramente esgota a memória do dispositivo dentro da janela de contexto. Adicionar GPUs é, em grande parte, gasto desperdiçado; a compressão é a estratégia ideal.
   • Acima do limite (ex: 70B): Uma única GPU não consegue conter os pesos (127,5 GB para Llama-2-70B). A compressão de KV não pode resolver isso porque não reduz os pesos. O paralelismo de tensores torna-se um ingresso de entrada (obrigatório), não uma escolha.

3. Comportamento Acima do Limite:

   • Para o Llama-2-70B, mesmo com TP=2 (o mínimo viável), o sistema está saturado de memória.
   • Neste regime, aumentar o TP de 2 para 4 gera um escalonamento superlinear (169% de eficiência) porque alivia a restrição de memória vinculativa, reduzindo o custo por token em 41% em cargas de trabalho interativas.
   • No entanto, a compressão continua sendo mais barata do que o escalonamento adicional (ex: TP=8) em níveis de alívio equivalentes.

Significância e Alegações
O artigo afirma fornecer uma regra de decisão definitiva para o planejamento de infraestrutura, corrigindo a suposição comum de que o paralelismo de tensores se torna mais barato conforme os comprimentos de contexto crescem.

• Refutação do Cruzamento: Os autores afirmam explicitamente que não encontram um ponto de cruzamento onde adicionar GPUs se torna mais barato que a compressão. A compressão é mais barata em todos os níveis de alívio de memória correspondentes.
• A Real Regra de Decisão:
  1. Verificar Viabilidade: Se os pesos do modelo excederem a memória do dispositivo (ex: >36B em 80GB), o Paralelismo de Tensores é obrigatório ($p_{min} = \lceil 2W/M_{usable} \rceil$).
  2. Verificar Saturação: Se o grau mínimo de TP viável ($p_{min}$) resultar em saturação de memória (alta ocupação de KV), elevar um grau (ex: de TP=2 para TP=4) pode reduzir o custo por token devido ao escalonamento superlinear.
  3. Otimizar Capacidade: Uma vez que os pesos caibam e o sistema não esteja saturado de memória, a compressão de KV é a estratégia dominante para aumentar a capacidade. Adicionar mais GPUs é ineficiente.
• Mecanismos Complementares: As duas estratégias compram coisas diferentes. O paralelismo de tensores compra latência e viabilidade (fragmentação de pesos). A compressão compra capacidade (concorrência) com custo de hardware próximo de zero.

Limitações Reconhecidas
Os autores observam que o estudo depende de latência simulada para compressão (sem modelar o overhead de desquantização) e não mede a qualidade da saída. Eles postulam que, se o overhead de desquantização fosse significativamente maior (perda de throughput de 17–47%), a ordem poderia ser invertida, mas a literatura atual sugere que os overheads são menores. Além disso, o "limite de viabilidade" é específico para pesos em fp16; a quantização de pesos deslocaria esse limite.