Resumo Técnico: Rumo a Agendadores de LLM Multi-Modelo: Insights Empíricos sobre Descarregamento e Preempção

Declaração do Problema

Implantações modernas de Modelos de Linguagem de Grande Escala (LLM) exigem cada vez mais o atendimento de múltiplos modelos heterogêneos (variando em arquitetura, tamanho e especialização) em hardware compartilhado e com recursos limitados. Embora sistemas existentes como o vLLM otimizem o rendimento para cargas de trabalho de modelo único por meio de agrupamento contínuo e gerenciamento eficiente de cache de Chave-Valor (KV), eles carecem de mecanismos para lidar com o agendamento multi-modelo sob restrições estritas de memória de GPU.

Em ambientes tão restritos, dois mecanismos críticos tornam-se necessários, mas são pouco compreendidos no contexto multi-modelo:

1. Descarregamento Parcial CPU-GPU: Mover subconjuntos de camadas do modelo para a memória da CPU para ajustar os modelos à VRAM limitada da GPU.
2. Preempção: Suspender um trabalho de inferência em execução para expulsar seu modelo e estado, permitindo que um trabalho de maior prioridade seja executado, e depois retomar o trabalho original.

A literatura atual frequentemente assume degradação linear de desempenho com o descarregamento ou trata os custos de preempção como uma sobrecarga monolítica e não quantificada. Há uma falta de dados empíricos caracterizando como esses fatores interagem em diferentes escalas de modelo, arquiteturas e plataformas de hardware.

Metodologia

Os autores conduziram um estudo empírico sistemático em duas plataformas de hardware distintas que compartilham um subsistema de CPU comum (AMD Threadripper PRO 5995WX), mas diferem na arquitetura de GPU:

• Plataforma A: NVIDIA RTX 5000 Ada Generation (32 GB de VRAM).
• Plataforma B: NVIDIA RTX A6000 (48 GB de VRAM).

O estudo utilizou um conjunto diversificado de modelos (Llama 3 8B, Qwen3 32B, Llama 2 70B para descarregamento; Qwen2.5-3B, Qwen3-8B, Qwen2.5-14B para preempção) e executou duas varreduras experimentais principais:

1. Varredura de Descarregamento por Camada:

   • Executada no Ollama (quantizado Q4) e HuggingFace Transformers (FP16).
   • Variou a fração de camadas de transformador colocadas na GPU de 0% (toda CPU) a 100% (toda GPU) em incrementos de 10%, com granularidade mais fina perto de 100%.
   • Mediu o rendimento de decodificação (tokens/segundo) em vários comprimentos de saída (de 50 a 5.000 tokens).

2. Benchmark de Preempção e Migração:

   • Simulou um cenário de preempção "pior caso" onde um Job A de longa duração (gerando 7.000 tokens) é interrompido em nove pontos de verificação (de 100 a 5.000 tokens).
   • O Job A é totalmente descarregado (pesos e cache KV movidos para a memória do host), um Job B é executado, e o Job A é recarregado e retomado.
   • Decomposição da sobrecarga total de preempção em etapas constituintes: transferência de cache KV (GPU→CPU), descarregamento do modelo, recarregamento do modelo e restauração do cache KV (CPU→GPU).
   • Testou vários pares de modelos para isolar o impacto do tamanho do modelo preemptado versus o tamanho do modelo preemptor.

Principais Contribuições

O artigo fornece três contribuições principais:

1. Avaliação Empírica Sistemática: Uma caracterização abrangente de LLMs de última geração em hardware heterogêneo, demonstrando que as tendências de desempenho relacionadas ao descarregamento e escalabilidade são consistentes entre modelos e sistemas.
2. Quantificação de Sobrecargas: Análise detalhada das implicações de desempenho do descarregamento parcial e da preempção, identificando as fontes dominantes de latência e custos de movimentação de dados.
3. Destilação de Recursos do Agendador: Um conjunto de recursos-chave derivados de dados empíricos que futuros agendadores multi-modelo devem incorporar para suportar efetivamente a execução híbrida CPU-GPU e a preempção.

Principais Resultados

1. Degradação Não Linear do Descarregamento

• Sensibilidade do Modelo: O rendimento de decodificação não escala linearmente com a porcentagem de camadas na GPU. Modelos menores (ex: Llama 3 8B) exibem sensibilidade aguda e não linear à redução da residência na GPU, sofrendo penalidades significativas de rendimento mesmo com descarregamento moderado. Modelos maiores (ex: Llama 2 70B) mostram uma degradação mais gradual, aproximadamente linear.
• Interação com Hardware: A diferença relativa de desempenho entre CPU e GPU impacta significativamente a eficiência do descarregamento. Na RTX 5000 (menor rendimento máximo), a penalidade relativa do descarregamento é menor em comparação com a RTX A6000 (maior capacidade de computação), onde o descarregamento incorre em uma degradação relativa maior.
• Comprimento da Sequência: Prompts mais longos amplificam o impacto negativo do descarregamento devido ao aumento da pressão de memória do cache KV e aos custos de acesso.

2. Composição da Sobrecarga de Preempção

• Dominância do Recarregamento do Modelo: O custo da preempção é esmagadoramente dominado pelo recarregamento dos pesos do modelo do disco para a memória da GPU. Este componente representa >98,5% da sobrecarga total de preempção em ambas as plataformas de hardware.
• Negligibilidade do Cache KV: A transferência do cache KV (tanto GPU→CPU quanto CPU→GPU) contribui com menos de 1,5% da sobrecarga total, mesmo para caches grandes (até ~950 MB).
• Custo Constante: A sobrecarga de preempção é efetivamente constante, independentemente do progresso do trabalho (número de tokens gerados). O custo depende quase inteiramente da pegada de pesos do modelo preemptado, e não do tamanho do cache KV ou da identidade do modelo preemptor.
  • Exemplo: Na RTX 5000, a sobrecarga de preempção varia de ~3s (modelo de 3B) a ~7,3s (modelo de 14B).
• Variação de Hardware: A RTX A6000 demonstrou custos absolutos de preempção mais baixos (transferência disco-GPU mais rápida) em comparação com a RTX 5000, apesar de ter VRAM maior.

3. Eficiência de Movimentação de Dados

• Os tempos de transferência do cache KV escalam linearmente com o comprimento da sequência, mas permanecem na casa de dezenas de milissegundos (ex: <90ms para transferência de ~950MB na RTX 5000).
• A largura de banda PCIe efetiva é limitada por sobrecargas de cópia de tensores por camada no runtime do PyTorch, atingindo apenas 9–16 GB/s contra um pico teórico de 31,5 GB/s.

Significado e Alegações

O artigo argumenta que essas descobertas empíricas alteram fundamentalmente os requisitos de design para agendadores de LLM de próxima geração:

• Rejeição de Suposições Lineares: Os agendadores não podem confiar em estratégias de colocação proporcionais ou uniformes. Devem levar em conta a sensibilidade não linear específica do modelo ao descarregamento, particularmente para modelos menores, onde o descarregamento parcial é altamente prejudicial.
• Penalidade Fixa de Preempção: Contrariando a suposição de que os custos de preempção variam com o progresso do trabalho, o estudo estabelece que a preempção pode ser modelada como uma penalidade fixa dependente apenas da pegada de pesos do modelo e do par de hardware. Isso simplifica a lógica de agendamento, permitindo modelagem de custos previsível.
• Consciência de Hardware: As decisões de agendamento devem ser explicitamente conscientes do hardware, considerando não apenas a capacidade da GPU, mas a lacuna específica de computação entre a CPU e a GPU, bem como as velocidades de transferência disco-GPU.
• Cache KV vs. Pesos: O estudo esclarece que otimizar a migração do cache KV é secundário à otimização do carregamento/descarregamento de pesos do modelo para eficiência de preempção, uma vez que o primeiro é atualmente negligenciável na estrutura de custos total.

Os autores concluem que agendadores futuros devem integrar esses recursos — curvas de descarregamento não lineares, perfis de arquitetura de modelo, dinâmicas de comprimento de sequência e custos de preempção fixos — para gerenciar eficientemente cargas de trabalho heterogêneas e multi-modelo em ambientes dinâmicos e com recursos limitados.