Resumo Técnico: Teste de Carga para Sistemas de Servimento de Modelos de Machine Learning em Escala

Declaração do Problema

O servimento de modelos de machine learning (ML) tornou-se um consumidor dominante de infraestrutura de GPU, mas o planejamento de capacidade para esses sistemas permanece amplamente ad hoc. Ferramentas tradicionais de teste de carga (ex: JMeter, Locust) e suítes de benchmarking (ex: MLPerf) falham em abordar as características únicas da inferência de ML, levando a dois problemas críticos:

1. Subprovisionamento: Resulta em violações de Objetivos de Nível de Serviço (SLO), degradação da experiência do usuário e incidentes em produção.
2. Sobreprovisionamento: Desperdiça recursos substanciais de GPU que poderiam servir outras cargas de trabalho.

O artigo identifica quatro desafios específicos que ferramentas de propósito geral não abordam:

• Warmup de Modelo (Aquecimento): A inferência em GPU envolve compilação JIT, cache de kernels CUDA e carregamento de pesos, criando um desempenho transiente que não reflete o estado estável (steady state).
• Batching Dinâmico (Agrupamento Dinâmico): Sistemas de servimento modernos agrupam requisições, criando uma relação não linear entre a carga concorrente e a latência por requisição.
• Heterogeneidade de Arquitetura: Os sistemas devem lidar com diversos modelos (desde buscas de sub-milissegundo até saídas generativas de múltiplos segundos) exigindo diferentes abordagens de teste.
• Sensibilidade ao Hardware: O desempenho varia significativamente entre gerações de GPU, configurações de memória e padrões de co-localização.

Metodologia: O Framework Vanguard

Os autores apresentam o Vanguard, um framework de teste de carga industrial projetado para estimar sistematicamente a capacidade de servimento através de uma estratégia de busca adaptativa e orientada por feedback.

Arquitetura do Sistema

O Vanguard é um sistema distribuído composto por dez componentes principais:

• Orquestração e Execução: Um Orquestrador de Tarefas gerencia o ciclo de vida dos testes, enquanto um Replayer de Carga gera tráfego controlado usando um design de loop aberto para evitar a omissão coordenada (onde atrasos no processamento suprimem a geração de novas requisições, mascarando a latência real).
• Mecanismo de Estratégia: Implementa o padrão de estratégia para desacoplar algoritmos de busca. Ele suporta estratégias de base (Varredura de Taxa Múltipla, Busca Binária, Estabilidade de Taxa Constante) e a principal Busca Adaptativa Orientada por Feedback.
• Mecanismo de Avaliação de Saúde: Mapeia métricas brutas (latência, throughput, taxas de erro, utilização de GPU) para cinco estados de saúde (Saudável, Alerta, Não Saudável, Crítico, Sobrecarregado). Ele emprega ponderação de múltiplas métricas e histerese (exigindo que os estados persistam por janelas consecutivas) para evitar a "oscilação" (flapping) próximo aos limites de capacidade.
• Infraestrutura: Inclui um Registro de Modelos para artefatos versionados, um Alocador de Capacidade para provisionamento de recursos e um Logger de Telemetria para reprodutibilidade.

Estratégia de Busca Adaptativa

A contribuição central é um algoritmo adaptativo que utiliza feedback de métricas em tempo real para convergir para o throughput máximo sustentável. Ele emprega três mecanismos:

1. Amortecimento (Dampening): Reduz o tamanho do passo à medida que a busca se aproxima do limite de capacidade para evitar o excesso (overshooting).
2. Tolerância a Picos (Spike Tolerance): Ignora picos métricos transientes abaixo de um limite configurável para evitar a convergência prematura.
3. Detecção de Convergência: Monitora a variância das estimativas recentes; a busca termina quando o coeficiente de variação cai abaixo de um limite.

Design Experimental

O estudo avalia o Vanguard através de 14 estudos de caso industriais abrangendo quatro classes de arquitetura: Recomendação, Ranking, Visão e NLP.

• Verdade de Campo (Ground Truth): Definida como o IPS (Inferências por Segundo) P90 medido em estado estável ao longo de uma janela de 7 dias pós-lançamento, excluindo períodos de incidentes e o período inicial de ramp-up.
• Variáveis: O estudo compara o replay de tráfego sintético vs. registrado, diferentes hardwares (A100 vs. H100) e estudos de ablação desabilitando recursos específicos conscientes de ML (ex: tratamento de warmup, consciência de batching).
• Análise Estatística: Utiliza testes não paramétricos, análise de Bland-Altman para concordância e regressão linear multivariada para identificar fatores de erro.

Principais Resultados

1. Reprodutibilidade

As medições do Vanguard são altamente reprodutíveis em hardware idêntico (Coeficiente de Correlação Intra-classe = 0,96, Coeficiente de Variação = 2,9%). No entanto, testes entre hardwares (A100 vs. H100) mostram um viés positivo sistemático de 4,9%, indicando a necessidade de fatores de correção específicos de hardware.

2. Impacto das Decisões de Design Específicas de ML (RQ1)

Um estudo de ablação revelou que decisões de design específicas de ML são críticas para a precisão:

• Calibração de Carga de Trabalho: A mudança do tráfego sintético para o replay de tráfego registrado reduziu o erro de estimativa de ~30% para 2–6%. Esta foi a maior ganho de precisão.
• Tratamento de Warmup: A exclusão adequada do período transiente de warmup reduziu o erro em 22,2%.
• Outros Fatores: O monitoramento de saúde da GPU, SLOs de múltiplas métricas e a consciência de batching também contribuíram para melhorias significativas na precisão (redução de erro de 7–14% cada).

3. Precisão de Predição de Capacidade (RQ2)

• Precisão Geral: As estimativas do Vanguard corresponderam de perto à capacidade observada pós-lançamento com um viés médio de −2,1% (subestimação leve, que é operacionalmente preferível) e limites de concordância de 95% de [−14,8%, +10,6%]. A correlação foi forte ($R^2 = 0,94$).
• Preditores de Erro: A análise de regressão identificou o Tamanho do Modelo (contagem de parâmetros em escala logarítmica) e a Densidade de Co-localização (número de modelos co-alocados) como os preditores mais fortes de erro de estimativa. Modelos maiores exibem comportamento de warmup variável, enquanto cargas de trabalho co-localizadas introduzem interferência não capturada em testes isolados.

Significância e Contribuições

O artigo afirma ser o primeiro estudo empírico de teste de carga especificamente para o servimento de modelos de ML em escala. Sua significância reside em:

1. Preencher a Lacuna: Ele aborda a desconexão entre o teste de carga tradicional e as necessidades específicas do planejamento de capacidade de ML, oferecendo um framework que lida com batching dinâmico, warmup e sensibilidade de hardware.
2. Impacto Industrial: Em 14 estudos de caso, a implementação do Vanguard levou a:
   • Uma redução no erro de estimativa de 30% para 2–6%.
   • Reduções de recursos de GPU de 49–83% para modelos individuais ao eliminar o sobreprovisionamento.
   • Uma redução substancial em incidentes de lançamento causados por subprovisionamento.
3. Diretrizes Acionáveis: Os autores destilam seis lições para profissionais, enfatizando que a representatividade da carga de trabalho (usar tráfego registrado) e o tratamento de warmup são mais impactantes do que a sofisticação algorítmica. Eles também destacam a necessidade de histerese na avaliação de saúde e a importância de considerar efeitos de co-localização.

O artigo conclui que, embora a estratégia adaptativa seja eficaz para as arquiteturas atuais, trabalhos futuros são necessários para abordar modelos generativos (LLMs), que apresentam desafios distintos relacionados a comprimentos de saída variáveis e pressão de cache KV.