Resumo Técnico: O Imposto de Estacionamento do Modelo

Declaração do Problema

O modelo operacional predominante para inferência de IA envolve implantar modelos em GPUs e mantê-los carregados na VRAM indefinidamente para evitar a latência associada a "inícios a frio". Embora os benefícios de latência dessa estratégia de "manter aquecido" sejam bem documentados, o custo energético contínuo da prontidão tem sido tratado como uma constante não quantificada. Relatórios da indústria estimam o consumo de energia em ocioso das GPUs em aproximadamente 20% da Potência de Projeto Térmico (TDP), mas o custo energético marginal de alocação de quantidades específicas de VRAM nunca foi empiricamente decomposto.

A questão central abordada é se armazenar pesos de modelos na VRAM da GPU incorre em um custo marginal mensurável de energia em ocioso e se esse custo varia entre diferentes arquiteturas de GPU e tecnologias de memória. A literatura atual sugere que contextos CUDA forçam as GPUs a frequências de relógio mais altas mesmo quando ociosas, mas permanece incerto se o tamanho do modelo (ocupação de VRAM) aumenta ainda mais o consumo de energia além do custo de simplesmente manter o contexto.

Metodologia

Os autores empregam uma abordagem em duas fases, combinando telemetria de produção em larga escala com experimentos controlados de dose-resposta em três arquiteturas de GPU distintas: NVIDIA H100 (HBM3), A100 (HBM2e) e L40S (GDDR6).

Fase 1: Telemetria de Produção

• Escopo: 18 dias de dados de 14 GPUs NVIDIA H100 em dois nós Kubernetes.
• Volume de Dados: 335.267 amostras de estado ocioso (0% de utilização) com alocações de VRAM variando de 3 MB a 79 GB.
• Instrumentação: Métricas foram coletadas via Exportador do NVIDIA Data Center GPU Manager (DCGM) em intervalos de 30 segundos.

Fase 2: Experimentos Controlados

• Desenho: Estudos de dose-resposta intra-sujeito em uma GPU de cada arquitetura (H100, A100, L40S).
• Protocolo:
  1. Registrar potência "ociosa nua" (sem contexto CUDA).
  2. Criar um contexto CUDA persistente.
  3. Alocar sequencialmente VRAM crescente (0 a 40–72 GB) usando tensores torch.empty.
  4. Registrar potência via nvidia-smi por 20 minutos por nível de alocação.
• Validação: Os experimentos foram validados usando um modelo real do HuggingFace (Qwen2.5-7B) para garantir que pesos reais de modelos e kernels CUDA não alterassem o perfil de potência ociosa em comparação com tensores vazios.
• Rigor Estatístico: O estudo utiliza Testes de Um Lado Duplo (TOST) para estabelecer equivalência, testando se o coeficiente de potência marginal ($\beta$) é praticamente zero (limitado por $\pm 0,1$ W/GB).

Principais Descobertas

1. O "Imposto de Estacionamento" é uma Função Degrau, Não um Gradiente

O estudo identifica um "Imposto de Estacionamento do Modelo" composto por dois componentes distintos:

• O Sobrecarga do Contexto CUDA ($\Delta P_{DVFS}$): A criação de um contexto CUDA desencadeia uma transição discreta de Escalonamento Dinâmico de Tensão e Frequência (DVFS). Os relógios dos Multiprocessadores de Streaming (SM) saltam de estados de ocioso de baixa potência (210–345 MHz) para frequências máximas de boost (1410–2520 MHz), independentemente da utilização.

  • H100: +49,9 W de sobrecarga.
  • A100: +26,3 W de sobrecarga.
  • L40S: +66,4 W de sobrecarga.
    Este degrau representa >98% do custo total de potência em ocioso em todas as arquiteturas testadas.

• O Efeito Marginal da VRAM ($\beta$): Uma vez que um contexto CUDA está ativo, variar a VRAM alocada de 0 GB até a capacidade máxima testada (até 72 GB) resulta em uma mudança de potência inferior a 1 W.

  • A inclinação da regressão $\beta$ foi encontrada estatisticamente indistinguível de zero no H100 e L40S.
  • No A100, uma inclinação negativa estatisticamente significativa foi observada, mas os autores atribuem isso à deriva térmica (diminuição da temperatura ao longo do tempo) e não a um efeito de física de memória, notando que a magnitude é negligenciável (<0,1 W no total).
  • Conclusão: $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$. O custo é determinado pela presença de um contexto, não pela ocupação da memória.

2. Consistência Trans-Arquitetural

A descoberta de que a potência em ocioso é constante por partes vale para três tecnologias de memória fundamentalmente diferentes (HBM3, HBM2e, GDDR6) e microarquiteturas (Hopper, Ampere, Ada Lovelace). Essa consistência apoia a previsão teórica de que, em ocioso, a potência da memória é dominada por circuitos de fundo e de refresco (que varrem todas as linhas independentemente do conteúdo de dados), tornando a potência independente da ocupação.

3. Modelo de Ponto de Equilíbrio para Início a Frio

Os autores derivam um modelo de ponto de equilíbrio ($T^*$) para determinar o tempo ótimo para ejetar um modelo versus mantê-lo aquecido:
$$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$$
Onde $P_{park}$ é o imposto de estacionamento (sobrecarga do contexto), $P_{load}$ é a potência durante o carregamento e $t_{load}$ é a duração do carregamento.

• Resultado: Os intervalos de ponto de equilíbrio são curtos, tipicamente 1–5 minutos, dependendo da arquitetura e do método de carregamento.
• Implicação: Para modelos pequenos que carregam em segundos, o custo energético de mantê-los aquecidos frequentemente excede o custo de um início a frio, mesmo com taxas de solicitação moderadas. O ponto de equilíbrio depende da latência e potência de carregamento, não do tamanho do modelo.

Significado e Alegações

O artigo alega fornecer a primeira medição trans-arquitetural da potência de GPU em ocioso como função da alocação de VRAM. Suas principais contribuições são:

1. Decomposição do Custo em Ocioso: Separa empiricamente a potência em ocioso em um custo DVFS fixo e massivo (desencadeado pelo contexto CUDA) e um custo marginal de VRAM negligenciável, praticamente zero.
2. Desafio às Práticas Atuais: Desafia a suposição da indústria de que modelos maiores incorrem em custos energéticos em ocioso proporcionalmente mais altos. O artigo afirma que um modelo de 1 GB e um modelo de 64 GB pagam o "mesmo imposto de estacionamento" porque o custo é impulsionado pelo contexto, não pela pegada de memória.
3. Orientação Operacional: Os autores propõem que o "agendamento sensível ao tamanho" (início a frio de modelos pequenos) e a "ejeção sensível ao ponto de equilíbrio" são mais eficientes energeticamente do que a implantação sempre ativa.
4. Estimativa de Impacto na Indústria: Com base em dados de embarque de 2023 e uma taxa de utilização de 65%, os autores estimam que apenas a sobrecarga do contexto CUDA representa 92–1.745 GWh/ano globalmente, com uma estimativa base de 462 GWh/ano (aprox. 180 kT de CO2).

O artigo conclui que os fornecedores de GPUs devem investigar estados ociosos que desacoplem a frequência do relógio da presença do contexto, e que plataformas serverless devem priorizar a eliminação de contextos CUDA em vez de reduzir pegadas de modelos para alcançar economias de energia. Um agendador de conceito usando o modelo de ponto de equilíbrio derivado demonstrou economias de energia de 8–23% em simulações de 24 horas em comparação com linhas de base sempre ativas.