Workload composition smooths aggregate power demand while sustaining short-horizon ramps in AI data centers

Resumo Técnico: Composição de Carga de Trabalho e Dinâmicas de Potência em Data Centers de IA

1. O Problema

A inteligência artificial (IA) está impulsionando um crescimento rápido na demanda por eletricidade. No entanto, o impacto das redes elétricas (grid-facing) dos data centers de IA permanece mal compreendido. A maioria das estimativas atuais baseia-se apenas no consumo anual de energia ou na contagem agregada de GPUs, tratando os data centers como cargas exógenas com limites de flexibilidade estilizados.

Essa abordagem ignora as dinâmicas operacionais internas (minutos a horas) que determinam como a carga sobe, desce e flutua. Essas dinâmicas de curto prazo são críticas para a confiabilidade da rede, requisitos de reserva, planejamento de infraestrutura e contabilidade de emissões. Além disso, muitos data centers modernos de IA agora hospedam simultaneamente duas cargas de trabalho distintas em sistemas de GPU compartilhados:

• Lotes (Batch): Tarefas de treinamento que podem aguardar em filas, serem interrompidas e retomadas (checkpointing).
• Inferência: Serviços online sensíveis à latência, que mantêm filas curtas e exigem resposta imediata.

A questão central é: como a composição mista dessas cargas afeta a variabilidade total da potência e as taxas de rampa (ramping) de curto prazo, e se essas métricas podem ser inferidas estudando cada carga isoladamente.

2. Metodologia

Os autores desenvolveram um modelo calibrado com traços (trace-calibrated framework) de um data center de IA híbrido, onde lotes e inferência compartilham um pool comum de GPUs. O modelo integra três entradas empíricas principais:

1. Traços de Lotes: 98.000 trabalhos de lotes com perfis de potência por GPU do MIT SuperCloud.
2. Traços de Inferência: 44 milhões de solicitações de código e conversação de LLMs (Large Language Models) do Microsoft Azure.
3. Medições de Serviço: Dados que mapeiam o throughput de tokens de inferência para demanda de GPU e potência.

Configuração do Modelo:

• Política de Agendamento: A inferência sensível à latência tem prioridade de acesso às GPUs. Os trabalhos de lote utilizam a capacidade residual (o que sobra).
• Variáveis Controladas: O número total de GPUs e a utilização (load) são mantidos fixos, enquanto a proporção entre carga de lote e inferência é variada.
• Métricas Analisadas:
  • Variabilidade Agregada: Medida pelo Coeficiente de Variação (COV) da potência total ao longo do tempo.
  • Rampa de Curto Prazo: Medida pela taxa de mudança absoluta na potência normalizada em janelas de 15 minutos.

O estudo compara cenários de sistemas puramente de lote, puramente de inferência e sistemas híbridos em diferentes níveis de utilização.

3. Contribuições Principais

O trabalho demonstra que os data centers de IA híbridos não se comportam como médias ponderadas dos sistemas de lote e inferência isolados. A composição da carga de trabalho altera a demanda de potência de forma não linear.

As principais contribuições são:

1. Descasamento entre Variabilidade e Rampa: A variabilidade agregada e a rampa de curto prazo se comportam de maneira diferente e não são correlacionadas linearmente com a composição da carga.
2. Mecanismo Assimétrico: Identificação de que os lotes atuam como um "amortecedor" (buffer) através de filas, enquanto a inferência transmite flutuações diretamente para a potência realizada.
3. Novos Padrões de Curva:
   • Variabilidade em "U": À medida que a participação da inferência aumenta, a variabilidade total da potência primeiro diminui (devido ao preenchimento de lacunas pelos lotes) e depois aumenta, formando uma curva em U.
   • Rampa em "Colina" (Hump-shaped): A taxa de rampa de curto prazo aumenta com a participação da inferência até um ponto máximo e depois diminui, especialmente em altas utilizações.

4. Resultados Chave

• Suavização da Variabilidade (Curva em U):

  • Em misturas intermediárias de carga, os trabalhos de lotes enfileirados preenchem as "vales" de capacidade deixados pela demanda flutuante de inferência. Isso reduz a variabilidade total da potência.
  • O efeito de suavização é mais pronunciado em sistemas com maior utilização, onde a capacidade ociosa é escassa e os lotes conseguem preencher lacunas críticas.
  • A flexibilidade dos lotes (frequência de checkpoint) influencia a posição do mínimo da curva em U.

• Persistência das Rampas de Curto Prazo (Curva em Colina):

  • Diferente da variabilidade, as rampas de curto prazo permanecem elevadas mesmo quando a variabilidade total é baixa.
  • Isso ocorre porque as flutuações na demanda de inferência são transmitidas mais diretamente para a potência realizada, com pouca atenuação por filas.
  • A contribuição dos lotes para a rampa diminui à medida que a inferência domina, mas a compensação é incompleta. Em altas utilizações, a saturação de capacidade limita o crescimento das rampas, criando o formato de "colina".

• Dinâmica Temporal Diária:

  • A demanda de inferência tende a subir do meio-dia até a noite, enquanto a atividade de lote diminui. Essa inversão faz com que a potência agregada seja mais plana ao longo do dia do que qualquer componente isolado, mas ainda gera picos de rampa significativos em escalas de tempo curtas.

5. Significado e Implicações

• Revisão do Planejamento de Rede: Os data centers de IA não devem ser vistos apenas como grandes consumidores de energia estáticos. Eles são sistemas dinâmicos onde a interação interna das cargas de trabalho molda a demanda na rede.
• Distinção de Métricas: Variabilidade e rampa são propriedades distintas. Um data center pode ter uma demanda agregada suave (baixa variabilidade) mas ainda impor desafios significativos à rede devido a rampas de curto prazo elevadas.
• Políticas de Otimização: A mistura de carga que minimiza a variabilidade não é necessariamente a mesma que minimiza as rampas. Planejadores de rede e operadores de data centers precisam considerar ambos os fatores.
• Futuro da Pesquisa: O estudo enfatiza a necessidade de modelos de demanda que vão além de totais anuais de energia, incorporando a dinâmica de serviços digitais e a contenção de recursos compartilhados para um planejamento de rede credível.

Em resumo, o artigo revela que a coexistência de cargas de trabalho de lote e inferência em GPUs compartilhadas cria um comportamento de potência complexo e não aditivo, onde a suavização da variabilidade não elimina os desafios de rampa de curto prazo impostos pela natureza sensível à latência da inferência.