⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

Este artigo apresenta o primeiro relato de ponta a ponta sobre gerenciamento de energia para um datacenter de IA em hiperescala, detalhando o processo desde o planejamento inicial de energia para aceleradores de próxima geração até a otimização em tempo de execução de uma instalação de 150 MW que hospeda 83.000 GPUs GB200.

Autores originais: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

Publicado 2026-05-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir o supercomputador mais poderoso e maior do mundo para resolver os problemas mais difíceis da Inteligência Artificial. Você comprou milhares dos chips de computador mais rápidos que o dinheiro pode comprar (GPUs). Mas há um problema: você não tem eletricidade suficiente para fazê-los funcionar todos na velocidade máxima.

Na verdade, o artigo argumenta que ficar sem energia é agora um problema maior do que ficar sem chips de computador. É como ter uma frota de 100 carros de corrida, mas apenas gasolina suficiente para encher metade deles.

Este artigo descreve como a Meta (a empresa por trás do Facebook) resolveu esse problema para um data center massivo de 150 megawatts. Eles não apenas conectaram tudo e torceram para o melhor; trataram a eletricidade como um recurso precioso e limitado que precisava ser gerenciado em três etapas distintas.

Aqui está a história de como fizeram isso, usando analogias simples.

As Três Etapas do Gerenciamento de Energia

Os autores dividem o processo em três fases: Planejamento, Verificação e Execução.

Fase 1: Planejamento (A Fase de "Orçamento")

Antes mesmo dos computadores chegarem, a equipe teve que descobrir quantos deles caberiam em seu orçamento fixo de eletricidade.

O Jeito Antigo: Geralmente, os engenheiros olham para a "velocidade máxima" de um chip (sua Potência de Projeto Térmico, ou TDP) e assumem que é isso que ele sempre consumirá. Se um chip é classificado para 1.200 Watts, eles planejam para 1.200 Watts.
O Jeito Meta: Eles perceberam que, se forcessem cada chip a funcionar no seu absoluto máximo, poderiam caber apenas alguns chips no prédio. Em vez disso, perguntaram: "E se fizermos todos os chips funcionarem um pouco mais devagar?"
A Analogia: Imagine um buffet com uma quantidade fixa de comida.
- Estratégia A: Dar a todos uma refeição massiva de 10 pratos. Você só consegue alimentar 50 pessoas.
- Estratégia B: Dar a todos uma refeição ligeiramente menor, de 8 pratos. Agora você consegue alimentar 60 pessoas.
- O Resultado: Embora cada pessoa tenha recebido um pouco menos de comida, a quantidade total de comida consumida pelo grupo é maior, e mais pessoas são alimentadas.
A Descoberta: Eles descobriram que, ao reduzir o limite de energia de cada GPU de 1.200 Watts para cerca de 1.000 Watts, conseguiam caber muitas mais GPUs no data center. A pequena queda de velocidade para cada chip individual foi mais do que compensada por ter mais chips trabalhando juntos. Isso lhes deu um impulso de 10% na capacidade total de computação.

Fase 2: Verificação (A Fase de "Verificação da Realidade")

Uma vez que os computadores foram instalados, a equipe percebeu que seus planos não correspondiam perfeitamente à realidade.

O Problema: Os medidores de energia internos dos computadores (fontes de alimentação) estavam mentindo. Eles estavam sendo excessivamente cautelosos, relatando que as máquinas estavam consumindo mais energia do que realmente consumiam. É como o medidor de combustível de um carro que sempre diz "Vazio" quando ainda há um quarto de tanque sobrando.
O Conserto: Eles compararam os medidores internos com os sensores principais de energia do prédio (que são muito precisos). Descobriram que, se ignorassem as leituras de "pior caso" e olhassem para o uso "médio" (especificamente o percentil 70), poderiam confiar mais nos números.
O Resultado: Como pararam de confiar nos medidores internos excessivamente cautelosos, perceberam que tinham um pouco de energia "oculta" que não estavam usando. Aumentaram a energia ligeiramente (de 1.000W para 1.020W), extraindo mais um impulso de 2% de desempenho.

Fase 3: Execução (A Fase de "Agente de Trânsito")

Agora o data center está executando trabalhos reais de treinamento de IA. O problema é que as cargas de trabalho de IA são "síncronas", o que significa que todos os chips têm que esperar uns pelos outros. Se um chip é lento, todo o trabalho fica lento.

O Problema: Às vezes, a rede elétrica sofre um pico súbito. Se o sistema detectar um pico, o jeito antigo era desligar imediatamente ou reduzir a velocidade de um chip específico para economizar energia. Mas em uma corrida sincronizada, se você faz um corredor diminuir a velocidade, toda a equipe perde.
A Solução (Dimmer): Eles construíram um sistema inteligente chamado "Dimmer". Em vez de punir um chip, ele reduz gentilmente a energia de todos os chips no trabalho por uma quantidade pequena e igual.
A Analogia: Imagine um grupo de corredores em uma corrida de revezamento. Se a pista ficar escorregadia (limite de energia), em vez de fazer um corredor tropeçar (o que pararia toda a equipe), o treinador diz a todos para correr apenas um pouquinho mais devagar. A equipe permanece junta e a corrida continua sem parar.
O Resultado: Isso impede que o sistema travar e permite que eles usem os últimos poucos por cento de energia "encalhada" que antes era desperdiçada. Isso adicionou mais um impulso de ~2%.

Outras Principais Lições

Efeito "Gargalo": O data center é uma mistura de hardware diferente (computadores, refrigeração, switches de rede). Às vezes, o limite de energia não é definido pelos computadores, mas pelo sistema de refrigeração ou pelos cabos de rede. Se uma parte da cadeia é fraca, ela limita toda a cadeia.
Oscilações de Energia: Quando os chips de IA trabalham, às vezes eles pausam por uma fração de segundo para conversar entre si, fazendo com que o consumo de energia caia e depois suba rapidamente. A equipe criou um "suavizador de software" que preenche essas pequenas lacunas com trabalho fictício, mantendo o consumo de energia estável como um rio calmo em vez de um mar agitado. Isso protege a rede elétrica do prédio contra choques.
Novo é Melhor: Eles compararam seus novos chips (GB200) com os mais antigos (H100). Os novos chips são tão eficientes que, embora usem menos energia por chip, o novo cluster é quase duas vezes mais rápido do que o antigo teria sido no mesmo prédio.

A Conclusão

Ao tratar a eletricidade como um recurso flexível em vez de um limite fixo, e ao gerenciá-la cuidadosamente desde a fase de planejamento até as operações diárias, a Meta conseguiu obter aproximadamente 14% mais capacidade de computação de seu data center de 150 megawatts, sem construir uma única parede nova ou comprar um único fio novo.

Eles não encontraram uma bateria mágica; apenas aprenderam a usar a eletricidade que já tinham de forma muito mais sábia.

Resumo Técnico: Do Provisionamento à Otimização em Runtime de um Cluster de IA de +100 MW

Declaração do Problema

O principal gargalo na corrida rumo à Inteligência Artificial Geral (AGI) deslocou-se da disponibilidade de aceleradores de IA para o fornecimento de energia elétrica para datacenters. Embora pesquisas anteriores tenham se concentrado na redução de custos de utilitários, na otimização do uso de energia verde ou na exploração de sobreassinatura de energia, esses estudos frequentemente ignoram a realidade crítica de que o planejamento de energia em datacenters deve priorizar a maximização da capacidade total de computação dentro de um orçamento de energia fixo. Além disso, trabalhos anteriores tipicamente abordam apenas a fase operacional final do gerenciamento de energia, negligenciando o processo de ponta a ponta que abrange desde o planejamento inicial (6–12 meses antes da disponibilidade do hardware) até a validação de implantação e o ajuste dinâmico em runtime.

Este artigo aborda o desafio de gerenciar a energia de um cluster de IA em escala hiper (150 MW, 83.000 GPUs GB200) apresentando uma abordagem holística de três fases: Provisionamento, Validação de Implantação e Otimização Operacional em Runtime.

Metodologia

Os autores propõem um framework de três fases para o gerenciamento de energia, utilizando um datacenter de 150 MW hospedando 83.000 GPUs GB200 conectadas via uma rede de back-end RDMA.

Fase 1: Planejamento e Provisionamento

Nesta fase, o objetivo é determinar a configuração ideal do cluster para maximizar o rendimento agregado ( $T(p)$ ) dentro de um orçamento de energia fixo ( $P_{total}$ ).

Modelo de Otimização: Os autores formulam o problema como a maximização de $T(p) = N(p) \cdot f(p)$ , onde $N(p)$ é o número de GPUs que cabem no orçamento e $f(p)$ é o desempenho por GPU no limite de energia $p$ .
Seleção do Limite de Energia: Em vez de utilizar a Potência de Projeto Térmico (TDP) de 1200W, a equipe analisa a curva de desempenho por watt. Eles descobrem que reduzir o limite de energia permite maior densidade de GPUs. Dados empíricos mostram que, embora a largura de banda HBM caia abruptamente abaixo de 1000W, ela permanece constante entre 1000W e 1200W. Consequentemente, eles selecionam um limite de energia de 960W (80% da TDP) como o ponto de operação ideal, equilibrando a perda de desempenho por GPU contra o ganho na contagem total de GPUs.
Provisionamento Holístico: A metodologia considera toda a hierarquia de entrega de energia (Quadros de Distribuição Principal, Quadros de Distribuição, Painéis de Energia de Reator) e inclui o consumo de energia não relacionado a GPUs (resfriamento, redes, CPUs).

Fase 2: Validação de Implantação

Uma vez que o hardware é implantado, a equipe valida as premissas e refina as configurações de energia com base na telemetria do mundo real.

Correção de Medição: Os autores identificam que as leituras das Fontes de Alimentação (PSU) superestimam sistematicamente o consumo real de energia. Para corrigir isso, eles comparam os dados da PSU contra osciloscópios de alta precisão e sensores DCIM do Painel de Energia de Reator (RPP). Eles determinam que o uso do percentil 70 (P70) das amostras da PSU dentro de um minuto fornece a estimativa mais precisa do consumo de energia agregado do rack, minimizando o viés dos valores máximos da PSU.
Análise de Margem de Segurança (Headroom): O estudo revela um desequilíbrio de energia estático significativo em todo o datacenter devido a misturas heterogêneas de hardware (racks de GPU, racks de rede, resfriamento) e restrições de posicionamento físico. Esse desequilíbrio deixa aproximadamente 5–10% de energia "encalhada" nos Quadros de Distribuição Principal (MSBs) mais restritos.
Ajuste: Com base nos dados de validação, a equipe aumenta o limite de energia operacional do planejado 960W para 1020W, garantindo que o consumo de energia P70 esteja alinhado com o orçamento do rack.

Fase 3: Otimização Ativa em Runtime

Esta fase foca no gerenciamento dinâmico de energia para capturar a energia encalhada restante e lidar com picos transitórios sem interromper trabalhos de treinamento.

Oscilações de Energia: Algoritmos de treinamento síncrono causam oscilações de energia sincronizadas. Para mitigar isso, os autores implementam uma técnica de "preenchimento de lacunas" usando um suavizador de energia baseado em software. Este kernel gera carga sintética nos Tensor Cores durante lacunas de comunicação, mantendo uma absorção de energia estável (até 800W por acelerador) com menos de 3% de sobrecarga de desempenho.
Algoritmo Dimmer: Para gerenciar o limite de energia dinamicamente, eles desenvolveram o "Dimmer". Diferente do limite tradicional que força quedas abruptas ou expulsão de tarefas, o Dimmer reduz gradualmente os limites de energia em todas as GPUs de um trabalho quando um dispositivo de energia se aproxima de seu limite (ex: 97%).
- Consciência do Agendador: O Dimmer integra-se ao agendador de trabalhos para priorizar grandes trabalhos de pré-treinamento críticos para a missão. Ele distribui as reduções de energia uniformemente para evitar a criação de "atrasados" que paralisariam todo o trabalho.
- Mecanismos de Segurança: O sistema usa uma janela de média de 7 segundos para distinguir entre picos transitórios e excessos sustentados, alinhando-se às características de disparo de disjuntores. Um mecanismo de segurança garante que os hosts retornem a um limite global seguro se a comunicação com o controlador for perdida.

Principais Contribuições e Descobertas

Gerenciamento de Energia de Ponta a Ponta: Este é o primeiro artigo a descrever o ciclo de vida completo de gerenciamento de energia para um cluster de IA em escala hiper, desde o planejamento pré-implantação até a otimização em runtime.
Limitação de Energia Ótima: O estudo demonstra que operar GPUs abaixo de sua TDP máxima (especificamente em 960W inicialmente, posteriormente validado para 1020W) maximiza o rendimento total do cluster. Reduzir a energia de 1200W para 1000W economiza 16,7% de energia com apenas uma queda de 5% no desempenho, permitindo uma densidade de GPUs significativamente maior.
Precisão de Medição: O artigo identifica que a telemetria da PSU superestima o uso de energia. Adotar um método de agregação P70 corrige esse viés, permitindo um orçamento de energia mais preciso.
Desequilíbrio Estático: A heterogeneidade do hardware e as restrições físicas criam uma margem de segurança de energia desigual em toda a instalação. Os MSBs mais restritos ditam a faixa de operação segura, deixando até 10% de energia encalhada se não for gerenciada dinamicamente.
Otimização Dinâmica: O sistema "Dimmer" e as técnicas de suavização de energia capturam com sucesso a porcentagem final de energia encalhada. Ao evitar a redução abrupta e distribuir as reduções de carga, o sistema mantém a estabilidade do trabalho enquanto maximiza a utilização.

Resultados

O artigo quantifica as melhorias de rendimento alcançadas através de cada fase de sua metodologia, comparando o estado final otimizado com uma linha de base de 1200W por GPU:

Fase de Provisionamento: A otimização para desempenho por watt (limite de 960W) aumentou o rendimento do cluster em 10% em comparação com a linha de base de 1200W, permitindo maior densidade de GPUs.
Validação de Implantação: O refinamento do limite de energia para 1020W com base na telemetria do mundo real forneceu um aumento adicional de ~2% no rendimento.
Otimização em Runtime (Dimmer): O gerenciamento dinâmico de energia encalhada e oscilações de energia rendeu uma melhoria adicional de ~2%.
Ganho Total: O efeito cumulativo dessas estratégias resultou em uma melhoria total de ~14% no rendimento do cluster em comparação com a configuração inicial de 1200W.

Além disso, o artigo observa que, em comparação com a geração H100, o GB200 a 960W entrega 2,4x o desempenho por GPU e 1,9x o rendimento agregado do cluster dentro do mesmo orçamento de energia.

Significado e Alegações

Os autores posicionam este trabalho como um guia fundamental para a indústria, indo além do gerenciamento de energia centrado em custos para estratégias centradas em capacidade essenciais para o desenvolvimento da AGI. Eles afirmam que este é o primeiro relatório em escala de produção cobrindo todas as três fases do gerenciamento de energia para um cluster de IA de 150 MW.

O artigo enfatiza que o fornecimento de energia é agora o fator limitante primário para a AGI, superando a disponibilidade de aceleradores. Ao compartilhar insights sobre provisionamento de energia, correção de medição e ajuste dinâmico em runtime, os autores visam encorajar outros praticantes a compartilhar suas experiências e avançar coletivamente a eficiência da infraestrutura de IA. Eles afirmam explicitamente que seu objetivo não é propor novos algoritmos teóricos, mas compartilhar experiências práticas e testadas em produção e descobertas que podem orientar futuros praticantes no projeto de datacenters de IA eficientes e escaláveis.