⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

Questo documento presenta il primo resoconto end-to-end della gestione dell'energia per un datacenter AI iperscalabile, dettagliando il processo dalla pianificazione iniziale dell'alimentazione per acceleratori di nuova generazione all'ottimizzazione in runtime di una struttura da 150 MW che ospita 83.000 GPU GB200.

Autori originali: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

Pubblicato 2026-05-26

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di costruire il supercomputer più grande e potente al mondo per risolvere i problemi più difficili nell'Intelligenza Artificiale. Hai acquistato migliaia dei chip informatici più veloci (GPU) che il denaro possa comprare. Ma c'è un inconveniente: non hai abbastanza elettricità per farli funzionare tutti alla massima velocità.

In effetti, il documento sostiene che rimanere senza energia è ormai un problema più grande che rimanere senza chip informatici. È come avere una flotta di 100 auto da corsa ma avere benzina sufficiente solo per riempirne la metà.

Questo documento descrive come Meta (l'azienda dietro Facebook) abbia risolto questo problema per un enorme data center da 150 megawatt. Non si sono limitati a collegare tutto e sperare nel meglio; hanno trattato l'elettricità come una risorsa preziosa e limitata che doveva essere gestita in tre fasi distinte.

Ecco la storia di come l'hanno fatto, utilizzando analogie semplici.

Le Tre Fase della Gestione dell'Energia

Gli autori suddividono il processo in tre fasi: Pianificazione, Verifica ed Esecuzione.

Fase 1: Pianificazione (La Fase del "Budgeting")

Prima ancora che i computer arrivassero, il team ha dovuto calcolare quanti ne potevano inserire nel loro budget elettrico fisso.

Il Vecchio Modo: Di solito, gli ingegneri guardano la "velocità massima" di un chip (la sua Potenza Termica di Progetto, o TDP) e assumono che sia ciò che consumerà sempre. Se un chip è classificato per 1.200 Watt, pianificano per 1.200 Watt.
Il Modo Meta: Hanno realizzato che se avessero costretto ogni chip a funzionare al suo assoluto massimo, avrebbero potuto inserire solo pochi chip nell'edificio. Invece, si sono chiesti: "E se facessimo funzionare tutti i chip leggermente più lentamente?"
L'Analogia: Immagina un buffet con una quantità fissa di cibo.
- Strategia A: Dai a tutti un pasto enorme da 10 portate. Puoi sfamare solo 50 persone.
- Strategia B: Dai a tutti un pasto leggermente più piccolo, da 8 portate. Ora puoi sfamare 60 persone.
- Il Risultato: Anche se ogni persona ha ricevuto leggermente meno cibo, la quantità totale di cibo consumata dal gruppo è più alta e più persone sono state sfamate.
La Scoperta: Hanno scoperto che riducendo il limite di potenza di ogni GPU da 1.200 Watt a circa 1.000 Watt, potevano inserire molte più GPU nel data center. Il leggero calo di velocità per ogni singolo chip era più che compensato dall'avere più chip che lavoravano insieme. Questo ha dato loro un aumento del 10% nella potenza di calcolo totale.

Fase 2: Verifica (La Fase del "Controllo della Realtà")

Una volta installati i computer, il team ha realizzato che i loro piani non corrispondevano perfettamente alla realtà.

Il Problema: I misuratori di potenza interni dei computer (PSU) stavano mentendo. Erano eccessivamente prudenti, segnalando che le macchine stavano consumando più energia di quanto facessero realmente. È come un indicatore del carburante di un'auto che dice sempre "Vuoto" quando hai ancora un quarto di serbatoio.
La Soluzione: Hanno confrontato i misuratori interni con i sensori principali di alimentazione dell'edificio (che sono molto precisi). Hanno scoperto che se ignoravano le letture del "caso peggiore" e guardavano il "consumo medio" (specificamente il 70° percentile), potevano fidarsi di più dei numeri.
Il Risultato: Poiché hanno smesso di fidarsi dei misuratori interni eccessivamente prudenti, hanno realizzato di avere un po' di energia "nascosta" che non stavano utilizzando. Hanno alzato leggermente la potenza (da 1.000W a 1.020W), spremendo un altro aumento delle prestazioni del 2%.

Fase 3: Esecuzione (La Fase del "Poliziotto del Traffico")

Ora il data center sta eseguendo lavori di addestramento AI in tempo reale. Il problema è che i carichi di lavoro AI sono "sincroni", il che significa che tutti i chip devono aspettarsi a vicenda. Se un chip è lento, l'intero lavoro rallenta.

Il Problema: A volte, la rete elettrica subisce un picco improvviso. Se il sistema rileva un picco, il vecchio metodo era spegnere immediatamente o rallentare un chip specifico per risparmiare energia. Ma in una gara sincronizzata, se rallenti un corridore, l'intera squadra perde.
La Soluzione (Dimmer): Hanno costruito un sistema intelligente chiamato "Dimmer". Invece di punire un singolo chip, abbassa delicatamente la potenza di ogni chip nel lavoro di una quantità minuscola e uguale.
L'Analogia: Immagina un gruppo di corridori in una staffetta. Se la pista diventa scivolosa (limite di potenza), invece di far inciampare un corridore (il che fermerebbe l'intera squadra), l'allenatore dice a tutti di correre solo un pochino più lentamente. La squadra rimane insieme e la gara continua senza fermarsi.
Il Risultato: Questo impedisce al sistema di bloccarsi e permette loro di utilizzare le ultime percentuali di energia "bloccata" che veniva precedentemente sprecata. Questo ha aggiunto un ulteriore aumento di circa il 2%.

Altre Chiavi di Lettura

L'Effetto "Collo di Bottiglia": Il data center è un mix di hardware diverso (computer, raffreddamento, switch di rete). A volte, il limite di potenza non è stabilito dai computer, ma dal sistema di raffreddamento o dai cavi di rete. Se una parte della catena è debole, limita l'intera catena.
Oscillazioni di Potenza: Quando i chip AI lavorano, a volte si fermano per un istante per parlarsi tra loro, causando un calo e poi un picco nel consumo energetico. Il team ha creato un "ammorbiditore software" che riempie questi piccoli vuoti con lavoro fittizio, mantenendo il consumo energetico costante come un fiume calmo invece che come un mare agitato. Questo protegge la rete elettrica dell'edificio dagli shock.
Il Nuovo è Meglio: Hanno confrontato i loro nuovi chip (GB200) con quelli più vecchi (H100). I nuovi chip sono così efficienti che, anche se consumano meno energia per chip, il nuovo cluster è quasi due volte più veloce di quanto sarebbe stato il vecchio nello stesso edificio.

La Conclusione

Trattando l'elettricità come una risorsa flessibile piuttosto che come un limite fisso, e gestendola attentamente dalla fase di pianificazione fino alle operazioni quotidiane, Meta è riuscita a ottenere circa il 14% in più di potenza di calcolo dal suo data center da 150 megawatt senza costruire un solo nuovo muro o acquistare un solo nuovo cavo.

Non hanno trovato una batteria magica; hanno semplicemente imparato a usare l'elettricità che già avevano in modo molto più saggio.

Riepilogo Tecnico: Dall'Approvvigionamento all'Ottimizzazione in Esecuzione di un Cluster AI da +100 MW

Enunciato del Problema

Il principale collo di bottiglia nella corsa verso l'Intelligenza Artificiale Generale (AGI) si è spostato dalla disponibilità di acceleratori AI alla fornitura di energia elettrica per i datacenter. Mentre ricerche precedenti si sono concentrate sulla riduzione dei costi energetici, sull'ottimizzazione dell'uso di energie rinnovabili o sullo sfruttamento della sovrapposizione della potenza, questi studi spesso trascurano la realtà critica secondo cui la pianificazione dell'energia nei datacenter deve dare priorità alla massimizzazione della capacità di calcolo totale entro un budget energetico fisso. Inoltre, i lavori precedenti affrontano tipicamente solo la fase operativa finale della gestione dell'energia, trascurando il processo end-to-end che si estende dalla pianificazione iniziale (6–12 mesi prima della disponibilità dell'hardware) alla convalida del deployment e alla sintonizzazione dinamica in runtime.

Questo documento affronta la sfida della gestione dell'energia per un cluster AI iperscalabile (150 MW, 83.000 GPU GB200) presentando un approccio olistico in tre fasi: Approvvigionamento, Convalida del Deployment e Ottimizzazione Operativa in Runtime.

Metodologia

Gli autori propongono un framework in tre fasi per la gestione dell'energia, utilizzando un datacenter da 150 MW che ospita 83.000 GPU GB200 connesse tramite una rete backend RDMA.

Fase 1: Pianificazione e Approvvigionamento

In questa fase, l'obiettivo è determinare la configurazione ottimale del cluster per massimizzare il throughput aggregato ( $T(p)$ ) entro un budget energetico fisso ( $P_{total}$ ).

Modello di Ottimizzazione: Gli autori formulano il problema come massimizzazione di $T(p) = N(p) \cdot f(p)$ , dove $N(p)$ è il numero di GPU che rientrano nel budget e $f(p)$ è le prestazioni per GPU al limite di potenza $p$ .
Selezione del Limite di Potenza: Invece di utilizzare la Potenza Termica di Progetto (TDP) di 1200W, il team analizza la curva prestazioni-per-watt. Scoprono che ridurre il limite di potenza consente una maggiore densità di GPU. I dati empirici mostrano che, sebbene la larghezza di banda HBM crolli drasticamente al di sotto dei 1000W, rimane costante tra 1000W e 1200W. Di conseguenza, selezionano un limite di potenza di 960W (80% della TDP) come punto operativo ottimale, bilanciando la perdita di prestazioni per GPU con il guadagno nel numero totale di GPU.
Approvvigionamento Olistico: La metodologia tiene conto dell'intera gerarchia di distribuzione dell'energia (Quadri Elettrici Principali, Quadri Elettrici, Pannelli di Potenza del Reattore) e include i consumi energetici non GPU (raffreddamento, networking, CPU).

Fase 2: Convalida del Deployment

Una volta deployato l'hardware, il team convalida le ipotesi e affina le impostazioni di potenza basandosi sulla telemetria del mondo reale.

Correzione delle Misurazioni: Gli autori identificano che le letture delle Unità di Alimentazione (PSU) sovrastimano sistematicamente il consumo energetico effettivo. Per correggere ciò, confrontano i dati delle PSU con sensori DCIM ad alta precisione degli oscilloscopi e dei Pannelli di Potenza del Reattore (RPP). Determinano che l'utilizzo del 70° percentile (P70) dei campioni delle PSU entro un minuto fornisce la stima più accurata della potenza del rack aggregata, minimizzando il bias dei valori massimi delle PSU.
Analisi della Riserva (Headroom): Lo studio rivela uno squilibrio significativo di potenza statica in tutto il datacenter a causa di mix hardware eterogenei (rack GPU, rack di rete, raffreddamento) e vincoli di posizionamento fisico. Questo squilibrio lascia circa il 5–10% della potenza "bloccata" nei Quadri Elettrici Principali (MSB) più vincolati.
Regolazione: Basandosi sui dati di convalida, il team aumenta il limite di potenza operativo dal 960W pianificato a 1020W, assicurando che il consumo di potenza P70 sia allineato al budget del rack.

Fase 3: Ottimizzazione Attiva in Runtime

Questa fase si concentra sulla gestione dinamica dell'energia per catturare la potenza residua bloccata e gestire i picchi transitori senza interrompere i lavori di addestramento.

Oscillazioni di Potenza: Gli algoritmi di addestramento sincrono causano oscillazioni di potenza sincronizzate. Per mitigare ciò, gli autori implementano una tecnica di "riempimento degli spazi vuoti" utilizzando un livellatore di potenza basato su software. Questo kernel genera un carico sintetico sui Tensor Core durante gli spazi vuoti di comunicazione, mantenendo un assorbimento di potenza stabile (fino a 800W per acceleratore) con meno del 3% di sovraccarico di prestazioni.
Algoritmo Dimmer: Per gestire dinamicamente il limitamento della potenza, hanno sviluppato "Dimmer". A differenza del limitamento tradizionale che forza cali bruschi o l'espulsione dei task, Dimmer riduce gradualmente i limiti di potenza su tutte le GPU di un lavoro quando un dispositivo di potenza si avvicina al suo limite (ad esempio, 97%).
- Consapevolezza dello Scheduler: Dimmer si integra con lo scheduler dei lavori per dare priorità ai grandi lavori di pre-addestramento critici per la missione. Distribuisce le riduzioni di potenza in modo uniforme per evitare di creare "lenti" (stragglers) che bloccherebbero l'intero lavoro.
- Meccanismi di Sicurezza: Il sistema utilizza una finestra di mediazione di 7 secondi per distinguere tra picchi transitori e sovraccarichi sostenuti, allineandosi alle caratteristiche di intervento dei interruttori magnetotermici. Un meccanismo di sicurezza garantisce che gli host tornino a un limite globale sicuro se la comunicazione con il controller viene persa.

Contributi e Risultati Chiave

Gestione dell'Energia End-to-End: Questo è il primo documento a descrivere l'intero ciclo di vita della gestione dell'energia per un cluster AI iperscalabile, dalla pianificazione pre-deployment all'ottimizzazione in runtime.
Limitazione Ottimale della Potenza: Lo studio dimostra che far operare le GPU al di sotto della loro TDP massima (specificamente a 960W inizialmente, successivamente convalidato a 1020W) massimizza il throughput totale del cluster. Ridurre la potenza da 1200W a 1000W risparmia il 16,7% di energia con una diminuzione delle prestazioni di solo il 5%, consentendo una densità di GPU significativamente più elevata.
Accuratezza delle Misurazioni: Il documento identifica che la telemetria delle PSU sovrastima l'uso di potenza. Adottare un metodo di aggregazione P70 corregge questo bias, consentendo una pianificazione energetica più precisa.
Squilibrio Statico: L'eterogeneità dell'hardware e i vincoli fisici creano una riserva di potenza disomogenea in tutta la struttura. Gli MSB più vincolati determinano il range operativo sicuro, lasciando fino al 10% della potenza bloccata se non gestita dinamicamente.
Ottimizzazione Dinamica: Il sistema "Dimmer" e le tecniche di livellamento della potenza catturano con successo l'ultima percentuale di potenza bloccata. Evitando il throttling brusco e distribuendo le riduzioni del carico, il sistema mantiene la stabilità del lavoro massimizzando al contempo l'utilizzo.

Risultati

Il documento quantifica i miglioramenti del throughput ottenuti attraverso ogni fase della loro metodologia, confrontando lo stato finale ottimizzato con una baseline di 1200W per GPU:

Fase di Approvvigionamento: L'ottimizzazione per le prestazioni-per-watt (limite a 960W) ha aumentato il throughput del cluster del 10% rispetto alla baseline di 1200W, abilitando una maggiore densità di GPU.
Convalida del Deployment: Il raffinamento del limite di potenza a 1020W basato sulla telemetria del mondo reale ha fornito un ulteriore aumento del throughput di ~2%.
Ottimizzazione in Runtime (Dimmer): La gestione dinamica della potenza bloccata e delle oscillazioni di potenza ha prodotto un ulteriore miglioramento di ~2%.
Guadagno Totale: L'effetto cumulativo di queste strategie ha portato a un miglioramento totale del throughput del cluster di ~14% rispetto alla configurazione iniziale a 1200W.

Inoltre, il documento nota che, rispetto alla generazione H100, la GB200 a 960W offre 2,4 volte le prestazioni per GPU e 1,9 volte il throughput aggregato del cluster entro lo stesso budget energetico.

Significato e Affermazioni

Gli autori posizionano questo lavoro come una guida fondamentale per il settore, spostandosi dalla gestione dell'energia incentrata sui costi a strategie incentrate sulla capacità, essenziali per lo sviluppo dell'AGI. Affermano che questo è il primo rapporto su scala produttiva che copre tutte e tre le fasi della gestione dell'energia per un cluster AI da 150 MW.

Il documento sottolinea che la fornitura di energia è ora il fattore limitante principale per l'AGI, superando la disponibilità degli acceleratori. Condividendo approfondimenti su approvvigionamento energetico, correzione delle misurazioni e sintonizzazione dinamica in runtime, gli autori mirano a incoraggiare altri professionisti a condividere le loro esperienze e ad avanzare collettivamente l'efficienza dell'infrastruttura AI. Affermano esplicitamente che il loro obiettivo non è proporre nuovi algoritmi teorici, ma condividere esperienze e risultati pratici testati in produzione che possano guidare i futuri professionisti nella progettazione di datacenter AI efficienti e scalabili.