⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

Dit artikel presenteert het eerste end-to-end overzicht van stroombeheer voor een hyper-schaal AI-datacenter, waarin het proces wordt beschreven van vroege stroomplanning voor accelerators van de volgende generatie tot runtime-optimalisatie van een faciliteit van 150 MW met 83.000 GB200 GPU's.

Oorspronkelijke auteurs: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert 's werelds grootste en krachtigste supercomputer te bouwen om de moeilijkste problemen in kunstmatige intelligentie op te lossen. Je hebt duizenden van de snelste computerchips (GPU's) gekocht die het geld kan kopen. Maar er is een addertje onder het gras: je hebt niet genoeg elektriciteit om ze allemaal op volle snelheid te laten draaien.

In feite stelt het paper dat het tekort aan stroom nu een groter probleem is dan het tekort aan computerchips. Het is alsof je een vloot van 100 raceauto's hebt, maar alleen genoeg benzine om de helft daarvan te vullen.

Dit paper beschrijft hoe Meta (het bedrijf achter Facebook) dit probleem oploste voor een enorm datacenter van 150 megawatt. Ze staken niet zomaar alles in het stopcontact en hoopten op het beste; ze behandelden elektriciteit als een kostbare, beperkte hulpbron die in drie distincte fasen moest worden beheerd.

Hier is het verhaal van hoe ze dat deden, met gebruikmaking van eenvoudige analogieën.

De Drie Fasen van Stroombeheer

De auteurs breken het proces op in drie fasen: Plannen, Controleren en Uitvoeren.

Fase 1: Plannen (De "Budgetterings"-fase)

Voordat de computers zelfs maar waren aangekomen, moest het team uitzoeken hoeveel ze in hun vaste elektriciteitsbudget pasten.

De Oude Manier: Meestal kijken ingenieurs naar de "maximale snelheid" van een chip (zijn Thermal Design Power, of TDP) en gaan ze ervan uit dat dit is wat hij altijd zal verbruiken. Als een chip is gespecificeerd voor 1.200 Watt, plannen ze voor 1.200 Watt.
De Meta-manier: Ze realiseerden zich dat als ze elke chip zouden dwingen om op zijn absolute maximum te draaien, ze slechts een paar chips in het gebouw konden plaatsen. In plaats daarvan vroegen ze: "Wat als we alle chips iets langzamer laten draaien?"
De Analogie: Stel je een buffet voor met een vast hoeveelheid voedsel.
- Strategie A: Geef iedereen een enorme maaltijd met 10 gangen. Je kunt dan slechts 50 mensen voeden.
- Strategie B: Geef iedereen een iets kleinere maaltijd met 8 gangen. Nu kun je 60 mensen voeden.
- Het Resultaat: Hoewel elke persoon iets minder voedsel kreeg, is de totale hoeveelheid voedsel die door de groep wordt gegeten hoger, en worden meer mensen gevoed.
De Ontdekking: Ze ontdekten dat ze door de stroomlimiet van elke GPU te verlagen van 1.200 Watt naar ongeveer 1.000 Watt, ze veel meer GPU's in het datacenter konden plaatsen. De lichte daling in snelheid voor elke individuele chip werd meer dan goedgemaakt door het hebben van meer chips die samenwerkten. Dit gaf hen een stijging van 10% in totale rekenkracht.

Fase 2: Controleren (De "Realiteitscheck"-fase)

Zodra de computers waren geïnstalleerd, realiseerde het team zich dat hun plannen niet perfect overeenkwamen met de realiteit.

Het Probleem: De interne stroommeters (PSU's) van de computers loog. Ze waren overdreven voorzichtig en rapporteerden dat de machines meer stroom verbruikten dan ze eigenlijk deden. Het is alsof een brandstofmeter van een auto altijd "Leeg" aangeeft terwijl je nog een kwart tank hebt.
De Oplossing: Ze vergeleken de interne meters met de hoofdstroomsensoren van het gebouw (die zeer nauwkeurig zijn). Ze ontdekten dat als ze de "worst-case" metingen negeerden en keken naar het "gemiddelde" verbruik (specifiek het 70e percentiel), ze de cijfers meer konden vertrouwen.
Het Resultaat: Omdat ze ophielden met het vertrouwen in de overdreven voorzichtige interne meters, realiseerden ze zich dat ze een beetje "verborgen" stroom hadden die ze niet gebruikten. Ze draaiden de stroom iets weer op (van 1.000W naar 1.020W), waardoor ze nog een stijging van 2% in prestaties eruit kregen.

Fase 3: Uitvoeren (De "Verkeersagent"-fase)

Nu draait het datacenter live AI-trainingstaken. Het probleem is dat AI-werklasten "synchroon" zijn, wat betekent dat alle chips op elkaar moeten wachten. Als één chip traag is, vertraagt de hele taak.

Het Probleem: Soms krijgt het elektriciteitsnet een plotselinge piek. Als het systeem zo'n piek detecteert, was de oude manier om direct één specifieke chip af te sluiten of te vertragen om stroom te besparen. Maar in een gesynchroniseerde race, als je één hardloper vertraagt, verliest het hele team.
De Oplossing (Dimmer): Ze bouwden een slim systeem genaamd "Dimmer". In plaats van één chip te straffen, verlaagt het zachtjes de stroom van elke chip in de taak met een klein, gelijk bedrag.
De Analogie: Stel je een groep hardlopers voor in een estafettewedstrijd. Als het parcours glad wordt (stroomlimiet), laat de coach in plaats van één hardloper struikelen (wat het hele team stopt), iedereen zeggen om net een heel klein beetje langzamer te rennen. Het team blijft bij elkaar en de race gaat door zonder te stoppen.
Het Resultaat: Dit voorkomt dat het systeem crasht en stelt hen in staat de laatste paar procenten "stranded" stroom te gebruiken die eerder werd verspild. Dit leverde nog een stijging van ongeveer 2% op.

Andere Belangrijke Inzichten

Het "Flesnek"-effect: Het datacenter is een mix van verschillende hardware (computers, koeling, netwerkschakelaars). Soms wordt de stroomlimiet niet bepaald door de computers, maar door het koelsysteem of de netwerkkabels. Als één onderdeel van de keten zwak is, beperkt het de hele keten.
Stroomschommelingen: Wanneer AI-chips werken, pauzeren ze soms voor een splitseconde om met elkaar te communiceren, waardoor het stroomverbruik daalt en vervolgens piekt. Het team creëerde een "software-smoorder" die deze kleine gaten opvult met dummy-werk, waardoor het stroomverbruik stabiel blijft als een rustige rivier in plaats van een ruwe zee. Dit beschermt het elektriciteitsnet van het gebouw tegen schokken.
Nieuwer is Beter: Ze vergeleken hun nieuwe chips (GB200) met oudere exemplaren (H100). De nieuwe chips zijn zo efficiënt dat ze, hoewel ze minder stroom per chip verbruiken, het nieuwe cluster bijna twee keer zo snel is als het oude cluster in hetzelfde gebouw zou zijn geweest.

De Conclusie

Door elektriciteit te behandelen als een flexibele hulpbron in plaats van een vaste limiet, en deze zorgvuldig te beheren van de planningsfase tot de dagelijkse operaties, slaagde Meta erin om ongeveer 14% meer rekenkracht uit hun 150-megawatt datacenter te halen zonder een enkele nieuwe muur te bouwen of een enkele nieuwe kabel te kopen.

Ze vonden geen magische batterij; ze leerden gewoon hoe ze de elektriciteit die ze al hadden veel wijzer konden gebruiken.

Technische Samenvatting: Van Provisioning naar Runtime-optimalisatie van een AI-cluster van >100 MW

Probleemstelling

De belangrijkste bottleneck in de race naar Artificial General Intelligence (AGI) is verschoven van de beschikbaarheid van AI-versnellers naar de elektrische stroomvoorziening voor datacenters. Waar eerder onderzoek zich richtte op het verlagen van energiekosten, het optimaliseren van groene energiegebruik of het benutten van power oversubscription, negeren deze studies vaak de kritieke realiteit dat datacenterstroomplanning prioriteit moet geven aan het maximaliseren van de totale rekenkracht binnen een vast stroombudget. Bovendien richt eerder werk zich doorgaans alleen op de uiteindelijke operationele fase van stroombeheer, en negeert het het end-to-end proces dat loopt van vroege planning (6–12 maanden voor de beschikbaarheid van hardware) tot validatie van de implementatie en dynamische runtime-tuning.

Dit artikel behandelt de uitdaging van het beheer van stroom voor een hyperscale AI-cluster (150 MW, 83.000 GB200 GPU's) door een holistische, drie-fasen aanpak te presenteren: Provisioning, Validatie van Implementatie en Operationele Runtime-optimalisatie.

Methodologie

De auteurs stellen een drie-fasen raamwerk voor voor stroombeheer, met gebruikmaking van een 150 MW datacenter met 83.000 GB200 GPU's die zijn verbonden via een RDMA-backendnetwerk.

Fase 1: Planning en Provisioning

In deze fase is het doel om de optimale clusterconfiguratie te bepalen om de totale doorvoer ( $T(p)$ ) te maximaliseren binnen een vast stroombudget ( $P_{total}$ ).

Optimalisatiemodel: De auteurs formuleren het probleem als het maximaliseren van $T(p) = N(p) \cdot f(p)$ , waarbij $N(p)$ het aantal GPU's is dat past binnen het budget en $f(p)$ de prestaties per GPU zijn bij stroomlimiet $p$ .
Selectie van Stroomlimiet: In plaats van het gebruik van het Thermal Design Power (TDP) van 1200W, analyseert het team de curve van prestaties per watt. Zij constateren dat het verlagen van de stroomlimiet een hogere GPU-dichtheid mogelijk maakt. Empirische data toont aan dat terwijl de HBM-bandbreedte scherp daalt onder de 1000W, deze constant blijft tussen 1000W en 1200W. Bijgevolg kiezen zij een stroomlimiet van 960W (80% van TDP) als het optimale operationele punt, waarbij een evenwicht wordt gevonden tussen prestatieverlies per GPU en de winst in totaal aantal GPU's.
Holistische Provisioning: De methodologie houdt rekening met de volledige stroomleveringshiërarchie (Hoofdschakelborden, Schakelborden, Reactorstroompanelen) en omvat niet-GPU-stroomverbruik (koeling, netwerken, CPU's).

Fase 2: Validatie van Implementatie

Zodra de hardware is geïmplementeerd, valideert het team de aannames en verfijnt het de stroominstellingen op basis van real-world telemetrie.

Correctie van Metingen: De auteurs identificeren dat metingen van de voedingseenheid (PSU) systematisch de werkelijke stroomconsumptie overschatten. Om dit te corrigeren vergelijken zij PSU-data met hoog-accurate oscilloscoopmetingen en DCIM-sensoren van de Reactorstroompanelen (RPP). Zij stellen vast dat het gebruik van het 70e percentiel (P70) van PSU-steekproeven binnen een minuut de meest accurate schatting van de totale rackstroom biedt, waarbij de bias van maximale PSU-waarden wordt geminimaliseerd.
Headroom-analyse: De studie toont aanzienlijke statische stroomonbalans in het datacenter aan als gevolg van heterogene hardwaremixen (GPU-racks, netwerkracks, koeling) en fysieke plaatsingsbeperkingen. Deze onbalans laat ongeveer 5–10% van de stroom "vastzitten" bij de meest beperkende Hoofdschakelborden (MSBs).
Aanpassing: Op basis van validatiedata verhoogt het team de operationele stroomlimiet van de geplande 960W naar 1020W, zodat de P70-stroomconsumptie overeenkomt met het rackbudget.

Fase 3: Actieve Runtime-optimalisatie

Deze fase richt zich op dynamisch stroombeheer om resterende vastzittende stroom te benutten en transiënte pieken op te vangen zonder trainingsjobs te verstoren.

Stroomschommelingen: Synchrone trainingsalgoritmen veroorzaken gesynchroniseerde stroomoscillaties. Om dit te mitigeren, implementeren de auteurs een "gap filling"-techniek met behulp van een softwarematige stroomgladder. Deze kernel genereert synthetische belasting op Tensor Cores tijdens communicatiegaten, waardoor een stabiele stroomtrekking wordt gehandhaafd (tot 800W per versneller) met minder dan 3% prestatie-overhead.
Dimmer-algoritme: Om stroomcapping dynamisch te beheren, hebben zij "Dimmer" ontwikkeld. In tegenstelling tot traditionele capping die abrupte dalingen of taakverwijdering forceert, verlaagt Dimmer geleidelijk de stroomlimieten voor alle GPU's in een job wanneer een stroomapparaat zijn limiet nadert (bijv. 97%).
- Scheduler-bewustzijn: Dimmer integreert met de jobscheduler om grote, missiekritieke pre-training-jobs te prioriteren. Het verdeelt stroomreducties gelijkmatig om "stragglers" te voorkomen die de hele job zouden kunnen blokkeren.
- Veiligheidsmechanismen: Het systeem gebruikt een 7-seconden gemiddelde venster om onderscheid te maken tussen transiënte pieken en aanhoudende overschrijdingen, in lijn met de trip-kenmerken van stroomonderbrekers. Een fail-safe-mechanisme zorgt ervoor dat hosts terugvallen naar een veilige globale limiet als de communicatie met de controller verloren gaat.

Belangrijkste Bijdragen en Bevindingen

End-to-End Stroombeheer: Dit is het eerste artikel dat de volledige levenscyclus van stroombeheer voor een hyperscale AI-cluster beschrijft, van planning voorafgaand aan implementatie tot runtime-optimalisatie.
Optimale Stroombeperking: De studie toont aan dat het bedienen van GPU's onder hun maximale TDP (specifiek aanvankelijk op 960W, later gevalideerd naar 1020W) de totale clusterdoorvoer maximaliseert. Het verlagen van de stroom van 1200W naar 1000W bespaart 16,7% stroom met slechts een prestatiedaling van 5%, wat aanzienlijk een hogere GPU-dichtheid mogelijk maakt.
Meetnauwkeurigheid: Het artikel identificeert dat PSU-telemetrie het stroomverbruik overschat. Het adopteren van een P70-aggregatiemethode corrigeert deze bias, waardoor nauwkeurigere stroomplanning mogelijk wordt.
Statische Onbalans: Hardware-heterogeniteit en fysieke beperkingen zorgen voor ongelijke stroomheadroom in de faciliteit. De meest beperkende MSBs bepalen het veilige operationele bereik, waardoor tot 10% van de stroom vastzit als dit niet dynamisch wordt beheerd.
Dynamische Optimalisatie: Het "Dimmer"-systeem en stroomgladde technieken slagen erin het laatste percentage vastzittende stroom te benutten. Door abrupte throttling te vermijden en lastreducties te verdelen, handhaaft het systeem de stabiliteit van jobs terwijl het gebruik wordt gemaximaliseerd.

Resultaten

Het artikel kwantificeert de doorvoerverbeteringen die zijn bereikt door elke fase van hun methodologie, waarbij de uiteindelijke geoptimaliseerde toestand wordt vergeleken met een baseline van 1200W per GPU:

Provisioning-fase: Het optimaliseren voor prestaties per watt (960W limiet) verhoogde de clusterdoorvoer met 10% ten opzichte van de 1200W-baseline door een hogere GPU-dichtheid mogelijk te maken.
Validatie van Implementatie: Het verfijnen van de stroomlimiet naar 1020W op basis van real-world telemetrie leverde een extra ~2% toename in doorvoer op.
Runtime-optimalisatie (Dimmer): Dynamisch beheer van vastzittende stroom en stroomschommelingen leverde een verdere ~2% verbetering op.
Totale Winst: Het cumulatieve effect van deze strategieën resulteerde in een ~14% totale verbetering in clusterdoorvoer ten opzichte van de initiële 1200W-configuratie.

Daarnaast merkt het artikel op dat, vergeleken met de H100-generatie, de GB200 bij 960W 2,4x de prestaties per GPU levert en 1,9x de totale clusterdoorvoer binnen hetzelfde stroombudget.

Betekenis en Claims

De auteurs positioneren dit werk als een fundamentele leidraad voor de industrie, die verder gaat dan op kosten gerichte stroombeheer naar op capaciteit gerichte strategieën die essentieel zijn voor AGI-ontwikkeling. Zij claimen dat dit het eerste rapport op productieschaal is dat alle drie de fasen van stroombeheer voor een 150 MW AI-cluster behandelt.

Het artikel benadrukt dat stroomvoorziening nu de primaire beperkende factor is voor AGI, en de beschikbaarheid van versnellers heeft ingehaald. Door inzichten te delen over stroomprovisioning, correctie van metingen en dynamische runtime-tuning, hopen de auteurs andere praktici aan te moedigen hun ervaringen te delen en gezamenlijk de efficiëntie van AI-infrastructuur te verbeteren. Zij stellen expliciet dat hun doel niet is om nieuwe theoretische algoritmen voor te stellen, maar om praktische, in productie geteste ervaringen en bevindingen te delen die toekomstige praktici kunnen leiden bij het ontwerpen van efficiënte, schaalbare AI-datacenters.