⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

Dieser Beitrag liefert die erste durchgängige Darstellung des Energiemanagements für ein hyper-skaliertes KI-Rechenzentrum und beschreibt den Prozess von der frühen Leistungsplanung für Beschleuniger der nächsten Generation bis zur Laufzeitoptimierung einer 150-MW-Anlage, die 83.000 GB200-GPUs hostet.

Ursprüngliche Autoren: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den weltweit größten und leistungsfähigsten Supercomputer zu bauen, um die schwierigsten Probleme der Künstlichen Intelligenz zu lösen. Sie haben Tausende der schnellsten Computerchips (GPUs) gekauft, die das Geld zu bieten hat. Doch es gibt einen Haken: Sie haben nicht genug Strom, um alle mit voller Geschwindigkeit zu betreiben.

Tatsächlich argumentiert die Studie, dass ein Strommangel mittlerweile ein größeres Problem darstellt als ein Mangel an Computerchips. Es ist, als hätte man eine Flotte von 100 Rennwagen, aber nur genug Benzin, um die Hälfte davon zu füllen.

Diese Studie beschreibt, wie Meta (das Unternehmen hinter Facebook) dieses Problem für ein riesiges 150-Megawatt-Rechenzentrum gelöst hat. Sie haben nicht einfach alles angeschlossen und auf das Beste gehofft; sie behandelten Elektrizität als eine kostbare, begrenzte Ressource, die in drei distincten Phasen gemanagt werden musste.

Hier ist die Geschichte, wie sie es taten, unter Verwendung einfacher Analogien.

Die drei Phasen des Strommanagements

Die Autoren unterteilen den Prozess in drei Phasen: Planung, Überprüfung und Betrieb.

Phase 1: Planung (Die „Budgetierungs"-Phase)

Bevor die Computer überhaupt angeliefert wurden, musste das Team herausfinden, wie viele sie in ihr festes Strombudget integrieren konnten.

Der alte Weg: Normalerweise betrachten Ingenieure die „maximale Geschwindigkeit" eines Chips (seine thermische Leistungsaufnahme, TDP) und gehen davon aus, dass dies der ständige Verbrauch sein wird. Wenn ein Chip für 1.200 Watt ausgelegt ist, planen sie mit 1.200 Watt.
Der Meta-Weg: Sie erkannten, dass sie, wenn sie jeden Chip auf sein absolutes Maximum zwingen, nur wenige Chips im Gebäude unterbringen könnten. Stattdessen fragten sie: „Was wäre, wenn wir alle Chips etwas langsamer betreiben?"
Die Analogie: Stellen Sie sich ein Buffet mit einer festen Menge an Essen vor.
- Strategie A: Jeder bekommt ein massives, 10-Gänge-Menü. Sie können nur 50 Personen ernähren.
- Strategie B: Jeder bekommt ein etwas kleineres, 8-Gänge-Menü. Jetzt können Sie 60 Personen ernähren.
- Das Ergebnis: Obwohl jede Person etwas weniger Essen erhielt, ist die gesamte Menge an Essen, die von der Gruppe verzehrt wird, höher, und mehr Personen werden ernährt.
Die Entdeckung: Sie stellten fest, dass sie, indem sie die Leistungsgrenze jeder GPU von 1.200 Watt auf etwa 1.000 Watt senkten, deutlich mehr GPUs in das Rechenzentrum integrieren konnten. Der leichte Geschwindigkeitsverlust für jeden einzelnen Chip wurde mehr als wettgemacht durch die Tatsache, dass mehr Chips zusammenarbeiteten. Dies verschaffte ihnen einen 10-prozentigen Boost an Gesamtrechenleistung.

Phase 2: Überprüfung (Die „Realitätscheck"-Phase)

Sobald die Computer installiert waren, erkannte das Team, dass ihre Pläne nicht perfekt mit der Realität übereinstimmten.

Das Problem: Die internen Stromzähler der Computer (Netzteile, PSUs) lügen. Sie waren übermäßig vorsichtig und meldeten, dass die Maschinen mehr Strom verbrauchen, als sie tatsächlich taten. Es ist wie ein Kraftstoffanzeiger im Auto, der immer „Leer" anzeigt, obwohl noch ein Viertel des Tanks voll ist.
Die Lösung: Sie verglichen die internen Zähler mit den Hauptstromsensoren des Gebäudes (die sehr genau sind). Sie stellten fest, dass sie den Zahlen mehr vertrauen konnten, wenn sie die „Worst-Case"-Messungen ignorierten und den „Durchschnittsverbrauch" betrachteten (speziell das 70. Perzentil).
Das Ergebnis: Da sie aufhörten, den übermäßig vorsichtigen internen Zählern zu vertrauen, stellten sie fest, dass sie ein wenig „versteckte" Leistung hatten, die sie nicht nutzten. Sie drehten die Leistung leicht wieder hoch (von 1.000 Watt auf 1.020 Watt) und pressten einen weiteren 2-prozentigen Leistungsboost heraus.

Phase 3: Betrieb (Die „Verkehrspolizist"-Phase)

Jetzt läuft das Rechenzentrum live mit KI-Trainingsaufgaben. Das Problem ist, dass KI-Workloads „synchron" sind, was bedeutet, dass alle Chips aufeinander warten müssen. Wenn ein Chip langsam ist, verlangsamt sich der gesamte Auftrag.

Das Problem: Manchmal erfährt das Stromnetz einen plötzlichen Anstieg. Wenn das System einen solchen Anstieg erkennt, bestand der alte Weg darin, sofort einen spezifischen Chip abzuschalten oder abzudrosseln, um Strom zu sparen. Aber in einem synchronen Rennen, wenn Sie einen Läufer verlangsamen, verliert das gesamte Team.
Die Lösung (Dimmer): Sie bauten ein intelligentes System namens „Dimmer". Anstatt einen Chip zu bestrafen, senkt es die Leistung jedes Chips in der Aufgabe leicht und gleichmäßig.
Die Analogie: Stellen Sie sich eine Gruppe von Läufern in einer Staffel vor. Wenn die Strecke rutschig wird (Stromlimit), lässt der Trainer nicht einen Läufer stolpern (was das gesamte Team stoppen würde), sondern sagt allen, nur ein winziges bisschen langsamer zu laufen. Das Team bleibt zusammen, und das Rennen geht weiter, ohne zu stoppen.
Das Ergebnis: Dies verhindert, dass das System abstürzt, und ermöglicht es ihnen, die letzten paar Prozent an „gestrandeter" Leistung zu nutzen, die zuvor verschwendet wurde. Dies brachte einen weiteren ~2-prozentigen Boost.

Weitere wichtige Erkenntnisse

Der „Flaschenhals"-Effekt: Das Rechenzentrum ist eine Mischung aus verschiedener Hardware (Computer, Kühlung, Netzwerkschalter). Manchmal wird das Stromlimit nicht von den Computern gesetzt, sondern vom Kühlsystem oder den Netzwerkkabeln. Wenn ein Teil der Kette schwach ist, begrenzt er die gesamte Kette.
Stromschwankungen: Wenn KI-Chips arbeiten, pausieren sie manchmal für einen Bruchteil einer Sekunde, um miteinander zu kommunizieren, was dazu führt, dass der Stromverbrauch kurzzeitig einbricht und dann wieder ansticht. Das Team entwickelte einen „Software-Glättungsalgorithmus", der diese winzigen Lücken mit Dummy-Arbeit füllt und den Stromverbrauch konstant hält, wie einen ruhigen Fluss statt einer unruhigen See. Dies schützt das elektrische Netz des Gebäudes vor Schocks.
Neuer ist besser: Sie verglichen ihre neuen Chips (GB200) mit älteren (H100). Die neuen Chips sind so effizient, dass der neue Cluster, obwohl jeder Chip weniger Strom verbraucht, nahezu zweimal so schnell ist wie der alte Cluster im selben Gebäude gewesen wäre.

Das Fazit

Indem sie Elektrizität als flexible Ressource behandelten und nicht als starre Grenze, und indem sie sie sorgfältig von der Planungsphase bis zum täglichen Betrieb managten, schaffte es Meta, ungefähr 14 Prozent mehr Rechenleistung aus ihrem 150-Megawatt-Rechenzentrum zu holen, ohne eine einzige neue Wand zu bauen oder eine einzige neue Leitung zu kaufen.

Sie haben keine magische Batterie gefunden; sie haben einfach gelernt, den Strom, den sie bereits hatten, viel klüger zu nutzen.

Technische Zusammenfassung: Von der Bereitstellung zur Laufzeitoptimierung eines KI-Clusters mit über 100 MW

Problemstellung

Die primäre Engstelle im Wettlauf zur Künstlichen Allgemeinen Intelligenz (AGI) hat sich von der Verfügbarkeit von KI-Beschleunigern hin zur elektrischen Stromversorgung von Rechenzentren verschoben. Während frühere Forschungen darauf abzielten, die Betriebskosten zu senken, die Nutzung erneuerbarer Energien zu optimieren oder eine Überbuchung der Stromversorgung auszunutzen, übersehen diese Studien oft die kritische Realität, dass die Stromplanung in Rechenzentren Priorität darauf legen muss, die gesamte Rechenkapazität innerhalb eines festen Strombudgets zu maximieren. Darüber hinaus adressiert die vorherige Arbeit typischerweise nur die letzte Betriebsphase des Energiemanagements und vernachlässigt den durchgängigen Prozess, der von der frühen Planung (6–12 Monate vor der Hardwareverfügbarkeit) über die Validierung der Bereitstellung bis hin zur dynamischen Laufzeitoptimierung reicht.

Dieser Beitrag adressiert die Herausforderung des Energiemanagements für einen hyperskaligen KI-Cluster (150 MW, 83.000 GB200-GPUs) durch die Vorstellung eines ganzheitlichen, dreiphasigen Ansatzes: Bereitstellung, Validierung der Bereitstellung und Operative Laufzeitoptimierung.

Methodik

Die Autoren schlagen ein dreiphasiges Framework für das Energiemanagement vor, das ein 150-MW-Rechenzentrum nutzt, das 83.000 GB200-GPUs beherbergt, die über ein RDMA-Hintergrundnetzwerk verbunden sind.

Phase 1: Planung und Bereitstellung

In dieser Phase besteht das Ziel darin, die optimale Clusterkonfiguration zu bestimmen, um die aggregierte Durchsatzleistung ( $T(p)$ ) innerhalb eines festen Strombudgets ( $P_{total}$ ) zu maximieren.

Optimierungsmodell: Die Autoren formulieren das Problem als Maximierung von $T(p) = N(p) \cdot f(p)$ , wobei $N(p)$ die Anzahl der GPUs ist, die in das Budget passen, und $f(p)$ die Leistung pro GPU bei der Stromgrenze $p$ darstellt.
Auswahl der Stromgrenze: Anstatt die thermische Auslegung (TDP) von 1200 W zu verwenden, analysiert das Team die Kurve Leistung pro Watt. Sie stellen fest, dass eine Senkung der Stromgrenze eine höhere GPU-Dichte ermöglicht. Empirische Daten zeigen, dass die HBM-Bandbreite zwar unter 1000 W stark abfällt, aber zwischen 1000 W und 1200 W konstant bleibt. Folglich wählen sie eine Stromgrenze von 960 W (80 % der TDP) als optimalen Betriebspunkt, der den Leistungsverlust pro GPU gegen den Gewinn an Gesamt-GPU-Anzahl abwägt.
Ganzheitliche Bereitstellung: Die Methodik berücksichtigt die gesamte Stromverteilungshierarchie (Hauptschalttafeln, Schalttafeln, Reaktor-Strompaneele) und schließt den Stromverbrauch außerhalb der GPUs (Kühlung, Netzwerke, CPUs) ein.

Phase 2: Validierung der Bereitstellung

Sobald die Hardware bereitgestellt ist, validiert das Team die Annahmen und verfeinert die Stromeinstellungen basierend auf Telemetriedaten aus der realen Welt.

Messkorrektur: Die Autoren identifizieren, dass die Messwerte der Netzteile (PSU) den tatsächlichen Stromverbrauch systematisch überschätzen. Um dies zu korrigieren, vergleichen sie PSU-Daten mit hochpräzisen Oszilloskop- und DCIM-Sensoren der Reaktor-Strompaneele (RPP). Sie stellen fest, dass die Verwendung des 70. Perzentils (P70) der PSU-Stichproben innerhalb einer Minute die genaueste Schätzung der aggregierten Rack-Leistung liefert und die Verzerrung durch maximale PSU-Werte minimiert.
Headroom-Analyse: Die Studie zeigt signifikante statische Leistungsungleichgewichte im gesamten Rechenzentrum auf, verursacht durch heterogene Hardware-Mischungen (GPU-Racks, Netzwerk-Racks, Kühlung) und physikalische Platzierungsbeschränkungen. Dieses Ungleichgewicht lässt etwa 5–10 % der Leistung an den am stärksten eingeschränkten Hauptschalttafeln (MSBs) „stranden".
Anpassung: Basierend auf Validierungsdaten erhöht das Team die operative Stromgrenze von den geplanten 960 W auf 1020 W, um sicherzustellen, dass der P70-Stromverbrauch mit dem Rack-Budget übereinstimmt.

Phase 3: Aktive Laufzeitoptimierung

Diese Phase konzentriert sich auf das dynamische Energiemanagement, um verbleibende gestrandete Leistung zu erfassen und transiente Spitzen zu bewältigen, ohne Trainingsjobs zu unterbrechen.

Leistungsschwankungen: Synchronisierte Trainingsalgorithmen verursachen synchronisierte Leistungsoszillationen. Um dies zu mildern, implementieren die Autoren eine „Gap-Filling"-Technik mittels einer softwarebasierten Leistungsglättung. Dieser Kernel erzeugt synthetische Last auf den Tensor-Kernen während Kommunikationslücken und hält einen stabilen Leistungsbezug (bis zu 800 W pro Beschleuniger) mit weniger als 3 % Leistungsüberhead aufrecht.
Dimmer-Algorithmus: Um das Power Capping dynamisch zu steuern, entwickelten sie „Dimmer". Im Gegensatz zum traditionellen Capping, das abrupte Absenkungen oder das Entfernen von Aufgaben erzwingt, reduziert Dimmer die Leistungsgrenzen schrittweise über alle GPUs eines Jobs hinweg, wenn sich ein Leistungsgerät seiner Grenze nähert (z. B. 97 %).
- Scheduler-Bewusstsein: Dimmer integriert sich mit dem Job-Scheduler, um große, mission-kritische Pre-Training-Jobs zu priorisieren. Es verteilt Leistungsreduktionen gleichmäßig, um „Straggler" zu vermeiden, die den gesamten Job zum Stillstand bringen würden.
- Sicherheitsmechanismen: Das System verwendet ein 7-Sekunden-Durchschnittsfenster, um zwischen transienten Spitzen und anhaltenden Überschreitungen zu unterscheiden, was mit den Auslösecharakteristiken von Leitungsschutzschaltern übereinstimmt. Ein Fail-safe-Mechanismus stellt sicher, dass Hosts auf ein sicheres globales Limit zurückfallen, wenn die Kommunikation mit dem Controller verloren geht.

Wichtige Beiträge und Erkenntnisse

End-to-End-Energiemanagement: Dies ist der erste Beitrag, der den vollständigen Lebenszyklus des Energiemanagements für einen hyperskaligen KI-Cluster beschreibt, von der Planungsphase vor der Bereitstellung bis zur Laufzeitoptimierung.
Optimale Leistungsbegrenzung: Die Studie zeigt, dass der Betrieb von GPUs unter ihrer maximalen TDP (insbesondere zunächst bei 960 W, später validiert auf 1020 W) den gesamten Cluster-Durchsatz maximiert. Die Reduzierung der Leistung von 1200 W auf 1000 W spart 16,7 % Leistung bei nur einem Leistungsabfall von 5 % und ermöglicht eine deutlich höhere GPU-Dichte.
Messgenauigkeit: Der Beitrag identifiziert, dass die PSU-Telemetrie den Leistungsverbrauch überschätzt. Die Einführung einer P70-Aggregationsmethode korrigiert diese Verzerrung und ermöglicht eine präzisere Leistungsplanung.
Statisches Ungleichgewicht: Hardware-Heterogenität und physikalische Beschränkungen erzeugen ungleiche Leistungsreserven (Headroom) in der gesamten Anlage. Die am stärksten eingeschränkten MSBs bestimmen den sicheren Betriebsbereich und lassen bis zu 10 % der Leistung stranden, wenn sie nicht dynamisch verwaltet werden.
Dynamische Optimierung: Das „Dimmer"-System und die Techniken zur Leistungsglättung erfassen erfolgreich den letzten Prozentsatz gestrandeter Leistung. Durch die Vermeidung abrupter Drosselungen und die gleichmäßige Verteilung von Lastreduktionen erhält das System die Job-Stabilität und maximiert gleichzeitig die Auslastung.

Ergebnisse

Der Beitrag quantifiziert die Durchsatzverbesserungen, die durch jede Phase ihrer Methodik erzielt wurden, und vergleicht den finalen optimierten Zustand mit einer Baseline von 1200 W pro GPU:

Phase der Bereitstellung: Die Optimierung auf Leistung pro Watt (960-W-Grenze) erhöhte den Cluster-Durchsatz um 10 % im Vergleich zur 1200-W-Baseline, indem eine höhere GPU-Dichte ermöglicht wurde.
Validierung der Bereitstellung: Die Verfeinerung der Stromgrenze auf 1020 W basierend auf Telemetriedaten aus der realen Welt brachte eine zusätzliche Durchsatzsteigerung von ~2 %.
Laufzeitoptimierung (Dimmer): Das dynamische Management gestrandeter Leistung und von Leistungsschwankungen erzielte eine weitere Verbesserung von ~2 %.
Gesamtgewinn: Der kumulative Effekt dieser Strategien führte zu einer Gesamtverbesserung von ~14 % im Cluster-Durchsatz im Vergleich zur anfänglichen 1200-W-Konfiguration.

Darüber hinaus stellt der Beitrag fest, dass der GB200 bei 960 W im Vergleich zur H100-Generation 2,4-fache Leistung pro GPU und 1,9-fache aggregierte Cluster-Durchsatzleistung innerhalb desselben Strombudgets liefert.

Bedeutung und Behauptungen

Die Autoren positionieren diese Arbeit als grundlegenden Leitfaden für die Branche, der über ein kostenorientiertes Energiemanagement hinausgeht hin zu kapazitätsorientierten Strategien, die für die Entwicklung von AGI unerlässlich sind. Sie behaupten, dies sei der erste Produktionsbericht, der alle drei Phasen des Energiemanagements für einen 150-MW-KI-Cluster abdeckt.

Der Beitrag betont, dass die Stromversorgung nun der primäre limitierende Faktor für AGI ist und die Verfügbarkeit von Beschleunigern übertrifft. Durch die Weitergabe von Erkenntnissen zur Strombereitstellung, zur Messkorrektur und zur dynamischen Laufzeitoptimierung zielen die Autoren darauf ab, andere Praktiker zu ermutigen, ihre Erfahrungen zu teilen und gemeinsam die Effizienz der KI-Infrastruktur voranzutreiben. Sie stellen ausdrücklich fest, dass ihr Ziel nicht darin besteht, neue theoretische Algorithmen vorzuschlagen, sondern praktische, in der Produktion getestete Erfahrungen und Erkenntnisse zu teilen, die zukünftige Praktiker bei der Gestaltung effizienter, skalierbarer KI-Rechenzentren leiten können.