⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

本論文は、超規模 AI データセンターにおける電力管理の最初のエンドツーエンドの記述を提示し、次世代アクセラレータ向けの初期電力計画から、83,000 個の GB200 GPU を搭載した 150 MW 施設のランタイム最適化に至るプロセスを詳述する。

原著者： Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

世界最大の超高性能コンピューターを構築し、人工知能における最も困難な問題を解決しようとしていると想像してみてください。あなたは購入可能な最速のコンピューターチップ（GPU）を数千枚調達しました。しかし、一つの問題があります：それらをすべてフル速度で動作させるのに十分な電力がないのです。

実際、この論文は、チップの不足よりも電力不足が現在より大きな問題であると主張しています。100 台のレーシングカーの車隊を持っているのに、その半分しか給油できないようなものです。

この論文は、メタ（Facebook の親会社）が 150 メガワットの巨大データセンターにおいてこの問題をどのように解決したかを説明しています。彼らは単にすべてを接続して最善を祈るのではなく、電力を管理すべき貴重で限られた資源として扱い、3 つの明確な段階で管理しました。

以下に、彼らがどのように行ったかを、簡単なアナロジーを用いて物語ります。

電力管理の 3 つの段階

著者らはこのプロセスを 3 つのフェーズに分解しています：計画（Planning）、確認（Checking）、そして**実行（Running）**です。

フェーズ 1：計画（「予算管理」フェーズ）

コンピューターが到着する前から、チームは固定された電力予算の中に何台収容できるかを計算しなければなりませんでした。

従来の方法： 通常、エンジニアはチップの「最大速度」（熱設計電力、TDP）を見て、それが常に消費される電力であると仮定します。チップが 1,200 ワットと定格されていれば、1,200 ワットを計画します。
メタの方法： 彼らは、すべてのチップを絶対的な最大値で動作させれば、建物内に収められるチップ数はごくわずかになることに気づきました。代わりに、彼らはこう問いかけました：「もしすべてのチップをわずかに遅く動作させたらどうなるか？」
アナロジー： 固定された量の食べ物があるビュッフェを想像してください。
- 戦略 A： 全員に巨大な 10 皿コースの食事を提供する。すると 50 人しか食事が提供できない。
- 戦略 B： 全員にわずかに少ない 8 皿コースの食事を提供する。すると 60 人を食事にありつけさせることができる。
- 結果： 一人あたりの食事はわずかに減りましたが、グループ全体で消費された食料の総量は増加し、より多くの人々が食事を済ませることができました。
発見： 彼らは、各 GPU の電力制限を 1,200 ワットから約 1,000 ワットに下げることで、データセンターにより多くの GPU を収容できることを発見しました。個々のチップのわずかな速度低下は、より多くのチップが協力して動作することによって完全に補われました。これにより、総計算能力が10% 向上しました。

フェーズ 2：確認（「現実確認」フェーズ）

コンピューターが設置されると、チームは計画が現実と完全に一致していないことに気づきました。

問題： コンピューター内部の電力計（PSU）が嘘をついていました。それらは過度に慎重で、実際よりも多くの電力を消費していると報告していました。まるで、まだ 1/4 タンク残っているのに、常に「空」と表示される車の燃料計のようです。
解決策： 彼らは内部のメーターを、非常に正確な建物のメイン電力センサーと比較しました。その結果、「最悪のケース」の読み取り値を無視し、「平均」の使用量（具体的には 70 パーセンタイル）を見ることで、数値をより信頼できることがわかりました。
結果： 過度に慎重な内部メーターを信頼しなくなったため、彼らは使用していなかったわずかな「隠れた」電力があることに気づきました。彼らは電力をわずかに上げ（1,000W から 1,020W に）、さらに2% のパフォーマンス向上を引き出しました。

フェーズ 3：実行（「交通整理」フェーズ）

現在、データセンターはライブの AI 学習ジョブを実行しています。問題は、AI ワークロードが「同期型」であることです。つまり、すべてのチップが互いを待たなければなりません。もし一つのチップが遅ければ、ジョブ全体が遅くなります。

問題： 時々、電力網に急激なスパイクが発生します。システムがスパイクを検出すると、従来の方法は電力を節約するために、特定の 1 つのチップを即座に停止または減速させるものでした。しかし、同期されたレースにおいて、一人のランナーを遅くすれば、チーム全体が負けてしまいます。
解決策（ディマー）： 彼らは「Dimmer」と呼ばれるスマートシステムを構築しました。一つのチップを罰するのではなく、ジョブ内のすべてのチップの電力を、小さく均等な量だけ優しく下げます。
アナロジー： リレーレースをしているランナーのグループを想像してください。もしトラックが滑りやすくなったら（電力制限）、一人のランナーを転ばせる（それはチーム全体を停止させます）のではなく、コーチが全員にほんの少しだけ遅く走るよう伝えます。チームはまとまり、レースは停止することなく続行されます。
結果： これによりシステムのクラッシュを防ぎ、以前は浪費されていた最後の数パーセントの「 stranded（行き場を失った）」電力を利用できるようになりました。これによりさらに約 2% の向上が得られました。

その他の重要な洞察

「ボトルネック」効果： データセンターは、さまざまなハードウェア（コンピューター、冷却装置、ネットワークスイッチ）の組み合わせです。時々、電力制限はコンピューターによって設定されるのではなく、冷却システムやネットワークケーブルによって設定されます。チェーンの一部分が弱ければ、それがチェーン全体を制限します。
電力の揺らぎ： AI チップが動作する際、互いに通信するために一瞬停止することがあり、電力使用量が低下した後にスパイクします。チームは、これらの微小な隙間をダミーの作業で埋める「ソフトウェア・スムーザー」を作成し、電力使用量を荒れた海ではなく、穏やかな川のように一定に保ちました。これにより、建物の電力網への衝撃から守ります。
新しいほど良い： 彼らは新しいチップ（GB200）と古いチップ（H100）を比較しました。新しいチップは非常に効率的で、チップあたりの電力消費は少ないにもかかわらず、同じ建物内で運用した場合、新しいクラスターは古いクラスターのほぼ 2 倍の速度を誇ります。

結論

電力を固定された制限ではなく、柔軟な資源として扱い、計画段階から日常運用まで慎重に管理することで、メタは新しい壁を一つも建てず、新しいケーブルを一本も購入することなく、150 メガワットのデータセンターから約 14% 多くの計算能力を引き出すことに成功しました。

彼らは魔法のバッテリーを見つけましたのではありません。彼らが学んだのは、すでに持っている電力をより賢く使う方法でした。

技術概要：100MW 超の AI クラスタにおけるプロビジョニングからランタイム最適化まで

問題定義

汎用人工知能（AGI）への競争における主要なボトルネックは、AI アクセラレータの供給不足から、データセンターへの電力供給へと移行している。従来の研究は、光熱費の削減、グリーンエネルギー利用の最適化、または電力の過剰契約の活用などに焦点を当ててきたが、これらの研究は、データセンターの電力計画が固定された電力予算内で総計算容量を最大化することを最優先しなければならないという重要な現実を見落としていることが多い。さらに、先行研究は電力管理の最終的な運用フェーズのみを対象とし、ハードウェアの入手前（6〜12 ヶ月前）の初期計画から、デプロイメント検証、そして動的なランタイム調整に至るエンドツーエンドのプロセスを無視している。

本論文は、150MW、83,000 個の GB200 GPU を搭載するハイパースケール AI クラスタの電力管理という課題に取り組み、プロビジョニング、デプロイメント検証、運用時のランタイム最適化という 3 フェーズのアプローチを提示することで、この課題に対処する。

手法

著者は、RDMA バックエンドネットワークを介して接続された 83,000 個の GB200 GPU を搭載する 150MW データセンターを活用し、電力管理のための 3 フェーズフレームワークを提案する。

フェーズ 1：計画とプロビジョニング

このフェーズでは、固定された電力予算（ $P_{total}$ ）内で総スループット（ $T(p)$ ）を最大化するための最適なクラスタ構成を決定することを目的とする。

最適化モデル: 著者は、問題を $T(p) = N(p) \cdot f(p)$ の最大化として定式化する。ここで、 $N(p)$ は予算に収まる GPU 数、 $f(p)$ は電力制限 $p$ における 1 GPU あたりの性能である。
電力制限の選択: 熱設計電力（TDP）である 1200W を使用するのではなく、チームは性能/ワット曲線を分析する。電力制限を低下させることで、より高い GPU 密度が可能になることが判明した。実証データによると、HBM バンド幅は 1000W 未満で急激に低下するが、1000W から 1200W の間では一定である。したがって、1 GPU あたりの性能低下と総 GPU 数の増加のバランスを取る最適な動作点として、**960W（TDP の 80%）**の電力制限を選択した。
包括的なプロビジョニング: この手法は、メインスイッチボード、スイッチボード、リアクターパワーパネルを含む電力供給の階層全体を考慮し、GPU 以外の電力消費（冷却、ネットワーク、CPU）も含んでいる。

フェーズ 2：デプロイメント検証

ハードウェアがデプロイされると、チームは仮説を検証し、実世界のテレメトリに基づいて電力設定を微調整する。

測定値の補正: 著者は、電源装置（PSU）の読み値が実際の電力消費を体系的に過大評価していることを特定した。これを補正するため、PSU データを高精度のオシロスコープおよびリアクターパワーパネル（RPP）の DCIM センサーのデータと比較した。その結果、1 分間の PSU サンプルの**70 パーセンタイル（P70）**を使用することが、最大 PSU 値のバイアスを最小化し、ラック全体の電力を最も正確に推定することが判明した。
ヘッドルーム分析: 本研究は、異種混合ハードウェア（GPU ラック、ネットワークラック、冷却）と物理的な配置制約により、データセンター全体で静的な電力不均衡が顕著であることを明らかにした。この不均衡により、最も制約の厳しいメインスイッチボード（MSB）において、約 5〜10% の電力が「置き去り（stranded）」となっている。
調整: 検証データに基づき、チームは運用上の電力制限を計画通りの 960W から1020Wに引き上げ、P70 の電力消費がラックの予算と整合するようにした。

フェーズ 3：能動的なランタイム最適化

このフェーズは、残りの置き去り電力を捕捉し、トレーニングジョブを中断することなく一時的なスパイクに対応するための動的電力管理に焦点を当てる。

電力変動: 同期トレーニングアルゴリズムは、同期された電力振動を引き起こす。これを緩和するため、著者はソフトウェアベースの電力平滑化器を使用した「ギャップ充填」手法を実装した。このカーネルは、通信ギャップ中にテンソルコアに人工的な負荷を生成し、3% 未満の性能オーバーヘッドで安定した電力消費（アクセラレータあたり最大 800W）を維持する。
ディマー（Dimmer）アルゴリズム: 電力キャッピングを動的に管理するため、「Dimmer」を開発した。従来のキャッピングが急激な低下やタスクの排除を強制するのに対し、Dimmer は電力デバイスが限界（例：97%）に近づいた際、ジョブ内のすべてのGPU の電力制限を段階的に低下させる。
- スケジューラ認識: Dimmer はジョブスケジューラと統合され、大規模でミッションクリティカルな事前トレーニングジョブを優先する。ジョブ全体の停止を招く「スラガラー（遅延するノード）」を作成しないよう、電力削減を均等に分散させる。
- 安全機構: システムは、一時的なスパイクと持続的な超過を区別するために 7 秒の平均化ウィンドウを使用し、回路遮断器のトリップ特性と整合させる。コントローラーとの通信が失われた場合、ホストが安全なグローバル制限に戻るようにするフェイルセーフ機構を備えている。

主要な貢献と知見

エンドツーエンドの電力管理: これは、デプロイメント前の計画からランタイム最適化まで、ハイパースケール AI クラスタの電力管理の完全なライフサイクルを記述した最初の論文である。
最適な電力制限: 本研究は、GPU を最大 TDP 以下（具体的には当初 960W、後に検証により 1020W）で動作させることが、クラスタ全体の総スループットを最大化することを示している。1200W から 1000W への電力削減は、性能低下が 5% であるのに対し電力を 16.7% 節約でき、これにより GPU 密度を大幅に高めることができる。
測定の精度: 本論文は、PSU テレメトリが電力使用量を過大評価していることを特定した。P70 集合法を採用することでこのバイアスを補正し、より精密な電力予算管理を可能にする。
静的な不均衡: ハードウェアの異種性と物理的制約により、施設全体で電力ヘッドルームが不均等になる。最も制約の厳しい MSB が安全な動作範囲を決定し、動的に管理されない場合、最大 10% の電力が置き去りとなる。
動的最適化: 「Dimmer」システムと電力平滑化技術は、置き去り電力の最終的な割合を捕捉することに成功した。急激なスロットリングを避け、負荷削減を分散させることで、システムはジョブの安定性を維持しつつ利用率を最大化する。

結果

本論文は、各フェーズで達成されたスループット改善を定量化し、最終的な最適化状態を 1 GPU あたり 1200W のベースラインと比較している。

プロビジョニングフェーズ: 性能/ワット（960W 制限）の最適化により、より高い GPU 密度を可能にし、1200W ベースラインと比較してクラスタスループットが**10%**向上した。
デプロイメント検証: 実世界のテレメトリに基づき電力制限を 1020W に微調整したことで、さらに**約 2%**のスループット増加が得られた。
ランタイム最適化（Dimmer）: 置き去り電力と電力変動の動的な管理により、さらに**約 2%**の改善が達成された。
総効果: これらの戦略の累積効果により、初期の 1200W 構成と比較して、クラスタスループットが**約 14%**向上した。

さらに、本論文は、H100 世代と比較して、960W での GB200 は、同じ電力予算内で 1 GPU あたりの性能が 2.4 倍、クラスタ全体の総スループットが 1.9 倍であることを付記している。

意義と主張

著者は、この作業を業界のための基礎的なガイドとして位置づけ、コスト中心の電力管理から、AGI 開発に不可欠な容量中心の戦略へと移行させることを目指している。彼らは、150MW の AI クラスタにおける電力管理の 3 つのフェーズすべてを網羅した最初の生産規模のレポートであると主張している。

本論文は、電力供給が現在、アクセラレータの可用性を超えて AGI の主要な制限要因となっていることを強調している。電力プロビジョニング、測定値の補正、動的なランタイム調整に関する知見を共有することで、著者は他の実務者が自らの経験を共有し、AI インフラの効率を集合的に向上させることを促すことを目的としている。彼らは明確に、新しい理論的アルゴリズムを提案することではなく、将来の実務者が効率的でスケーラブルな AI データセンターを設計する際に役立つ、実用的かつ生産で検証された経験と知見を共有することを目的としていると述べている。