⚡ electrical engineering

Provisioning to Runtime Optimization of a +100 MW AI Cluster

本文首次对超大规模人工智能数据中心的电源管理提供了端到端的完整阐述，详细描述了从针对下一代加速器的早期电源规划到容纳 83,000 块 GB200 GPU 的 150 兆瓦设施的运行时优化的全过程。

原作者： Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valent

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ehsan K. Ardestani, Leonardo Piga, Jovan Stojkovic, Pavan Balaji, Mustafa Ozdal, Mikel Jimenez Fernandez, Mihaela Dimovska, Luka Tadic, Hao Shen, Devika Vishwanath, Richa Mishra, Melaku Mihret, Valentin Andrei, Mauricio Cespedes, Julien Prigent, James Monahan, Tyler Graf, Bin Li, Charles Marquez, Shobhit Kanaujia, Kaushik Veeraraghavan, Chunqiang Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造世界上最大、最强大的超级计算机，以解决人工智能领域最棘手的问题。你已经斥资购买了数千枚能买到的最快计算机芯片（GPU）。但有一个棘手的问题：你没有足够的电力让它们全速运行。

事实上，这篇论文指出，如今电力短缺的问题比芯片短缺更为严重。这就像拥有一支由 100 辆赛车组成的车队，却只有足够给其中一半赛车加油的燃油。

这篇论文描述了 Meta（Facebook 背后的公司）如何为一个巨大的 150 兆瓦数据中心解决了这个问题。他们并没有只是把所有设备插上电然后听天由命；相反，他们将电力视为一种珍贵且有限的资源，并分三个阶段进行管理。

以下是他们如何做到的故事，使用了简单的类比。

电力管理的三个阶段

作者将整个过程分解为三个阶段：规划、核查和运行。

第一阶段：规划（“预算”阶段）

在计算机甚至尚未抵达之前，团队就必须计算出在固定的电力预算下，他们能容纳多少台计算机。

旧方法： 通常，工程师会查看芯片的“最大速度”（即热设计功耗，TDP），并假设这就是它始终使用的功率。如果一枚芯片额定功率为 1,200 瓦，他们就按 1,200 瓦来规划。
Meta 的方法： 他们意识到，如果强迫每枚芯片都以绝对最大功率运行，他们只能在建筑物里容纳几枚芯片。相反，他们问道：“如果我们让所有芯片稍微慢一点运行会怎样？”
类比： 想象一个拥有固定食物量的自助餐。
- 策略 A： 给每个人提供巨大的 10 道菜大餐。你只能喂饱 50 个人。
- 策略 B： 给每个人提供稍小一点的 8 道菜大餐。现在你可以喂饱 60 个人。
- 结果： 尽管每个人得到的食物略少，但整个群体消耗的总食物量更高，且喂饱了更多人。
发现： 他们发现，通过将每枚 GPU 的功率限制从 1,200 瓦降低到约 1,000 瓦，他们可以在数据中心容纳更多的 GPU。每枚单独芯片速度的轻微下降，被更多芯片协同工作所带来的优势完全弥补。这使他们的总计算能力提升了10%。

第二阶段：核查（“现实检验”阶段）

一旦计算机安装完毕，团队意识到他们的计划与现实并不完全匹配。

问题： 计算机内部的功率计（PSU）在撒谎。它们过于保守，报告机器消耗的功率比实际使用的要多。这就像汽车的燃油表总是显示“空”，而你实际上还剩下四分之一的油箱。
修正： 他们将内部仪表与建筑物主电源传感器（非常准确）进行了比较。他们发现，如果忽略“最坏情况”的读数，转而查看“平均”使用情况（具体为第 70 百分位），他们就能更信任这些数字。
结果： 由于不再信任那些过于保守的内部仪表，他们意识到自己拥有一些未被使用的“隐藏”电力。他们将功率稍微调高（从 1,000 瓦提升至 1,020 瓦），又榨取了**2%**的性能提升。

第三阶段：运行（“交通指挥”阶段）

现在，数据中心正在运行实时的 AI 训练任务。问题在于，AI 工作负载是“同步”的，这意味着所有芯片必须相互等待。如果一枚芯片变慢，整个任务都会变慢。

问题： 有时，电网会出现突然的尖峰。如果系统检测到尖峰，旧的做法是立即关闭或减慢特定一枚芯片以节省电力。但在同步竞赛中，如果你让一名选手减速，整个团队都会输掉。
解决方案（调光器）： 他们构建了一个名为"Dimmer"的智能系统。它不是惩罚某一枚芯片，而是将任务中每一枚芯片的功率温和地降低一个微小的、相等的量。
类比： 想象一群参加接力赛的跑步者。如果赛道变得湿滑（功率限制），教练不是让一名选手绊倒（这将导致整个团队停止），而是告诉所有人稍微慢一点点跑。团队保持同步，比赛得以继续而不中断。
结果： 这防止了系统崩溃，并使他们能够利用之前被浪费的最后几个百分点的“闲置”电力。这又带来了约**2%**的提升。

其他关键见解

“瓶颈”效应： 数据中心是不同硬件（计算机、冷却系统、网络交换机）的混合体。有时，功率限制并非由计算机设定，而是由冷却系统或网络电缆设定。如果链条中的某一部分薄弱，它就会限制整个链条。
电力波动： 当 AI 芯片工作时，它们有时会暂停一瞬间以相互通信，导致电力消耗先下降后激增。团队创建了一个“软件平滑器”，用虚拟工作填充这些微小的间隙，使电力消耗像平静的河流一样稳定，而不是像波涛汹涌的大海。这保护了建筑物的电网免受冲击。
越新越好： 他们将新芯片（GB200）与旧芯片（H100）进行了比较。新芯片的效率如此之高，以至于尽管每枚芯片的功耗更低，但在新集群中，其速度几乎是旧集群在同一建筑物中速度的两倍。

结论

通过将电力视为一种灵活的资源而非固定限制，并从规划阶段到日常运营对其进行精心管理，Meta 在不建造一面新墙或购买一根新电线的情况下，使其 150 兆瓦数据中心的计算能力提升了约14%。

他们并没有找到神奇的电池；他们只是学会了如何更明智地利用已有的电力。

技术摘要：从超大规模 AI 集群的部署配置到运行时优化

问题陈述

通往通用人工智能（AGI）竞赛中的主要瓶颈已从 AI 加速器的可用性转变为数据中心的电力供应。尽管先前的研究侧重于降低公用事业成本、优化绿色能源使用或利用电力超额订阅，但这些研究往往忽视了一个关键现实：数据中心电力规划必须优先考虑在固定电力预算内最大化总计算能力。此外，以往的工作通常仅关注电力管理的最终运行阶段，而忽略了从早期规划（硬件可用前 6–12 个月）到部署验证及动态运行时调优的端到端流程。

本文通过提出一种涵盖部署配置、部署验证和运行时的主动优化的三阶段整体方法，解决了管理超大规模 AI 集群（150 MW，83,000 块 GB200 GPU）电力供应的挑战。

方法论

作者提出了一个用于电力管理的三阶段框架，利用一个托管 83,000 块 GB200 GPU 并通过 RDMA 后端网络连接的数据中心（总容量 150 MW）。

第一阶段：规划与部署配置

在此阶段，目标是在固定电力预算（ $P_{total}$ ）内确定最佳集群配置，以最大化总吞吐量（ $T(p)$ ）。

优化模型：作者将问题表述为最大化 $T(p) = N(p) \cdot f(p)$ ，其中 $N(p)$ 是符合预算的 GPU 数量， $f(p)$ 是功率限制 $p$ 下的单卡性能。
功率限制选择：团队没有使用 1200W 的热设计功耗（TDP），而是分析了每瓦性能曲线。他们发现，降低功率限制可以实现更高的 GPU 密度。实证数据显示，虽然 HBM 带宽在低于 1000W 时急剧下降，但在 1000W 至 1200W 之间保持恒定。因此，他们选择**960W（TDP 的 80%）**作为最佳工作点，在单卡性能损失与总 GPU 数量增加之间取得平衡。
整体部署配置：该方法考虑了整个电力交付层级（主配电柜、配电柜、反应堆电源面板），并包含了非 GPU 电力消耗（冷却、网络、CPU）。

第二阶段：部署验证

硬件部署后，团队根据真实遥测数据验证假设并优化电力设置。

测量修正：作者发现电源单元（PSU）读数系统地高估了实际功耗。为了修正这一点，他们将 PSU 数据与高精度示波器和反应堆电源面板（RPP）的 DCIM 传感器数据进行对比。他们确定，使用一分钟内 PSU 样本的**第 70 百分位（P70）**能提供机架总功耗最准确的估计，从而最大限度地减少最大 PSU 值带来的偏差。
余量分析：研究表明，由于异构硬件组合（GPU 机架、网络机架、冷却）和物理布局限制，数据中心存在显著的静态电力不平衡。这种不平衡导致在最受限的主配电柜（MSBs）处约有 5–10% 的电力被“闲置”。
调整：基于验证数据，团队将运行功率限制从计划的 960W 提高到1020W，确保 P70 功耗与机架预算保持一致。

第三阶段：运行时主动优化

此阶段侧重于动态电力管理，以捕获剩余的闲置电力并处理瞬态峰值，同时不中断训练任务。

电力波动：同步训练算法会导致同步的电力振荡。为了缓解这一问题，作者实施了一种基于软件的电力平滑器的“填补空隙”技术。该内核在通信间隙期间在张量核心上生成合成负载，维持稳定的电力消耗（每个加速器高达 800W），且性能开销低于 3%。
Dimmer 算法：为了动态管理功率封顶，他们开发了"Dimmer"。与强制突然降频或驱逐任务的传统封顶不同，当电力设备接近其限制（例如 97%）时，Dimmer 会逐步降低作业中所有GPU 的功率限制。
- 调度器感知：Dimmer 与作业调度器集成，优先处理大型、关键的任务预训练作业。它均匀分配功率降低，以避免产生会导致整个作业停滞的“落后者”。
- 安全机制：系统使用 7 秒平均窗口来区分瞬态峰值和持续过载，这与断路器跳闸特性相一致。如果与控制器失去通信，故障安全机制可确保主机恢复到安全的全球限制。

主要贡献与发现

端到端电力管理：这是第一篇描述超大规模 AI 集群完整电力管理生命周期的论文，涵盖从部署前规划到运行时优化的全过程。
最佳功率限制：研究表明，在最大 TDP 以下运行 GPU（最初为 960W，后经验证为 1020W）可最大化集群总吞吐量。将功率从 1200W 降低到 1000W 可节省 16.7% 的电力，仅导致 5% 的性能下降，从而允许显著提高 GPU 密度。
测量准确性：论文指出 PSU 遥测数据高估了电力使用量。采用 P70 聚合方法可修正此偏差，实现更精确的电力预算。
静态不平衡：硬件异构性和物理约束导致设施内的电力余量分布不均。最受限的 MSBs 决定了安全运行范围，如果不进行动态管理，最多会导致 10% 的电力被闲置。
动态优化："Dimmer"系统和电力平滑技术成功捕获了最后剩余的闲置电力。通过避免突然降频并均匀分配负载减少，系统在最大化利用率的同时保持了作业稳定性。

结果

该论文量化了通过其方法论各阶段实现的吞吐量提升，将最终优化状态与每块 GPU 1200W 的基线进行了比较：

部署配置阶段：针对每瓦性能进行优化（960W 限制），通过实现更高的 GPU 密度，使集群吞吐量比 1200W 基线提高了10%。
部署验证：基于真实遥测数据将功率限制优化至 1020W，带来了额外的**约 2%**吞吐量提升。
运行时优化（Dimmer）：对闲置电力和电力波动的动态管理带来了进一步的**约 2%**提升。
总增益：这些策略的累积效应使集群吞吐量相比初始 1200W 配置实现了约 14% 的总提升。

此外，论文指出，与 H100 代相比，960W 下的 GB200 在相同电力预算下提供了 2.4 倍的单卡性能和 1.9 倍的集群总吞吐量。

意义与主张

作者将这项工作定位为行业的基础指南，推动电力管理从以成本为中心转向对 AGI 发展至关重要的以容量为中心的策略。他们声称，这是首份涵盖 150 MW AI 集群电力管理所有三个阶段的量产级报告。

论文强调，电力供应现已成为 AGI 的主要限制因素，超越了加速器可用性。通过分享关于电力部署配置、测量修正和动态运行时调优的见解，作者旨在鼓励其他从业者分享他们的经验，共同推动 AI 基础设施的效率提升。他们明确表示，其目标并非提出新的理论算法，而是分享经过生产环境验证的实践经验与发现，以指导未来的从业者设计高效、可扩展的 AI 数据中心。