Measurement of Generative AI Workload Power Profiles for Whole-Facility Data Center Infrastructure Planning

这篇论文题为《生成式 AI 工作负载功率谱系测量用于整个数据中心基础设施规划》（Measurement of Generative AI Workload Power Profiles for Whole-Facility Data Center Infrastructure Planning），由美国落基山国家实验室（NLR）的研究团队撰写。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 能源需求激增：生成式人工智能（GenAI）的快速发展导致数据中心能耗急剧增加。预计到 2028 年，美国数据中心的电力使用量可能翻倍甚至翻三倍。
• 规划挑战：现有的电力消耗数据大多是专有的、分辨率低或缺乏透明度，导致难以准确估算整个设施的能源需求，从而给电网连接、现场能源生成和分布式微电网的基础设施规划带来困难。
• 建模难点：
  • 数据缺失：超大规模云提供商（Hyperscalers）很少公开设施运营数据；中小型托管数据中心缺乏机架或服务器级别的可见性。
  • 技术演变：AI 算法（如代理 AI 框架）和基础设施架构（如高压直流 HVDC）的快速变化使得负载建模更加复杂。
  • 电网风险：AI 训练工作负载导致的兆瓦级（MW-scale）负载波动可能引发电网电压波动、谐波失真甚至级联不稳定性（如 2024 年弗吉尼亚州数据中心 1.5 GW 负载在 82 秒内骤降的事件）。

2. 方法论 (Methodology)

该研究提出了一种自下而上（Bottom-up）的框架，将高分辨率的节点级功率测量与整个设施的能源模型相结合。

A. 实验设置与测量

• 硬件平台：使用 NLR 的 Kestrel 高性能计算（HPC）系统，包含 156 个 GPU 加速节点，每个节点配备 4 个 NVIDIA H100 SXM GPU 和 2 个 AMD EPYC 9554 (Genoa) CPU。
• 测量工具：使用开源工具 WattAMeter，以 0.1 秒 的高分辨率记录 CPU 和 GPU 的瞬时功率消耗。
• 工作负载基准：
  • 训练与微调：使用 MLCommons (MLPerf) 基准测试。
    • Llama-2 70B：大型语言模型微调（使用 LoRA 和 DeepSpeed ZeRO-3 技术）。
    • Stable Diffusion v2：图像生成模型训练。
  • 推理：使用 vLLM 引擎。
    • Llama-3 70B：测试离线（批量）和在线（服务/流式）模式。
• 数据集：所有功率谱系数据已公开，确保可复现性。

B. 全设施仿真模型 (DIPLOEE)

开发了 DIPLOEE（数据中心基础设施规划、负载优化与能效）模型，用于将节点级数据扩展至设施级：

• 作业中心模拟（训练/微调）：基于离散事件模拟（Discrete-event simulation），输入包括工作负载类型、节点数、持续时间和功率谱系。模型根据概率分布生成作业队列，模拟调度、执行和功率消耗。
• 推理中心模拟（在线服务）：针对在线推理模式，模拟基于用户请求率（Request Rate）和延迟约束（Latency Constraints）的动态负载。模型根据请求量动态分配模型实例（Model Instances），并考虑排队和拒绝服务的情况。
• 输入参数：包括利用率分布（小时、周、月）、作业类型概率、节点架构及目标平均利用率。

3. 关键贡献 (Key Contributions)

1. 高分辨率功率数据集：首次公开了基于 NVIDIA H100 GPU 的 GenAI 训练、微调和推理工作负载的 0.1 秒级 功率消耗谱系数据。
2. 标准化基准：利用 MLCommons 和 vLLM 等标准化基准，确保了工作负载特征的可复现性和代表性。
3. 可扩展的设施级模型：提出并验证了一种自下而上的离散事件仿真模型，能够将微观的节点级功率特征转化为宏观的、反映真实用户行为和负载波动的设施级时间序列数据，直接服务于基础设施规划。

4. 主要结果 (Results)

A. 节点级工作负载特征

• 训练/微调 (Llama-2 & Stable Diffusion)：
  • 功率随节点数量呈线性增长。
  • Llama-2 微调：观察到约 3 分钟的启动阶段，随后是高频波动。随着节点数增加，由于数据并行通信开销，总能耗反而增加（因为收敛所需的 Epoch 数增加）。
  • Stable Diffusion：功率波动范围更大（12kW - 48kW），反映了评估阶段的间歇性高负载。
• 推理 (Llama-3)：
  • 离线模式：功率随输入提示符数量增加而饱和（约 2.8 kW），执行时间与输出 Token 数成正比。
  • 在线模式：在低请求率下功率迅速上升并饱和。高请求率导致延迟增加，但单位 Token 的能效可能降低。
  • 关键发现：在线推理的功率曲线表现出明显的瞬态特征，且存在“饱和”现象，即超过一定请求率后，增加节点带来的性能提升边际递减。

B. 全设施仿真结果

• 案例 1：10 MW 托管数据中心（训练/微调混合）
  • 即使在 80% 的平均利用率下，设施的最大功率仅达到额定容量的 73%（约 7.3 MW）。
  • 峰均比 (PAR)：随着利用率提高，PAR 值下降（从 2.56 降至 1.24），表明高利用率下负载波动相对平滑，但这是以作业排队时间显著增加（80% 利用率下平均排队 6.5 小时）为代价的。
  • 日/周模式：负载呈现明显的昼夜节律（上午 8 点后上升，下午 4 点后达峰）和周循环（周四/周六晚间较高）。
• 案例 2：1 MW 推理数据中心（在线服务）
  • 最大功率达到额定容量的 80%。
  • 延迟与能效权衡：为了维持低延迟（<10 秒），系统限制了每个实例的请求率。在 80% 利用率下，约 15% 的请求因资源饱和而被拒绝。
  • PAR 值：推理中心的 PAR 值平均比托管中心低 9%，表明其对电网的潜在冲击较小，但为了保障服务质量（QoS），通常需要在较低的利用率下运行。

5. 意义与结论 (Significance & Conclusion)

• 基础设施规划：研究结果表明，由于工作负载的瞬态特性和未完全利用的硬件 TDP（热设计功率），数据中心实际运行的峰值功率往往低于基于 TDP 的额定设计功率。这为优化辅助基础设施（如变压器、冷却系统）的容量提供了依据，可能避免过度投资。
• 电网稳定性：通过量化 AI 工作负载的波动性，该模型有助于电网运营商更好地进行负荷预测和备用容量规划，减少因大规模负载骤降或骤升引发的电网不稳定风险。
• 决策支持：该框架为数据驱动的基础设施规划提供了基础，帮助决策者在电网连接、现场发电和微电网设计方面做出更明智的决策。
• 局限性：目前的测量基于特定的硬件配置（H100/EPYC）和有限的算法配置。未来的工作将扩展数据集以涵盖更多模型、硬件平台，并集成热管理和电力分配损耗模型。

总结：该论文填补了从微观 AI 工作负载功率特征到宏观数据中心能源规划之间的空白，通过公开数据和仿真模型，为应对 GenAI 带来的能源挑战提供了重要的技术参考。