Workload composition smooths aggregate power demand while sustaining short-horizon ramps in AI data centers

1. 研究背景与问题 (Problem)

• 背景： 人工智能（AI）的快速发展导致电力需求激增，AI 数据中心正成为电网负荷的重要来源。然而，现有的电网规划研究往往仅基于年度总能耗或 GPU 数量来估算 AI 的电力需求，忽略了电网对分钟级至小时级负荷动态（如波动性、爬坡率）的响应需求。
• 核心问题：
  • 现代 AI 数据中心通常采用混合架构，即在共享 GPU 资源池上同时运行批处理（Batch）（如模型训练，可排队、可中断）和在线推理（Inference）（如大模型服务，低延迟、不可排队）两种工作负载。
  • 这两种工作负载在时间结构、资源需求和功率轨迹上存在显著差异。
  • 关键缺口： 目前尚不清楚当这两种工作负载共存时，其总功率需求（Aggregate Power）的波动性（Variability）和短时爬坡率（Short-horizon Ramping）是如何相互作用的。现有的线性叠加假设（即混合系统 = 加权平均）可能失效。
• 研究目标： 揭示混合工作负载构成如何非线性地影响电网侧的功率动态，特别是波动性与爬坡率之间的解耦现象。

2. 方法论 (Methodology)

作者构建了一个基于轨迹校准（Trace-calibrated）的混合 AI 数据中心仿真框架，将工作负载到达、排队、调度与 GPU 功率模型相结合。

• 数据输入：
  1. 批处理数据： 来自 MIT 高性能计算设施的 9.8 万份批处理作业轨迹，包含每作业的 GPU 功率配置文件。
  2. 推理数据： 来自 Microsoft Azure 的 4400 万条大语言模型（LLM）代码和对话请求轨迹。
  3. 功率映射： 结合独立的 LLM 服务测量数据，建立推理 Token 吞吐量与 GPU 功率需求之间的映射关系。
• 系统模型：
  • 共享 GPU 策略： 延迟敏感的推理请求优先获取 GPU，批处理作业仅使用推理剩余的空闲容量。
  • 调度机制：
    • 推理：采用连续批处理（Continuous Batching）近似，无持久内部队列（低延迟）。
    • 批处理：模拟离散事件调度器，支持检查点（Checkpointing）和中断/恢复。
  • 实验设计： 固定 GPU 总数和利用率，仅改变批处理与推理的工作负载比例（Workload Composition），并在不同利用率水平下重复实验。
• 关键指标：
  • 波动性： 总功率的变异系数（Coefficient of Variation, COV）。
  • 爬坡率： 15 分钟内的归一化功率变化率（Ramp Rate）。

3. 主要发现与结果 (Key Results)

研究揭示了混合系统并非批处理和推理系统的简单加权平均，而是表现出非线性特征：

A. 波动性与推理占比呈"U 型”关系

• 现象： 随着推理工作负载占比的增加，总功率的波动性（COV）先下降后上升，呈现U 型曲线。
• 机制： 在中间混合比例下，批处理作业起到了“缓冲”作用。当推理需求波动导致 GPU 空闲时，排队中的批处理作业可以立即填充这些容量空缺，从而平滑了总功率曲线。
• 影响因素： 这种平滑效应在高利用率下更为显著，因为此时空闲容量稀缺，批处理填充空隙的作用更关键。

B. 短时爬坡率与推理占比呈“倒 U 型”（驼峰状）关系

• 现象： 在高利用率下，短时爬坡率随推理占比增加呈现驼峰状（Hump-shaped），而非单调变化。
• 机制：
  • 不对称性： 批处理作业通过排队缓冲了到达端的突发流量，但推理请求是延迟敏感的，其需求波动会直接转化为功率波动，几乎没有缓冲。
  • 部分抵消： 虽然批处理活动在一定程度上抵消了推理的波动，但这种抵消是不完全的。随着推理占比增加，推理驱动的爬坡主导了系统，导致爬坡率上升；但在极高推理占比下，由于容量饱和（Saturation），爬坡率反而可能下降。
• 结论： 系统可以在总功率非常平滑（低波动）的同时，依然对电网产生巨大的短时爬坡压力。

C. 解耦现象

• 核心发现： 总功率波动性（Variability）与短时爬坡率（Ramping）是解耦的。 一个工作负载混合比例可能最小化波动性，但并不意味着它能最小化爬坡率。

4. 核心贡献 (Key Contributions)

1. 理论突破： 首次量化并证明了在共享 GPU 的混合 AI 数据中心中，工作负载构成对电网侧功率动态的非线性影响，打破了“混合即平均”的假设。
2. 机制解析： 揭示了**排队缓冲（Queue Buffering）与直接传导（Direct Transmission）**之间的不对称机制。批处理通过排队吸收波动，而推理将波动直接传导至功率，导致两者在平滑总需求和维持爬坡压力上的不同表现。
3. 方法论创新： 建立了一个结合真实作业轨迹、排队论和硬件功率模型的端到端仿真框架，能够精确模拟混合工作负载下的电网交互。
4. 实证发现： 发现了波动性的"U 型”和爬坡率的“驼峰型”特征，并指出这些特征高度依赖于系统利用率和检查点（Checkpoint）间隔等参数。

5. 意义与启示 (Significance)

• 对电网规划的影响：
  • 电网运营商不能仅凭 AI 数据中心的年度总能耗来规划备用容量或评估灵活性需求。
  • 必须区分波动性和爬坡率这两个不同的电网属性。即使总负荷看起来平稳，短时爬坡压力可能依然巨大，这对频率调节和备用资源提出了更高要求。
• 对数据中心运营的建议：
  • 通过优化工作负载混合比例（Workload Composition）和调度策略（如检查点频率），可以在一定程度上平滑总负荷，但需警惕其对短时爬坡的潜在影响。
  • AI 数据中心应被视为动态系统，其内部工作负载的相互作用直接决定了其对电网的冲击。
• 政策与未来研究：
  • 呼吁未来的电网建模和 AI 需求预测从静态的年度总量转向动态的、基于时间分辨率的负荷特性分析。
  • 强调了理解数字服务动态（Digital-service dynamics）如何转化为电力需求的重要性。

总结

该论文通过严谨的仿真和轨迹分析，阐明了 AI 数据中心内部批处理与推理工作负载的混合如何产生复杂的电网交互效应。其核心结论是：混合系统可以利用批处理的排队特性来平滑总功率波动，但无法完全消除推理负载带来的短时剧烈爬坡。 这一发现对于制定更精准的 AI 电力需求预测模型和电网调度策略具有关键指导意义。