🤖 machine learning

Energy Scaling Laws for Diffusion Models: Quantifying Compute in Image Generation

本文提出了一种改进的卡普兰缩放定律，通过将推理过程分解为文本编码、去噪和解码三个组成部分，准确预测扩散模型的 GPU 能耗，证明了去噪过程主导能耗，并实现了可持续 AI 规划中可靠的跨架构估算。

原作者： Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常昂贵、功能强大的厨房机器人（GPU），它能将一堆杂乱的食材变成完美、逼真的蛋糕（图像）。这个机器人并非一次性完成烘焙；它必须混合、品尝、调整，再混合，如此反复数十次，才能让质地恰到好处。这正是扩散模型生成图像的工作原理。

问题在于，这个机器人非常耗电。蛋糕越复杂（分辨率越高），它需要混合的次数越多（步数越多），你的电费账单就越高。

这篇论文就像是为这些图像生成机器人配备的智能能耗计算器。作者们希望回答一个简单的问题：“如果我改变蛋糕的大小、机器人的类型，或者混合的次数，能否在不实际运行机器人的情况下，准确预测它将消耗多少电力？”

以下是他们研究发现的日常类比解析：

1. 能量的“食谱”（缩放定律）

作者们借鉴了语言模型领域的一个著名规则（称为Kaplan 缩放定律），并将其调整用于图像生成。可以将此规则视为一个通用食谱，它指出：“机器人做的工越多，它消耗的能量就越多。”

他们发现，对于这些图像机器人而言，这种关系几乎是完全线性的。如果你将机器人需要进行的数学运算量（称为FLOPs）翻倍，其能耗也会大致翻倍。这就像开车：如果你行驶的距离加倍，消耗的汽油也会加倍。

2. “混合”是主要耗能环节

当机器人制作蛋糕时，包含三个部分：

读取订单（文本编码）：读取你想要什么样的蛋糕。
混合面糊（迭代去噪）：实际的烘焙过程，即清理噪声。
装盘蛋糕（解码）：组装最终图像。

论文发现，第 2 步（混合）是主要的耗能环节。它占据了总能耗的90% 以上。机器人几乎将所有时间和电力都耗费在重复的混合过程上，而不是读取订单或装盘。这就是电费账单如此高昂的原因：机器人必须为单张图像混合面糊 10 到 50 次。

3. “机器人模型”的影响不如你想象的那么大

研究人员在四种不同类型的机器人（Stable Diffusion 2、Stable Diffusion 3.5、Flux 和 Qwen）以及三种不同类型的厨房（NVIDIA A100、A4000 和 A6000 GPU）上测试了这一规则。

令人惊讶的是：这一规则在所有情况下都适用。

如果你知道"Flux"机器人消耗多少能量，你就可以用同样的数学公式来预测"Qwen"机器人的能耗，即使它们的构造不同。
无论你使用的是专业数据中心的机器人（A100）还是高端工作站的机器人（A6000），“完成的工作量”与“消耗的能量”之间的关系都保持一致。

这就像发现，无论你驾驶的是丰田还是福特，如果你以相同的速度行驶相同的距离，消耗的燃料大致相同。你无需测试路上的每一辆车就能知道燃油成本；你只需要知道距离和速度即可。

4. 改变账单的“旋钮”

论文还探讨了当你调节机器人的“旋钮”时会发生什么：

分辨率（大小）：将图像尺寸从 256x256 增加到 1024x1024，就像要求机器人烘焙一个巨大的婚礼蛋糕，而不是纸杯蛋糕。能耗成本会急剧上升。
精度（准确度）：使用"float32"（超高精度）与"float16"（标准精度），就像要求机器人用显微镜级别的秤而不是厨房秤来测量食材。超高精度模式消耗的能源显著更多（在某些情况下约为 7 倍）。
步数（混合）：要求机器人混合 50 次而不是 10 次，就像要求它搅拌面糊一小时而不是十分钟。能耗成本呈线性增长。

5. 为什么这很重要（“那又怎样？”）

在这篇论文之前，如果一家公司想要知道为百万用户运行图像生成器需要多少成本，他们必须实际运行系统并测量电表。这就像通过抛硬币来猜测你的电费账单。

现在，他们拥有了一个预测工具。

对于规划者：公司可以说：“如果我们切换到这种新机器人并要求生成 4K 图像，这就是我们将需要的确切电量”，而无需先购买机器人。
对于环境：它有助于我们了解人工智能的“碳足迹”。论文指出，生成一张高质量图像所消耗的能量，相当于 10 次典型的基于文本的 AI 聊天（例如向聊天机器人提问）。

总结

该论文证明，图像生成中的能耗是可预测的。它遵循一个简单的数学规则：更多数学运算 = 更多能量。通过理解这一规则，我们可以更好地规划、选择合适的设备，并了解创建数字艺术的环境成本，而无需进行任何一次实际测试。

技术摘要：扩散模型的能源缩放定律

问题陈述

扩散模型在高质量图像合成中的快速部署引入了巨大的计算成本，引发了关于能源消耗和环境影响的关键担忧。与单次通过模型不同，扩散模型需要迭代去噪步骤（通常为 10–50 步），其中每一步都涉及完整的网络评估，从而成倍增加能源使用量。虽然现有的能源优化策略侧重于架构改进或硬件加速，但缺乏一种基于原则的、可预测的方法，用于估算不同模型配置和硬件设置下的能源消耗。当前的方法通常依赖事后经验测量或专用基准测试，这些方法虽然提供了真实数据，但未能提供可泛化的预测框架，将架构复杂度（FLOPs）直接与能源足迹联系起来。

方法论

作者提出将Kaplan 缩放定律（最初为基于 Transformer 的语言模型训练而开发）进行调整，以预测扩散模型推理过程中的 GPU 能源消耗。核心假设是：能源使用量与计算复杂度（FLOPs）遵循幂律关系，并受硬件和配置因素的调节。

理论框架

总能源消耗（ $E$ ）被建模为计算复杂度、精度、硬件架构和分辨率的函数。作者构建了一个对数线性回归模型：
$\log(E) = \log(A) + \alpha \log(\text{FLOPs} \times 2^{I_{cfg}}) + \beta_{dtype} I_{dtype} + \beta_{gpu} I_{gpu} + \beta_{res} \log\left(\frac{H \times W}{256}\right)$
其中：

FLOPs：主要预测因子，分解为文本编码、迭代去噪和图像解码。作者认为迭代去噪主导了能源消耗（占 FLOPs 的 90% 以上），使得模型可以将总计算量近似为 $N \times T \times \text{FLOPs}_{denoise}$ 。
$I_{cfg}$ ：无分类器引导（Classifier-Free Guidance）的指示变量，其有效计算成本翻倍。
$I_{dtype}$ 和 $I_{gpu}$ ：浮点精度（fp16 与 fp32）和 GPU 架构（A100、A4000、A6000）的独热编码变量。
$\beta_{res}$ ：偏差项，用于解释仅靠 FLOPs 无法捕捉的与分辨率相关的效率变化（例如内存带宽利用率）。

实验设计

该研究通过以下方面的综合实验验证了此框架：

模型：涵盖不同架构的四种最先进扩散模型：Stable Diffusion 2（U-Net）、Stable Diffusion 3.5（MMDiT）、Flux（基于流匹配的 MMDiT）和 Qwen（MMDiT）。
硬件：三种 NVIDIA GPU 架构（A100、RTX A4000、RTX A6000）。
配置：分辨率（ $256^2$ 至 $1024^2$ ）、精度（fp16/fp32）、步数（10–50）和引导设置的变化。
测量：使用 CodeCarbon 的 EmissionsTracker（通过 NVML）以 1Hz 采样率测量能源消耗，通过减去空闲基线来隔离动态 GPU 功耗。

主要贡献

缩放定律的适配：首次将 Kaplan 风格的缩放定律应用于预测扩散模型推理能源，建立了 FLOPs 与能源足迹之间的理论联系。
FLOP 分解：对扩散推理成本进行了详细的分析分解，证实迭代去噪是主导的计算组件。
跨架构泛化：证明了在特定模型 - 硬件组合上学到的能源缩放定律，能有效泛化到未见过的模型（例如，利用 Flux/SD3.5 数据预测 Qwen 的能源）和未见过的硬件平台。
硬件感知建模：将精度和 GPU 架构效应纳入统一的预测框架，实现了无需每算子分析即可进行能源估算。
部署框架：提供了一种估算大规模扩散部署能源影响的实用方法，支持可持续的 AI 规划。

结果

高预测精度：所提出的能源缩放定律在单一架构内实现了高精度，对于 A100 上的 Flux、SD3.5 和 Qwen 等模型， $R^2 > 0.9$ （通常超过 0.99）。
计算受限特性：缩放指数（ $\alpha$ ）趋近于 1.0（例如 Flux 为 0.989），验证了扩散推理主要是计算受限而非内存受限的假设。
跨模型迁移：在模型子集（例如 Flux + SD3.5）上训练的缩放定律，成功预测了保留模型（例如 Qwen）的能源消耗，表现出强秩相关性（ $R, R_s > 0.9$ ）。
跨架构迁移：该框架成功 bridging 了架构范式，利用源自 MMDiT 模型的定律预测 U-Net 模型（SD2）的能源，反之亦然。
能源量级：该研究量化得出，单张高分辨率扩散图像消耗的能源可达典型大型语言模型查询的10 倍（例如，高质量 Qwen 图像高达 3.58 Wh，而 ChatGPT 查询约为 0.34 Wh）。根据配置不同，能源消耗跨越三个数量级。

意义与主张

该论文主张建立能源消耗估算作为可持续 AI 部署规划的必要基础。通过验证基于 FLOP 的模型能够为部署提供实用指导，该工作实现了：

部署前规划：组织可以在不同 GPU 平台上预测能源成本，而无需进行大量的经验测试。
碳感知优化：系统可以根据电网碳强度动态调整超参数（精度、分辨率、步数）。
标准化：该方法论提供了一种报告能源消耗的标准方法，支持监管合规和可重复的能源核算。

作者总结道，尽管在系统范围（排除 CPU/RAM/冷却）和特定硬件类型（专注于 NVIDIA）方面存在局限性，但该框架成功捕捉了扩散模型中能源 - 复杂度关系的根本性、架构无关原则。这为评估和减轻生成式 AI 的环境影响提供了一种可扩展的工具。