🤖 machine learning

EnergyLens: Interpretable Closed-Form Energy Models for Multimodal LLM Inference Serving

EnergyLens 提出了一种通过符号回归导出的可解释、十二参数闭式能量模型，该模型仅需少量性能剖析数据即可准确预测各类多模态大语言模型在不同硬件上的推理能耗，并在配置选择与外推方面优于现有的黑盒与解析基线方法。

原作者： Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一家巨型公司运营一个大规模、高速的配送服务。你的“卡车”是人工智能模型（大型语言模型），而你的“包裹”是用户请求（例如写一首诗、分析一张照片或总结一段视频）。

目标是以最快的速度（低延迟）和最低的成本（低能耗）将每个包裹送达。但问题在于：快并不总是意味着便宜。

有时，让两辆卡车在一条狭窄的道路上并排行驶（这种策略称为张量并行）比派一辆大卡车更快，但由于卡车之间需要不断大声喊叫以协调，这会消耗更多的燃料。而有时，将工作分摊到一长列卡车上（称为流水线并行）可能会稍微慢一点，但由于卡车可以在停靠间隙休息，因此能节省大量燃料。

长期以来，试图优化这项配送服务的人们犯了一个大错误：他们假设如果某条路线是最快的，那么它自动就是最省油的。他们还试图使用“黑盒”计算机（复杂的 AI 模型）来预测燃料消耗，但这些计算机需要输入数千次测试运行才能学习规则，而且它们无法解释为什么会做出某种预测。

现在，EnergyLens 登场了。

什么是 EnergyLens？

把 EnergyLens 想象成一位用通俗易懂的英语写下确切道路规则的大师级机械师。

EnergyLens 不需要猜测，也不需要数千次试驾。它使用一种名为“符号回归”的特殊工具。想象一下，你给计算机一叠燃料收据，让它找出隐藏其中的数学规律。它不会给你一堆令人困惑的数字列表，而是会吐出一个简单、可读的公式（就像食谱一样），该公式能精确解释基于以下因素消耗了多少能量：

你使用了多少辆卡车（并行度）。
包裹有多大（批量大小）。
配送路线有多长（序列长度）。

它是如何工作的（类比）

该论文指出，AI 推理分为两个截然不同的阶段，就像餐厅厨房一样：

“预填充”阶段（烹饪订单）： 厨房一次性读取整个订单（输入文本或图像）。这是重体力活。
“解码”阶段（上菜）： 厨房开始一道一道地上菜（逐字生成输出）。这是内存密集型任务。

EnergyLens 将这两个阶段分开处理。它认识到，“烹饪订单”的“燃料成本”与“上菜”的成本不同。它还意识到，“卡车协调”（张量并行）对烹饪的影响与对服务的影响不同。

通过分离这些因素，EnergyLens 创建了一个包含 12 种成分的食谱（一个闭式方程），能够高精度地预测能量消耗。

为什么它比旧方法更好

该论文将 EnergyLens 与其他两种方法进行了比较：

“速度代理”方法： 这种方法假设“快=便宜”。论文表明这是错误的。在超过 20% 的情况下，最快的配置实际上最浪费能源。EnergyLens 找到的是真正省油的路线，而不仅仅是快的路线。
“黑盒”方法： 这些是需要数百次测试运行才能学习的复杂 AI 模型。它们就像一个只死记硬背答案却不理解数学的学生。
- EnergyLens 只需要50 次测试运行（大约少 10 倍）就能学会规则。
- EnergyLens 是可解释的：你可以查看公式并说：“啊，我明白了，在这里使用 4 辆卡车之所以能节省能源，是因为这个特定的项。”而黑盒无法告诉你这一点。

结果

研究人员在多种多样的“卡车”（不同的 AI 模型）、“道路”（来自 NVIDIA、Intel 和 AMD 的不同计算机芯片）以及“包裹”（文本、图像和视频）上测试了 EnergyLens。

准确性： 当被要求选出单一最佳、最省油的配置时，EnergyLens 的正确率达到88.2%。而之前的最佳方法仅达到60.9%。
泛化能力： 一旦“食谱”被编写出来，它就能适用于新型卡车和道路，而无需重写。你只需基于一次微小的新测试运行来调整几个数字（系数）。
外推能力： 即使你要求 EnergyLens 预测一条比它见过的任何路线都长 10 倍的配送路线的燃料消耗，它仍然能做出正确预测。而“黑盒”方法在这种情况下会彻底失败。

总结

EnergyLens 是一个实用、透明的工具，它帮助数据中心停止猜测，开始计算。它证明，你不需要一台庞大的超级计算机来预测能源消耗；你只需要一个正确的数学公式，该公式能理解这些 AI 模型实际运作的物理原理。它将“这将消耗多少能源？”这一谜团，转变为一个简单、可解的方程。

技术摘要：EnergyLens

问题陈述

随着大语言模型（LLM）演进为包含稠密架构、混合专家（MoE）架构和状态空间架构，并且被部署于异构加速器（NVIDIA、Intel、AMD）以处理多样化的多模态工作负载（文本、图像、视频），优化推理能耗已变得与优化延迟和吞吐量同等关键。然而，现有的能耗预测方法存在三个主要局限性：

延迟代理：许多分析模型将延迟视为能耗的代理指标。作者证明，在超过 20% 的测试配置中，延迟最优解与能耗最优解发生分歧，导致基于延迟的策略产生高达 79.8% 的能耗惩罚。
黑盒代理模型：数据驱动的机器学习模型（如随机森林、神经网络）虽能达到合理的精度，但“数据饥渴”，需要数百个性能分析样本才能泛化。它们缺乏可解释性，无法提供关于为何某种配置高效的物理洞察，并且无法可靠地外推至未见过的批量大小或硬件。
缺乏泛化性：现有的分析模型往往无法解耦张量并行（TP）和流水线并行（PP）的不同物理效应，或者未能考虑能耗随批量大小和序列长度在不同模态下的非线性扩展规律。

方法论：EnergyLens 框架

作者提出了EnergyLens，这是一个利用符号回归来发现 GPU 能耗紧凑闭式数学表达式的框架。与黑盒模型不同，EnergyLens 推导出的公式中，各项直接对应于可测量的系统属性。

1. 统一能耗模型

EnergyLens 的核心是一个十二参数的闭式方程，将能耗（ $E$ ）分解为三个具有物理基础的组成部分：
$E = E_{prefill} + E_{decode} + E_{overhead}$

阶段分解：该模型明确区分了计算受限的**预填充（prefill）阶段（处理输入 token）和内存受限的解码（decode）**阶段（生成输出 token）。
并行化解耦：该模型区分了张量并行（ $d_{TP}$ ）和流水线并行（ $d_{PP}$ ）。它认识到，TP 通过高效的张量核心利用率减少了单 GPU 的计算量，但引入了同步开销；而 PP 引入了流水线气泡，并在空闲阶段保持设备供电。
非线性扩展：该公式捕捉了固定开销（如内核启动和 KV 缓存初始化）随批量大小增加而呈现的次线性摊销效应，以及不同模态（例如，视频/图像工作负载的对数压缩）特定的扩展规律。

通用形式（论文中的公式 4）为：
$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$

2. 训练与拟合

数据收集：一个性能分析框架系统地遍历了 NVIDIA、Intel 和 AMD GPU 上的并行策略、量化方案、批量大小和序列长度。
符号回归：该框架搜索数学表达式空间，以找到最能拟合性能分析数据的结构。
参数估计：一旦公式结构确定，便使用 L-BFGS-B 优化算法在少量代表性数据集上拟合十二个标量参数（ $\phi$ ）。
样本效率：该模型仅需50 个性能分析测量值即可实现高精度，相比需要约 500 个样本的集成机器学习方法，减少了 10 倍。

主要贡献

统一闭式模型：开发了一个单一的能耗模型，解耦了 TP 和 PP 的贡献，并将预填充能耗与解码能耗分离，其参数具有明确的物理意义。
符号回归发现：证明了符号回归能够揭示非线性公式结构，这些结构无需更改公式模板即可泛化至不同的架构（稠密、MoE、SSM）、模态（文本、图像、视频）和硬件厂商。
系统化性能分析框架：实现了一个框架，探索并行性、量化和工作负载参数的联合空间，以生成分析建模所需的结构化数据。
直接能耗建模：通过直接对能耗进行建模而非使用延迟作为代理，该框架识别出了更多节能的并行配置，而这些配置常被基于延迟的优化器系统性地忽略。

实验结果

作者在 NVIDIA A100、AMD MI100 和 Intel Max 1550 GPU 上，针对涉及稠密 Transformer、MoE 和状态空间模型的 940 种场景评估了 EnergyLens。

配置选择精度：EnergyLens 实现了88.2% 的 Top-1 配置选择精度（识别出单一最佳能耗配置），显著优于最接近的分析基线 MAVERIQ（后者为 60.9%）。
成对排序：EnergyLens 实现了95.8% 的成对排序精度（正确预测两种配置中哪一种更高效），而 MAVERIQ 为 91.5%。
样本效率：EnergyLens 达到了集成机器学习方法（随机森林、梯度提升）的预测精度，同时所需的性能分析样本数量减少了 10 倍（在 $n=50$ 时 MAPE 为 13.0%，而随机森林在 $n=50$ 时为 49.0%）。
泛化性：
- 跨硬件：该模型仅在重新拟合标量系数的情况下，即可在 GPU 厂商（NVIDIA、Intel、AMD）之间迁移。
- 跨模态：它在文本、图像 + 文本和视频 + 文本工作负载上表现稳健。
- 外推：EnergyLens 可靠地外推至未见过的批量大小（比训练数据大 3 倍至 10 倍），在七个数据集中的五个上实现了≥93% 的成对精度，而基于线性批量的基线则严重失效。
鲁棒性：与需要精确的每配置功耗测量的基于延迟的代理不同，EnergyLens 原生地对能耗进行建模，即使在没有功耗遥测数据的情况下也能保持高精度。

意义与主张

论文声称，EnergyLens 为 LLM 的能耗最优部署提供了一种实用且可解释的工具。其意义在于：

可解释性：与黑盒代理模型不同，EnergyLens 提供“可审计”的预测，操作员可以检查各项以了解能耗的物理驱动因素（例如，验证 TP 与 PP 扩展的相对成本）。
可操作性：该模型使得无需 exhaustive 测量即可识别用于部署的帕累托最优配置成为可能。
成本效益：通过将性能分析预算从数百个样本减少到约 50 个，它使得面向生产环境的能耗感知配置调优成为可行。
物理基础：发现延迟最优解与能耗最优解发生分歧，以及流水线并行即使在不降低延迟的情况下也能降低能耗，这一发现挑战了“延迟足以作为能效代理”的普遍假设。

作者总结道，虽然当前的模板使用加性项，但未来的工作可以探索针对 MoE 和长上下文工作负载的乘性交互，以及与动态调度器的集成以实现在线重新配置。该框架和数据集计划作为开源发布。