🤖 AI

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

本文介绍了 HYMELL，这是一个结合了分析建模与机器学习的混合三层框架，用于准确估算各种大语言模型架构在 NVIDIA H100 等硬件上的推理延迟和能耗，实现了低于 5% 的误差，并支持高效的无需硬件的设计空间探索。

原作者： Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一个巨大的、会说话的机器人，它能写故事、解数学题，还能像人类一样聊天。这个机器人被称为“大语言模型”（LLM）。为了让它运转起来，你需要一个超高速的计算机大脑，通常是一个图形处理器（GPU），这与高端游戏电脑中使用的芯片类型相同。但问题在于：这些机器人的规模和智力正在变得越来越大，导致运行成本极其昂贵。它们吞噬着海量的电力，并且需要很长时间来思考，这使得它们很难在医院或学校等现实场景中应用。

科学家们面临的一个重大问题是：“我们如何在甚至还没建造出机器人之前，就准确知道它需要多少能量和时间？”目前，要了解这些信息，你通常必须先造出机器人，运行它，然后用专门的工具进行测量。这既缓慢又昂贵，而且需要你手头就有那台超级计算机。如果你想尝试一千种不同的机器人设计以找到最有效率的一种，你必须把它们全部造出来并逐一测试，这会耗费无穷的时间并花费巨额财富。

这就是来自南加州大学的一个研究团队提出一个新想法——HYMELL 的地方。把 HYMELL 想象成计算机科学家的“水晶球”。它不需要你建造并测试机器人，而是通过观察机器人的蓝图，就能预测它运行时的速度和耗电量。它巧妙地结合了传统的数学公式和现代机器学习技术，来预估运行这些庞大模型的成本。研究人员在强大的 NVIDIA H100 芯片上测试了这个“水晶球”，发现它对机器人速度和能耗的预测极其精准——误差通常不到 5%。这意味着工程师现在可以在笔记本电脑上快速尝试数千种不同的机器人设计，以寻找最高效的设计方案，而无需购买超级计算机，也不必等待数天才能得到结果。

三层侦探模式

为了理解 HYMELL 是如何工作的，请想象你正在估算制作一个巨大的、多层蛋糕需要多长时间，以及你的烤箱会消耗多少电量。如果你只通过看最终的蛋糕来猜测总时长，往往是不准确的，因为你会错过微小的细节。相反，HYMELL 扮演着一个“三层侦探”的角色，将问题分解成更小、更易处理的部分。

第一层：微小的原料（解析建模）
首先，系统会观察机器人大脑中最基本的“原料”。这些是基础的数学运算，比如对巨大的数字矩阵进行乘法运算（称为 GEMM）、数据归一化（RMSNorm）以及计算注意力分数（Softmax）。研究人员意识到，这些微小的操作会根据任务规模的大小而表现出不同的特性。

类比： 想象一个小的厨房任务，比如切一个洋葱。如果你只有一个洋葱，所需的时间主要取决于走去冰箱、拿刀并开始切的过程（这是“启动受限型/launch-bound”）。但如果你要切一座洋葱山，时间主要取决于实际的切菜速度以及移动洋葱的速度（这是“内存受限型/memory-bound”）。
HYMELL 使用数学公式来计算这些微小原料的成本，具体取决于任务是小规模还是大规模。它不是在瞎猜，而是利用基于物理规则的方法来确定这些操作的基准成本。

第二层：配方模块（机器学习）
接下来，系统将这些微小的原料组合成更大的“模块”，比如注意力模块（帮助机器人关注重要的词汇）和前馈网络（帮助它处理信息）。

类比： 假设你知道切一个洋葱和搅拌鸡蛋各需要多长时间。但当你把它们组合在一起做成一个煎蛋卷时，会出现额外的步骤：比如打碎蛋壳、清洗碗具，可能还要稍微等待一会儿。这些额外的步骤很难用简单的数学来计算。
因此，HYMELL 使用一个小型且智能的计算机程序（机器学习模型）来学习这些“额外的步骤”。它观察来自第一层的数学估算值，并添加一个修正因子，以应对像重塑数据或在不同任务间切换这类复杂的、现实世界的开销。这使得它能够非常准确地预测整个“配方模块”的成本。

第三层：整个蛋糕（端到端预测）
最后，系统将所有的模块组合在一起，以预测整个机器人在进行一次完整对话时的成本。

类比： 现在你已经有了制作煎蛋卷、蛋糕和沙拉所需的时间。但举办一场完整的宴会不仅仅是把这些时间相加。你必须考虑烤箱升温的情况、厨房变得拥挤的情况，以及将盘子从柜台移到餐桌上的时间。
HYMELL 使用另一个智能计算机程序，将所有模块的成本整合在一起，并计入这些“系统级”的影响。它会考虑诸如同时有多少人在提问（批处理大小/batch size），以及机器人是在阅读一段很长的提示词，还是仅仅在生成一个单词。这便给出了总时长和能耗的最终准确预测。

研究发现

研究人员在强大的 NVIDIA H100 GPU 上，使用著名的机器人模型（如 LLaMA 3、Mistral 和 Qwen）对这个三层侦探模型进行了测试。结果令人印象深刻。

高准确度： 对于微小的原料（第一层），预测结果与现实极其接近，误差通常低于 4%。对于整个机器人（第三层），该系统预测时间和能耗的误差在许多模型中都低于 5%。例如，在测试 LLaMA 3 8B 模型时，其在“预填充”阶段（读取提示词）的时间误差为 4.19%，能量误差为 2.92%；而在“解码”阶段（生成单词）时，误差甚至更低（约为 1.5%）。
速度与灵活性： 由于 HYMELL 是基于蓝图（架构参数）进行预测而非实际运行机器人，因此它速度极快。它允许工程师瞬间探索数千种设计变更。例如，他们可以询问：“如果我们把注意力头数增加一倍会发生什么？”并在几秒钟内得到答案，显示出在特定设置下，64 个注意力头可能是最节能的选择。
跨硬件工作： 团队还展示了这种方法并不局限于某一种类型的计算机。他们在另一种 GPU（NVIDIA RTX A6000）上进行了测试，系统依然表现良好，误差在 8% 左右。这表明，如果你想在新的计算机芯片上使用 HYMELL，你不需要重新发明轮子，只需要测量一次新芯片的基础行为，其余系统就会自动适配。

它不是什么

需要注意的是，HYMELL 并不是什么能告诉你如何从零开始建造机器人的“魔杖”，它也无法完全取代实际测试的需求。它是一个预测工具。研究人员明确指出，虽然他们的模型非常准确，但在处理不同部分之间极其复杂的交互作用，或者在切换不同类型的内存优化方式时，仍然存在微小的误差。此外，虽然他们是在单台计算机上进行的测试，但也指出，预测这些机器人在多台计算机协同工作（多 GPU）时的表现，还需要在系统中增加额外的步骤，而这正是他们目前尚未完全解决的问题。

为什么这很重要

HYMELL 的美妙之处在于，它将一场缓慢且昂贵的猜测游戏变成了一门快速且精确的科学。通过将数学公式的可靠性与机器学习的灵活性相结合，它为设计师提供了一个强大的工具，去构建更绿色、更快、更高效的 AI。设计师不再需要通过燃烧电力和时间来测试每一个想法，而是可以使用这个“水晶球”在建造之前就找到最佳设计，从而为人工智能的可持续未来铺平道路。

技术摘要：针对 LLM 能耗与延迟的混合建模框架 (HYMELL)

问题陈述

大语言模型（LLM）的快速规模化导致了计算成本、能耗和推理延迟的大幅增加。准确估计这些指标对于可持续 AI 部署和硬件感知设计至关重要。现有方法面临显著局限性：

纯解析模型（如 AMALI、LIFE、SweetSpot）通常需要大量的手动建模、详细的逐算子（per-kernel）分析以及显式的硬件规格说明。在适配新架构或新算子时，它们难以实现可扩展性，并且依赖于在不同系统开销下可能不再成立的假设。
基于代理的方法（例如使用推理时间作为能耗的代理）无法捕捉细粒度的架构效应或系统级开销，仅能提供粗粒度的估计。
纯数据驱动模型通常缺乏可解释性，并且在没有大量重训练的情况下，难以在不同的序列长度和批处理机制下实现良好的泛化。

因此，需要一种能够平衡准确性、可解释性，并能同时对密集型（Dense）和混合专家（MoE）架构在预填充（prefill）和解码（decode）阶段进行建模的框架。

方法论：HYMELL 框架

作者提出了 HYMELL（Hybrid Modeling for Energy and Latency of LLMs），这是一个三层分层框架，它将用于底层原语操作的解析建模与用于高层组件的机器学习（ML）相结合。该框架在 NVIDIA H100 GPU 上运行（并在 RTX A6000 上进行了验证），支持 Dense 和 MoE 架构，以及多头注意力（MHA）和分组查询注意力（GQA）。

第一层：原语算子的解析估计

这一层使用感知机制（regime-aware）的解析方程对底层 GPU 操作进行建模。作者区分了启动受限（launch-bound，由内核启动开销主导的小型工作负载）和内存受限（memory-bound，由内存流量主导的较大工作负载）执行机制。

RMSNorm：被建模为具有固定开销的内存受限算子。估计器使用基于 Token 数量 ( $N$ ) 和隐藏层维度 ( $d_{model}$ ) 的回归系数，根据处理的总元素量来区分不同的执行机制。
Softmax：针对因果注意力矩阵（ $N \times N$ ）进行建模。估计器捕捉了二次方内存流量 ( $N^2$ ) 和归约深度 ( $\log_2 N$ )，并根据序列长度阈值切换执行机制。
GEMM（通用矩阵乘法）：主要的计算模块。该模型将 GEMM 划分为五个机制，基于总浮点运算数 ( $F$ ) 和算术强度（AI）：内核启动受限、内存受限、平衡（内存主导）、平衡（计算主导）以及计算受限。特征包括并行因子 ($PF = MN/K $)、内存流量 ($ B_{in}, B_{out}$) 以及用于捕捉 GPU 利用率细微差别的交互项。

第二层：块级组件的 ML 预测

来自第一层的解析估计作为轻量级多层感知机（MLP）的输入，用于预测复杂模块的成本，从而捕捉未在解析模型中明确建模的残余开销（例如：张量变形、掩码、激活函数和路由）。

注意力模块（Attention Block）：接收 GEMM 和 Softmax 的预测结果，以及架构参数（头数、维度），以预测总注意力和能耗。它支持 MHA 和 GQA，并显式地对自回归解码过程中的 KV 缓存长度 ( $L_{KV}$ ) 进行建模。
FFN 模块：使用上投影和下投影的 GEMM 预测结果。对于 MoE 架构，它结合了专家数量和 top- $k$ 路由作为输入，以预测聚合成本。

第三层：端到端系统级估计

最终的 MLP 将块级预测与全局系统参数（模型维度、层数、序列长度、批大小、推理模式、MoE 配置）进行聚合。这一层捕捉了系统级效应，如内核调度、跨层同步以及难以在较低层级进行建模的框架开销。

核心贡献

混合三层架构：一种创新的框架，利用了解析模型在原语操作上的可解释性，以及机器学习在处理复杂交互和开销时的灵活性。
感知机制的解析建模：针对 RMSNorm、Softmax 和 GEMM 实现了明确的启动受限与内存/计算受限机制的分离，显著提高了对小张量和多变工作负载的预测精度。
硬件无关的可移植性：虽然是在特定硬件上训练的，但该框架设计为具有可移植性。适配新 GPU 仅需通过重新剖析（re-profiling）来更新解析系数并微调轻量级 MLP，无需重新推导结构方程。
支持多样化架构：该模型可处理 Dense 和 MoE FFN，以及 MHA 和 G%，并适用于各种序列长度和批次大小。

实验结果

该框架在 NVIDIA H100 GPU 上进行了评估，涵盖了约 1,200 种模型配置（包括 LLaMA 3 8B、Mistral 7B 和 Qwen 1.5 2.7B MoE）。

算子级准确度：
- RMSNorm：时间 MAPE 为 1.69%，能量 MAPE 为 3.38%。
- Softmax：时间 MAPE 为 3.27%，能量 MAPE 为 1.92%。
- GEMM：在不同机制下，时间 MAPE 为 6.38%，能量 MAPE 为 5.79%。
块级准确度：
- Attention：时间 MAPE 为 1.98%，能量 MAPE 为 2.42%。
- FFN：对于 Dense 架构，时间 MAPE 为 4.62%，能量 MAPE 为 5.47%；由于路由开销，MoE 架构的误差略高。
端到端准确度：
- 在 Dense 和 MoE 模型以及预填充和解码阶段，平均实现了 10.98% 的延迟 MAPE 和 11.78% 的能量 MAPE。
- 与 AMALI 对比：在 LLaMA 3 8B（批大小为 1）的任务中，HYMELL 显著优于解析模型 AMALI。HYMELL 在预填充阶段的耗时 MAPE 为 4.19%（解码阶段为 1.58%），而 AMALI 分别为 15.56% 和 34.90%。此外，HYMELL 还提供了 AMALI 未能提供的能量估计。
泛化能力：
- 跨设备：当移植到 NVIDIA RTX A6000 时，在经过重新剖析后，该框架仍保持了很强的准确性（平均时间 MAPE 为 8.14%，能量 MAPE 为 8.62%）。
- 架构可扩展性：该框架成功估计了线性注意力变体，且误差较低（时间 MAPE 为 1.91%），展示了其对非标准注意力机制的适应能力。

重要性与声明

论文声称 HYMELL 提供了一个快速、无需硬件的代理模型，用于评估 LLM 推理。通过直接从架构参数预测执行成本，它能够实现：

快速设计空间探索：研究人员可以遍历参数（例如：注意力头数、模型维度、MoE 设置），以寻找能最小化能量或延迟的配置，而无需进行物理实验。
能效优化：该框架支持针对硬件感知设计的架构参数联合优化。
可扩展性：这种混合方法避免了全解析模型的复杂性，同时比纯数据驱动的黑盒模型具有更好的泛化能力。

作者强调，虽然评估重点是单 GPU 推理，但该框架的模块化特性允许通过引入集体通信原语（collective communication primitives）和网络带宽作为全局特征，将其扩展到多 GPU 扩展场景。这项工作为可持续 AI 部署奠定了基础，通过实现早期阶段的准确能量和延迟估计，助力硬件感知设计。