🤖 machine learning

The Model Parking Tax: Quantifying the Hidden Energy Cost of Always-On GPU Model Deployment

本文通过实证表明，将 AI 模型加载至 GPU 内存中的能耗主要由 CUDA 上下文 DVFS 转换引发的离散功率增加所驱动，而非显存占用量，从而揭示出模型部署的能耗最优策略取决于请求到达率和冷启动延迟，而非模型规模。

原作者： Sai Sathvik Vadari

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Sai Sathvik Vadari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《模型停车税》的解释。

核心理念：AI 的“停车税”

想象你经营着一家繁忙的餐厅。你有一条规定：“一旦为贵宾客人摆好了餐桌，即使没人坐，我们也永远保持餐桌的摆设。”

为什么？因为如果有新客人到来，你不想浪费时间重新摆放餐具、餐巾和菜单。你希望他们能立刻坐下用餐。

在 AI 领域，公司对待名为GPU（图形处理器）的强大计算机芯片也采取同样的做法。当他们把 AI 模型（如聊天机器人）加载到 GPU 上时，即使没人向它提问，也会让它一直运行，24 小时不间断。他们这样做是为了避免“冷启动”延迟——即从零开始加载模型所需的时间。

问题所在：这篇论文指出，将这些 AI 模型“停泊”在 GPU 上极其浪费电力，而且原因出乎所有人的意料。

隐藏的成本：不在于汽车的“大小”

大多数人认为，在 GPU 上保持一个巨大的 AI 模型（如拥有 700 亿参数的怪物）运行，比保持一个微小的模型（如 70 亿参数模型）消耗更多的电力，因为大模型在 GPU 的显存（VRAM）中占据了更多空间。

论文的重大发现：这是错误的。

作者在三种不同类型的高端 GPU（H100、A100 和 L40S）上进行了测量。他们发现，“停放”模型的电力成本几乎完全取决于启动引擎，而不是汽车在车库中占据了多少空间。

类比：怠速的汽车

把 GPU 想象成汽车引擎：

完全熄火：汽车关闭。引擎是冷的。它几乎不消耗燃油。
“上下文”（引擎启动）：一旦你转动钥匙启动汽车（创建"CUDA 上下文”），引擎就会高速空转，以便随时准备立即行驶。
- 令人震惊的一点：一旦引擎开始高速空转，无论你是在后备箱里放一辆微型自行车还是一辆巨大的卡车，引擎仍然以相同的高速空转，消耗相同量的燃油。

论文将这种现象称为"模型停车税"。

税收：一旦你加载任何模型，就必须支付一笔固定的电力费用（根据芯片不同，在 26 到 66 瓦之间）。
意外之处：增加更多内存来容纳更大的模型，几乎不会增加额外成本。无论你停放的是 1GB 的模型还是 64GB 的模型，电费账单都是一样的。

他们是如何发现这一点的

研究人员没有凭空猜测，而是做了两件事：

现实世界的观察：他们在数据中心观察了 14 块真实的 GPU，持续 18 天，进行了数十万次测量。他们发现，当模型被加载时，功耗会上升，但改变模型大小并不会改变功耗。
受控实验：他们选取了三种不同类型的 GPU，系统地将它们的内存从空填满，就像往桶里倒水一样。他们在每一步都测量了功耗。
- 结果：功耗线是平的。往桶里倒更多的“水”（内存）并不会让“引擎”更努力地工作。

“盈亏平衡”时刻

那么，我们应该关掉引擎以节省燃油吗？论文说是的，但前提是你等待的时间足够长。

他们计算了一个“盈亏平衡点”。这是指你需要等待多长时间，才会发现关掉引擎并在稍后重新启动比让它怠速更划算。

数学计算：对于大多数现代设置，如果你1 到 5 分钟内没有收到请求，实际上关掉模型并在有人请求时重新加载会更便宜。
关键点：小模型是浪费最严重的。它们几秒钟就能加载完毕，因此使用后应立即关闭。但大模型加载时间较长，所以你可能需要让它们多运行一会儿。然而，论文指出，“税收”对两者是一样的，因此如果小模型被保持开启，它们是最浪费的。

解决方案：更智能的调度器

作者构建了一个简单的“智能停车计时器”（即调度器）。该系统不再让模型永远保持开启，而是检查：“距离上一次请求是否已超过 5 分钟？”

如果是：将其关闭。
如果否：保持开启。

当他们测试这一系统时，与标准的“永远开启”方法相比，节省了**8% 到 23%**的电力，且用户几乎感觉不到延迟。

结论

误区：“我们必须让大型 AI 模型在 GPU 上 24 小时运行，因为它们加载时间太长。”
现实：保持它们运行的成本是由 GPU 引擎高速空转引起的固定“停车费”。模型的大小无关紧要。
对策：我们应该更频繁地关闭这些模型。如果一个模型几分钟内未被使用，就将其关闭。这能节省巨大的能源（整个行业每年可能节省数百吉瓦时），而不会损害性能。

简而言之：你不需要仅仅因为后备箱很大就让引擎一直运转。如果你不驾驶，就把车关掉。

技术摘要：模型停放税

问题陈述

当前 AI 推理的运营模型涉及将模型部署到 GPU 上，并无限期地将其保留在 VRAM 中，以避免与“冷启动”相关的延迟。虽然这种“保持温暖”策略的延迟优势已有充分记录，但就绪状态带来的持续能源成本一直被视为一个未量化的常数。行业报告估计，GPU 的空闲功耗约为热设计功耗（TDP）的 20%，但分配特定数量 VRAM 的边际能源成本从未被实证分解。

本研究探讨的核心问题是：将模型权重存储在 GPU VRAM 中是否会产生可测量的边际空闲能耗，以及这种成本是否因不同的 GPU 架构和内存技术而异。现有文献表明，CUDA 上下文会迫使 GPU 即使在空闲时也运行在更高的时钟频率，但尚不清楚模型的大小（VRAM 占用量）是否会进一步增加功耗，超出仅维持上下文所需的成本。

方法论

作者采用两阶段方法，结合大规模生产遥测数据与针对三种不同 GPU 架构的受控剂量 - 反应实验：NVIDIA H100（HBM3）、A100（HBM2e）和 L40S（GDDR6）。

第一阶段：生产遥测

范围：来自两个 Kubernetes 节点上 14 块 NVIDIA H100 GPU 的 18 天数据。
数据量：335,267 个空闲状态样本（0% 利用率），VRAM 分配量从 3 MB 到 79 GB 不等。
仪器：通过 NVIDIA 数据中心 GPU 管理器（DCGM）导出器以 30 秒为间隔收集指标。

第二阶段：受控实验

设计：在每种架构的一块 GPU（H100、A100、L40S）上进行受试者内剂量 - 反应研究。
协议：
1. 记录“裸空闲”功耗（无 CUDA 上下文）。
2. 创建持久的 CUDA 上下文。
3. 使用 torch.empty 张量依次分配递增的 VRAM（0 到 40–72 GB）。
4. 对每个分配级别，通过 nvidia-smi 记录 20 分钟的功耗。
验证：实验使用真实的 HuggingFace 模型（Qwen2.5-7B）进行验证，以确保真实的模型权重和 CUDA 内核不会像空张量那样改变空闲功耗曲线。
统计严谨性：研究利用双单侧检验（TOST）来建立等效性，测试边际功率系数（ $\beta$ ）是否在实际上为零（界限为 $\pm 0.1$ W/GB）。

主要发现

1. “停放税”是阶跃函数，而非梯度

研究识别出由两个不同组成部分构成的“模型停放税”：

CUDA 上下文开销（ $\Delta P_{DVFS}$ ）：创建 CUDA 上下文会触发离散的动态电压和频率缩放（DVFS）转换。无论利用率如何，流多处理器（SM）时钟都会从低功耗空闲状态（210–345 MHz）跳变到最大加速频率（1410–2520 MHz）。
- H100：+49.9 W 开销。
- A100：+26.3 W 开销。
- L40S：+66.4 W 开销。
  这一阶跃步骤占所有测试架构总空闲功耗成本的98% 以上。
边际 VRAM 效应（ $\beta$ ）：一旦 CUDA 上下文激活，将分配的 VRAM 从 0 GB 变化到最大测试容量（高达 72 GB），功率变化小于 1 W。
- 在 H100 和 L40S 上，回归斜率 $\beta$ 在统计上与零无显著差异。
- 在 A100 上，观察到统计显著的负斜率，但作者将其归因于热漂移（随时间温度降低），而非内存物理效应，并指出其幅度微不足道（总计<0.1 W）。
- 结论： $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$ 。成本取决于上下文的存在，而非内存的占用量。

2. 跨架构一致性

关于空闲功耗呈分段常数这一发现，在三种截然不同的内存技术（HBM3、HBM2e、GDDR6）和微架构（Hopper、Ampere、Ada Lovelace）中均成立。这种一致性支持了理论预测：在空闲状态下，内存功耗主要由背景和刷新电路主导（无论数据内容如何，这些电路都会扫描所有行），使得功耗与占用量无关。

3. 冷启动盈亏平衡模型

作者推导了一个盈亏平衡模型（ $T^*$ ），用于确定驱逐模型与保持其温暖的最佳时间：
$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$
其中 $P_{park}$ 是停放税（上下文开销）， $P_{load}$ 是加载期间的功耗， $t_{load}$ 是加载持续时间。

结果：盈亏平衡间隔很短，通常为1–5 分钟，具体取决于架构和加载方法。
启示：对于几秒钟内即可加载的小模型，保持其温暖的能源成本往往超过冷启动的成本，即使请求率适中。盈亏平衡点取决于加载延迟和功耗，而非模型大小。

意义与主张

该论文声称提供了首个跨架构的 GPU 空闲功耗随 VRAM 分配变化的测量数据。其主要贡献包括：

空闲成本分解：实证地将空闲功耗分解为巨大的、固定的 DVFS 成本（由 CUDA 上下文触发）和可忽略的、实际上为零的边际 VRAM 成本。
挑战当前实践：挑战了行业关于较大模型会产生成比例更高空闲能源成本的假设。该论文断言，1 GB 模型和 64 GB 模型支付“相同的停放税”，因为成本是由上下文驱动的，而非内存占用量。
运营指导：作者提出，“感知大小的调度”（冷启动小模型）和“感知盈亏平衡的驱逐”比始终在线的部署更节能。
行业影响估算：基于 2023 年的出货数据和 65% 的利用率，作者估计仅 CUDA 上下文开销一项，全球每年就占92–1,745 GWh，基础估算为 462 GWh/年（约 180 千吨 CO2）。

论文结论指出，GPU 供应商应调查将时钟频率与上下文存在解耦的空闲状态，而无服务器平台应优先消除 CUDA 上下文，而非减少模型占用量，以实现节能。使用推导出的盈亏平衡模型的概念验证调度器，在 24 小时模拟中相比始终在线的基线实现了**8–23%**的节能。