💬 NLP

Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference

该论文针对大语言模型推理中的高能耗问题，提出以“每 token 能耗”为核心指标，通过结合小模型增强策略与动态推理深度控制，在保障准确性的同时实现可持续的 AI 部署。

原作者： Patrick Wilhelm, Thorsten Wittkopp, Odej Kao

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Patrick Wilhelm, Thorsten Wittkopp, Odej Kao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给人工智能（AI）算一笔“能源账”，并提出了一个更聪明的“点餐”策略。

想象一下，你开了一家超级智能餐厅（这就是大型语言模型，LLM），顾客（用户）来点菜（提问）。

1. 核心问题：大厨师 vs. 小厨师，谁更划算？

以前，大家觉得只要菜做得好吃（准确率高），用多大的厨师（模型大小）都无所谓。于是，大家都倾向于雇佣超级大厨师（大模型），因为他们什么都会做，什么难题都能解决。

但这篇论文发现了一个大问题：大厨师虽然厉害，但特别费电（耗能高）。

大厨师（大模型）：像是一个拥有 100 个助手的团队，做一道简单的“炒鸡蛋”（简单问题），可能只需要 1 分钟，但团队全员待命，电费很贵。
小厨师（小模型）：像是一个只有几个人的小团队，做“炒鸡蛋”非常快，电费也便宜。但如果遇到“做满汉全席”（复杂的数学或逻辑题），小厨师可能会手忙脚乱，做出来的菜味道不对。

2. 新的尝试：给小厨师加“思考时间”

为了解决小厨师做不好难题的问题，研究人员想出了一个办法：让大厨师教小厨师“多思考几步”。

思维链（Chain-of-Thought, CoT）：这就好比让小厨师在炒菜前，先在脑子里把步骤写下来：“先切菜、再热油、最后下锅”。
结果：小厨师经过这种“深度思考”后，确实能做出像大厨师一样好吃的菜（准确率提高了）。
代价：但是！因为要“多思考”，小厨师在脑子里演算的时间变长了，消耗的能量（电费）竟然翻了 100 多倍！这就好比为了做一盘炒鸡蛋，小厨师在厨房里折腾了整整一天，虽然菜好吃，但电费账单让人崩溃。

3. 另一个发现：不同的厨师，不同的“能耗曲线”

论文还做了一个有趣的实验，发现即使是处理同样的问题，不同的模型（厨师）在硬件上的耗电方式也是不一样的。

非线性耗电：这就好比开车。有些车（模型）在刚起步时很省油，但跑起来越久越费油；有些车则相反。
结论：我们不能简单地认为“模型参数一样，耗电就一样”。实际上，不同的模型架构，在生成每一个字（Token）时，消耗的能源曲线都是独特的。这就意味着，我们需要为每个模型画一张专属的“能耗地图”。

4. 解决方案：聪明的“智能点餐员”（路由机制）

既然知道了大厨师费电、小厨师费脑（加思考后更费电），那该怎么办呢？

作者提出了一个**“智能点餐员”**（Query Routing）系统。这个系统就像餐厅的前台经理，它的任务不是盲目地让大厨师做菜，而是根据顾客点的菜，做出最划算的决定：

场景 A：顾客点“炒鸡蛋”（简单问题，如常识问答）
- 策略：直接派小厨师去做。
- 理由：小厨师做得快，电费便宜，完全没必要动用大厨师。
场景 B：顾客点“微积分难题”（复杂推理，如数学题）
- 策略：派大厨师去做，或者给小厨师用“深度思考”模式。
- 关键发现：论文发现，对于数学题，直接派大厨师（Llama 8B）其实比让小厨师拼命思考（Llama 1B + CoT）更划算！因为大厨师虽然本身费电，但他不需要像小厨师那样为了思考而消耗额外的 100 倍能量。
- 结论：在大多数复杂任务上，直接升级厨师（用大模型）比强迫小厨师加班思考更环保、更省钱。
场景 C：顾客点“模糊的创意菜”（不确定答案）
- 策略：可以让小厨师多试几次（多数投票），看看哪种做法最好。
- 理由：虽然这也费电，但比直接换大厨师要划算一些。

5. 核心思想：按需分配，拒绝浪费

这篇论文最终想告诉我们要**“量体裁衣”**：

不要盲目追求大模型：对于简单任务，用大模型是浪费。
不要盲目给小模型加“思考”：虽然能提高准确率，但电费太贵，得不偿失。
建立“能耗地图”：我们要像看汽车油耗一样，了解每个模型在不同任务下的真实能耗。
动态路由：未来的 AI 系统应该像一个聪明的管家，根据问题的难度，自动决定是叫“小厨师”、“大厨师”，还是让“小厨师思考一下”，从而在保证菜好吃（准确率高）的同时，把电费（能源消耗）降到最低。

一句话总结：
这篇论文呼吁我们，在 AI 时代，不仅要问“谁做得最好吃”，更要问“谁做得最省电”。通过聪明的调度，让简单的任务找小模型，复杂的任务找大模型，而不是让所有任务都去“硬扛”或“死磕”，这样才能实现真正可持续的、绿色的 AI。

这篇论文《Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference》（超越测试时计算策略：倡导大语言模型推理中的“每 Token 能耗”指标）深入探讨了大语言模型（LLM）在推理阶段的能效问题，特别是针对测试时计算策略（Test-Time Compute Strategies）带来的能源与准确率之间的权衡。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

能源危机与 AI 扩张：随着 AI 模型的普及，全球数据中心的能源需求预计将在 2026 年达到 1000 TWh，相关碳排放可能占全球总量的 8%。LLM 的参数量增加虽然提升了性能，但也带来了巨大的推理能耗。
推理阶段的忽视：现有的“缩放定律”（Scaling Laws）主要关注训练阶段的效率，往往忽视了推理阶段。研究表明，在高需求、低延迟的应用场景中，推理的能耗甚至超过了训练。
测试时计算策略的代价：为了提升小语言模型（SLM）的性能，研究者常采用测试时计算策略，如思维链（Chain-of-Thought, CoT）提示或多数投票（Majority Voting）。然而，这些策略虽然能提升准确率，却引入了巨大的额外能耗，导致“准确率 - 能耗”的权衡（Trade-off）失衡。
缺乏统一指标：目前缺乏标准化的推理能耗指标（如“每 Token 能耗”），导致难以直接比较不同模型和优化策略的能效。

2. 方法论 (Methodology)

实验设置：
- 硬件：NVIDIA L40S GPU。
- 模型：对比了不同架构的 LLM，包括 LLaMA 3.2 的 1B（小模型）和 8B（较大模型）版本。
- 数据集：
  - MT-Bench：用于评估多轮对话和不同长度输入下的能耗。
  - MMLU：包含 57 个类别的多任务基准，用于评估不同领域的准确率和能耗。
  - MATH500：用于评估 CoT 在数学推理任务上的表现。
- 控制变量：设置 Batch Size 为 1 以确保公平比较，使用 NVIDIA Management Library 测量 GPU 能耗。
核心指标：
- 提出了 Energy-per-Token (每 Token 能耗) 指标，公式为：
  $\text{Energy per Token [Joule]} = \frac{W_{\text{consumed}} \times \text{Time (s)}}{T_{\text{processed}}}$
  其中 $T_{\text{processed}}$ 是输入 Token 和输出 Token 的总和。
实验设计：
1. 输入处理能耗：固定输出为 1 个 Token，分析不同模型处理相同输入 Prompt 的能耗差异。
2. 生成能耗：分析自回归生成过程中，随着生成 Token 数量增加（最多 128 个），能耗的非线性变化曲线。
3. 策略对比：在 MMLU 基准上，对比 LLaMA 1B 的零样本（Zero-Shot）、多数投票（MV）、思维链（CoT）与 LLaMA 8B 的零样本表现。

3. 关键发现与结果 (Key Findings & Results)

架构差异显著：即使是参数量相同的模型，其架构不同也会导致处理相同输入时的能耗效率截然不同。
非线性能耗曲线：
- 基于 Transformer 的自回归生成机制导致能耗随生成 Token 数量呈现非线性增长。
- 不同模型表现出独特的“操作曲线”（Operating Curves），这意味着可以通过拟合函数来预测特定模型在特定硬件上的能耗。
- GPU 利用率与每 Token 能耗并不总是正相关（例如 Mistral 利用率低但单 Token 能耗高）。
测试时策略的能效权衡：
- 多数投票 (Majority Voting)：仅带来微小的准确率提升（部分领域 +0% 至 +19%），但能耗增加了 72% 至 177%，能效极低。
- 思维链 (CoT)：在结构化推理任务（如数学）中准确率大幅提升（+281%），但能耗激增了 120 倍至 150 倍。这使得 CoT 在实际部署中极不经济。
- 大模型优势：LLaMA 8B 在保持中等能耗增加（35%-65%）的同时，提供了显著更高的准确率（相比 1B 模型提升 47%-350%）。结论是：在复杂任务中，直接使用较大的模型（如 8B）比使用小模型配合 CoT 策略更具能效优势。
任务依赖性：CoT 对数学、工程类任务有效，但对人文、社科等知识类任务提升有限，却仍带来巨大能耗。

4. 主要贡献 (Key Contributions)

提出“每 Token 能耗”指标：倡导将能耗作为与准确率同等重要的评估指标，填补了推理阶段标准化能耗评估的空白。
揭示非线性能耗特性：通过实验量化了 Transformer 架构在自回归生成过程中的非线性能耗曲线，为预测能耗提供了理论依据。
重新评估测试时计算策略：证明了盲目使用 CoT 等策略会导致严重的能源浪费，指出在大多数场景下，选择合适大小的模型比使用复杂的推理策略更可持续。
提出智能路由架构 (Energy-Aware Routing)：
- 设计了一个包含性能估计器和能耗估计器的动态路由系统。
- 路由策略：
  - 对于简单任务（如人文、社科），直接路由到小模型（LLaMA 1B）。
  - 对于复杂推理任务（如数学），优先路由到中等规模模型（LLaMA 8B），而非让小模型运行 CoT。
  - 仅在极端高准确率需求下（如数学竞赛级问题），才考虑启用 CoT，并配合动态 Token 预算机制（基于操作曲线控制推理深度），防止过度计算。

5. 意义与展望 (Significance)

可持续 AI 部署：该研究强调了在 AI 部署中必须平衡准确率与环境影响。通过引入能耗感知路由，可以显著减少全球 AI 推理的碳足迹。
范式转变：挑战了“通过增加推理计算量来提升小模型性能”的当前趋势，主张通过智能模型选择和受控的推理深度来实现高效能。
系统级优化：提出的路由架构不仅考虑模型本身，还结合了实时服务器负载、延迟约束和区域碳强度，为构建绿色、高效的 AI 系统提供了具体的工程蓝图。

总结：这篇论文通过严谨的实验数据证明，在 LLM 推理中，盲目追求测试时计算（如 CoT）往往得不偿失。未来的方向应转向基于能耗感知的动态路由系统，根据任务复杂度智能选择模型规模和推理策略，以实现真正的可持续人工智能。