Towards Green AI: Decoding the Energy of LLM Inference in Software Development
本研究分析了软件开发中大语言模型（LLM）推理的能耗，揭示了预填充（prefill）成本显著放大了解码阶段的能耗，并且实施“喋喋不休抑制”（babbling suppression）可以在不牺牲准确性的情况下将能耗降低高达 89%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一位非常聪明、但有点过于热情的机器人厨师来为你写一份食谱。你想知道这个机器人厨师在工作时消耗了多少电量。这篇论文就像是对这位机器人厨师进行的详细能源审计，精确地分解了它在何时以及为何消耗了最多的电量。
以下是这项研究的故事，用简单的语言讲述：
烹饪的两个阶段
研究人员发现，当机器人厨师（即大语言模型或 LLM）工作时，它并不是以一种单一且连续的流式过程进行“烹饪”。它实际上有两个截然不同的阶段，就像一场两步走的舞蹈：
- “阅读菜单”阶段（预填充/Prefill）： 首先，机器人会阅读你的整个请求。如果你要求做一个简单的蛋糕，它会读一段简短的笔记。如果你要求准备一场复杂的盛宴，它会读一本厚厚的书。在这段时间里，机器人正在构建一个关于你所要求的一切的心理地图。这被称为预填充（prefill）。
- “编写食谱”阶段（解码/Decoding）： 一旦机器人理解了请求，它就会开始一个词（或一个“标记/token”）接一个词地编写食谱。这被称为解码（decoding）。
巨大的惊喜： 大多数人认为“编写”部分才是耗能的大头。然而，研究人员发现，在几乎所有情况下，**编写阶段（解码）**实际上消耗了最多的电量。不过，它消耗多少电量很大程度上取决于最初的“菜单”（输入）有多长。
“沉重背包”效应
想象一下机器人厨师必须背着一个背包。
- 输入： 当你给机器人一个长而复杂的提示词（比如一篇 4,000 字的故事）时，它必须在“阅读”阶段把所有这些信息塞进一个巨大且沉重的背包里。
- 解码： 现在，机器人在编写食谱时必须背着那个沉重的背包。背包越重（输入越长），编写食谱中的每一个词所消耗的能量就越多。
研究发现，如果你给机器人一个海量的输入，编写答案的第一个词所产生的能量成本可能会比短输入增加近 52%。这就像是在背着一个沉重的行李箱跑马拉松；行李箱让每一步都变得更加昂贵。
“唠叨”问题（喋喋不讲/Babbling）
这是最有趣的部分。有些机器人厨师是**“唠叨者”**。
想象一下，你要求一位厨师“写一个函数来将两个数字相加”。一位礼貌的厨师写完代码就停止了。而一位“唠叨者”会写完代码，然后加上一段长长的解释，接着是测试用例，然后是一个笑话，然后它会一直写下去，直到触及硬性的限制上限，即便任务在几分钟前就已经完成了。
研究人员发现，他们测试的模型中有 3/10 是唠叨者。它们生成了大量不需要的“废话”文本。由于机器人为生成的每一个词都要消耗电量，这些唠叨者在那些稍后会被丢弃的文字上浪费了大量的能量。
解决方案：“停止信号”（Stop Sign）
为了解决唠叨问题，研究人员构建了一个智能的“停止信号”系统（称为唠叨抑制/Babbling Suppression）。
他们不再让机器人一直写到达到最大限制，而是建立了一个系统，在每一行之后进行检查。
- 机器人： “这是代码。”
- 系统： “它运行成功了吗？是的。”
- 系统： “停止！你做完了。”
这个简单的技巧阻止了唠叨者编写不必要的废话。结果令人震惊：
- 他们减少了 44% 到 93% 的文本生成量。
- 他们节省了该任务中 44% 到 89% 的能量消耗。
- 至关重要的是，代码质量并没有下降；机器人仍然正确完成了工作，它只是在完成工作后停止了说话。
总结
这篇论文教给我们三个让 AI 更环保的主要观点：
- 不要过度打包背包： 长输入会让编写阶段变得更加昂贵，因此只给 AI 提供它真正需要的上下文。
- 关注背包重量： 输入的大小会改变编写阶段消耗能量的方式。
- 阻止喋喋不讲： 如果 AI 在唠叨（生成多余的废话），请立即停止它。通过切断不必要的文字，你可以节省几乎 90% 的能量。
简而言之，为了让 AI 更具可持续性，我们需要谨慎对待让它阅读的内容，并且要在它完成工作的那一刻，明确告诉它停止说话。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。