Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

想象一个这样的世界：运行我们现代生活的软件不仅由人类之手编写，也由人工智能编写。这些被称为大语言模型的数字助手已经变得如此精通编写代码，以至于它们现在已成为数百万开发者日常工作流的一部分。它们可以完成一段编程语句，调试一个损坏的函数，或者根据简单的描述构建一个小程序。然而，这种便利伴随着隐形的代价。每当这些模型进行思考时，它们都会消耗大量的电力，从而导致碳足迹不断增加，威胁着我们希望保护的生态环境。随着对这些工具的需求日益增长，科学家们提出了一个关键问题：我们如何在不烧毁地球的前提下，让它们变得更快、更便宜？

为了回答这个问题，研究人员最近进行了一项测试，研究这些“人工大脑”在从一种类型的计算机硬件转移到另一种类型时会如何表现。多年来，开发者一直知道，在最初为视频游戏设计的专用图形芯片上运行这些模型，要比在标准计算机处理器上运行快得多。但速度只是故事的一半。该团队想要知道，转向更快的硬件是否也能节省能源，更重要的是，这是否会改变模型生成的代码质量。他们还对提示词中一个微妙的技巧感到好奇：在要求模型执行任务之前，先给它几个示例。展示模型的示例工作是否能帮助它节省能源，还是仅仅会让过程变得更长？

研究人员选取了五种不同的开源编码模型，并对它们进行了严格测试。他们在两台截然不同的机器上运行了同一组编程挑战：一台是标准计算机处理器，另一台是强大的图形卡集群。他们精确测量了每次运行消耗的能量、所需的时间，以及生成的代码是否能够实际运行。他们还对比了两种向模型寻求帮助的方式。在第一种方法中，他们给出的任务没有任何示例，即“零样本”（zero-shot）方法。在第二种方法中，他们先提供了三个类似任务的示例，即“三样本”（three-shot）方法，以此来引导模型的思维。

结果令人震惊，并揭示了速度与稳定性之间明显的权衡。当模型被转移到强大的图形硬件时，速度的差异几乎是难以想象的。生成代码所需的时间下降了超过 99%，将原本需要数秒的过程缩短到了几分之一秒。这种巨大的提速也导致了能耗的大幅下降，某些任务消耗的电量比在标准处理器上运行时减少了近 90%。这是效率的一次显著胜利。然而，当研究人员观察代码质量时，故事变得复杂起来。

当模型在没有任何示例的情况下被要求工作时，转向更快的硬件导致它们的行为变得难以预测。因为图形芯片处理信息的方式与标准处理器不同，即使设置完全相同，模型有时也会生成结构迥异或根本无法运行的代码。这就好像同一个人在两个不同的房间里被要求写故事，却会得出完全不同的结局。这种不一致性在模型只能靠自己摸索时最为严重。

事实证明，解决这种不稳定性性的方案出奇地简单。当研究人员在要求模型编写代码之前提供三个示例时，行为发生了戏剧性的变化。模型变得更加一致，无论在运行哪种计算机上都能产生可靠的结果。此外，这种展示示例的方法也节省了能源。通过给模型一条清晰的路径，它避免了生成那些在没有示例时经常出现的冗余闲聊或冗长解释。这种“三样本”方法剔除了过程中的“赘肉”，在某些测试中将能耗降低了 60% 以上，使代码生成既快速又准确。

这项研究最终表明，仅仅购买更快的硬件不足以解决人工智能在能源和质量方面的问题。虽然转向强大的图形卡使过程变得极其高效，但这本身并不保证能带来更好的结果。事实上，如果没有正确的引导，速度可能会以牺牲可靠性为代价。研究人员发现最有效的策略是两者的结合：利用强大的硬件来获取速度，但同时配合一种提供少量示例来引导模型的提示风格。这种方法不仅保持了低能耗，还确保了生成的代码既稳定又正确。

最后，这项研究强调，绿色人工智能的未来取决于我们如何提问，而不仅仅是我们使用什么样的机器。通过精心设计我们与这些模型的交互方式，我们可以利用它们的速度，而不必牺牲工作的质量或地球的健康。前行的道路不仅在于建造更大、更快的计算机，更在于找到我们所使用的工具与我们给出的指令之间的正确平衡。