Kareus: Joint Reduction of Dynamic and Static Energy in Large Model Training
Kareus 是一种通过将联合优化问题分解为基于分区的子问题，并采用多轮多目标算法，从而同时优化大规模模型训练中的动态和静态能耗的训练系统，与现有最先进的方法相比，在缩短训练时间或降低能耗方面取得了显著成效。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大问题：AI 的电费账单
想象一下，训练一个庞大的 AI 模型就像是在运营一个巨大的、高科技的工厂。这个工厂需要两样东西才能运转：电力（能量）和时间。
目前，世界建设这些工厂的速度快于我们供应电力速度。论文指出，能源已经变成了一种稀缺且昂贵的资源。如果我们不更好地管理它，我们就无法将 AI 规模提升到下一个水平。
两种类型的“浪费”能量
为了理解解决方案，我们首先需要了解这些工厂（GPU）是如何浪费能量的。作者将其分为两种类型：
- 动态能量（“工作”成本）： 这是机器在实际进行数学运算时消耗的电量。可以把它想象成汽车引擎在行驶时轰鸣的声音。你开得越快（频率越高），消耗的汽油就越多。
- 静态能量（“怠速”成本）： 这是机器仅仅为了保持开启状态而消耗的电量，即使它并没有做任何有用的工作。这就像汽车引擎在红灯前怠速一样。如果你在红灯前停了 5 分钟，即使你没在移动，你也在消耗汽油。在 AI 训练中，当计算机在等待数据到达，或者芯片的部分组件处于闲置状态时，就会发生这种情况。
旧有的解决方案：顾此失彼
在此之前，研究人员尝试解决这些问题，但他们只看到了问题的其中一面：
- 方案 A (Perseus)： 当机器不在“关键路径”（最重要的部分）上时，他们会降低引擎转速（降低频率）。这节省了动态能量（燃料），但没有解决等待时间的问题。
- 方案 B (Nanobatching)： 他们重新排列了工作流程，使得当机器的一部分在等待数据时，另一部分可以开始工作。这减少了总时长，从而节省了静态能量（减少了怠速），但他们并没有调整引擎的速度。
论文认为，只做其中之一就像是试图通过只补左边的洞或只舀右边的水来修复一艘漏水的船。你需要同时做这两件事。
发现：一切都是相互关联的
作者发现，这两个问题是深度耦合的。你不能仅仅决定是“降低引擎转速”还是“重新安排工作”，它们不能独立决策。
类比： 想象一个厨房，里面有一位厨师（计算）和一位服务员（通信）。
- 如果厨师工作太快，服务员就跟不上，厨师不得不停下来等待（浪费时间/闲置）。
- 如果厨师放慢速度，服务员可能会提前完成任务，然后站在那里等待（同样在浪费时间）。
- 至关重要的是： 厨房的最佳组织方式取决于厨师工作的速度。如果厨师动作慢，你可能希望服务员早点开始；如果厨师动作快，你可能希望服务员晚点开始。
论文发现，改变频率（引擎速度）会改变最优调度方案（厨房布局）。现有的工具将这两个问题视为独立的，这导致了次优的结果。
解决方案：Kareus
Kareus 是一个全新的系统，它扮演着超级智能工厂经理的角色。它不只是选择一个设置，而是观察全局，寻找速度、工作量和闲置之间的完美平衡。
以下是它的工作原理，使用 乐高 (Lego) 类比：
- 拆解（分区）： 与其试图一次性优化整个庞大的 AI 模型（这太复杂了），Kareus 将训练过程分解为小的、重复的乐高积木块，称为“分区”。它先解决一个小积木块的谜题。
- 多目标优化： 对于每个乐高块，Kareus 会进行复杂的搜索。它会问：“如果我改变引擎速度，我应该分配多少工人给服务员？服务员应该什么时候开始？”它测试数千种组合，以找到“帕累托前沿”（Pareto Frontier）——即完成速度与使用能量之间的绝对最佳权衡。
- 拼装： 一旦它知道了运行每个小乐高块的最佳方式，它就会将它们重新缝合在一起，为整个工厂制定计划。
结果：双赢
论文在真实的 AI 模型（如 Llama 和 Qwen）上测试了 Kareus，并将其与现有的最佳系统进行了对比。结果令人印象深刻：
- 场景 1（相同时间）： 如果你想让 AI 在与之前完全相同的时间内完成，Kareus 可以节省高达 28.3% 的能量。
- 场景 2（相同能量）： 如果你有严格的能量预算（例如固定的电量），Kareus 可以让训练速度提升高达 27.5%。
为什么这很重要
论文得出结论，为了继续构建更大、更聪明的 AI，我们不能仅仅向这个问题投入更多的硬件。我们需要更聪明的软件，这种软件能够理解速度、调度和能量是一个巨大的、相互关联的整体谜题。Kareus 是第一个同时解决这个谜题的系统，它节省了大量的电力和时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。