💻 computer science

LLM-Powered Predictive Decision-Making for Sustainable Data Center Operations

本文提出了一种由大语言模型驱动的预测性调度系统，该系统能够通过源代码预测执行时间和能耗，从而优化 GPU 资源分配，实现了 32% 的能耗降低和 30% 的等待时间减少，以实现可持续的数据中心运营。

原作者： Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代世界运行在一个安静且无形的引擎之上：数据中心。这些庞大的计算机服务器仓库支撑着从流媒体电影到重塑我们工作与思考方式的人工智能工具等一切事物。然而，这种数字便利伴随着沉重的物理代价。训练最先进的人工智能模型需要巨大的计算能力，这反过来又需要惊人的电力和用于冷却的水资源。随着对这些智能系统需求的增长，我们的能源网和环境也承受着日益增加的压力。工程师面临的挑战不再仅仅是如何让这些系统更快，而是如何让它们更具可持续性，确保数字未来不会消耗掉支持它所需的物理资源。

为了应对这一日益增长的紧张关系，一组研究人员开发了一种管理数据中心内部工作流的新方法。他们不再去猜测一项计算机任务需要多长时间或会消耗多少功率，而是创建了一个系统，该系统利用一种复杂的语言模型来阅读计算机代码本身，并在工作开始之前预测其结果。这种方法将源代码——即人类程序员编写的指令——视为计算机可以理解的一个故事。通过分析代码的结构和逻辑，该系统可以在不实际运行任务的情况下，估算出完成一项工作所需的时间以及它将消耗的能量。这种预测能力使数据中心能够对将哪些强大的计算机芯片分配给哪些任务做出更明智的选择，通过平衡负载来节省能源并减少等待时间。

研究人员构建了一个分为两个不同阶段运行的原型系统。首先，一个经过预训练、旨在理解人类语言和代码的人工智能模型，会读取用户提交的指令。它将复杂的代码转化为一种捕捉任务本质的数学表示。该模型并不依赖于工程师必须为每种新类型的程序手动定义的僵化、手写规则或特定特征。相反，它利用其广泛的训练来识别模式并理解代码的语境，就像一位熟练的读者可以在不需要摘要的情况下理解故事情节一样。一旦系统理解了任务，它就会预测两个关键数值：这项工作将耗时多久以及它将使用多少电量。这些预测在不到一秒钟内即可完成，足以用于实时决策。

有了这些预测信息，系统的第二阶段便接管了工作：一个决定如何分配可用计算机资源的调度算法。在典型的数据中心，任务以连续流的形式到达，管理者必须决定将每个任务分配给哪个计算机芯片。如果管理者将任务分配给过于强大的芯片，就会浪费能源；如果他们分配给过于弱小的芯片，或者等待时间过长才进行分配，任务就会在队列中滞留，从而延迟结果。新系统利用第一阶段的预测来计算每一次进入任务的最佳分配方案。它会综合考虑不同类型计算机芯片的当前可用性、预估的能耗以及任务所需的时间。其目标是在尽可能缩短所有任务等待时间的同时，最小化总能耗。

为了测试这个想法在现实世界中是否可行，研究人员与一家数据中心合作，使用两个月的实际运行数据进行了模拟。他们将这种新的预测系统与该设施使用的标准方法（依赖于更简单的、基于规则的决策）进行了对比。结果非常显著。新系统将数据中心的总能耗降低了32%。与此同时，它将任务在队列中的等待时间缩短了30%。这些改进并非通过改变硬件或物理基础设施实现的，而是通过改变数据中心看待其处理工作的方式实现的。该系统证明，通过在执行前理解代码，设施可以运行得更加高效。

这项工作最引人注目的方面之一是它的灵活性。传统的预测能耗的方法通常需要为每种不同类型的计算机程序构建一个单独的定制模型。如果出现一种新类型的任务，旧系统就会难以预测其需求。然而，这种新方法使用了一个统一的模型，可以处理各种各样的任务，从训练复杂的图像识别系统到运行语言模型。这是因为底层的模型已经学会了理解代码的基础结构，而不仅仅是记忆特定的示例。研究人员发现，即使代码的编写风格略有不同或由不同的人编写，系统仍然可以做出准确的预测。为了进一步提升这一点，他们增加了第二个步骤，即系统可以将不熟悉的代码重写为与其训练数据风格相匹配的形式，从而确保即使对于系统从未见过的任务，预测依然保持准确。

这项研究还强调了我们在数字时代思考资源管理方式的一种转变。多年来，数据中心一直依靠用户提供的估算值或往往无法达标的历史平均值来运作。这种新方法用有据可依的预测取代了猜测。它表明，通往更可持续数字未来的关键在于拥有能够适应现代计算复杂性的更好决策工具。虽然目前的系统侧重于时间和能量，但研究人员指出，只要数据中心能够追踪这些指标，同样的框架也可以扩展到预测其他环境影响，例如用于冷却的水量或碳排放。

该原型的成功证明了人工智能不仅可以用于创造新技术，还可以用于优化支持这些技术的底层基础设施。通过阅读代码并预测工作的成本，该系统将数据中心变成了一个更具响应性且更高效的有机体。32%的能耗降低和30%的等待时间减少不仅仅是数字；它们代表了朝着减少人工智能革命环境足迹迈出的切实一步。随着人工智能需求的激增，这类方法提供了一条切实可行的路径，证明了我们可以通过构建一个更智能、更可持续的数字世界，而不必牺牲性能。这项工作表明，借助正确的工具，互联网这个无形的引擎可以运行得比以往任何时候都更清洁、更高效。

技术摘要：基于 LLM 的可持续数据中心运营预测性决策

1. 问题定义

AI 驱动的工作负载（特别是大语言模型 LLM）的快速扩张，加剧了数据中心的能源和资源消耗。当前数据中心的运营流程通常依赖于启发式算法，根据用户提供的任务持续时间和资源需求估算值来分配资源（例如 GPU）。然而，由于现代计算系统（包括带宽、内存、软件栈和硬件差异）的复杂性，准确预测执行时间和能耗本质上是非常困难的。因此，用户和数据中心都无法获得关于最优资源需求的精确知识，从而导致效率低下、资源浪费以及环境足迹增加。

作者提出了一个由两部分组成的问题：

预测： 给定用户提交的源代码 $x$ 和潜在的 GPU 配置 $z$ ，预测执行时间 $t$ 和能耗 $e$ 。这些被建模为特定于数据中心基础设施的未知函数 $t = f(x, z)$ 和 $e = g(x, z)$ 。
决策： 开发一种策略 $\pi$ ，通过顺序分配 GPU 资源给到达的任务，以最小化执行时间、等待时间和能耗的加权和，同时受限于有限的 GPU 库存约束。由于存在等待队列且需要平衡多个目标（多用途优化），该问题变得更加复杂，且不存在解析解。

2. 方法论

A. 基于 LLM 的预测模型

所提系统的核心是一个统一的、端到端的预测模型，该模型利用预训练的大语言模型（LLM）来处理源代码。

架构： 该模型由两个阶段组成：
1. 表示提取： 预训练的 LLM（记作 $l_{\theta_1}$ ）接收源代码 $x$ 作为输入，并输出一个 $d$ 维向量表示。LLM 参数 $\theta_1$ 保持固定。
2. 探测（Probing）： 一个轻量级的监督模型（“探测器”，记作 $h_{\theta_2}$ 或 $q_{\theta_2}$ ）接收提取的表示和 GPU 配置 $z$ 作为输入，以预测目标指标（时间或能量）。
训练： 系统在包含源代码及其在各种 GPU 配置下实际执行结果（时间与能量）的数据集上进行训练。值得注意的是，该模型仅需很小的数据集（约 500 个源代码示例），因为预训练的 LLM 已经具备了广泛的代码上下文理解能力。
相比传统方法的优势：
- 泛化能力： 不同于以往依赖于特定模型类型（如仅限 CNN）的手工特征（如层深度、迭代次数）的方法，LLM 方法可以跨越多种任务类型和复合任务（如 CNN 后接 LSTM）进行泛化。
- 数据效率： 预训练的 LLM 作为一个强大的特征提取器，减少了对大规模训练数据集的需求。
- 灵活性： 同一个表示可以通过训练不同的探测器，用于不同的预测目标（时间、能量以及潜在的水耗/碳排放指标）。

B. 顺序决策算法

为了优化资源分配，作者提出了两种利用 LLM 模型预测结果的数据驱动算法：

贪心算法（Greedy Algorithm）： 基于先来先服务规则分配任务，选择使当前任务的估计目标值（ $\alpha \hat{t} + \beta w + \gamma \hat{e}$ ）最小化的 GPU 类型。
基于价值的算法（Value-Based Algorithm）： 受多次背包问题启发，该算法考虑整个等待队列。它根据任务在减少整体等待时间和能耗方面的“价值”来分配任务，而不是严格遵循到达顺序。

C. 处理分布外（OOD）任务

作者发现了一个潜在的不一致性：由不同工程师编写的功能等效的代码可能会产生不同的 LLM 表示，从而导致预测误差。为了缓解这一问题，他们提出了一个扩展流水线：

Align-LLM： 如果新任务的表示显著偏离训练集群，辅助工具 “Align-LLM” 会重写源代码，使其在风格上与本地代码库中的相似任务相匹配。这使得输入表示与训练分布对齐，在不改变代码功能的前提下提高预测精度。

3. 核心贡献

方法论贡献

基于 LLM 的多功能预测模型： 首个以原始源代码为输入、用以估计执行时间和能耗的全面端到端解决方案。它消除了对特定任务手工特征的需求。
全自动预测调度系统： 一个能够处理任何用户提交的任务类型并提供即时估算的统一框架，克服了传统僵化预测模型的局限性。
顺序决策： 一种数据驱动算法，解决了带有等待队列的复杂多目标资源分配问题，而在这种场景下标准解析解往往失效。

应用层面贡献

实际部署： 该流水线的执行时间在 1 秒以内，实现了实时、低成本的调度。即使在训练数据有限的情况下也表现有效。
多用途可持续性： 该框架具有可扩展性，如果具备必要的数据，可以用于预测各种可持续性指标（如碳排放、用水量）。

4. 实验结果

作者通过与一家数据中心的合作验证了其方法，使用了两个月（2024 年 7 月 1 日至 2024 年 9 月 1 日）的运营数据。

性能指标： 与数据中心的基准“简单规则”（优先使用最强 GPU 的先来先服务规则）相比，所提的基于价值的算法实现了：
- 总能耗（TEC）降低 32%
- 总等待时间（TWT）降低 30%
- 延迟任务数量减少 24%
对比： 基于价值的算法通过考虑等待队列的全局状态而非仅仅关注当前任务，其表现显著优于贪心算法。
鲁棒性： 带有 Align-LLM 的扩展流水线成功缓解了由编码风格差异引起的预测误差，使分布外任务更接近训练分布，从而提高了预测精度。

5. 意义与主张

论文声称，这项工作为实现现代化数据中心运营以达到可持续发展目标提供了一个切实可行且可扩展的解决方案。通过利用 LLM 的上下文理解和泛化能力，所提系统克服了传统启发式和基于物理的预测方法的僵化性。

作者强调，其方法：

推进基础设施建设： 为构建更高效、更环保的 AI 基础设施提供了路径。
架起理论与实践的桥梁： 证明了 LLM 可以有效地集成到实时运营决策循环中，且对数据需求极低。
可扩展性： 模型的统一特性使其能够适应多样化的任务类型和未来的可持续性指标，而无需重新设计预测架构。

研究结论认为，将基于 LLM 的预测建模与顺序决策相结合，是显著降低 AI 驱动工作负载对环境影响并提高运营效率的一条可行策略。