🤖 AI

CloudCons: A Comprehensive End-to-End Benchmark for Cloud Resource Consolidation

本文介绍了 CloudCons，这是一个利用多样化真实世界云数据集构建的全面端到端基准测试，旨在证明虽然基础模型在零样本预测准确性方面表现出色，但其卓越的性能并不自动转化为在资源整合方面具有更好的决策效用，从而凸显了预测分位数选择在平衡效率与可靠性方面的关键作用。

原作者： Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家规模巨大、繁忙酒店（即云数据中心）的经理。你的目标是将尽可能多的宾客（计算机程序，或称 VM/虚拟机）安置在最少数量的客房（物理服务器）中，以节省成本，但你绝不能过度预订房间，导致宾客无法入睡（即违反服务可靠性）。

目前，大多数酒店经理都非常谨慎。他们会留出许多空房，以防突然有宾客到来。这被称为“过度配置”（over-provisioning），这意味着酒店的运行效率仅为 15–20%，造成了巨大的资金浪费。

为了解决这个问题，经理们试图预测宾客何时到达以及何时离开，以便更高效地调配人员。这就是 “先预测后优化”（Forecast-then-Optimize） 策略：先猜测未来，再做出决策。

问题所在：“水晶球”陷阱

最近，新一代超级智能的 AI “水晶球”（称为基础模型/Foundation Models）出现了。这些模型是在来自世界各地的海量数据上训练而成的。它们在“零样本”（zero-shot）预测方面表现惊人，这意味着即使是在从未访问过的城市，它们也能在不需要专门学习该城市的情况下，准确预测该城市的的天气。

然而，这项研究背后的研究人员提出了一个关键问题：“仅仅因为水晶球在预测天气方面很准确，是否意味着它能帮助酒店经理做出更好的决策？”

他们发现，现有的测试仅检查了水晶球在预测数值方面的准确性，却并未检查这些预测是否真的能帮助经理节省成本或让宾客满意。

解决方案：CloudCons（酒店模拟器）

作者构建了一个名为 CloudCons 的新测试场，你可以把它看作是酒店经理的高科技飞行模拟器。与其仅仅检查 AI 是否猜对了数字，它模拟了整个过程：

数据： 他们向模拟器输入了来自三家巨型“酒店”的真实世界数据：华为云（Huawei Cloud）、微软 Azure 和 Google Borg。这些酒店的宾客类型各不相同：
- 有些非常有规律（就像每日通勤者）。
- 有些充满波动且具有爆发性（就像突如其来的闪购活动）。
- 有些嘈杂且不稳定（就像一场随机播放音乐的派对）。
测试： 他们让三种类型的“预测器”进行对决：
- 老派做法： 简单的统计规则（例如“如果昨天下了雨，今天也会下”）。
- 深度学习者： 复杂的 AI，需要针对特定酒店进行专门训练。
- 基础模型： 了解所有酒店情况的新型超级 AI。
结果： 他们不仅观察了预测误差，还观察了现实世界的后果：我们是否省了钱？系统是否崩溃了？

大大的惊喜

论文揭示了一个反直觉的发现：成为预测未来最准的人，并不自动意味着你成为了最好的酒店管理者。

“超级 AI”悖论： 那些华丽的基础模型在预测数值方面确实是最准确的。然而，当酒店经理利用这些预测来安排客房时，它们在节省成本或防止崩溃方面的表现，并不总是比那些简单、廉价的模型更好。
“过度自信”的风险： 在一些混乱的环境中，超级 AI 对其“平均值”预测过于自信，导致客房安排得过于紧凑。当突然出现需求激增（即“脉冲”）时，系统就会崩溃。
“简单模型”的胜利： 对于非常可预测、规律性的工作负载，老派的统计模型实际上与超级 AI 一样出色，但运行成本要低得多。

秘密杠杆：安全边际（Safety Margin）

研究发现，成功的关键不在于你使用哪种 AI，而在于你如何去“听取”它的建议。

大多数现代 AI 不仅仅给出一个数字（例如“明天有 50 位宾客”），它们还会给出一个可能性的范围（例如“可能是 40、50 或 60”）。研究人员发现，经理可以选择信任其中的哪一个数字：

“赌徒”模式（低分位数/Low Quantile）： 信任预测的低端（例如“会有 40 人”）。这种方式通过紧凑安排客房来节省成本，但如果实际来了 60 人，就会发生灾难。
“偏执狂”模式（高分位数/High Quantile）： 信任预测的高端（例如“可能会有 60 人”）。这种方式会留下空房（造成浪费），但能保证不会拒绝任何宾客。

黄金法则：

如果你运行的是成本敏感型服务（以省钱为首要目标），你应该选择一个“中庸”的预测。
如果你运行的是任务关键型服务（崩溃是不可接受的，例如医院系统），你必须选择“偏执狂”的高端预测，即使这意味着要留出一些空房。

总结

本文认为，我们不应仅仅追求最准确的 AI 水晶球。相反，我们需要理解这些水晶球的预测如何转化为现实世界的决策。有时，一个“足够好”的预测结合一个聪明的安全边际，比一个会导致风险决策的“完美”预测更有效。作者提供了一份指南，指导如何调整那个安全边际，以平衡节省成本与维持运营之间的关系。

技术摘要：CloudCons

问题陈述

由于需要通过保守的过度配置来保证服务等级协议（SLA），当前的云数据中心面临着资源利用率低的问题（全球平均 CPU 使用率仅为 15%-20%）。虽然“先预测后优化”的范式已出现，旨在通过预判未来需求来实现主动资源整合，但现有的评估方法仍显不足。目前的基准测试主要集中在预测误差指标（如 MAE、MSE）上，未能验证卓越的预测准确性是否能转化为下游整合任务中更好的决策效用。此外，时间序列基础模型（如 Moirai、Chronos、TimesFM）的兴起承诺了零样本泛化能力，但其在云资源整合这一特定场景下的实际效能尚未得到验证。现有的基准测试也缺乏多源多样性、全面的模型覆盖范围（通常忽略了基础模型或深度学习基线），以及一个能够弥合预测误差与决策质量之间鸿沟的整体评估框架。

方法论

作者提出了 CloudCons，这是一个综合性的端到端基准测试，旨在评估特定于云资源整合场景下的预测模型。该框架由三个核心模块组成：

多云数据集： 作者通过处理来自三大主要供应商的真实工作负载追踪数据，构建了高质量数据集：华为云（Huawei2025）、微软 Azure（Azure2019）和 Google Borg（Borg2019-d 和 Borg2019-e）。这些数据集经过清洗、插值并聚合为多种粒度（5 分钟、30 分钟、1 小时）。这些工作负载展现出多样化的特征，包括同步的昼夜节律、随机的脉冲式爆发以及高频噪声。
“先预测后优化”工作流： 该基准测试模拟了一个两阶段过程：
- 第一阶段（需求预测）： 模型基于历史使用情况生成未来的需求序列（向前预测 $H$ $H$ 步）。评估涵盖了一系列模型：
  - 统计模型： AutoARIMA、AutoETS、AutoTheta。
  - 深度学习模型： DeepAR、TFT、DLinear、PatchTST（在每个数据集上从头开始训练）。
  - 基础模型： Moirai 2、Chronos 2、TimesFM 2.5、Sundial、TOTO、FlowState-9.1M、Kairos 50M（在零样本设置下进行评估）。
- 第二阶段（资源优化）： 预测的需求作为优化算法的输入，以生成整合决策（虚拟机在物理机上的放置）。该问题被建模为动态装箱问题。优化方法包括启发式算法（First Fit Decreasing、Best Fit Decreasing）、元启发式算法（蚁群算法）以及精确求解器（Gurobi/MILP）。
综合评估套件： 超越单一的误差指标，该基准测试从五个维度评估性能：
- 预测误差： MASE 和 CRPS。
- 资源效率： 利用率比率（Util）。
- 负载均衡： 峰均比（PAR）。
- 服务可靠性： 违约率（VR）和违约严重程度（VS）。
- 不确定性量化： 预测区间覆盖概率（PICP）、平均预测区间宽度（MPIW）以及 Winkler 分数，通过在物理机（PM）层面的蒙特卡洛模拟进行评估。

核心贡献

端到端框架： CloudCons 将异构的真实工作负载集成到一个统一的流水线中，连接了预测与优化，打破了仅在预测任务上评估时间序列模型的局限性。
以决策为中心的基准测试： 它建立了一个新的基准，用于评估时间序列基础模型在驱动整合决策方面的实际效用，而非仅仅是其预测准确性。
系统性分位数选择分析： 本研究提供了关于如何利用预测分位数作为关键杠杆，在资源效率与服务可靠性之间平衡权衡的实践指南。

实验结果

实验针对三个研究问题展开：

预测准确性 (RQ1)： 基础模型（如 Chronos 2、TimesFM 2.5）在多样且复杂的云环境（Huawei2025、Azure2019）中表现出卓越的零样本预测准确性，优于从头训练的统计基线和深度学习模型。然而，在高度正则化的环境（Borg2019-e）中，传统的深度学习模型（如 PatchTST）达到了与基础模型相当的准确度。
决策效用 (RQ2)： 一个关键发现是预测准确性与决策效用之间的错位。尽管基础模型的预测指标更优，但它们并不必然带来更好的整合结果。在某些情况下（例如 Azure2019），即使整体预测误差较高，像 Patch-TST 和 DeepAR 这样的深度学习模型通过更好地捕捉峰值负载，在可靠性指标（VR、VS）方面表现得比基础模型更好。在高度正则化的工作负载中，传统的成本效益型模型往往比基础模型提供更务实的解决方案。
分位数敏感性 (RQ研究 3)： 预测分位数 ( $\alpha$ $α$ ) 的选择显著影响效率与可靠性之间的权衡。
- $\alpha \in [0.4, 0.6]$ （基于中位数）： 适用于成本敏感型应用，最大化资源利用率，但在波动剧烈的环境中存在较高的违约风险。
- $\alpha \geq 0.8$ （高分位数）： 对关键任务服务至关重要。转向高分位数可以显著降低资源竞争风险，且在不可预测的场景下对利用率的影响有限。
- 不确定性： 基础模型（如 Chronos 2）表现出极佳的概率校准能力，而其他模型（如 FlowState）可能会出现分布失配，导致产生具有误导性的安全余量。

意义与主张

本文声称 CloudCons 通过将评估重点从纯粹的预测误差转向决策效用，填补了文献中的关键空白。作者断言，高预测准确性并非实现最优资源整合的充分条件。因此，该基准测试为实际部署提供了重要的见解：

模型选择： 基础模型因其零样本泛化能力，在复杂、多变的场景中极具吸引力；但对于稳定、周期性的工作负载，传统模型仍然可行且可能更高效。
操作指南： 研究为校准预测分位数提供了具体的建议。运营商不应仅仅依赖中位数预测；相反，必须根据特定的可靠性需求策略性地选择分位数（例如，针对高可靠性服务使用 $\alpha \geq 0.8$ ），以平衡资源效率与服务可靠性之间的权衡。

研究结论认为，要弥合预测与决策之间的鸿沟，需要能够反映下游系统性能的评估指标，而非仅仅是统计误差。