🤖 machine learning

Cost-aware Duration Prediction for Software Upgrades in Datacenters

本文介绍了 Acela，这是一个成本感知的持续时间预测框架，通过解决非对称预测错误成本和拖尾效应来优化数据中心的软件升级调度，从而在 Meta 的生产系统中显著提升了效率、吞吐量并降低了取消率。

原作者： Yi Ding, Aijia Gao, Thibaud Ryden, Michal Sedlak, Essam Ewaisha, Igor Marnat, Henry Hoffmann

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Ding, Aijia Gao, Thibaud Ryden, Michal Sedlak, Essam Ewaisha, Igor Marnat, Henry Hoffmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大的数据中心，它就像一座拥有数百万台服务器的巨型繁忙城市。这些服务器是驱动你喜爱的应用、视频和搜索的“主力军”。但就像任何机器一样，它们需要定期维护和软件更新，以保持安全与快速。

问题在于，更新这些服务器颇具挑战性。如果你试图一次性更新所有服务器，整个城市就会陷入停滞；如果更新得太慢，则耗时无穷无尽。Meta（Facebook、Instagram 等背后的公司）的数据中心运营者一直采取非常保守的策略：他们假设每一次更新都将耗费绝对最长的可能时间。

问题：“最坏情况”的交通堵塞
这就像一位公交车司机，假设每一位乘客都需要 10 分钟才能上车，尽管大多数人实际上只需 30 秒。由于司机过于谨慎，公交车会闲置数小时，浪费时间和燃油。

在数据中心，这种“最坏情况”思维意味着他们的“升级窗口”（专门预留用于更新的时间段）仅被利用了 20%–40%。他们放弃了许多潜在的工作机会，导致完成所有服务器更新需要更多的周期。

解决方案：Acela，智能交通控制器
论文介绍了一个名为 Acela 的新系统。将 Acela 想象为一位超级聪明的交通控制器，它不只是猜测，而是能精确预测每台特定服务器进行特定更新所需的确切时间。

但关键在于：Acela 追求的并非数学课意义上的“准确”，而是成本意识。

低估（预测更新需 10 分钟，实际却需 20 分钟）是危险的。服务器会错过截止时间，更新失败，整个计划被打乱。
高估（预测需 20 分钟，实际只需 10 分钟）是安全的。服务器提前完成，但窗口会短暂闲置。

Acela 明白，略微“保守”（高估）比“冒险”（低估）更好。它采用一种称为分位数回归的特殊数学技巧，有意预测比平均值稍长的时间，从而确保任务按时完成，同时避免系统崩溃。

Acela 如何运作（核心秘诀）

从历史中学习：Acela 分析数百万次过往更新，寻找规律。
忽略“异常者”：有时，某台服务器因硬件故障而更新耗时极长（即“拖后腿者”）。如果 Acela 从这些故障中学习，它就会开始认为每一次更新都需要极长时间。因此，Acela 在学习前会智能地过滤掉这些极端异常值，避免被吓到而变得过于保守。
选择最佳预测：它尝试不同的预测策略，并选出能在保持低失败率的同时完成最多更新的那一种。

结果：更快、更顺畅的城市
当研究人员在 Meta 的真实数据中心测试 Acela 时，结果令人印象深刻：

时间利用率提升：在相同时间内，他们完成了1.25 倍的工作量。升级窗口终于被高效利用。
更多更新：他们能够安排33% 更多的更新，并成功完成41% 更多的更新。
更少失败：尽管工作量增加，失败或取消的更新数量却减少了2.4 倍。他们更可靠地达成了安全目标（95% 的更新按时完成）。

一句话总结
在 Acela 出现之前，数据中心就像一位因害怕延误而困在交通中、缓慢前行的谨慎司机。Acela 则像一套 GPS，能精确知道每段旅程所需的时间，使司机能在一天内完成更多行程，而永远不会超时。它在速度与安全性之间取得平衡，让整个系统运行得更加顺畅。

技术摘要：数据中心软件升级的成本感知时长预测

问题陈述

软件升级对于维护超大规模数据中心中的服务器可靠性至关重要，但它们带来了与标准服务作业（如搜索、流媒体）截然不同的调度挑战。与服务作业灵活分布在服务器上以优化延迟和吞吐量不同，软件升级与具有固定要求的特定服务器绑定。主要目标是满足严格的服务水平目标（SLO）：至少 95% 的已调度升级必须在固定的“升级窗口”内完成。

当前的生产调度器（例如 Meta 的调度器）采用保守方法，假设所有升级均具有固定的最坏情况时长，以确保符合 SLO。这种策略导致显著的低效，各数据中心的升级窗口利用率平均仅为 20%–40%。核心挑战在于标准机器学习目标（最大化预测准确性）与系统目标（在满足 SLO 的同时最大化吞吐量）之间的不匹配。标准预测器通常最小化对称损失，未能考虑预测错误的非对称成本：预测不足可能导致错过 SLO（引发取消和修复工作流），而轻微预测过度则是可接受的，且出于安全考虑往往更可取。

方法论：Acela 框架

作者提出了 Acela，这是一个成本感知的时长预测框架，旨在与现有的升级调度器无缝集成。Acela 通过三项关键技术革新解决该问题：

1. 基于分位数回归的非对称成本建模

鉴于预测不足比预测过度的成本更高，Acela 超越了预测条件均值（最小化对称 L2 损失）的做法。相反，它采用 分位数梯度提升树（QGBT） 来估计条件分位数。

机制：通过选择分位数参数 $\tau > 0.5$ （例如 0.9），模型被训练为略微高估时长。
损失函数：系统最小化分位数损失函数，当 $\tau > 0.5$ 时，该函数对预测不足（ $y \ge \hat{y}$ ）的惩罚重于对预测过度（ $y < \hat{y}$ ）的惩罚。这将训练目标直接与 SLO 要求对齐。

2. 用于模型选择的自定义评分

Acela 引入了一种自定义评分函数，以在预测准确性与 SLO 合规性之间取得平衡，从而选择最佳模型和分位数参数。评分定义如下：
$\text{score} = \begin{cases} \text{MAE} & \text{if } \text{OPR} \ge \text{SLO} \\ (\alpha \cdot (1 - \text{OPR}) + 1) \cdot \text{MAE} & \text{if } \text{OPR} < \text{SLO} \end{cases}$
其中：

MAE：平均绝对误差（衡量准确性）。
OPR：预测过度率（预测时长大于实际时长的升级所占比例）。
SLO：目标阈值（95%）。
$\alpha$ ：针对预测不足的惩罚参数。

该函数优先考虑满足 SLO（OPR $\ge$ 95%）的模型。如果满足 SLO，系统则最小化 MAE 以避免过度预测过度（这会降低吞吐量）。如果 SLO 面临风险，惩罚将急剧增加。

3. 训练集多样化（拖尾缓解）

训练数据通常包含“拖尾”（stragglers）——即由硬件故障或修复工作流引起的具有极端时长的异常值。包含这些数据会使模型偏向极端的预测过度，从而降低效率。

策略：Acela 通过创建截断版本来多样化训练数据集，排除第 99 百分位和第 99.9 百分位的升级。
选择：模型在这些截断数据集上针对各种分位数进行训练。选择表现最佳（评分最低）的模型，确保预测对大多数情况准确，同时保持安全边际，且不受罕见故障的扭曲。

集成

Acela 作为增强层实现于 Meta 现有调度器之上。它包括数据采集管道（DCP）、模型训练与选择（MTS）模块以及预测查询服务（PQS）。调度器利用 Acela 的时长预测进行优先级感知决策：当优先级相同时，优先选择预测时长较短的升级以增加吞吐量；当优先级冲突时，优先执行优先级较高的升级。

主要贡献

本文声称以下贡献：

大规模特征分析：首次对 Meta 生产数据中心规模的软件升级进行深入分析，识别出与服务作业相比的独特挑战。
问题形式化：将软件升级调度构建为一个约束优化问题，其中预测准确性次于 SLO 合规性和吞吐量。
非对称成本识别：强调了升级场景独特的成本结构，即预测不足的损害远大于预测过度。
新颖框架（Acela）：一个新的预测框架，利用分位数回归、自定义评分和拖尾移除来优化调度结果。
现实世界部署：首个在生产数据中心中部署的解决方案，用于通过时长预测提升升级效率，并在数百万次升级中得到验证。

评估结果

作者使用三个月内收集的超过 400 万次软件升级数据进行训练，并使用随后一个月近 100 万次升级的真实世界操作数据进行测试，对 Acela 进行了评估。

生产结果（与启发式基线相比）：

利用率：与保守的启发式基线相比，Acela 将升级窗口利用率提高了 1.25 倍。
吞吐量：已调度的软件升级数量增加了 33%，已完成的升级数量增加了 41%。
SLO 合规性：尽管处理的升级数量显著增加，Acela 仍将取消率降低了 2.4 倍，成功满足了 95% 完成率的 SLO。相比之下，启发式基线在评估期间未能满足 SLO。

仿真与消融研究：

损失函数：使用对称损失函数（L2、L1、Huber）的模型实现了较低的平均绝对误差（MAE），但未能满足 SLO（OPR $\approx$ 50%）。Acela 的分位数损失以略高的 MAE 实现了目标 OPR（95%），证明了仅靠准确性不足以适用于该领域。
拖尾移除：从训练集中移除拖尾将预测准确性（MAE）提高了 1.2 倍，且未对 OPR 产生负面影响，证实了数据多样化策略的有效性。
分位数敏感性：敏感性分析表明，将分位数参数 $\tau$ 设置在 0.9 到 0.99 之间，能最佳地平衡调度量与取消率之间的权衡。

意义与主张

本文将该工作定位为软件升级的 首个数据中心规模研究，以及首个通过时长预测提升升级效率的 已部署解决方案。作者强调，他们的方法将范式从“最大化预测准确性”转变为“针对系统目标进行优化”（SLO 合规性和吞吐量）。通过承认错误的非对称成本以及数据中心升级的具体运营约束（例如固定窗口、缓冲区限制），Acela 证明了成本感知预测可以在不损害可靠性的情况下，显著提高大规模基础设施的运营效率。