技術概要：データセンターにおけるソフトウェアアップグレードのためのコスト意識型継続時間予測

問題定義

ソフトウェアアップグレードは、大規模データセンターにおけるサーバーの信頼性を維持するために不可欠ですが、検索やストリーミングなどの標準的なサービスジョブとは異なる独自のスケジューリング課題を提起します。サービスジョブがレイテンシとスループットを最適化するためにサーバー間で柔軟に分散されるのに対し、ソフトウェアアップグレードは固定された要件を持つ特定のサーバーに紐付いています。主な目的は、厳格なサービスレベル目標（SLO）を満たすことです：スケジュールされたアップグレードの少なくとも 95% が、固定された「アップグレードウィンドウ」内で完了する必要があります。

現在の生産環境におけるスケジューラー（Meta におけるものなど）は、SLO 遵守を確保するために、すべてのアップグレードに対して固定された最悪ケースの継続時間を想定する保守的なアプローチを採用しています。この戦略は非効率を招き、データセンター全体でのアップグレードウィンドウ利用率は平均して 20〜40% に留まっています。核心的な課題は、標準的な機械学習の目標（予測精度の最大化）とシステムの目標（SLO 遵守とスループット最大化の両立）との間のミスマッチにあります。標準的な予測モデルは対称的な損失を最小化することが多く、予測誤差の非対称なコストを考慮していません：過小予測は SLO 違反（キャンセルや修復ワークフローの発生）のリスクを伴う一方、軽度の過大予測は許容され、安全性の観点からむしろ好ましい場合が多いのです。

手法：Acela フレームワーク

著者は、既存のアップグレードスケジューラーとシームレスに統合されるように設計されたコスト意識型継続時間予測フレームワーク「Acela」を提案します。Acela は、以下の 3 つの主要な技術的革新を通じてこの問題に対処します。

1. 分位回帰による非対称コストモデリング

過小予測が過大予測よりもコストが高いことを認識し、Acela は対称的な L2 損失を最小化する条件付き平均の予測を超えて進みます。代わりに、条件付き分位を推定するために**分位勾配ブースティングツリー（QGBT）**を採用します。

• メカニズム: 分位パラメータ $\tau > 0.5$（例：0.9）を選択することで、モデルは継続時間をわずかに過大予測するように訓練されます。
• 損失関数: システムは分位損失関数を最小化します。$\tau > 0.5$ の場合、この関数は過大予測（$y < \hat{y}$）よりも過小予測（$y \ge \hat{y}$）をより重く罰則付けします。これにより、訓練目標が SLO 要件と直接整合します。

2. モデル選択のためのカスタムスコアリング

Acela は、予測精度と SLO 遵守のバランスを取る最適なモデルと分位パラメータを選択するためのカスタムスコアリング関数を導入します。スコアは以下のように定義されます：
$$\text{score} = \begin{cases} \text{MAE} & \text{if } \text{OPR} \ge \text{SLO} \\ (\alpha \cdot (1 - \text{OPR}) + 1) \cdot \text{MAE} & \text{if } \text{OPR} < \text{SLO} \end{cases}$$
ここで：

• MAE: 平均絶対誤差（精度を測定）。
• OPR: 過大予測率（予測継続時間が実際の継続時間を超えるアップグレードの割合）。
• SLO: 目標閾値（95%）。
• $\alpha$: 過小予測に対するペナルティパラメータ。

この関数は、SLO（OPR $\ge$ 95%）を満たすモデルを優先します。SLO が満たされている場合、システムは過剰な過大予測（スループットを低下させる）を避けるために MAE を最小化します。SLO がリスクにさらされている場合、ペナルティは急激に増加します。

3. 訓練セットの多様化（ストラグラー緩和）

訓練データには、ハードウェア障害や修復ワークフローによって引き起こされる極端な継続時間を持つ「ストラグラー（遅延するタスク）」が含まれることがよくあります。これらを含めると、モデルが極端な過大予測にバイアスされ、効率が低下します。

• 戦略: Acela は、99 パーセンタイルおよび 99.9 パーセンタイルのアップグレードを除外した切り詰め版を作成することで、訓練データセットを多様化します。
• 選択: さまざまな分位において、これらの切り詰められたデータセットでモデルを訓練します。最も優れたパフォーマンス（最低スコア）を示すモデルを選択することで、稀な障害によって歪められることなく、大多数のケースで正確な予測を行いながら安全マージンを維持します。

統合

Acela は、Meta の既存のスケジューラーの上に構築された拡張レイヤーとして実装されています。これには、データ収集パイプライン（DCP）、モデル訓練および選択（MTS）モジュール、予測クエリサービス（PQS）が含まれます。スケジューラーは、Acela の継続時間予測を使用して、優先度を意識した意思決定を行います：優先度が同等の場合、スループットを増加させるために予測継続時間が短いものが優先されます。優先度が競合する場合、優先度の高いアップグレードが最初に実行されます。

主要な貢献

本論文は、以下の貢献を主張しています：

1. 大規模な特性評価: Meta の生産環境データセンター規模におけるソフトウェアアップグレードの最初の詳細な分析であり、サービスジョブと比較して固有の課題を特定しました。
2. 問題の形式化: 予測精度が SLO 遵守とスループットに次ぐものとして扱われる、制約付き最適化問題としてソフトウェアアップグレードのスケジューリングを定式化しました。
3. 非対称コストの特定: 過小予測が過大予測よりも著しく有害であるアップグレードシナリオの固有のコスト構造を浮き彫りにしました。
4. 新規フレームワーク（Acela）: 分位回帰、カスタムスコアリング、ストラグラー除去を活用してスケジューリング結果を最適化する新しい予測フレームワーク。
5. 実世界での展開: 生産環境データセンターにおけるアップグレード効率を向上させるために展開された最初のソリューションであり、数百万件のアップグレードで検証されました。

評価結果

著者は、訓練用に 3 ヶ月間に収集された 400 万件以上のソフトウェアアップグレードと、テスト用にその翌月の実世界運用（約 100 万件のアップグレード）を使用して Acela を評価しました。

生産環境の結果（ヒューリスティックなベースラインとの比較）:

• 利用率: Acela は、保守的なヒューリスティックなベースラインと比較して、アップグレードウィンドウ利用率を1.25 倍向上させました。
• スループット: スケジュールされたソフトウェアアップグレードの数は**33%増加し、完了したアップグレードの数は41%**増加しました。
• SLO 遵守: 大幅に多くのアップグレードを処理したにもかかわらず、Acela はキャンセル率を2.4 倍削減し、95% 完了という SLO を成功裏に満たしました。これに対し、ヒューリスティックなベースラインは評価期間中に SLO を満たすことに失敗しました。

シミュレーションおよびアブレーション研究:

• 損失関数: 対称的な損失関数（L2、L1、Huber）を使用するモデルは、平均絶対誤差（MAE）が低くなりましたが、SLO（OPR $\approx$ 50%）を満たすことはできませんでした。Acela の分位損失は、わずかに高い MAE で目標 OPR（95%）を達成し、このドメインにおいては精度だけでは不十分であることを示しました。
• ストラグラー除去: 訓練セットからストラグラーを除去することで、OPR に悪影響を与えることなく予測精度（MAE）を 1.2 倍向上させ、データ多様化戦略の有効性を確認しました。
• 分位感度: 感度分析により、分位パラメータ $\tau$ を 0.9 から 0.99 の間に設定することが、スケジューリング量とキャンセル率の間のトレードオフを最適にバランスさせることが示されました。

意義と主張

本論文は、この研究をソフトウェアアップグレードに関するデータセンター規模の最初の研究であり、継続時間予測を通じてアップグレード効率を向上させる最初の展開済みソリューションとして位置付けています。著者は、彼らのアプローチが「予測精度の最大化」から「システム目標（SLO 遵守とスループット）の最適化」へとパラダイムをシフトさせることを強調しています。誤差の非対称なコストと、データセンターアップグレードの特定の運用制約（固定ウィンドウ、バッファ制限など）を認識することで、Acela は信頼性を損なうことなく大規模インフラにおける運用効率を大幅に改善できることを実証しています。