技術要約：すべての同期が安全とは限らない：共有AIインフラストラクチャのための較正されたDiLoCoスケジューリング

問題提起

断片化された産業用AIフリートにおいて、トレーニングがレイテンシに敏感なサービング（例：vLLMサイドカー）とハードウェアを共有する場合、従来のDiLoCoスタイルのトレーニングは重大なプロダクション上の課題に直面します。それは、**「いつ同期するのが安全か？」**という問題です。

DiLoCoは、学習アイランドが時折の外部同期の前にローカルな最適化ステップを実行させることで通信量を削減しますが、既存のスケジューリング研究は、多くの場合、タイミングの価値と*予算（バジェット）*の価値を分離できていません。ほとんどの評価は、ワークロードを考慮したポリシーを、固定期間（例：256または512ステップごと）のベースラインと比較しています。しかし、固定期間のベースラインは、単に同期頻度を低くしたり、偶然異なるタイミングで同期したりしているだけであり、真のワークロード認識能力を示しているわけではありません。

核心となる問題は、外部のマージ（outer merge）が固定された期間（例：8秒間）にわたってホスト、ネットワーク、およびチェックポイントのリソースを消費することです。もしこのウィンドウがレイテンシに敏感なリクエストと重なると、サービスレベル目標（SLO）の違反を引き起こします。問いは、単に「どのくらいの頻度で同期するか」ではなく、**「高コストな期間を避けるために、具体的にどのウィンドウを選択すべきか」**であり、かつ、あるポリシーが同じ同期予算を持つランダムな配置に対して確実に優位性を示せるか、という点にあります。

メソドロジー

1. 較正プロトコル（The Calibration Protocol）

著者らは、同期ポリシーがサービングSLOの改善という主張を勝ち取るための、厳格な評価プロトコルを提案しています。このプロトコルは、**マッチド・ランダム・ディファラル（Matched Random Deferral）**という制御手法を導入しています。

• 概念: 評価対象のポリシーが持つ正確な同期予算（マージ回数）を継承しつつ、実行可能な時間廊下（time corridor）内でマージの配置をランダム化する、非デプロイ可能な制御です。
• 目的: これにより、同期頻度とウィンドウの配置を分離します。もしワークロード認識型ポリシーが、同じ予算を持つランダムな配置に対して優位性を示せない場合、それは「配置による利得（placement gain）」を実証したことにはなりません。
• ゲート: SLO改善の主張は、較正されたレジームにおいてマッチド・ランダム・エンベロープ（matched-random envelope）を上回った場合にのみ有効となります。

2. ワークロード認識型DiLoCo (WA-DiLoCo)

本論文では、このプロトコルを軽量なスコアベースのコントローラーであるWA-DiLoCoとして具体化しています。

• 入力: 学習の進捗（損失減少、トークン寄与度、停滞度）およびフリートのプレッシャー（ネットワーク、サービング、チェックポイント）。
• スコアリング: 各学習者に対して、進捗を正に、プレッシャーを負に重み付けした線形スコア $s_i$ が計算されます。ターゲット設定においては、サービング・プレッシャーが最も高い重みを持ちます。
• 決定ロジック: コーディネーターは、前回のマージからのギャップが $H_{min}$ (128ステップ) を超え、かつ平均スコアが閾値を超えた場合、あるいはギャップが $H_{max}$ (512ステップ) に達した場合に同期を行います。これにより、マージが限定された範囲内に留まることを保証します。

3. 較正されたオーバーラップと予測

バースト的なワークロードに対して、著者らは、一般的なプレッシャー指標よりも、サイドカーへのリクエストとの直接的なオーバーラップの方が、より精密なコスト信号であることを見出しました。

• オフライン較正型WA (Offline Calibrated-WA): 全バースト・トレースを観察し、オーバーラップが最小となる実行可能なウィンドウを再選択するオーラクル（神託）です。これは、理論的な上限値を確立します。
• オンライン予測 (Online Forecasting): これをデプロイ可能にするため、著者らはコントローラーに、リクエストレートの1ステップ指数移動平均（EWMA）による予測を付加しました。これにより、コントローラーはマージが開始される前に、期待されるオーバーラップに基づいて候補となるウィンドウをスコアリングできます。

主な貢献

1. 較正された評価プロトコル: 本論文は、固定期間のベースラインが予算と配置を混同しているという、既存の文献におけるギャップを指摘しています。このプロトコルは、サービングSLOの改善を主張する前に、実サイドカー効果サイズの転移（real-sidecar effect-size transfer）、同期なしの負荷一致（no-sync load match）、およびマッチド・ランダム・エンベロープを報告することを義務付けています。
2. マッチド・ランダム・ディファラル制御: 評価対象のスケジューラのマージ予算を継承しつつ、配置をランダム化する非デプロイ可能な制御を導入しています。これは厳格なベースラインとして機能します。スケジューラがこのランダムな配置に勝てない場合、それは予算を制御しただけであり、ワークロードを制御したことにはなりません。
3. 限定された較正スケジューリング定式化: 著者らは、同期を $min/max-H$ コーリドー内での実行可能な配置として定式化しました。較正されたオーバーラップモデルの下では、オフラインの較正型スケジューリングは、マッチド・バジェット・クラス内でほぼ最適であることを証明しており、オンライン版は予測誤差に伴い緩やかに劣化します。
4. 広範な実サイドカー・レジーム研究: 本研究では、実際のvLLMサイドカーの再生データを用いて、通常、プレッシャー過多、定常的な同期過多、バースト的、および非周期的なサービング・レジームにおけるポリシーを評価しています。

結果

実験により、スケジューリングの有効性はワークロードのレジームに大きく依存することが明らかになりました。

• 通常／プレッシャー過多レジーム: 通常のサイドカー・トレースにおいて、合成されたプレッサー効果は実際のレイテンシには転移しませんでした（p95比率 $\approx$ 1.0）。プレッシャー過多のレジームでは、すべてのポリシーが飽和しており、どのポリシーも支配的ではありませんでした。
• 定常的な同期過多レジーム: WA-DiLoCoは、固定間隔およびプレッシャー・ゲートのベースラインを上回りました。しかし、統計的にはマッチド・ランダム・ディファラル制御と同等（$p=0.56$）であり、定常的な負荷においては、単純なランダム配置で十分であることが多く、強い優位性の主張はできないことを示しています。
• バースト的レジーム: ここで較正が価値を発揮します。
  • オフライン較引型WA: 同期超過によるSLO違反を 4.45% に抑え、マッチド・ランダム・エンベロープ（6.26%）およびWA-DiLoCo（6.92%）を大幅に上回りました。
  • オンライン予測器: EWMAで拡張されたオンラインコントローラーは、実際のvLLMサイドカー再生において、SLO違反をマッチド・ランダムの 6.54% から 5.09% へと減少させました（$p=0.021$）。これは 1.46パーセントポイント の配置利得であり、テストされたスループットにおいて、サイドカーあたり10分間で約60リクエストのSLO違反を削減したことに相当します。

意義と主張

本論文の主要な意義は、アルゴリズムそのものよりも方法論にあります。著者らは、**「すべての同期が安全とは限らない」**と主張しており、SLO改善を主張するにはより高い証拠の基準が必要であると述べています。

• プロトコルが第一: 著者らは、「デプロイ可能な教訓」はプロトコル自体であると主張しています。研究者は、サービングSLOの改善を主張する前に、実サイドカー効果サイズの転移、同期なしの負荷一致、およびマッチド・ランダム・エンベロープを報告しなければなりません。
• デプロイ可能性に関する控えめな主張: 論文は、現在のオンラインコントローラーの状態について控えめな表現を用いています。オフラインのオーラクルがバースト的なトレースに利用可能な構造が存在することを証明した一方で、オンラインコントローラー（予測なし）はマッチド・ランダムを大きく上回ることはできませんでした。デプロイメントに関する成功の主張は、特定の非周期的なトレース・ファミリーにおける予測拡張型のバリアントに特化しています。
• 限界: 著者らは、これらがライブプロダクションへのデプロイではなく、ストレス・テストされた再生研究であることを明示しています。8秒間のマージ時間は構成に依存し、オンラインコントローラーは、将来のデプロイにおける公平性と飢餓（starvation）のための重み付けやガードレールの調整を必要とする「不完全な実装」のままです。

結論として、本論文は、DiLoCoが通信量を削減する一方で、残りの同期イベントのスケジューリングが、共有フリートにおける重要な制御問題であることを示しています。マッチド・ランダム・ベースラインと較正プロトコルを導入することで、ワークロード依存型のスケジューリングは、ワークロードに（バーストのような）利用可能な構造があり、かつコントローラーがその構造を正確に予測または観察できる場合にのみ、測定可能なSLO利得をもたらすことを示しています。