Strait: Perceiving Priority and Interference in ML Inference Serving

以下は、論文「Strait: Perceiving Priority and Interference in ML Inference Serving.」の詳細な技術的サマリーです。

1. 問題定義

機械学習（ML）推論サービングシステムは、高 GPU 利用率下でのオンプレミス環境における展開において、タスクの優先順位付けとデッドラインの満足に関して重大な課題に直面しています。

• 不十分な優先順位付け: 既存のシステム（例：TensorFlow Serving、NVIDIA Triton）は、安全性監視や品質管理などの重要なタスクを、それほど重要でないタスクよりも優先的に処理するための堅牢なサポートを欠いていることが多いです。CUDA ストreamの優先順位付けをサポートしている場合もありますが、これらのハードウェアヒントは、並行カーネルが共有リソースを競合するため、しばしば非効率的です。その結果、高優先度（HP）タスクが深刻な干渉を受けたり、デッドラインを逸脱したりする可能性があります。
• 予測不可能な干渉: 現在のスケジューリングは、時間的共有（逐次実行）または静的空間的共有（並行実行）に依存することが多いです。
  • 時間的共有は、先頭行列（HOL）ブロッキングとリソース利用率の低下を招きます。
  • 空間的共有は利用率を向上させますが、並行カーネル実行およびデータ転送中に干渉を導入します。この干渉は非線形的であり、推定が困難なため、予測不能なレイテンシやデッドライン違反を引き起こします。
• プリエンプションの欠如: 汎用 GPU は一般的に、タスクレベルの真のプリエンプションをサポートしていません。バッチがディスパッチされると、中断することはできません。したがって、デッドライン違反を回避するためには、干渉下での正確なレイテンシ推定を必要とし、先行的にスケジューリング決定を下さなければなりません。

2. 手法：Strait システム

Strait は、干渉を明示的にモデル化および管理することで、二重優先度トラフィック（高優先度および低優先度）のデッドライン満足度を向上させるように設計された推論サービングシステムです。

A. システムアーキテクチャ

Strait は、複数の GPU を搭載したノード上でローカルに動作します。構成は以下の通りです：

1. 優先度認識スケジューラ: 異なるモデルのタスクキューを管理し、HP または LP ステータスを割り当てます。
2. 干渉予測エンジン: データ転送およびカーネル実行による干渉に起因するレイテンシ遅延を推定するグローバルモデルです。
3. 適応学習ループ: 実行時のフィードバックに基づいて予測モデルを継続的に更新し、ワークロードのドリフトやハードウェアのばらつきに対応します。

B. 干渉モデリング

Strait は推論レイテンシ（$T_{inf}$）を 4 つのコンポーネントに分解します：
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. データ転送干渉（$T_{data}$）:

   • ピンメモリを伴う PCIe データ転送がFIFOプロセスに従うという観察に基づいてモデル化されます。
   • 遅延は、PCIe リンク上の前バッチの完了時間に基づいて計算されます。
   • 出力サイズが小さいため、下流の転送干渉は通常無視できます。

2. カーネル実行干渉（$T_{kernel}$）:

   • 予測モデル: 遅延を推定するために適応的指数成長モデルを使用します。直感的には、リソース圧力が低い段階では干渉は緩やかに増加しますが、圧力が高まるにつれて（GPU のレイテンシ隠蔽能力を超えると）、超線形的に加速します。
   • 入力: モデルは、共存するバッチからのリソーススループット指標（例：L1/L2 キャッシュ、DRAM、Tensor コア、CUDA コア）の時間加重平均を使用します。
   • 優先度係数: CUDA ストreamの優先順位付けにより、同一の圧力下でも HP タスクは LP タスクよりも干渉を受けにくいことを反映する学習可能なパラメータ（$coeff_p$）を含みます。
   • 適応: モデルは、Adam 最適化とHuber 損失を使用してパラメータをオンライン更新します。予測カーネル実行レイテンシと実際のレイテンシの差異に基づいて再較正を行うことで、概念ドリフト（例：モデルアーキテクチャや GPU タイプの変更）に対する堅牢性を確保します。

C. 優先度認識スケジューリングアルゴリズム

スケジューラは、最適なバッチサイズと GPU 割り当てを決定するために二分探索を採用します。以下の 2 つの主要な制約を強制します：

1. 高優先度/同等優先度の違反防止: 進行中の HP タスクまたは同等優先度のタスクがデッドラインを逸脱させる場合、新しいバッチはスケジュールされません。
2. 自己デッドラインの実現可能性: 新しいバッチは、自身のデッドラインを満たすことができなければなりません（GPU の実行スループットの半分として実行されると仮定した保守的な推定）。
3. LP スロットリング: HP タスクを保護するため、システムは**加算増減減（AIMD）**ポリシーを使用して、LP タスクの集約スループット（$C_{low}$）を動的に制限します。HP タスクがデッドラインを逸脱した場合、$C_{low}$は保守的なベースラインにリセットされます。

3. 主要な貢献

1. 干渉認識スケジューリング: Strait は、二重優先度 ML トラフィックのスケジューリング決定に、明示的な干渉予測（データ転送およびカーネル実行の両方）を直接統合した最初のシステムです。
2. 適応的予測モデル: 静的モデルがワークロードやハードウェアの変化に失敗する限界を克服し、リソース競合パターンを動的に学習する、新規の自己適応回帰モデルを提案します。
3. プリエンプションなしの優先度管理: 低優先度タスクを先行的にブロックまたはスロットリングして高優先度デッドラインを保護することにより、プリエンプション非対応の GPU 上で効果的なタスク優先順位付けを実現する方法を実証しました。
4. 包括的な評価: 時間的共有、静的/反応的空間的共有、およびソフトウェア定義プリエンプション（XSched）を含む最先端のベースラインに対する厳密な評価を提供します。

4. 評価結果

実験は、NVIDIA L4 GPU 上で、多様な DNN モデル（ResNet、ViT、YOLO、RoBERTa）を用いて、確率的、一様、および生産トレース下で行われました。

• デッドライン満足度:
  • Strait は、既存の空間的共有およびプリエンプション手法と比較して、高優先度タスクのデッドライン違反を 1.02 から 11.18 パーセントポイント削減します。
  • 低優先度タスクに対しては許容可能なパフォーマンストレードオフ（最悪の場合の劣化はわずか0.61 パーセントポイント）を伴います。
• プリエンプション（XSched）との比較:
  • カーネルレベルのプリエンプションシステムである XSched と比較して、Strait は同等の HP デッドライン満足度を実現しつつ、LP タスクに対してより公平なパフォーマンスを提供します。
  • XSched は HP リクエストが支配的になった場合、LP タスクで HOL ブロッキングに苦しみますが、Strait の先行的スケジューリングは、並行性とバッチサイズを管理することでこれを回避します。
• 適応性:
  • 適応的予測モデルは、異なるモデルセット（CNN 対 Transformer）や GPU アーキテクチャ（Ada Lovelace 対 Ampere 対 Hopper）間を遷移する際に、静的モデルを大幅に凌駕し、p99 予測誤差を7.2 から 8 パーセントポイント削減します。
• オーバーヘッド:
  • スケジューリングオーバーヘッドは最小限（数十マイクロ秒）であり、リアルタイムサービングに適しています。

5. 意義

Strait は、決定論的レイテンシとタスク優先順位付けが最重要となるオンプレミス ML インフラストラクチャの重要なギャップに対処します（例：産業用自動化、安全システム）。反応的なリソース管理から先行的干渉知覚へ移行することで、Strait は以下を実現します：

• 高信頼性: 重負荷下でも重要なタスクが厳格なデッドラインを満たすことを保証します。
• より良いリソース利用率: 通常、非効率的な時間的共有に依存せざるを得ない予測不能性を伴わずに、安全な空間的共有を可能にします。
• スケーラビリティ: このアプローチはクラスターレベルのオートスケーリングと直交しており、専用ハードウェアのプリエンプションサポートを必要とせずに、既存のサービングスタック（Triton など）に統合して優先度処理機能を強化できます。

要約すると、Strait は、現代の GPU 加速推論サービングにおける並行性、干渉、および優先度の間の複雑なトレードオフを管理するための堅牢なフレームワークを提供します。