DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference

技術要約: DriftSched

問題提起
大規模言語モデル（LLM）の急速な普及により、AIデータセンターにおける効率的なマルチテナントGPUスケジューリングへの需要が高まっています。vLLMのような現代的な推論ランタイムは、継続的バッチ処理（continuous batching）やメモリ管理を通じてスループットを最適化していますが、不均一な推論リクエストの実行コストを正確に推定することは依然として大きな課題です。既存のスケジューリング手法は、通常、静的なトークン制限、ユーザー指定の出力制約、または定義済みのワークロード仮定に依存しています。これらの静的な手法は、プロンプトの複雑さ、応答の特性、およびモデルの挙動に起因して、観測された出力長が期待値から頻繁に逸脱する実世界のLLMワークロードの動的な挙動を捉えることができません。

本論文では、この乖離を**ランタイム・トークン・ドリフト（runtime token drift）**として特定しています。この現象は、推定エラーを引き起こし、それがスケジューリングの決定へと伝播することで、ワークロードの誤分類、キューの不均衡、テールレイテンシの増大、テナント間の不公平なリソース割り当て、およびGPU競合下でのQoS（サービス品質）の低下を招きます。予測可能な実行コストを前提とした従来のスケジューリングアルゴリズム（例：FIFO、SJF）は、KVキャッシュの増大やバッチングのダイナミクスといった動的な要因に実行時の挙果が依存するマルチテナントLLM環境において、苦戦することになります。

手法およびシステムアーキテクチャ
これらの課題に対処するため、著者らは、NVIDIA L4 GPU上でのマルチテナントLLM推論向けに設計された、適応的なQoS認識型スケジューリングフレームワークであるDriftSchedを提案します。システムアーキテクチャは、ワークロード分類、トークン予算推定、テナント認識型キュー管理、および実行時フィードバック駆動型のドリフト補償メカニズムを統合しています。

1. 適応的トークン推定: 静的なアプローチとは異なり、DriftSchedはワークロード分類、テナント認識型の安全係数、およびプロンプトの複雑さを組み合わせることで、GPU実行前に推論コストを推定します。極めて重要な点として、実行フィードバックを用いて継続的に更新される適応的バイアス因子（$B_{runtime}$）を採用しています。推定出力トークン数は次のように計算されます：
   $$T_{estimated\_output} = T_{base} \times B_{runtime} \times S_{tenant} \times F_{input}$$
   ここで、$B_{runtime}$は、観測された出力長とベースライン推定値の比率から学習されます。

2. ワークロード分類とキューイング: 推論リクエストは、意味的なカテゴリ（short_qa, summary, technical, report）に分類され、推定されたトークン予算に基づいて実行時のスケジューリングクラス（short, medium, long）にマッピングされます。リクエストは、Redisを介して管理されるテナント固有のキュー（Premium, Standard, Batch）に割り当てられます。

3. スケジューリング戦略: 本フレームワークは、5つのスケジューリングポリシー（First-Come First-Serve (FIFO)、優先度スケジューリング、加重スケジューリング、Shortest-Job-First (SJF)、およびAging Priority Scheduling）を評価します。

4. フィードバックループ: システムは2つのフェーズで動作します。まず、実行時フィードバックを収集しバイアス因子を収束させるためのキャリブレーションフェーズ（最初の1,000リクエスト）、次に、学習されたバイアス値を利用しながらオンライン適応を継続するストレス評価フェーズ（残りの2,000リクエスト）です。適応的更新ルールは、推定されたトークン予算と実際の出力長との偏差に基づき、指数移動平均（EMA）を使用してバイアス因子を精緻化します。

主な貢献

• 適応的ドリフト認識アーキテクチャ: ワークロード推定をランタイムのトークン・ドリフト補償問題として扱い、予測を実際の挙動に一致させるためにバイアス因子を動的に更新する、新しいスケジューリングフレームワーク。
• ランタイム・トークン・ドリフト補償メカニズム: 推定されたトークン予算と実際の出力長を継続的に比較することで、推定エラーを低減し、アドミッション時のスケジューリング精度を向上させるフィードバック駆動型の手法。
• 再現可能なベンチマークフレームワーク: NVIDIA L4 GPU上でvLLMを用いた包括的な評価セットアップ。異なるプロンプトの複雑さと到着率を持つ不均一なマルチテナント・トラフィックをシミュレートし、公平性、レイテンシ、およびスループットを評価。

実験結果
実験は、NVIDIA L4 GPU上で、3つのテナントティアと4つの意味的ワークロードタイプにわたる3,000件の推論リクエストを用いて実施されました。

• トークン・ドリフトの存在: 本研究は、ワークロードカテゴリ間で測定可能なランタイム・トークン・ドリフトが存在することを確認しました。静的なトークン予算推定は、実際の生成挙動を一貫して過大評価していました。
• 推定精度: 適応的フィードバックメカニズムは、すべての評価されたスケジューリングポリシーにおいて、静的なベースラインと比較して、ワークロード推定誤差を平均で**38.8% (MAE)および40.5% (RMSE)**減少させました。
• レイテンシ性能: スケジューリングポリシーの中で、Shortest-Job-First (SJF)が最高の全体性能を達成しました。FIFOと比較して、SJFは中央値（P50）エンドツーエンド・レイテンシを約42%、P99レイテンシを約**16%**削減しました。この改善は、短いワークロードの優先順位付けとキュー占有率の低減によるものです。
• トレードオフ: SJFはグローバルなレイテンシを最適化しましたが、テナント認識型スケジューラー（Priority, Weighted, Aging）は、Premiumテナントに対してより強力なQoS差別化を提供しました。例えば、PriorityスケジューリングはPremiumテナントのレイテンシを約77秒に減少させた一方で、Batchテナントのレイテンシを約427秒に増加させました。
• GPU利用率: 分析の結果、GPU実行レイテンシとメモリ利用率はすべてのスケジューリングポリシーにおいて比較的一定であることが明らかになりました。これは、性能の差がGPUの実行効率の変化ではなく、キュー管理とワークロードの順序付けに起因していることを示しています。

意義と主張
本論文は、ランタイム・トークン・ドリフトが、マルチテナントLLMサービングシステムにおいて測定可能かつ実用的に重要な現象であることを主張しています。DriftSchedの主な意義は、適応的フィードバック駆動型の推定が、GPU競合下におけるワークロード特性把握とスケジューリングの有効性を大幅に向上させられることを示した点にあります。

著者らは、自らの知見がエンタープライズAIサービングプラットフォームに実用的な洞察を提供し、正確なランタイム・ワークロード推定が将来の適応的推論ランタイムにとって極めて重要であることを強調しています。本研究は、適応的なワークロード推定を新たなスケジューリング信号として導入することで、既存のアーキテクチャ（例：Orca, Sarathi, vLLM）を補完するものです。結論として、ワークロード認識型スケジューリング（SJFなど）はテールレイテンシを大幅に削減するものの、テナントレベルの公平性とのトレードオフを伴うため、将来のシステムはグローバルな効率性とサービスレベルの保証のバランスを取る必要があると述べています。また、評価が単一のGPUプラットフォームとモデルで行われたことを控えめに注記しており、今後の課題としてマルチGPUシナリオや強化学習ベースのスケジューリングへの展開を挙げています。