技術的概要：マルチモデル LLM スケジューラに向けた取り組み：オフローディングとプリエンプションに関する実証的知見

問題定義

現代の大規模言語モデル（LLM）の展開では、アーキテクチャ、サイズ、専門性が異なる複数の異種モデルを、共有されたリソース制約のあるハードウェア上で提供することがますます必要とされています。vLLM などの既存システムは、連続バッチ処理や効率的なキー・バリュー（KV）キャッシュ管理を通じて単一モデルワークロードのスループットを最適化していますが、厳格な GPU メモリ制約下でのマルチモデルスケジューリングを処理するメカニズムは欠如しています。

このような制約された環境では、2 つの重要なメカニズムが必要となりますが、マルチモデルの文脈では十分に理解されていません。

1. 部分的な CPU-GPU オフローディング: モデルのレイヤーの一部を CPU メモリに移動させ、限られた GPU VRAM にモデルを収容できるようにする。
2. プリエンプション: 実行中の推論ジョブを一時停止して、そのモデルと状態を排除し、優先度の高いジョブを実行可能にし、その後元のジョブを再開する。

現在の文献では、オフローディングに伴う性能低下が線形的であると仮定するか、プリエンプションコストを単一の定量化されていないオーバーヘッドとして扱うことが多いです。これらの要因が、異なるモデルスケール、アーキテクチャ、ハードウェアプラットフォーム間でどのように相互作用するかを特徴づける実証データは不足しています。

手法

著者らは、共通の CPU サブシステム（AMD Threadripper PRO 5995WX）を共有しつつ、GPU アーキテクチャが異なる 2 つの異なるハードウェアプラットフォームにわたる体系的な実証研究を実施しました。

• プラットフォーム A: NVIDIA RTX 5000 Ada Generation（32 GB VRAM）。
• プラットフォーム B: NVIDIA RTX A6000（48 GB VRAM）。

本研究では多様なモデルセット（オフローディング用：Llama 3 8B、Qwen3 32B、Llama 2 70B；プリエンプション用：Qwen2.5-3B、Qwen3-8B、Qwen2.5-14B）を利用し、2 つの主要な実験スウィープを実行しました。

1. レイヤー単位オフローディングスウィープ:

   • Ollama（Q4 量子化）および HuggingFace Transformers（FP16）上で実行。
   • GPU に配置するトランスフォーマーレイヤーの割合を、0%（すべて CPU）から 100%（すべて GPU）まで 10% 刻みで、100% 付近ではより細かい粒度で変化させた。
   • 様々な出力長さ（50 から 5,000 トークン）におけるデコードスループット（トークン/秒）を測定。

2. プリエンプションおよびマイグレーションベンチマーク:

   • 長期間実行中のジョブ A（7,000 トークンを生成）が 9 つのチェックポイント（100 から 5,000 トークン）で中断される「最悪ケース」のプリエンプションシナリオをシミュレート。
   • ジョブ A を完全にアンロード（重みと KV キャッシュをホストメモリへ移動）し、ジョブ B を実行した後、ジョブ A を再ロードして再開。
   • 総プリエンプションオーバーヘッドを構成要素に分解：KV キャッシュ転送（GPU→CPU）、モデルアンロード、モデル再ロード、KV キャッシュ復元（CPU→GPU）。
   • プリエンプションされたモデルのサイズ対プリエンプションを行うモデルのサイズの影響を分離するため、様々なモデルの組み合わせをテスト。

主要な貢献

本論文は、以下の 3 つの主要な貢献を提供します。

1. 体系的な実証評価: 異種ハードウェアにわたる最先端の LLM の包括的な特徴付け。オフローディングとスケーリングに関する性能トレンドがモデルやシステム間で一貫していることを実証。
2. オーバーヘッドの定量化: 部分的オフローディングとプリエンプションの性能への影響の詳細な分析。遅延とデータ移動コストの支配的な要因を特定。
3. スケジューラ機能の蒸留: 将来的なマルチモデルスケジューラが、ハイブリッド CPU-GPU 実行とプリエンプションを効果的にサポートするために組み込むべき、実証データから導き出された一連の主要機能。

主要な結果

1. 非線形なオフローディング性能低下

• モデル感受性: デコードスループットは、GPU 上のレイヤー割合に比例して線形にスケーリングしない。小規模モデル（例：Llama 3 8B）は、GPU 常駐率の低下に対して鋭く非線形な感受性を示し、中程度のオフローディングでも著しいスループットペナルティを受ける。大規模モデル（例：Llama 2 70B）は、より緩やかでほぼ線形な低下を示す。
• ハードウェア相互作用: CPU と GPU の間の相対的な性能差が、オフローディング効率に大きく影響する。RTX 5000（ピークスループットが低い）では、RTX A6000（計算能力が高い）と比較してオフローディングの相対的ペナルティは小さいが、RTX A6000 ではオフローディングによる相対的な性能低下がより大きい。
• シーケンス長さ: 長いプロンプトは、KV キャッシュのメモリ圧力とアクセスコストの増加により、オフローディングの悪影響を増幅させる。

2. プリエンプションオーバーヘッドの構成

• モデル再ロードの支配性: プリエンプションのコストは、ディスクから GPU メモリへのモデル重みの再ロードによって圧倒的に支配されている。この構成要素は、両方のハードウェアプラットフォームにおいて総プリエンプションオーバーヘッドの 98.5% 以上 を占める。
• KV キャッシュの無視可能性: KV キャッシュ転送（GPU→CPU および CPU→GPU）は、大きなキャッシュ（最大約 950 MB）であっても、総オーバーヘッドの 1.5% 未満 に寄与する。
• 定数コスト: プリエンプションオーバーヘッドは、ジョブの進行状況（生成されたトークン数）に関わらず実質的に一定である。コストは、ほぼ完全にプリエンプションされたモデルの重みフットプリントに依存し、KV キャッシュのサイズやプリエンプションを行うモデルのアイデンティティには依存しない。
  • 例: RTX 5000 上では、プリエンプションオーバーヘッドは 3B モデルで約 3 秒から 14B モデルで約 7.3 秒の範囲にある。
• ハードウェア変動: RTX A6000 は、VRAM が大きいにもかかわらず、ディスクから GPU への転送が速いため、RTX 5000 に比べて絶対的なプリエンプションコストが低いことを示した。

3. データ移動効率

• KV キャッシュ転送時間はシーケンス長に比例してスケーリングするが、数十ミリ秒の範囲に留まる（例：RTX 5000 上での約 950MB 転送で <90ms）。
• 実効 PCIe バンド幅は、PyTorch ランタイムにおけるレイヤー単位のテンソルコピーオーバーヘッドによって制限され、理論上のピーク 31.5 GB/s に対して 9–16 GB/s しか達成されていない。

意義と主張

本論文は、これらの実証的知見が、次世代 LLM スケジューラの設計要件を根本的に変えることを主張する。

• 線形仮定の拒否: スケジューラは、比例または均一な配置戦略に依存することはできない。特に部分的オフローディングが極めて有害となる小規模モデルにおいて、モデル固有の非線形オフローディング感受性を考慮しなければならない。
• 固定プリエンプションペナルティ: プリエンプションコストがジョブの進行状況に応じて変化するという仮定とは対照的に、本研究はプリエンプションを、モデルの重みフットプリントとハードウェアペアのみに依存する固定ペナルティとしてモデル化できることを確立した。これによりスケジューリングロジックが簡素化され、予測可能なコストモデリングが可能となる。
• ハードウェア認識: スケジューリング決定は、GPU 容量だけでなく、CPU と GPU の間の特定の計算ギャップ、およびディスクから GPU への転送速度も考慮して、明示的にハードウェアを認識する必要がある。
• KV キャッシュ対重み: 本研究は、プリエンプション効率の向上において、モデル重みのロード/アンロードの最適化に比べ KV キャッシュのマイグレーションの最適化は二次的であることを明確にした。なぜなら、前者は現在の総コスト構造において無視できるほど小さいからである。

著者らは、将来のスケジューラが、非線形なオフローディングカーブ、モデルアーキテクチャプロファイル、シーケンス長さのダイナミクス、および固定プリエンプションコストを統合することで、動的かつリソース制約のある環境における異種マルチモデルワークロードを効率的に管理できると結論づけている。