Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prismは、kvcachedと呼ばれる新しいメモリバルーニング技術を利用して、複数のモデル間でGPUメモリを動的に回収および再割り当てすることで、空間的および時間的な共有を統合し、プロダクション環境におけるコスト効率とSLO遵守を向上させる、メモリ中心のLLM共同サービングフレームワークである。

要約

あなたは、数千もの客室（GPU）と数千もの異なるゲスト（AIモデル）を抱える、巨大なホテルの支配人だと想像してください。中には、24時間年中無休で部屋を欲しがるセレブリティもいれば、一日に一度、10分間のチェックインをするだけの観光客もいます。

問題は、このホテルを運営するコストが非常に高いことです。もし、観光客がいつ現れるかに備えて全員に専用の個室を与えてしまうと、ホテルの90%が空室のままになり、無駄が発生します。しかし、全員を一つの部屋に押し込めようとすると、混乱が生じます。セレブリティたちは待たされることになり、怒り出してしまうでしょう。

Prismは、「メモリ・バルーニング（Memory Ballooning）」というトリックを用いることで、この問題を解決する新しいスマートなホテルマネージャーです。

その仕組みを、シンプルな概念に分解して説明します。

1. 問題点：「固定された部屋」の罠

従来のAIの運用方法では、モデル（ゲスト）に部屋が割り当てられると、そのモデルが眠っている（アイドル状態の）間であっても、その部屋は永久にそのモデル専用のものでした。

• スペース共有（従来の方法）： 複数のゲストを一つの部屋に入れようとする試みです。全員が起きている状態で会話をしているときは非常にうまく機能します。しかし、もし一人のゲストが1週間外出した場合、そのゲストの部屋の半分は空いたままになり、他のゲストがそこを使うことはできません。
• タイムシェアリング（もう一つの従来の方法）： 他のゲストを入れるために、一人のゲストを追い出す方法です。これはゲストが異なる時間にやってくる場合には有効です。しかし、もし二人のゲストが全く同じ瞬間に到着した場合、常にゲストを出し入れしなければならなくなります。この「出し入れ」は時間がかかるため、待ち時間（ラグ）が発生し、ゲストは期限を守れなくなってしまいます。

現実世界のAIトラフィックは混沌としています。ある時はグループのモデルが一斉に忙しくなり、またある時は全員が静かになります。従来の一つの戦略だけでは、この切り替えに対応することはできませんでした。

2. 解決策：「バルーニング」のトリック

Prismは、kvcached（バルーン・ドライバー）と呼ばれる新しいマネージャーを導入しています。GPUメモリを、固定された部屋ではなく、**膨らむ風船（バルーン）**だと考えてください。

• 弾力性のあるバル風船： モデルが忙しくなり、より多くの思考スペースを必要とすると、マネージャーはそのモデルの風船を膨らませ、現在眠っている他のモデルから空気を奪って膨らませます。
• 他者のための縮小： モデルが眠りにつくと、その風船は縮み、スペースを解放します。これにより、目を覚ました新しいモデルが即座に自分の風船を膨らませることができます。
• 家具の移動は不要： 最も素晴らしい点は、モデル側はこの現象に気づかないことです。彼らはただ、魔法のように広がり、縮む部屋を見ているだけです。裏側での重労働はすべてマネージャーが引き受けます。

3. 二段階の戦略

Prismは、誰に「空気（スペース）」を与えるかを決めるために、2つのスマートなルールを使用しています。

• ルール1：グローバル・スケジューラ（ホテル・マネージャー）： ホテル全体を見渡します。「現在、どのグループのゲストが活動中か？」を問いかけます。そして、それらのアクティブなゲストを同じフロア（GPU）に配置し、スペースを簡単に共有できるようにします。もしゲストが眠っている場合は、スペースを空けるために彼らを収納庫（CPU）へと移動させます。ホテルが空いているフロアがある一方で、特定のフロアが過密状態にならないよう、常にホテル内を再編成しています。
• ルール2：ローカル・スケジューラ（コンシェルジュ）： 今まさに来ている具体的なリクエストに注目します。もし二人のゲストが最後のわずかなスペースを奪い合っている場合、コンシェルジュはどちらの期限がより差し迫っているかをチェックします。緊急性の高いゲストを優先的に通し、緊急性の低い方には少し待つように伝えます。これにより、最も重要なタスクが確実に期限内に完了するようにします。

4. 結果

論文では、主要なAIプロバイダーからの現実世界のデータを用いてPrismをテストしました。その結果、以下のことが判明しました。

• より速いサービス： 従来のメソッドよりも最大3.3倍優れた速度の約束（SLO）を達成しました。
• コストの削減： 同じレベルのパフォーマンスを得るために、Prismは半分の数のGPUしか必要としませんでした（あるいは、同じハードウェアで2倍のリクエストを処理できました）。
• 実社会での証明： すでに10,000基以上のGPUを運用するプロダクション環境に導入されており、無駄な「アイドル」時間を課金可能な業務に変えることで、企業がGPUあたりの収益を大幅に向上させることに貢献しています。

まとめ

Prismは、スマートで弾力性のあるホテルのマネージャーのようなものです。ゲストを固定された部屋に閉じ込めたり、絶えず追い出したりする代わりに、膨らむ風船を使ってダイナミックにスペースを共有します。忙しいモデルのためにスペースを広げ、眠っているモデルのためにスペースを縮めることで、誰も待たせることなく、ホテルを常に満席にし、効率的かつ高速に運営します。

技術概要

技術サマリー: Prism

問題提起

数千もの大規模言語モデル（LLM）をホストする推論プロバイダーは、極めて重要な効率性の課題に直面しています。それは、トークン価格が下落する中で、低ボリュームかつ不可欠なモデルの可用性を維持しながら、いかにコストを最小化するかという課題です。プロダクション環境のトレース分析によれば、現実世界のワークロードは、コンパウンドAIシステムやエージェント・パイプラインによって駆動される、特定のモデルのサブセットが同時に活性化し、時間の経過とともにシフトするという**動的なバースト・グループ・パターン（dynamic bursty-group pattern）**を示しています。

既存のサービング戦略は、この変動性に適応できていません：

• 空間共有（コロケーション）: 未使用のメモリを活用するために複数のモデルをGPU上に共存させる手法は、継続的な低トラフィックのモデルには有効ですが、長いアイドル期間中に深刻なメモリ断片化を引き起こします。また、メモリがアイドル中のモデルによって静的にロックされるため、アクティブなモデルがサービスレベル目標（SLO）を満たすためにスケールアップすることを妨げます。
• 時間共有（スワッピング）: モデルをGPUメモリにスワップイン・アウトする手法は、散発的なトラフィックには対応できますが、ワークロードの急速な変動時に高いレイテンシ・オーバーヘッド（数秒）が発生します。これにより、複数のモデルがインターリーブ（交互に発生）するリクエストを処理する際に「スラッシング（thrashing）」が発生し、SLO違反を招きます。

核心となる課題は、空間的共有と時間的共有を統合するための原理的なメカニズムが欠如していることです。現在のシステムは、ワークロードのパターンが揮発的なバーストからインターリーブされた活動へと変化する際、SLOの遵守とリソース効率の間のトレードオフを強制され、両者を流動的に移行させることができません。

メソドロジー

Prismは、**弾力的なメモリ割り当て（elastic memory allocation）**を通じて空間的共有と時間的共有を統合するように設計された、メモリ中心のGPU共有フレームワークです。そのアーキテクチャは、主に以下の3つのコンポーネントで構成されています。

1. GPUメモリ・バルーニング（kvcached ドライバ）

Prismは、推論エンジン（例：SGLang）とGPU物理メモリの間に位置するバルーンドライバ、**kvcached**を導入しています。このドライバは、実行を中断することなく、モデル間でメモリを回収および再割り当てを行うメモリ・バルーニングを実装します。

• 仮想/物理のデカップリング: エンジンは大きな仮想アドレス空間を予約しますが、物理メモリはオンデマンドで割り当てられ、マッピングされます。これにより、システムは実行時にモデルの物理的なフットプリント（重みおよびKVキャッシュ）を縮小または拡大できます。
• 統合管理: kvcachedは、モデルの重みとKVキャッシュを統一された物理ページ・プールとして扱います。形状の競合を避けるために、トークンブロックを仮想ページにマッピングし、それらを物理的に分離することで、多様なモデルアーキテクチャをサポートします。
• 最適化: オーバーヘッドを最小限に抑えるため、2MBのメモリページを使用し、部分的に埋められたページを優先し、非同期的なページ準備のために事前割り当てスレッドを採用しています。また、既存のアテンション・カーネルやCUDAグラフと互換性のある**弾力性テンソル（eTensor）**抽象を提供するため、サービングエンジンのコード変更を必要としません。
• 高速ロード: コールドスタートのレイテンシを軽減するため、Prismは再利用可能なエンジン・プールを使用してエンジンのライフサイクルとモデルのライフサイクルを分離し、NVLinkを介したGPU間での並列重みロードを採用してインターコネクト帯域幅を飽和させます。

2. メモリ中心のコントロールプレーン

Prismは、kvcachedが提供する弾力性を管理するために、階層的なスケジューラを採用しています。

• 負荷を考慮したモデル配置（グローバル）: グローバルスケジューラは、バルーニングのためのメモリ・ヘッドルームを最大化するように、モデルをGPU間に配置します。これは、SLOで重み付けされたトークンレートに基づいてメモリの競合を定量化する**KV圧力比（KVPR）**ヒューリスティックを使用します。このアルゴリズムは、高需要のモデルを既存の圧力が最も低いGPUに貪欲に配置することで、アクティブなモデルがバースト中にKVキャッシュを拡張できるスペースを確保します。
• スラックを考慮したリクエスト仲裁（ローカル）: GPUローカルスケジューラは、コロケートされたモデルからの同時リクエストを管理します。静的な隔離の代わりに、共有リクエストキューを使用し、デッドラインのミスを最小限に抑えるためにムーア・ホジソン（Moore-Hodgson）アルゴリズムを適用します。これは、タイムスラック（デッドラインと必要な実行時間の差）に基づいてリクエストに優先順位を付け、緊急かつ短時間の要求が長時間実行される要求よりも先に処理されるようにし、TTFT（最初のトークン生成までの時間）のSLO達成率を最大化します。

3. システム統合

Prismは、CUDA Virtual Memory Management (VMM) APIを利用してSGLangを拡張するライブラリとして実装されています。これは、実行時のメトリクスに基づいてモデルの退避、活性化、およびマイグレーションを調整する、独立した制御プロセスとして動作します。

主な貢献

1. 統合された共有メカニズム: Prismは、GPUメモリを弾力的なリソースとして扱うことで、単一のスキームの下で空間的共有と時間的共有を統合する初めてのシステムです。これにより、システムは時間共有システム（アイドルモデルを退避させる）と空間共有システム（アクティブなバーストを共存させる）の両方の役割を同時に果たすことができます。
2. kvcached バルンドライバ: ヘテロジニアスなLLM間で、ミリ秒レベルのオーバーヘッドとゼロのカーネル修正で、柔軟かつきめ細かな（2MB単位の）メモリ再分配を可能にするオープンソースのドライバです。
3. プロダクション規模のデプロイメント: 本システムは、10,000枚以上のGPUにわたるプロダクション環境にデプロイされており、現在も積極的にメンテナンスされています。
4. 包括的な評価: 本論文は、主要なプロバイダー（Hyperbolic, Novita AI）および評価プラットフォーム（Chatbot Arena）からの実世界のトレースに基づいた厳格な分析を提供しており、11日間から16ヶ月間にわたる58種類のヘテロジニアスなモデルをカバーしています。

結果

最大32枚のNVIDIA H100 GPUを備えたクラスター上で、実世界のトレースを用いて評価を行いました。

• SLO達成率: 同数のGPUを用いた場合、Prismは最先端のベースライン（MuxServe++, QLM, ServerlessLLMを含む）と比較して、TTFT SLO達成率で最大3.3倍、TPOT SLO達成率で2倍の高い値を達成しました。
• コスト効率: 同レベルのSLO達成を実現するために、Prismは必要なGPU数を2分の1に削減（例：ベースラインが32枚以上のGPUを必要とする場面で、16枚のGPUで99%のTTFT SLOを達成）するか、あるいは同一のハードウェアで3.5倍多くのリクエストを処理できます。
• プロダクションへの影響: 2社でのシャドウ・デプロイメントにおいて、Prismは、SLOを遵守しながらアイドル容量を課金可能なトークンに変換することで、1枚あたりのGPUスループットを3.89倍（企業A）、1枚あたりのGPU収益を2.86倍（企業B）向上させました。
• レイテンシ: 70Bモデルであっても、モデルの起動レイテンシは1.5秒未満に抑えられ、NVLinkを使用した場合のマイグレーション・オーバーヘッドは無視できる程度（数十ミリ秒）です。

重要性

本論文は、マルチLLMサービングにおける根本的なボトルネックは計算量ではなく、GPUメモリの競合であると主張しています。リソースを静的に分割したり、硬直したタイムスライシングを行ったりする視点から、弾力的なメモリ管理へと視点を転換することで、Prismは即時応答性（コロケーションが必要）とリソース効率（退避が必要）の間の衝突を解決します。この研究は、メモリ中心の視点が、現代のAIワークロードの「バースト・グループ」的な性質に流動的に適応できることを示しており、プロバイダーがレイテンシSLOを厳格に遵守しながら、コスト効率よく数千のモデルをホストすることを可能にします。kvcachedのオープンソース化と、大規模なプロダクション環境での採用は、このアプローチの実用的な妥当性を証明しています。