Serving Compound Inference Systems on Datacenter GPUs

複数の ML モデルをタスクグラフとして構成する化合物推論システムに対し、モデルのバリエーション選択と GPU の空間的パーティショニングを統合的に最適化することで、既存の手法と比較して最大 11.3 倍のサービス処理能力を実現し、高い精度と低遅延を維持しながら GPU リソースを大幅に削減する「JigsawServe」という新しい推論サービスフレームワークを提案する論文です。

要約

この論文は、**「JIGSAWSERVE（ジグソーサーブ）」**という新しいシステムについて書かれています。

一言で言うと、**「複数の AI モデルを組み合わせて動く複雑なタスクを、データセンターの GPU（高性能な計算チップ）で、いかに安く、速く、正確に動かすか」**という問題を解決する画期的な仕組みです。

難しい専門用語を避け、身近な例えを使って説明しましょう。

---

1. 背景：なぜ「ジグソーパズル」が必要なのか？

昔の AI は、1 つの大きなモデルが「画像を見て、これが猫だと答える」といった単純な仕事をしていました。
しかし、最近の AI アプリ（XR やマルチエージェントなど）は、**「ジグソーパズル」**のように、複数の AI モデルを繋ぎ合わせて複雑なことをします。

• 例：AR アシスタント
  1. 画像から「何があるか」を特定する（物体検出）。
  2. 見つかった物体の「名前や説明」を生成する（画像キャプション生成）。
  3. その説明を「音声」に変える（音声合成）。

このように、**「A が終わったら B が始まり、B が終わったら C が始まる」**という連鎖（タスクグラフ）で動くシステムが増えています。

【従来の問題点】
これまでのシステムは、この「パズル」の各ピース（タスク）に対して、**「全部のピースに同じ大きさのテーブル（GPU リソース）を割り当てて、全部のピースを一番高価で正確なバージョンで動かす」**という、無駄の多いやり方をしていました。

• 結果：GPU が足りなくなる、コストが跳ね上がる、遅くなる。

2. JIGSAWSERVE のアイデア：3 つの魔法

JIGSAWSERVE は、この「ジグソーパズル」をより賢く、効率的に解くために、3 つの魔法を使います。

① 「お好み焼き」のサイズ調整（モデルのバリエーション選択）

すべてのタスクに「最高級（一番正確だが遅い・重い）」の AI を使う必要はありません。

• 例： 物体検出のタスクなら「少し精度を落としても、超高速なモデル」を使えば OK。でも、最後の音声合成なら「少し遅くても、最高品質のモデル」を使う。
• JIGSAWSERVE の役割： 全体の精度が一定以上保たれるように、**「どこを妥協して、どこに力を入れるか」**を自動で調整します。

② 「シェアリング」の活用（GPU の空間分割）

従来の GPU は、1 つのタスクが 1 台の GPU を独占していました。でも、現代の GPU は巨大すぎて、小さなタスクだと半分も使いきれていません。

• 例： 1 台の巨大なピザ（GPU）を、1 人で全部食べるのではなく、4 人で分けて食べる。
• JIGSAWSERVE の役割： 1 台の GPU を細かく分割して（NVIDIA の MIG 技術など）、**「小さなタスクには小さなスライス、大きなタスクには大きなスライス」**を割り当てます。これにより、GPU の無駄をなくします。

③ 「全体図」を見る（タスクグラフの考慮）

「物体検出」が 1 回終わると、「車」が 3 台、「人」が 2 人見つかるかもしれません。すると、次の「車認識」や「人認識」のタスクが、3 倍、2 倍の量で発生します。

• JIGSAWSERVE の役割： 前のタスクの結果が、次のタスクにどれだけの影響（倍率）を与えるかを計算し、**「全体のバランス」**を見てリソースを配分します。

3. どれくらいすごいのか？（結果）

このシステムを実験したところ、驚異的な結果が出ました。

• 処理能力： 同じ GPU 資源を使って、**「11.3 倍」**ものリクエストを処理できました。
• コスト： 必要な GPU 資源は、従来の方法の**「43.3%（半分以下）」**で済みました。
• 品質： 精度の目標（SLO）をほぼ守り、遅延の失敗は**「0.6% 未満」**でした。

つまり、**「同じ予算で、11 倍の仕事を、半分以下のリソースで、ほぼ完璧な品質でこなせる」**ということです。

4. まとめ：なぜこれが重要なのか？

この論文が伝えているのは、**「AI を動かすには、全部を最高性能にするのではなく、全体を最適化する」**という考え方です。

• ジグソーパズルのように： 1 つのピース（タスク）が完璧でも、全体がはまらなければ意味がありません。
• JIGSAWSERVE は： 各ピースの「大きさ（モデルの精度）」と「場所（GPU の割り当て）」を、パズルの全体図（タスクの流れ）を見ながら、最も効率的に組み合わせてくれます。

これにより、将来の XR（拡張現実）や複雑な AI アプリが、もっと安価で、速く、誰でも使えるようになることが期待されています。

「JIGSAWSERVE」は、AI 世界の「最高のパズル職人」なのです。

技術概要

以下は、論文「SERVING COMPOUND INFERENCE SYSTEMS ON DATACENTER GPUS（データセンター GPU 上での複合推論システムの提供）」の技術的サマリーです。

1. 背景と問題定義

近年、XR（拡張現実）やマルチエージェントシステムなどの新興分野では、単一の ML モデルではなく、複数の ML モデルをタスクグラフ（有向非巡回グラフ：DAG）として構成した**「複合推論システム（Compound Inference Systems）」**が主流になりつつあります。

このシステムをデータセンターの GPU で効率的に提供（サービング）する際、従来の単一モデル推論とは異なる 2 つの主要な課題が存在します。

1. SLO（サービスレベル目標）の配分難易度:
   全体のレイテンシと精度の SLO がシステム全体に対して設定されますが、これを個々のタスク（モデル）間でどのように配分するかを決定する必要があります。単一タスクシステムとは異なり、各タスクで異なるモデルバリアント（精度・レイテンシ・コストが異なる）を選択し、リソースを割り当てる柔軟性が求められます。
2. リソースの細粒度な異質性:
   複合システム内の各タスクは、異なるリソース要件を持ちます。従来の手法では GPU 全体を 1 つのモデルに割り当てる傾向がありましたが、NVIDIA の MIG（Multi-Instance GPU）や MPS（Multi-Process Service）のような**空間的パーティショニング（Spatial Partitioning）**機能を活用し、GPU リソースをより細かく、かつ効率的に割り当てる機会が見過ごされていました。

既存の手法は、これら 3 つの要素（精度スケーリング、空間的パーティショニング、タスクグラフを考慮した予算配分）を個別にしか扱っておらず、全体最適化がなされていませんでした。

2. 提案手法：JIGSAWSERVE

著者らは、JIGSAWSERVEという新しいサービングフレームワークを提案しました。これは、データセンター GPU 上の複合推論システムに対して、レイテンシ、精度、GPU コスト（リソース使用量）を同時に最適化する初のシステムです。

主要なコンポーネントと仕組み

JIGSAWSERVE は以下の 4 つの主要コンポーネントで構成されます（図 1 参照）：

1. Registration Handler（登録ハンドラ）:
   タスクグラフ、各タスクのモデルバリアント、精度、依存関係、およびエンドツーエンドの SLO を登録します。
2. Profiler（プロファイラ）:
   オフラインで、すべてのモデルバリアント、GPU セグメントタイプ（MIG インスタンスサイズと MPS 並行度の組み合わせ）、バッチサイズの組み合わせに対して、レイテンシとスループットをプロファイリングします。
3. Controller（コントローラ）:
   収集したプロファイリング情報と現在の需要に基づき、最適な構成を決定します。
   • MILP（混合整数線形計画）定式化: 最適な構成（各タスクのモデルバリアント、GPU セグメントタイプ、バッチサイズ、インスタンス数）を見つけるために MILP を使用します。
   • 制約条件: エンドツーエンドのレイテンシ SLO、精度 SLO（パスごとの精度積算）、利用可能な GPU スライスの総量。
   • 目的関数: 全体の精度を最大化し、使用 GPU リソースを最小化すること。
   • 実行: 決定された構成に基づき、MIG インスタンスの空間的パーティショニングを設定し、モデルインスタンスを起動します。
4. Frontend（フロントエンド）:
   クライアントからのリクエストを受け取り、メタデータ（デッドライン等）を設定して最初のタスクへルーティングします。需要の変動や SLO 違反率を監視し、コントローラに再構成をトリガーします。

最適化の 3 つの柱

JIGSAWSERVE は以下の 3 つの機能を統合的に利用します：

1. タスクごとの精度スケーリング: 各タスクで、精度とコストのトレードオフを考慮して最適なモデルバリアントを選択します。
2. GPU 空間的パーティショニング: MIG と MPS を組み合わせ、1 つの物理 GPU 上に複数の独立した「GPU セグメント」を作成し、異なるタスクに細粒度でリソースを割り当てます。
3. タスクグラフを考慮したリソース予算配分: 各タスクの需要（前のタスクからの出力倍率など）を考慮し、システム全体の SLO を満たすようにリソースを配分します。

3. 評価結果

大規模なデータセンター GPU 環境（120 GPU、840 GPU スライス）での分析評価と、実機（4 基の NVIDIA H100）での実証評価が行われました。

分析評価（最大サービス可能需要）

• 単独機能の比較: 空間的パーティショニング（S）のみを使用した場合、最適化なし（Unopt）と比較して5.25 倍のサービス可能需要を実現しました。これは精度スケーリング（A: 1.6 倍）やタスクグラフ考慮（T: 1.1 倍）よりもはるかに大きな効果でした。
• 統合の効果: JIGSAWSERVE（A+S+T）は、Unopt に対して21.6 倍のサービス可能需要を達成しました。
• 既存手法との比較: 最も近い既存手法である Loki（A+T に相当）と比較して、JIGSAWSERVE は11.3 倍の高い容量を実現しました。

実証評価（エンドツーエンド性能）

多様なワークロード（ソーシャルメディア、交通分析、AR アシスタント）と需要変動条件下で評価されました。

• リソース効率: JIGSAWSERVE は、精度 SLO を満たし、レイテンシ SLO 違反率が 0.6% 未満という条件で、利用可能な GPU リソースの平均**43.3%**のみで動作しました。
• 対照群との比較:
  • S+T や A+T は、高需要時に 10% 以上の SLO 違反率を示し、JIGSAWSERVE の 2 倍以上のリソースを消費しました。
  • A+S（タスクグラフ非考慮）は、SLO 違反率が 6.7% に達し、リソース使用量も JIGSAWSERVE より 33% 多くなりました。
• 結論: 3 つの機能（精度スケーリング、空間的パーティショニング、タスクグラフ考慮）のすべてを組み合わせることが、最高効率に不可欠であることが示されました。

4. 主要な貢献と意義

1. 初の統合最適化フレームワーク: 複合推論システムにおいて、モデルバリアント選択、GPU 空間的パーティショニング、タスクグラフベースの予算配分を同時に最適化する初のシステムを提案しました。
2. 劇的な効率向上: 既存の最良の手法と比較して、同じ GPU リソースで最大 11.3 倍の需要を処理可能にしました。
3. 設計指針の提示:
   • ML コミュニティ: 単一のアーキテクチャから複数のモデルバリアント（精度・性能の異なるもの）をリリースし、柔軟な選択を可能にする重要性。
   • GPU ベンダー: 空間的パーティショニング機能のさらなる開発と優先化の重要性。
4. 実用性の証明: 大規模データセンター環境において、SLO 違反を最小限に抑えながら、リソース使用量を大幅に削減できることを実証しました。

5. 結論

JIGSAWSERVE は、データセンター GPU における複合推論システムのサービング効率を飛躍的に向上させる画期的なアプローチです。単一の最適化手法ではなく、モデル選択、ハードウェアの細粒度割り当て、システム構造の理解を統合的に扱うことで、コストと性能の両面で大きなメリットをもたらします。この研究は、将来の AI サービングシステム設計において、これら 3 つの要素を併用することが必須であることを示唆しています。