DOPD: A Dynamic PD-Disaggregation Architecture for Maximizing Goodput in LLM Inference Serving

本論文は、LLM 推論におけるプリフィルとデコードステージ間の負荷不均衡を解消し、SLO 遵守を維持しつつシステムスループットを最大化するために、リアルタイム負荷監視に基づいて動的にインスタンス割当を最適化する「DOPD」というアーキテクチャを提案し、既存手法と比較して大幅な性能向上を実証したものである。

要約

論文の解説：LLM の「賢い交通整理」DOPD

この論文は、最近話題の「AI（大規模言語モデル）」を動かすための、**とても効率的で賢いシステム「DOPD」**について書かれています。

AI を動かすのは、実はとてもお金とエネルギーがかかる大変な仕事です。この論文は、「どうすれば、少ないコンピューター（GPU）で、より速く、より多くの AI 質問に答えられるか？」という問題を解決する方法を提案しています。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

1. 背景：AI は「2 つの顔」を持っている

AI が文章を生成するときは、大きく分けて 2 つの作業があります。

1. 入力理解（プレフィル）： ユーザーの質問を読み込み、意味を理解する作業。これは**「計算力（頭脳）」**が大量に必要です。
2. 文章生成（デコーディング）： 理解した内容に基づいて、単語を一つずつ出力していく作業。これは**「メモリ（記憶容量）」**が大量に必要です。

これまでのシステムでは、この 2 つの作業を同じコンピューターで同時にやろうとしていました。しかし、これは**「料理人が、包丁を振るう作業（計算）」と「冷蔵庫から食材を出す作業（メモリ）」を同時にやろうとして、どちらもうまくいかない状態**に似ています。

そこで最近、この 2 つの作業を**「料理人（プレフィル用）」と「冷蔵庫係（デコーディング用）」に分けて、別々のコンピューターで動かす「分離型（PD-Disaggregation）」**という仕組みが流行っています。

2. 問題点：バランスが崩れると大混乱

分離型システムには大きな欠点がありました。それは**「人数のバランス」**です。

• 例え話：
  • 料理人（プレフィル）： 注文（質問）を受け取って、下ごしらえをする人。
  • 冷蔵庫係（デコーディング）： 下ごしらえされた食材を受け取り、料理を完成させる人。

もし、**「注文が突然増えた」のに、「料理人の数がそのまま」だと、注文が溜まってしまいます（待ち時間が長くなる）。
逆に、「注文が少なくなった」のに、「冷蔵庫係が大量にいる」**と、彼らは暇をしてしまい、電気代の無駄になります。

さらに厄介なのは、**「注文の長さ」**です。

• 「はい、こんにちは」のような短い注文は、料理人の作業が瞬間で終わります。
• 「長い小説を書いて」のような長い注文は、料理人の作業に時間がかかります。

これまでのシステムは、「平均的な注文の長さ」で人数を決めていました。そのため、短い注文が混ざると「冷蔵庫係が待たされる」、長い注文が混ざると「料理人が追いつかない」という**「ミスマッチ」**が起き、システム全体がカオスになっていました。

3. 解決策：DOPD（賢い交通整理システム）

この論文が提案するDOPDは、この問題を解決する**「常に状況を見て、人数を調整する賢いマネージャー」**です。

① 未来を予測して人数を決める（動的調整）

DOPD は、過去の注文履歴を分析して、「今から 10 分後に、どんな長さの注文が、どれくらい来るか」を予測します。

• 例え話：
  • 天気予報で「明日は大雨だ」と分かれば、傘を多く用意しますよね。
  • DOPD も同じで、「これから長い注文が来るぞ」と分かれば、「料理人（プレフィル用）」の人数を事前に増やします。
  • 逆に、「今は暇そうだ」と分かれば、「冷蔵庫係（デコーディング用）」の人数を減らして、コストを節約します。
  • これにより、「無駄な電気代」を減らしつつ、「待ち時間」を極限まで短くします。

② 注文の長さで使い分ける（賢い配分）

DOPD は、注文の長さによって、処理の仕方を細かく変えます。

• 超短い注文： 「こんにちは」のような短いものは、わざわざ「料理人」に回さず、「冷蔵庫係」がそのまま処理してしまいます。これにより、通信の無駄を省きます。
• 長い注文： しっかり「料理人」に回して、集中して処理させます。
• 例え話：
  • 郵便局で、手紙（短い注文）は窓口係がそのまま処理し、荷造り（長い注文）は専門のスタッフに任せるようなものです。

4. 成果：どれくらいすごいのか？

実験結果によると、DOPD は既存のシステムと比べて以下のような劇的な改善を実現しました。

• 処理能力（Goodput）： 最大で1.5 倍に向上。同じ機械で、1.5 倍の注文を処理できます。
• 待ち時間（TTFT）： 最初の答えが出るまでの時間が、最大で67.5% 短縮。ユーザーは「待たされている」と感じなくなります。
• コスト削減： 無駄なコンピューターを使わずに済むため、運営コストが下がります。
• 約束の守り（SLO）： 99% 以上の確率で、ユーザーに約束した速度を守り続けています。

まとめ

この論文の DOPD は、**「AI の料理場を、状況に合わせて常に最適な人数と配置に調整する、超賢いマネージャー」**です。

• 昔のシステム： 常に同じ人数で、どんな注文も同じように処理しようとして、混雑したり、暇したりしていた。
• DOPD： 「今、どんな注文が来そうか」を予測して、必要な人数をすぐに増減させ、短い注文と長い注文を上手に使い分ける。

これにより、**「より安く、より速く、より多くの AI サービス」**を提供できるようになります。これは、私たちが毎日使うチャットボットや AI アシスタントが、もっと快適に使えるようになるための重要な技術です。

技術概要

DOPD: LLM 推論サービスにおけるスループット最大化のための動的 PD 分離アーキテクチャ

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）の推論サービスにおいて、厳格なサービスレベル目標（SLO）を満たしつつ、システム全体の「Goodput（有効スループット）」を最大化するための新しいフレームワーク**「DOPD (Dynamic Optimal Prefill/Decoding)」**を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳述します。

---

1. 問題定義：PD 分離アーキテクチャにおける課題

近年、LLM 推論の効率化のために、計算集約的な「Prefill（プリフィル）ステージ」とメモリ集約的な「Decoding（デコーディング）ステージ」を分離し、それぞれを異なる GPU インスタンス（P インスタンスと D インスタンス）で処理するPD 分離（PD-Disaggregation）アーキテクチャ（例：DistServe, SplitWise）が注目されています。

しかし、既存の PD 分離システムには以下の重大な課題が存在します。

• 生産者 - 消費者のアンバランス: LLM ワークロードは入力/出力シーケンス長が非常に多様（ヘテロジニアス）であり、時間とともに変動します。これにより、Prefill を行う P インスタンスの生産能力と、Decoding を行う D インスタンスの消費能力のバランスが崩れやすくなります。
• 静的なリソース割り当ての非効率性: 現在のシステムは多くの場合、静的な P/D 比率（P インスタンス数と D インスタンス数の比率）で構成されます。ワークロードが変化すると、この比率が最適でなくなり、GPU のアイドル状態（リソース浪費）や SLO 違反（遅延の発生）を引き起こします。
• 混合長リクエストによるパフォーマンス低下: 短いリクエストと長いリクエストが混在する場合、平均的な長さに基づいた静的な割り当てでは、特定の長さのリクエストに対してリソースが不足したり過剰になったりします。特に、短いリクエストにおいて、P インスタンスと D インスタンス間の KV キャッシュ転送レイテンシがボトルネックとなり、全体の遅延を悪化させます。

2. 手法：DOPD のアーキテクチャと核心技術

DOPD は、リアルタイムの負荷監視に基づいて P/D 比率を動的に調整し、リクエストスケジューリングを最適化するインテリジェントなシステムです。

A. 最適な P/D 比率の計算

DOPD は、現在の負荷状態（平均入力長、平均出力長、並行性）に基づいて、P インスタンスと D インスタンスの最適な数を解析的に計算します。

• モデル化: GPU のメモリ容量とメモリ帯域幅の制約を考慮し、D インスタンスが維持できる最大並行性（Concurrency）を算出します。
• バランスの最適化: P インスタンスが生成する完了済みリクエストの速度と、D インスタンスが消費する速度が一致するように P/D 比率を決定し、両者のアイドル時間を最小化します。

B. 負荷予測と動的スケーリング

• ARIMA 予測: 過去のテレメトリデータ（リクエスト数、シーケンス長など）を用いて、ARIMA モデルに基づき将来の負荷を予測します。
• プロアクティブな再構成: 予測された負荷に基づき、P/D 比率を事前に調整し、リソースの過不足を未然に防ぎます。過負荷が検知された場合は、予測間隔を待たずに即座にインスタンスをスケーリングします。

C. 長さ認識型リクエストスケジューリング

混合長リクエストによるパフォーマンス低下を緩和するため、P インスタンスと D インスタンス内で高度なスケジューリングを実装しています。

• 長さに基づくバッチ化: 長いリクエストは即座に処理し、短いリクエストはバッチ化して処理することで、GPU の計算効率を向上させます。
• 超短リクエストのローカル処理: 非常に短いリクエスト（Prefill 計算時間が KV 転送時間より短い場合）は、リモートの P インスタンスへ送らず、D インスタンス内で直接処理（PD 集約）することで、不要な KV キャッシュ転送オーバーヘッドを排除し、TTFT（First Token までの時間）を削減します。

3. 主要な貢献

1. DOPD フレームワークの設計: P/D 比率を継続的にチューニングし、インスタンス構成を動的に調整するインテリジェントな LLM 推論フレームワークを提案。
2. PD 分離の体系的な分析: PD 分離アーキテクチャにおける課題を特定し、リソース割り当てを最適化問題として定式化。
3. 最適 P/D 比率計算とスケジューリング: 負荷に応じた最適比率の算出手法と、混合長ワークロードに対応するインテリジェントなリクエストスケジューリングアルゴリズムを設計。
4. 実証実験: 実世界の生産環境トレースを用いた広範な実験により、既存システムに対する大幅な性能向上を実証。

4. 実験結果

実世界のワークロード（Microsoft Azure トレース、BurstGPT など）と代表的なモデル（LLaMa-3.3-70B, OPT-30B, QWen2.5-72B）を用いた評価において、以下の結果が得られました。

• Goodput の向上: 集約型アプローチ（vLLM）および既存の PD 分離アプローチ（DistServe, Dynamo）と比較し、最大 1.5 倍の Goodput 向上を実現。
• レイテンシの削減:
  • P90 TTFT（First Token までの時間）が最大 67.5% 削減。
  • P90 TPOT（出力トークンあたりの時間）が最大 22.8% 削減。
• SLO 達成率: 動的調整技術により、追加リソースを最小限に抑えつつ、99.4%（既存の 80.8% から大幅改善）の SLO 達成率を維持。
• リソース効率: 最適な P/D 比率を維持することで、GPU のアイドル時間を削減し、限られたリソースでより多くのリクエストを処理可能にしました。

5. 意義と結論

DOPD は、LLM 推論サービスの展開において、「動的なリソース管理」と「PD 分離アーキテクチャ」を融合させた画期的なアプローチです。

• 産業応用への寄与: 高コストな GPU リソースを効率的に利用しつつ、ユーザー体験を損なわない SLO を保証できるため、大規模な LLM サービスの運用コスト削減と品質向上に直結します。
• 技術的革新: 単なるリソースのスケーリングだけでなく、「どの比率でどのリソースを割り当てるか」という最適化問題を解くことで、混合長ワークロードという複雑な課題を解決しました。
• 将来性: 本論文で提案された手法は、マルチモーダル LLM（MLLM）や、より複雑な推論シナリオへの拡張可能性を有しており、分散 LLM 推論の基盤技術として重要な位置を占めます。

要約すると、DOPD は静的なリソース割り当ての限界を打破し、変化する負荷に適応する「自律的な」LLM 推論システムを実現することで、推論効率とサービス品質を劇的に向上させるものです。