論文要約：「Efficient LLM Serving for Agentic Workflows: A Data Systems Perspective (Extended)」

この論文は、現代の AI システムにおける支配的なワークロードである「エージェント型ワークフロー（Agentic Workflows）」の効率化を、データシステム（データベース）の観点から再考し、新しいサービングフレームワーク**「Helium」**を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景:
AI エージェントは、ユーザーの代わりに複雑なタスクを解決するために、複数の LLM 呼び出し（異なるプロンプトやツールを使用）を順序立てて実行する「エージェント型ワークフロー」で動作します。これらは、推測的実行（speculative execution）や並列探索を行うことが多く、結果として大量の LLM クエリが発生します。

既存システムの課題:
現在の LLM サービングシステム（例：vLLM）は、個々の推論タスクの最適化に焦点を当てており、ワークフロー全体の構造やクエリ間の依存関係を考慮していません。

• 冗長性の無視: エージェントワークフローでは、重複するプロンプトや中間結果が頻繁に発生しますが、既存システムはこれを個別の呼び出しとして扱い、重複計算を排除できていません。
• ブラックボックス化: 従来のデータシステム（Spark や Dask など）では、LLM をユーザー定義関数（UDF）として扱っており、LLM 内部の状態（KV キャッシュなど）やコスト構造が見えないため、最適化が困難です。
• 受動的なキャッシュ: 既存のプレフィックスキャッシングは、リクエストが到着した後に受動的に利用するものであり、バッチ処理やワークフロー構造を事前に分析して能動的にキャッシュを準備する仕組みが欠如しています。

核心的な問題:
個々の LLM 呼び出しの最適化ではなく、ワークフロー全体（DAG 構造）をクエリプランとして捉え、LLM 呼び出しを「第一級演算子（First-class Operators）」として扱うことで、クロスコール（呼び出し間）およびワークフロー間の冗長性を排除し、KV キャッシュの再利用を最大化する必要があります。

---

2. 提案手法：Helium

Helium は、エージェント型ワークフローをデータシステムにおける「クエリプラン」としてモデル化し、LLM 呼び出しを演算子として扱う新しいサービングフレームワークです。

主要なアーキテクチャと技術

1. ワークフロー認識型クエリプランニング:

   • エージェントワークフローを有向非巡回グラフ（DAG）として表現し、LLM 呼び出しを演算子として扱います。
   • 論理プラン最適化: 不要な演算子の削除（デッドコード除去）や、共通部分グラフの排除（CSE）を行い、ワークフロー内の冗長性を構造的に削減します。
   • プロンプトキャッシュの活用: 決定論的な演算子（LLM 以外、または温度 0 の LLM）の入力に対して、事前に計算された出力をキャッシュし、LLM 呼び出し自体を軽量な「CacheFetch」演算子に置き換えます。

2. 能動的 KV キャッシュ管理（Proactive Caching）:

   • 静的プレフィックスの事前計算: ワークフローの構造を分析し、バッチ間で不変な静的プロンプトプレフィックス（システムプロンプトや共通コンテキスト）を特定します。
   • 初回実行時にこれらのプレフィックスに対応する KV キャッシュを GPU メモリに事前ロード（プリウォーム）し、後続のバッチでは再計算（prefill）をスキップさせます。

3. テンプレート付き radix 木（Templated Radix Tree: TRT）とキャッシュ認識スケジューリング:

   • TRT の構築: 静的なプロンプト部分と、他の演算子の出力から派生する動的な部分を統合した木構造（TRT）を構築し、ワークフロー全体のプレフィックス構造と依存関係を捉えます。
   • コストベースのスケジューリング: TRT を用いて、どの演算子をどのワーカーに割り当て、どの順序で実行するかを決定するアルゴリズムを開発しました。
   • 目的: 共有プレフィックスを持つ呼び出しを連続して実行し、KV キャッシュの再利用を最大化すると同時に、依存関係による待機時間を隠蔽（interleaving）して GPU の稼働率を最大化します。これは NP 困難な問題ですが、ヒューリスティックなアルゴリズムで近似的に最適解を導きます。

---

3. 主要な貢献

1. Helium の提案: エージェントワークフローをクエリプランとしてモデル化し、LLM を第一級演算子として扱う、ワークフロー認識型のサービングレイヤーを初めて実装しました。
2. 能動的キャッシング戦略: 静的なプロンプトプレフィックスに対して KV キャッシュを事前準備し、グローバルなプロンプトキャッシュを維持することで、冗長な演算子をバイパスする新しい戦略を提案しました。
3. キャッシュ認識スケジューリングアルゴリズム: テンプレート付き radix 木（TRT）を用いてプロンプト構造と依存関係を捉え、バッチ処理におけるプレフィックスキャッシュの再利用を最大化するコストベースのスケジューリングを設計しました。
4. 実証評価: 最先端のシステムと比較して、複雑な金融分析ワークフローで最大 1.34 倍、単純なワークフローで最大 1.56 倍の高速化を実現し、正確なセマンティクスを維持したままの性能向上を実証しました。

---

4. 評価結果

実験環境:

• モデル: Qwen3-8B, Qwen3-14B
• ハードウェア: 2x NVIDIA H100 GPU
• 比較対象: vLLM, OpWise, LangGraph, AgentScope, Parrot, KVFlow など

主な結果:

• マイクロベンチマーク: 5 つの代表的なエージェントパターン（Map-Reduce, Multi-Agent Debate, Reflection など）において、Helium は vLLM の単純な実装に対して最大100 倍の高速化、既存のオーケストレーションフレームワーク（LangGraph, AgentScope など）に対して最大4.32 倍の高速化を達成しました。
• エンドツーエンドベンチマーク（Trading ワークフロー）: 複雑な金融取引シミュレーション（19 エージェント、88 演算子）において、Helium は vLLM より最大39.5 倍、LangGraph より最大1.49 倍高速でした。
• アブレーション研究:
  • プランの剪定（Pruning）を無効化すると性能が 23.35% 低下。
  • キャッシュ認識スケジューリングを無効化すると 17.66% 低下。
  • これらのコンポーネントが相乗効果を生んでいることが示されました。
• スケジューリングの最適性: 理論的な最適解（MILP ソルバーによる）との比較で、Helium のスケジューリングアルゴリズムは平均 0.9%、最大 3.6% のギャップしかなく、ほぼ最適に近い結果を出しました。
• スケーラビリティ: バッチサイズ、並列ブランチ数、会話ラウンド数、GPU 数の増加に対して、Helium は LangGraph などのベースラインよりも優れたスケーラビリティを示しました。

---

5. 意義と結論

この論文は、LLM サービングを「個々の推論の最適化」から「ワークフロー全体のデータ処理最適化」へとパラダイムシフトさせる重要な一歩です。

• データシステムと AI の融合: 数十年にわたるデータベースのクエリ最適化の原則（共通部分式削除、コストベース最適化など）を、LLM 駆動のエージェントワークフローに応用することで、劇的な性能向上を達成しました。
• 状態管理の再定義: LLM の KV キャッシュを単なるキャッシュではなく、ワークフロー全体で共有・再利用可能な「状態」として能動的に管理する枠組みを提供しました。
• 実用性: エージェント AI の大規模展開において、計算リソースの浪費を大幅に削減し、スケーラブルで効率的なシステム構築を可能にします。

結論として、LLM ベースのエージェントを効率的に動作させるためには、個々の呼び出しの最適化だけでなく、ワークフロー全体を跨いだエンドツーエンドの最適化が不可欠であり、Helium はその実現に向けた強力な基盤を示しています。