技術要約：Harmonia – エンドツーエンドのRAGサービング最適化

1. 問題提起

Retrieval-Augmented Generation (RAG) は、外部知識を統合することで大規模言語モデル（LLM）の信頼性を向上させる重要なパラダイムとして台頭しています。しかし、RAGワークフローをスケールさせて効率的にサービングすることには、既存のフレームワークでは対処できない重大な課題が存在します。本論文では、主に以下の3つのボトルネックを特定しています。

1. 硬直的なプログラミングモデル: 既存のフレームワーク（例：LangChain、Haystack）は、多くの場合、硬直的で宣言的なドメイン固有言語（DSL）や特定のグラフ演算子に依存しています。これは、新しい、進化し続けるコンポーネント（多様な検索構造、セーフティゲート、あるいは適応的な制御フローなど）を、フレームワーク自体を修正することなく迅速に実験・統合することを妨げます。
2. モノリシックなリソースビュー: RAGパイプラインは極めて高い異質性を示します。CPU/メモリ/I/Oバウンドなステージ（検索、後処理）と、GPUバウンドなステージ（生成）が混在しています。現在のシステムは、これらのワークフローをしばしばモノリシックなPythonプロセスとして扱うため、すべてのステージが単一のリソースプールを共有することを強制されます。これにより、ワークフローのトポロジーやクエリの複雑さに応じてボトルネックが動的に変化するため、ワークフロー全体をスケーリングすることは非効率な粗粒度複製につながります。
3. 実行時の可視性と制御の欠如: RAGのワークロードは高度に確率的です。制御フローは、中間結果に基づいて分岐、再帰、または早期終了します。さらに、ストリーミングのような通信メカニズムは負荷に依存します。低負荷時には有益ですが、管理されていないストリーミングは高負荷時にパイプラインの停滞やスループットの低下を引き起こす可能性があります。既存のフレームワークには、ルーティング、優先順位付け、およびリソース割り当てをリアルタイムに適応させるために必要な、グローバルなテレメトリとクローズドループ制御が欠けています。

2. 手法：Harmoniaフレームワーク

Harmoniaは、仕様層（Specification Layer）、デプロイメント層（Deployment Layer）、および**ランタイム制御層（Runtime Control Layer）**の3層アーキテクチャを通じて、これらの課題に対処するように設計されたエンドツーエンドのRAGサービングエンジンです。

2.1 仕様層：意図駆動型Pythonインターフェース

Harmoniaにより、開発者はカスタムDSLによる摩擦を避け、慣用的なPythonでRAGパイプラインを記述できます。

• ライブラリに依存しない統合: 開発者はコンポーネントに任意の外部ライブラリを使用できます。
• 管理された分散アクター: アクターを長期間実行される切り離されたプロセスとして扱う汎用フレームワーク（例：Ray）とは異なり、Harmoniaはデコレートされたクラスを完全に管理された分散アクターとして扱います。ライフサイクル、状態管理、およびリソース割り当てを自動的に処理します。
• ストリーミングオブジェクト: 管理されたStreaming Object抽象化は、開発者のロジックと低レベルの通信詳細をデカップルし、ランタイムが通信の粒度を制御する中で非同期書き込みを可能にします。
• ワークフロー制約: 開発者は、状態性（再帰的ワークフローにおける一貫したルーティングの確保）、リソース要件（CPU/GPU/メモリ）、および最小インスタンス数などの制約を宣言的に指定できます。

2.2 デプロイメント層：異質性を考慮した最適化

デプロイメント層は、抽象構文木（AST）の静的解析を通じて、Pythonコードから実行可能なパイプライングラフをキャプチャします。これは、プロファイルに基づいた条件付きパスを持つ有向非巡回グラフ（DAG）としてワークフローをモデル化します。

• リソース割り当ての定式化: Harmoniaは、リソース割り当てを一般化されたネットワークフロー問題として定式化します。予算制約の下でエンドツーエンドのスループットを最大化するために、コンポーネント（例：リトリーバーの数 vs ジェネレーターの数）の配置と容量を最適化します。
• 主要なパラメータ: 最適化は、オフラインプロファイリングから導出されたスループット係数（$\alpha$）、リクエスト増幅係数（$\gamma$）、およびルーティング確率（$p$）を考慮します。
• 分散デプロイ: 高性能なgRPCを用いたノード間通信と、ノード内実行のための共有メモリを使用して、分散レイヤーを自動的に注入し、開発者を低レベルのデプロイメント詳細から隠蔽します。

2.3 ランタイム制御層：クローズドループ適応

実行時の確率性と変化するボトルネックに対処するため、Harmoniaはデータ移動から制御決定を分離した中央制御プレーンを採用しています。

• グローバルテレメトリ: コントローラーは、グラフノードにおける実行の進捗、キューイング、およびリソース圧力を監視します。
• 動的な再割り当て: スループットと分岐確率の最新のランタイム推定値を用いて、最適化モデルを定期的に（10秒ごと）再解決し、リソースを再構成します。
• 負荷および状態を考慮したルーティング: 未処理の状態を持つタスクと予測される再入パターンを追跡することで将来の負荷を予測し、状態を持つ反復のために予約されているインスタンスへのリクエストのディスパッチを回避します。
• 通信粒度の管理: パイプラインの停滞を防ぐため、制御器はリアルタイムの負荷に基づいてストリーミングのチャンクサイズを動的に調整します。
• SLO管理: オンライン線形回帰モデルを使用して、コントローラーは実行中のリクエストの「スラック（Slack）」（SLOデッドラインまでの残り時間）を推定します。スラックが最も少ないリクエストを優先するデッドライン認識型スケジューラを実装し、通信インターフェースを通じて優先順位を伝播させます。

3. 主な貢献

1. 汎用的なRAGサービングフレームワーク: Harmoniaは、ワークフローの仕様、異質性を考慮したデプロイメント、およびクローズドループ・ランタイム制御を共同で扱う最初のシステムです。
2. 柔軟な仕様策定: 標準的なPythonを使用して、複雑、条件的、かつ再帰的なRAGワークフローの表現を可能にし、脆いDSLを強制することなく実行グラフをキャプチャします。
3. 異質性を考慮したプロビジョニング: RAGコンポーネントを特定の資源ニーズを持つ個別のエンティティとして扱い、ネットワークフロー問題を解くことで、配置と容量を最適化し、モノリシックなスケーリングを超越します。
4. クローズドループ・ランタイム制御: 動的なリソース再割り当て、状態認識ルーティング、および適応的な通信粒度管理のためのメカニズムを導入し、確率的なワークロード下でのSLOを管理します。
5. オープンソース: 著者らは、研究コミュニティを支援するためにHarmoniaをオープンソース化することを約束しています。

4. 実験結果

著者らは、4台のサーバー（各サーバーに8枚のNVIDIA A100 GPUを搭載）のクラスター上で、商業的なベースライン（LangChainおよびHaystack）と比較して、4つの代表的なRAGアーキテクチャ（Vanilla-RAG, Corrective-RAG, Self-RAG, Adaptive-RAG）についてHarmoniaを評価しました。

• スループット: Harmoniaは、ベースラインと比較して最大2.04倍（平均1.6倍）高いスループットを達成しました。この利得は、条件付き分岐や再帰を含む複雑なパイプライン（例：Corrective-RAGでの2.04倍）において最も顕著でした。
• SLO違反: HarmoniaはSLO違反を最大**78.4%**削減しました。この削減は、実行の異質性とスラック予測に基づく優先順位付け能力が効果的であったAdaptive-RAG（78.4%）およびSelf-RAG（41.3%）において最も顕著でした。
• オーバーヘッド: デプロイメント層は、シングルノードのLangChain実行と比較して無視できる程度のオーバーヘッド（~0.8%）しか導入しませんでした。ランタイムコントローラーはリクエストあたり約2msのレイテンシを追加しましたが、高負荷時（1024 req/s）でも安定していました。
• リソース効率: アブレーション研究により、単一のメカニズムでは不十分であり、リソース管理、ルーティング、および通信粒度管理の組み合わせが必要であることが確認されました。例えば、Corrective-RAGにおいて、システムは「Grader」がボトルネックであることを正しく特定し、それに追加のリソースを割り当てましたが、ベースラインはこれを実行できませんでした。

5. 意義と主張

本論文は、HarmoniaがRAGシステムの設計と運用のあり方を根本的に変えるものであると主張しています。RAGワークフローを、制御プレーンに対する高レベルで実行可能なリクエストグラフとして公開することで、Harmoniaは低速なタイムスケールの計画と高速なタイムスケールの適応を分離します。

著者らは、以下の理由からこのアーキテクチャが不可欠であると主張しています。

• 進化するコンポーネントの時代において、硬直した抽象化はコストが高い。
• 異質なパイプラインにおけるボトルネックは動的なターゲットであるため、静的なプロビジョニングでは不十分である。
• 狭いランタイムインターフェースは、複合的なAIアプリケーションに固有の、ステージ間の依存関係や確率性を捉えることができない。

Harmoniaは、エンドツーエンドのコーディネーション（柔軟な仕様策定、インテリジェントなプロビジョニング、および反応的なランタイム制御の組み合わせ）が、プロダクション環境のRAGシステムにおいて高いスループットと低レイテンシを実現するために必要であることを示しています。論文は、現時点ではアドホックなLLM駆動型の制御フローを持つ完全な動的エージェントワークフローはサポートしていないものの、その中央制御プレーンのアーキテクチャは、将来のエージェント・オーケストレーションのための基礎的なアプローチを提供すると結論付けています。