技術サマリー：マルチエージェント・システムにおけるクエリ最適化の再考 [ビジョン]

問題提起

大規模言語モデル（LLM）の普及により、複雑でデータ駆動型のタスクを実行するためにエージェントが連携する、マルチエージェント・データパイプラインの採用が加速しています。しかし、現在の構築手法は**アドホック（場当たり的）**であり、固定されたパイプライン構造、事前に選択されたモデル、および単一の実行エンジンに依存しています。このアプローチは、異種混合のデータソースやエンジンにわたる体系的な最適化を行うことができません。

著者らは、エージェントによるパイプラインの最適化は、従来のクエリ最適化とは根本的に異なる問題であると主張しており、その理由として以下の4つの中心的な課題を挙げています。

1. 多次元的な探索空間： 最適化は、競合する目的（レイテンシ、コスト、精度）を横断して、パイプラインのトポロジー、モデルの選択、およびエンジンの割り当てを共同で決定しなければなりません。
2. 可変的なトポロジー： パイプラインの構造自体が決定変数であり、固定されたプランではありません。
3. 共通の代数の欠如： 構造化データ、非構造化テキスト、埋め込み（embeddings）、ストリーミングデータが混在しているため、共通のオペレータ代数が存在せず、古典的な枝刈り技術の適用を妨げています。
4. 確率的かつ高価な実行： LLMの呼び出しは多額の金銭的コストを発生させ、出力の質にもばらつきがあるため、探索空間を素朴に探索することは不可能です。

手法とフレームワーク：NOMA

本論文は、マルチエージェント・データパイプラインのために設計されたクエリ最適化フレームワークのビジョンであるNOMAを提示しています。NOMAは、エージェントを計算の第一級単位として扱い、古典的な最適化原理（コストモデリング、プラン生成、再最適化）を、プランが異種混合で確率的、かつ構造的に動的な設定へと拡張します。

NOMAは、互いに補強し合う4つの主要コンポーネントからなる統合的な最適化ループとして概念化されています。

1. プラン生成： プランを列挙する代わりに、NOMAは過去のパイプラインで学習した生成モデルを使用して、結合最適化空間（トポロジー、モデル、エンジン）における実行可能なパイプラインを直接生成することを提案しています。
2. 統一されたコスト推定： 本フレームワークは、異種混合のエージェントの特徴を共有表現へとマッピングするコストモデルの構築を目指しています。これらのモデルは、エージェントの確率的な性質や非加算的な品質伝播を考慮するため、単なるスカラー値の点推定ではなく、レイテンシ、コスト、精度の較正された分布を予測します。
3. 実行時のリファインメント（洗練）： 最適化は継続的なプロセスとして扱われます。「パイプライン・リファイナー」は、ベイズ最適化を用いてエージェントの完了結果に基づいてコストモデルの事前分布を更新し、再計画の期待利得がそのコストを正当化するかどうかを判断します。
4. セマンティック・キャッシング： 冗長性に対処するため、NOMAは中間結果だけでなく、最適化されたサブプランや構成決定も保存するキャッシュを提案しています。これらは、構造的に異なるパイプライン間での再利用を可能にするため、構文的ではなく意味的（埋め込みを使用）にインデックス化されます。

主な貢献と結果

本論文は、制御実験と実世界の分析によって裏付けられた4つの主要な貢献を行っています。

1. 不適切なコストの定量化：

   • 実験： 実世界の10エージェント・パイプライン（カスタマーサポート・レポート作成を含む）を用い、固定されたトポロジーの下で186,624通りのプランを対象とした制御実験を実施しました。
   • 知見： プラン空間には極端な分散が見られました。金銭的コストでは153倍、レイテンシでは5倍、品質では**25%**の差が生じました。
   • 観察： 最適なプランは、タスクの難易度に応じて異なるLLMを組み合わせるなど、ユーザーが手動で構築することはないであろう異種混合の構成でした。パレート図は豊かであり、19%の品質向上には138倍のコストがかかる一方で、バランスの取れたプランであれば、品質の損失を最小限に抑えつつコストを65%削減できることが示されました。
   • トポロジーの影響： トポロジーを変更すること（例：条件付きリファインメント・ループの追加）により、固定トポロジーのパレート図の外側にあるパフォーマンス点に到達できることが証明され、トポロジーが重要な最適化軸であることが証明されました。

2. 実際のデプロイメントの分析：

   • 範囲： 62の実際のマルチエージェント・パイプラインのデプロイメントと、9,000の構築されたパイプラインの分析。
   • 知見：
     • 複雑性： パイプラインは複雑化が進んでいます（しばしば5〜10タスク以上）。
     • 習慣的な選択： モデルの選択は、コストと品質のトレードオフではなく、慣習によって駆動されており、ユーザーは同じ限定的なモデルセットを再利用しています。
     • 非効率なトポロジー： 単純なチェイン（連鎖型）が主流（34%）であり、並列処理やフィードバック・ループを活用できていません。
     • 未利用のエンジン： エンジンの割り当てはほとんど最適化されておらず、ストリーミングやベクトルエンジンが利用可能であるにもかかわらず、ほとんどのタスクがデフォルトの構造化データベース上で実行されています。
     • 冗長性： コアとなるタスク（取り込み、抽出、レポート作成）が頻繁に繰り返されていますが、計算の共有が行われていません。

3. 問題の定式化：

   • 本論文は、抽象マルチエージェント・パイプライン（エージェントの論理グラフ）と、実行可能マルチエージェント・パイプライン（特定のモデル、エンジン、および融合、分割、再順序付けなどの構造変換を持つ具体的なグラフ）を正式に定義しています。
   • 目標は、抽象パイプライン（$G$）から、複数の目的の下でパレート最適な実行可能パイプライン（$G^*$）を見つけることと定義されています。

4. 研究アジェンダ：

   • 論文は、網羅的な探索なしに生成モデルの学習データをどのようにブートストラップするか、異種混合のコスト信号をどのように統一された分布へと統合するか、確率的な実行下での継続的な最適化をどのように管理するか、そしてキャッシングのための意味的等価性をどのように定義するかなど、コミュニティに対する具体的なオープンな研究課題を概説しています。

重要性とビジョン

本論文は、現在のマルチエージェント・パイプラインの状態は「根本的に最適化されていない」ものであり、現在の慣行と最適なパフォーマンスとの間のギャップは「深刻かつ避けられない」ものであると主張しています。

NOMAの重要性は、以下のパラダイムシフトの提案にあります。

• 静的から適応的へ： 固定されたプランに対するクエリの最適化から、パイプラインを継続的に合成し適応させることへの移行。
• 永続的な関数としての最適化： 最適化は、実行前のフェーズではなく、継続的なシステム関数となります。
• 自己進化型システム： システムが実行経験を蓄積するにつれて、パイプラインの構成（トポロジー、モデル、戦略）が継続的に自らを書き換えていきます。

著者らは、NOMAを、データベース、システム、および機械学習のコミュニティに対し、マルチエージェント・システムのクエリ最適化の課題に共同で取り組むよう促す「行動喚起（Call to Action）」として位置づけています。これは、静的なパイプラインを超えた、適応的でコストを意識した実行を実現するための、新しいクラスのオプティマイザの基礎を確立することを目指しています。