技術概要：不確実性下におけるエージェントのオーケストレーション学習

問題定義

本論文は、不確実性と変化するエージェントの振る舞いが特徴となる環境における、異種エージェントの適応的オーケストレーションの課題に取り組む。現実世界のマルチエージェントシステムにおいて、エージェント（例：専門的な AI モデルや人間の専門家）は、信頼性、運用コスト、出力品質がそれぞれ異なる。エージェントのオーケストレーションに関する先行研究は、しばしば期待効用やオフライン精度に焦点を当てているが、オーケストレーションのレベルにおいてエージェントの信頼性や出力分布の不確実性を明示的にモデル化することに失敗していることが多い。

核心的な問題は、メタコントローラーがタスクをどのエージェントに委任するかを決定する逐次的意思決定プロセスとして定式化される。この決定は、以下の要素のバランスを取る必要がある：

1. 報酬：エージェントの期待パフォーマンス。
2. コスト：エージェントを呼び出すための運用コスト。
3. 不確実性：エージェント出力の変動性、およびエージェントの出力分布とタスクが要求する分布との整合性。

著者は、Dec-POMDP（分散部分観測マルコフ決定過程）のような古典的な枠組みは、しばしば既知のシステムモデルを仮定しており、スケーラビリティに欠けることを指摘する。また、標準的な多腕バンディット（MAB）アプローチは、通常、エージェントを平均報酬の点で互換性があるものとして扱い、クエリコストや分布の異質性を無視している。

手法：BOT-Orch

著者は、オーケストレーション問題を最適輸送（OT）距離によって正則化された確率的バンディット問題として再構成する軽量フレームワークBOT-Orchを提案する。

主要コンポーネント：

1. OT 正則化報酬：
   このフレームワークは、時刻 $t$ においてエージェント $i$ を選択する際の正味効用を以下のように定義する：
   $$U_t(i) = R_t(i) - \lambda W_t(i)$$
   ここで、$R_t(i)$ は報酬、$W_t(i)$ は整合コストである。整合コストは、エージェントの出力分布（$\mu_i$）とタスク固有の参照分布（$\nu_t$）との間のワッサーシュタイン距離（$W_c$）を用いて定量化される。これにより、システムは、平均報酬が類似していても、出力分布が望ましいタスク結果から幾何学的に遠いエージェントに対してペナルティを課すことができる。

2. 生存に基づく報酬：
   信頼性、遅延、成功までの時間をモデル化するために、このフレームワークは潜在脆弱性変数を用いた生存分析を組み込んでいる。エージェントのパフォーマンスは、右打ち切りを伴う完了までの時間確率変数としてモデル化され、これにより不完全なフィードバックや多様な信頼性プロファイルの処理が可能となる。

3. アルゴリズム実装：

   • i.i.d. 設定：OT による整合不良によってペナルティを課された指数関数的に平滑化された報酬に基づいてエージェントを選択するボルツマン（ソフトマックス）方策を使用する。
   • 非 i.i.d. 設定：履歴依存型のタスク分布と非定常性に対処するために、記憶効果と時間的相関を符号化する補正項を組み込むことで、アルゴリズムを拡張する。

主要な貢献

本論文は、以下の 3 つの主要な貢献を行う：

1. OT 整合を伴うバンディットベースのオーケストレーション：
   著者は、委任を OT 距離によって正則化された確率的バンディット問題として定式化する。これにより不確実性を考慮した整合が可能となり、オーケストレーターは、単なるスカラー平均報酬ではなく、出力分布とタスク要件との幾何学的な不一致に基づいて、エージェントを適応的に選択できるようになる。

2. 理論的保証：
   標準的な仮定（有界なコスト、部分指数分布の脆弱性、リプシッツ連続性）の下で、著者は以下のことを証明する：

   • 部分線形後悔：累積 OT 正則化後悔は $O(\sqrt{T})$ であり、オラクルのパフォーマンスへの漸近的収束を保証する。
   • 構造的最適性：このフレームワークは、平均報酬が同一だが分布の整合性が異なるエージェント間で、証明可能な選好順序を誘発する。
   • 頑健性：システムはノイズの多い整合コストに対して頑健である（ガウスノイズ下でのマージン頑健性）。
   • 収束：オーケストレーション重みは、ほぼ確実に平均場 ODE の不変点に収束する。

3. 実証的検証：
   このフレームワークは、合成環境と半合成環境の両方で評価された。これには、展開シフト下の人間-AI トリアージシナリオが含まれる。結果は、BOT-Orch が、i.i.d. および非 i.i.d. 環境の両方において、標準的なバンディットベースライン（UCB1）やヒューリスティックなアプローチ（Random、No-OT）を一貫して上回ることを示している。

実験結果

評価は、異種で非 i.i.d. のエージェントの振る舞い（例：区分的定常分散、正弦波ドリフト、ブラウン橋過程）を持つ合成環境と、ウィスコンシン乳がんデータセットを使用した半合成の人間-AI トリアージタスクを対象としている。

• パフォーマンス：BOT-Orch は、すべてのテスト環境において最高の累積正味効用と最低のオラクル後悔を達成した。
• シフトへの適応：非 i.i.d. 設定（展開シフト）において、BOT-Orch は分布の不一致が発生した際に人間専門家へのエスカレーション率を増加させることで正常に適応したが、No-OT などのベースラインは効果的に調整できなかった。
• 整合コスト：このフレームワークは、分布の整合を無視するベースラインと比較して、累積整合コストを大幅に削減した（場合によっては 1 桁以上）。
• アブレーション：本研究は、OT 項が改善の主要な駆動力であることを確認した。これを除去（No-OT）すると、後悔と整合コストが高くなる。

意義と主張

本論文は、分布構造をオーケストレーション方針に直接組み込むことが、現代のマルチエージェント AI システムにおける頑健性と適応性を大幅に向上させると主張する。

• 理論的洞察：エージェントを出力分布を通じてモデル化し、整合を測定するために最適輸送を使用することは、不確実性を処理するための原理的な方法を提供することを確立する。これは、部分線形後悔と収束の理論的保証を提供する。
• 実用的有用性：このフレームワークは、パフォーマンス、リスク、コストを不確実性下で共同管理する必要がある、専門モデルやツール使用エージェントの新興エコシステムに特に関連性が高い。
• 限界：著者は、高次元設定におけるワッサーシュタイン距離の計算コスト、整合パラメータ $\lambda$ の較正の必要性、適切なタスク固有の参照分布へのアクセスの必要性など、限界を控えめに認めている。

この研究は、平均報酬の最適化を超えて分布を考慮したオーケストレーションへと移行することが、確率的で部分的に観測可能な環境における異種エージェントチームのスケーラブルかつ頑健な展開にとって重要な一歩であることを示唆している。