技術要約: Symphony-Coord

問題提起

マルチエージェント大規模言語モデル（LLM）システムは、作業を分解し、専門化された振る舞いを調整することで、複雑で多段階のタスクを解決することを目指している。しかし、既存の調整メカニズムは通常、静的に割り当てられたロール（役割）と中央集権的なコントローラーに依存している。エージェントのプールが増大し、タスクの分布が進化するにつれ、これらの設計上の選択は以下のような重大な制限をもたらす：

1. 非効率なルーティング: 静的なロールラベルは、特定のモデル能力の微妙な違いを区別するには一般的すぎることが多く、最適なエージェント選択を妨げる。
2. 適応性の欠如: 設計フェーズで確立された固定的なタスク・ロール・マッピングは、タスク分布が変化した際に、より適切なエージェントへと切り替えることが困難である。
3. 脆弱な故障回復: 高い能力を持つエージェントが劣化または利用不可になった際、静的な割り当てでは迅速な代替メカニメントが欠如しており、継続的なパフォーマンス低下を引き起こす。

CAMELのようなプロンプトベースの「ロールプレイング」を通じてロールの硬直性を緩和しようとするフレームワークもあるが、これらのアプローチは、現在のコンテキストやシステム状態の下で、どのエージェントがサブタスクに最も適しているかを経験から学習するための、原理的な決定メカニズムを欠いていることが多い。

手法: Symphony-Coord

著者らは、分散実行型のタスクローカル調整フレームワークであるSymphony-Coordを提案する。これは、エージェント選択を静的なマッチング問題としてではなく、オンライン・コンテクスト・バンディット問題として再定義するものである。本システムは、各エージェントを一つの「腕（arm）」として扱い、観測可能なコンテキストに基づいて実行者を選択し、フィードバックを通じてルーティング・ポリシーを更新する。

本フレームワークは、2段階の動的ビーコン・ルーティング・プロトコルを採用している：

ステージ1: 軽量な候補スクリーニング

通信および計算のオーバーヘッドを管理するため、システムはすべてのサブタスクに対してエージェントプール全体にクエリを投げることはしない。代わりに、利用可能な各エージェント $j$ に対して、以下の要素を組み込んだ軽量な複合スコア ($s_{j,t}$) を算出する：

• マッチ・スコア: エージェントの能力テキストとサブタスク要件との間のコサイン類似度（または語彙的フォールバック）。
• 過去の成功: 過去の成功率の平滑化推定値。
• 信頼性: 短期的な運用安定性（例：直近のレイテンシ、エラー状態、可用性）。

システムは、**上位L個（Top-L）**のエージェントを選択して候補セット $C_t$ を形成し、これにより決定空間を大幅に削減する。

ステージ2: 適応型 LinUCB 選択

絞り込まれた候補セット $C_t$ 内において、Symphony-CoordはLinUCBスタイルのオンライン・セレクターを適用する。各候補に対し、以下の要素を融合させたコンテキスト・ベクトル $x_{j,t}$ を構築する：

• タスク要件の特徴量。
• エージェントの静的な能力表現。
• 動的な実行時シグナル（負荷、レイテンシ、レピュテーション、可用性）。

セレクターは、以下の上限信頼境界（Upper Confidence Bound: UCB）スコアを最大化する：
$$UCB_{j,t} = x_{j,t}^\top \hat{\theta}_{t-1} + \beta_{t-1} \sqrt{x_{j,t}^\top A_{t-1}^{-1} x_{j,t}}$$
これにより、活用（exploitation）（高い推定報酬を持つエージェントの選択）と探索（exploration）（不確実性を減らすために不確実な候補をテストすること）のバランスをとる。

フィードバックおよび更新メカニズム

システムは、遅延実行後フィードバックループを利用する。報酬は以下の要素に基づいて形成される：

1. 基本的な妥当性（エラーのない完了）。
2. 最終的な投票結果と一致した場合の「ウィナー・ボーナス」（合意に基づくプロキシ）。
3. オプションとしての正解項（ゴールドラベルが存在する場合）。
4. 効率性へのペナルティ（レイテンシ）。

LinUCBの統計量（$A_t, b_t, \hat{\theta}_t$）への更新は、タスクレベルの投票が解決された後に行われる。これにより「遅延更新」効果が導入される。つまり、パラメータはわずかな遅延を伴って更新されるが、ルーティングの決定自体は現在のコンテキストと状態のみに依存する。

主な貢献

1. 問題の定式化: サブタスクとエージェントのルーティングをオンライン・コンテクスト・バンディット問題として定式化し、タスク要件とエージェントの状態をコンテキスト特徴量に統合した。
2. 2段階の動的ビーコン・ルーティング: オーバーヘッドを制御するためのTop-L候補フィルタリングと、非定常性を扱うためのLinUCBベースの適応型選択を組み合わせた、実用的なパイプラインを提案した。
3. オンライン学習クローズドループ: 逐次的な意思決定の観点と整合するように、エンドツーエンドでルーティング決定を継続的に改善するフィードバック・アップデート・メカニズムを設計した。
4. 理論的範囲: 標準的な候補条件付き線形バンディット仮定の下で、セレクターが**劣線形なリグレット界（sublinear regret bound）**を持つことを高確率で証明した。この分析は、Top-Lフィルタリングと遅延投票フィードバックの影響を明示的に分離している。
5. 実証的検証: シミュレーション、現実世界のLLMベンチマーク（GSM8K, BBH, MedicalQA）、および広範なアブレーション研究を通じて、フレームワークを検証した。

実験結果

• パフォーマンスの向上: Symphony-Coordは、単一エージェントのベースラインを一貫して上回り（GSM8Kで8.5–22.0%、BBHで16.5–23.5%、MedicalQAで27.0–33.0%の向上）、様々なバックボーンにおいてマルチエージェント・ベースライン（MetaGPT, AFLOW, GPTSwarm）に対しても最高の平均精度を達成した。
• 異質性（Heterogeneity）: 本システムは、異質なエージェントプールから大きな恩恵を受ける。MedicalQAの実験では、5エージェント構成のチームにおいてスキル異質性が最も高い精度をもたらしており、能力の専門化が補完性の主要な源泉であることを示唆している。
• スケーラビリティ: エージェントプールが $N=5$ から $N=100$ に増加しても、フレームワークは安定性を維持する。エージェントプールが大きくなるとパフォーマンス低下やレイテンシ増大を招く中央集権型ベースライン（AutoGen, MetaGPT）とは異なり、Symphony-Coordはオンライン選択を固定されたTop-L=3のショートリストに限定することで、ルーティング・オーバーヘッドを100ms未満に抑えている。
• コスト効率: Symphony-Coordは良好なパレート・フロンティアを実現しており、中程度の予算で単一エージェント・ベースラインよりも高い精度を提供し、マルチエージェント・ベースラインと同等またはそれ以上の精度を、より低いトークン消費量とレイテンシで実現している。
• 堅牢性: エージェントの劣化を含む準リアルな回復実験において、Symphony-Coordは健全なエージェントへタスクを正常に再割り当てできたが、静的および凍結されたUCBバリアントは回復に失敗した。

意義と主張

本論文は、Symphony-Coordが、スケーラブルなマルチエージェントLLMの調整には、静的なロール割り当てに依存する必要がないことを示していると主張している。代わりに、実行時のコンテキストとフィードバックによって駆動される適応的なルーティングを通じて、効果的な調整が実現可能である。

先行研究との主な相違点は以下の通りである：

• 創発的な専門化: プランナー／ソルバー／チェッカーといったアイデンティティを手動で割り当てるのではなく、システムがタスクの特徴とフィードバックに適応するにつれて、ルーティングの専門化が徐々に創発する。
• タスクローカルな調整: システムは分散実行モデルで動作し、ワーカーは独立しているが、軽量で境界の明確なルーティング・プレーンが、各タスク・インスタンスに対して候補選択とフィードバック更新を管理する。
• 実用的な統合: 新規性は新しいバンディット・アルゴリズムそのものではなく、異質なLLMエージェントプールに特化した、能力認識型フィルタリング、コンテクスト選択、およびフィードバック駆動型のルーティング専門化の統合にある。

著者らは、本フレームワークがタスク分布のシフトやエージェントの失敗に対して堅牢であるように設計されており、通信オーバーヘッド、調整の複雑さ、および堅牢性に関するLLMベースのマルチエージェント・システムにおける未解決の課題に対処していると述べている。今後の展望として、より大規模なオープン・エージェント・プール、より豊かなツール使用ワークフロー、およびより長期のタスク・ストリームへの拡張が示唆されている。