技術的サマリー：MASPO – LLM ベースのマルチエージェントシステム向け共同プロンプト最適化

問題定義

大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）は、役割固有のプロンプトを介して異種のエージェントを編成することで、複雑な協調タスクの解決において大きな可能性を示しています。しかし、これらのプロンプトの共同最適化は依然として重大なボトルネックとなっています。単一エージェントのシナリオとは異なり、MAS の最適化は、あるエージェントのプロンプトの最適性が他者の行動に本質的に依存する組み合わせ探索空間を伴います。

既存のプロンプト最適化手法は、MAS 文脈において 2 つの主要な課題に直面しています：

1. 局所 - 全局の不一致（クレジット割り当て）： 協調環境では、中間エージェントは最終出力の生成ではなく、推論や要約などのタスクを実行することがよくあります。真のラベルに依存する標準的な評価手法は、これらの中間段階に対して効果的にクレジットを割り当てることができません。エージェントが局所的な指示を完全に満たす（局所妥当性）場合でも、下流のピアを誤った方向に導く出力を生成し、システム全体の失敗を引き起こす可能性があります。
2. 非定常性と探索の複雑性： エージェント間の機能的結合により、非定常的な最適化ランドスケープが生まれます。上流エージェントのプロンプトを変更すると、下流エージェントの入力コンテキストが変化し、共変量シフトを引き起こして過去の性能スコアを信頼できないものにします。さらに、木構造パルゼン推定量（TPE）などの既存手法は、固定された離散候補プールからの選択に制限されることが多く、オープンエンドで微細な最適化を制限しています。

手法：MASPO フレームワーク

これらの課題に対処するため、著者はマルチエージェントシステム全体にわたってプロンプトを自動的に反復的に洗練させるためのフレームワークであるMASPOを提案します。このフレームワークは、トポロジカルなスケジューリング、トレースガイド生成、共同評価、適応ビーム探索を含む体系的なループを通じて動作します。

1. トポロジカルコンテキストとトレースガイド提案

MASPO は、エージェント通信グラフの因果的依存関係を尊重する座標上昇スタイルの戦略を採用しています。次のエージェントに移る前に 1 つのエージェントを完全に収束させるのではなく、インターリーブ進化プロトコルを採用します。エージェントは、システムが共適応を安定させ、上流のサブ最適下流行動への過剰適合を防ぐために、トポロジカル順序で限られた世代数（$T$）最適化された後、凍結されます。

プロンプト生成において、MASPO は盲目的な突然変異ではなく、実際の実行トレースに基づいたデータ駆動アプローチを利用します。オプティマイザーモデル（$M_{opt}$）は、入力コンテキストから出力へのマッピングを分析して変種を提案します。重要なのは、フレームワークが「ハードネガティブ」トレースを生成プロセスに注入する不一致サンプリングを採用している点です。これらは、エージェントが局所的な目標を満たしたが、グローバルなシステムを支援しなかった過去の事例であり、オプティマイザーが局所指示とグローバル目標の間のギャップを埋めるよう明示的に導きます。

2. 多粒度共同評価

クレジット割り当てのジレンマを解決するため、MASPO は 3 つの次元にわたって候補プロンプトを評価する複合スコアリング関数（$R$）を導入します：

• 局所妥当性： エージェントの出力が基準よりも役割固有の制約をどの程度満たすかを測定します。
• 先見性ポテンシャル： 「波紋効果」を定量化するトポロジカル認識メトリックです。現在のエージェントによって生成された新しいコンテキストを与えられた場合、下流のエージェントがより良い出力を生成するかどうかを評価します。
• グローバル整合性： システム全体の最終応答への影響を測定し、長距離依存関係を捉えます。

この共同報酬モデル（$R = \alpha \cdot \text{Local} + \beta \cdot \text{Lookahead} + \theta \cdot \text{Global}$）により、システムは孤立した出力ではなく、因果連鎖全体への貢献を通じてエージェントの有用性を評価できます。

3. 適応的ダイナミクスを備えた進化ビーム探索

高次元のプロンプト空間をナビゲートするため、MASPO はトレースガイドビーム探索を採用しています。これは、経路に沿って共同報酬スコアを蓄積し、最も堅牢なプロンプトを選択するためにトップ$K$候補のビームを維持します。

重要な革新はビームリフレッシュメカニズムです。トポロジカルなトラバース中にピアエージェントが進化するにつれて、特定のエージェントの入力分布が変化し、過去のスコアを陳腐化させます。エージェントが新しいエポックで再訪問されたとき、MASPO は陳腐化した累積スコアを破棄し、現在のグローバル最良プロンプトに対して候補を評価することでビームを再固定します。これにより、探索は有効で最新のパフォーマンス多様体から再開され、非定常性が効果的に軽減されます。

主要な貢献

本論文は、3 つの主要な貢献を概説しています：

1. 多粒度共同評価： 局所妥当性、先見性ポテンシャル、およびグローバル整合性を相乗的に組み合わせ、協調連鎖内のエージェントの因果的インパクト全体を捉えることで、クレジット割り当てのジレンマを解決する複合メトリック。
2. 不一致駆動の生成探索： エージェントが局所的な役割を果たすがシステム全体の失敗を引き起こすシナリオである「不一致事例」によって明示的に導かれるビーム探索戦略。これにより、オプティマイザーは特定の相互作用の崩壊を診断し、修正できます。
3. 適応的最適化ダイナミクス： ビームリフレッシュ機構を備えた座標上昇ベースのスケジューリングプロトコル。これらの技術は、マルチエージェント相互作用に内在する非定常性を軽減し、エージェントがピアの進化行動に適応することを保証します。

実験結果

著者は、数学的有能性（MATH-500、AGIEval-MATH、AQuA）、複雑な推論（GPQA）、コード生成（MBPP、HumanEval-ET）にわたる 6 つの多様なタスクで MASPO を評価しました。フレームワークは、バックボーンとして Qwen3-8B を使用し、オプティマイザーおよび評価器として Gemini-2.5-pro を用いて、シーケンシャルおよび階層的 MAS アーキテクチャの両方でテストされました。

• 性能向上： MASPO は、単一エージェント戦略（Vanilla、CoT、Self-Refine）や既存のマルチエージェント最適化手法（TPE、SPO）を含む最先端のベースラインを一貫して上回りました。最も性能の高い最適化ベースラインに対して、平均精度が 2.9% 向上しました。
• 堅牢性： フレームワークはトポロジに依存しない性能を示し、それぞれのベースラインに対してシーケンシャル MAS を 5.06%、階層的 MAS を 2.73% 改善しました。
• アブレーション研究： 実験により、すべてのコアコンポーネントの必要性が確認されました。ビームリフレッシュ機構または共同評価を除去すると、性能が大幅に低下しました。感度分析により、グローバル整合性への過度な依存に比べて、局所妥当性と先見性ポテンシャルのバランス（重み 0.4/0.4）が優れた適応性をもたらすことが明らかになりました。
• 転移性： Qwen3-8B で最適化されたプロンプトは、DeepSeek-V3、GLM-4.6、Claude-Sonnet-4、Gemini-2.5-Pro といった未見のアーキテクチャに成功裏に転移し、MASPO が特定のモデルの特性への過剰適合ではなく、一般化された相互作用ロジックを捉えていることを示しました。

意義と主張

本論文は、MASPO が動的なマルチエージェント環境における未探索の課題である共同プロンプト最適化に対する堅牢な解決策を提供すると主張しています。孤立したエージェントのチューニングを超えて、MASPO は中間段階の真のラベルに依存することなく、局所的な相互作用とグローバルな結果の間のギャップを効果的に埋めます。

著者は、彼らのアプローチが特に以下の点で重要であると強調しています：

• クレジット割り当て問題の解決： 最終的な正しさだけでなく、下流の有用性に基づいて中間エージェントを評価するメカニズムの提供。
• 非定常性の処理： ピアエージェントによって引き起こされる入力分布のシフトにもかかわらず、最適化プロセスを安定させる動的リフレッシュメカニズムの導入。
• 実用性： 少量のラベルなしサンプルプール（50 インスタンス）で高性能を達成できることを実証し、フレームワークを計算効率的にし、リソース制約のある環境やプライバシーに敏感な展開に適していること。

この研究は、協調 AI システムに関する将来の研究が、動的な役割の専門化とアーキテクチャの最適化に焦点を当てるべきであり、MASPO が自動化された自己改善型マルチエージェントシステムへの基礎的な一歩となることを示唆しています。