技術的サマリー：EvoMAS – マルチエージェントシステムの進化生成

1. 問題定義

大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）は、複雑な推論、計画、ツール拡張タスクにおいて大きな可能性を示しています。しかし、効果的な MAS アーキテクチャの設計は、依然として労働集約的で脆く、一般化が困難です。既存の自動生成手法は、表現力と信頼性の間で根本的なトレードオフに直面しています：

• コード生成アプローチ： ADAS や MAS-GPT などの手法は、MAS 設計をオープンエンドなコード検索または直接コード合成として扱います。表現力が高い一方で、構文エラーや単一パスでの有効なマルチエージェントプログラムの生成の複雑さにより、実行失敗、ランタイム例外、脆い動作にしばしば陥ります。
• 硬直なテンプレートアプローチ： AutoAgents や EvoAgent などの手法は、信頼性を向上させるためにエージェント構造を制約しますが、適応性と表現力を制限します。さらに、EvoAgent などのアプローチは、通常、マルチエージェントシステムを統合された最適化対象として扱うのではなく、個々のエージェントを進化させ、クエリ間での経験転送のメカニズムを欠いています。

核心的な課題は、構造化された更新を導くために実行フィードバックを活用しつつ、MAS 構成の広大で組み合わせ的な空間を効率的に探索し、新しい設計の探索と成功パターンの再利用のバランスを取ることです。

2. 手法：EvoMAS

著者は、コード合成ではなく構造化された構成生成として MAS 生成を定式化するフレームワーク**EvoMAS（マルチエージェントシステムの進化生成）**を提案します。EvoMAS は、解釈可能な有界な構成空間内で動作し、選択、突然変異、交差を通じて協調的な MAS 構成を進化させます。

2.1. 構成表現

MAS 構成 $C$ は、タプル $(G, \{A_i\}, V_{in}, V_{out})$ として定義されます：

• グラフ（$G$）： 誰が誰と通信するかを定義する非巡回通信グラフ（トポロジー）。
• エージェント（$A_i$）： 各エージェントは、バックボーンモデル（$b_i$）、システムプロンプトテンプレート（$p_i$）、およびツールセット（$\Gamma_i$）によって定義されます。
• 実行： 軽量なランタイムインタープリタが、システム構造と実行ロジックを分離し、宣言的な構成に基づいてエージェントをインスタンス化し、通信を管理します。

2.2. 進化プロセス

EvoMAS は、実行フィードバックを学習信号として使用し、候補プール上で LLM 駆動の進化探索を行います。特定のタスク $q$ に対するプロセスは以下の通りです：

1. 選択： 初期構成は、タスクの関連性とメタデータに基づき、人間が設計した MAS（例：ピアレビュー、多数決、MetaGPT）でシードされたプールから取得されます。
2. 進化オペレータ： システムは、実行トレースと経験メモリに基づいて条件付けられた 2 つのオペレータを使用して候補を反復的に洗練します：
   • 突然変異： 実行トレースで特定された特定の性能ボトルネックに対処するため、単一の親の 1 つのコンポーネントタイプ（プロンプト、モデル割り当て、ツールリスト、またはトポロジー）を正確に 1 つ変更します。
   • 交差： 一方の親から通信トポロジーを継承し、両方からエージェントレベルの属性（プロンプト、モデル、ツール）を再結合することで、2 つの親を再結合します。
3. 評価： 構成は、タスクのパフォーマンス（正しさ、完全性）と計算コスト（トークン数とレイテンシ）のバランスを取る LLM によるジャッジ報酬関数を使用して評価されます。
4. プールとメモリの更新： 高報酬の構成は、将来の再利用のためにプールに追加されます。進化トレースは、コンパクトな表現（例：「出力フォーマットのためのプロンプト改善により精度が向上した」）に要約され、類似性に基づく検索を通じて将来の探索を導くために経験メモリに格納されます。

2.3. 主要な設計原則

• 構造化対コード： 実行可能なコードではなく構造化された構成（YAML）を生成することで、EvoMAS は構文エラーを回避し、高いランタイムの堅牢性を確保します。
• 統合進化： プロンプトまたはトポロジーを個別に最適化する先行研究とは異なり、EvoMAS はすべてのコンポーネント（トポロジー、プロンプト、モデル、ツール）を統合されたシステムとして共同で進化させます。
• テスト時計算のスケーリング： EvoMAS は、単一エージェントにより多くの計算を割り当てるのではなく、構成探索を通じてマルチエージェントシステム全体での計算配分を適応させます。

3. 主要な貢献

1. 構成ベースのパラダイム： MAS 構築を構造化されたテキスト生成として再定式化し、コード生成の脆さなしに MAS 設計空間の堅牢で表現力のある探索を可能にします。
2. EvoMAS フレームワーク： 人間が設計したシステムからシードされた候補構成のプールを維持し、実行ガイドの突然変異、交差、およびメモリベースの再利用を通じて反復的に洗練する LLM 駆動の進化フレームワーク。
3. 包括的なベンチマーク： 推論、コーディング、ツール呼び出しの分野において、人間が設計した MAS および既存の自動生成手法と比較して、より高い実行成功率で優れたタスクパフォーマンスを実証しました。

4. 実験結果

EvoMAS は、5 つのベンチマークで評価されました：BBEH（推論）、WorkBench（ツール使用）、およびSWE-Bench-Lite/Verified（ソフトウェアエンジニアリング）。

• パフォーマンスの向上： EvoMAS は一貫してベースラインを上回りました。
  • BBEHでは、自動 LLM 選択により58.7%の精度を達成し、最高の EvoAgent 結果を+10.5 ポイント、最高の LLM 別構成を**+5.9 ポイント**上回りました。
  • WorkBenchでは48.9%に達し、最高の LLM 別結果を+4.4 ポイント上回りました。
  • SWE-Bench-Verifiedでは、EvoMAS は63.8%の解決率を達成し、最高の単一 LLM 構成を+3.4 ポイント、最高の事前定義 MAS（MetaGPT）を大幅に上回りました。Claude-4.5-Sonnetを使用すると**79.1%**に達し、公開リーダーボードのトップに並ぶ結果となりました。
• 堅牢性と実行可能性： EvoMAS は、すべてのベンチマークで**96%**を超える実行率を達成しました（例：BBEH で 98.9%）。MAS-GPT（BBEH で 71.5%、SWE-Bench-Lite で 1.2%）などのコード生成手法を大幅に上回りました。
• スケーリング挙動： トークン予算の増加とともに頭打ちまたは劣化する単一エージェントまたは固定トポロジーの手法とは異なり、EvoMAS は計算量の増加に伴いパフォーマンスを向上させ続け、より効率的な調整パターンを発見します。
• 一般化： このフレームワークは数学的推論（AIME 2024–2025）にも一般化し、**56.7%**の精度を達成して事前定義されたベースラインを上回りました。

5. 意義と主張

本論文は、EvoMAS が、手作業でタスク固有の MAS エンジニアリングを行うことから、自動化された適応的システム合成への転換を表すと主張しています。その意義は以下の点にあります：

• 構造的最適化： パフォーマンスの向上は構造的なものであり、計算量の単純なスケーリングや大規模モデルへの依存ではなく、効果的な調整パターンの発見（「分解者」や「検証者」などの創発的役割や新規トポロジーなど）に起因します。
• 信頼性： 構成を通じて構造と実行ロジックを分離することで、EvoMAS はコード生成アプローチに内在する信頼性の問題を解決し、実世界アプリケーションにおける自動 MAS 生成を実用的なものにします。
• テスト時適応： 構成の更新と実行経験を通じて改善が蓄積される状態ベースの学習パラダイムを提供し、勾配ベースの微調整とは異なる代替手段を提供します。
• 汎用性： このフレームワークはエージェントに依存せず、異種モデルの割り当てをサポートするため、単一のシステム内で特定の役割に対して異なる LLM の強みを活用できます。

著者は、EvoMAS が専門的なエージェント開発の障壁を効果的に下げると結論付けていますが、今後の研究では敵対的な協調への対応と、進化コストのさらなる削減に取り組むべきであると指摘しています。