技術的概要：AGENTCO-OP

問題定義

オープンエンドな科学分野における相互運用可能なマルチエージェントワークフローの設計は、特に困難です。QA、コーディング、数学などの標準的なベンチマークが、キュレーションされたトレーニングセット、信頼性の高いスカラー評価指標、標準化されたインターフェースを提供するのとは異なり、科学的タスクはこれらのリソースを欠くことがよくあります。ゲノミクスなどの分野では、タスクはオープンエンドであり、真の答え（グラウンドトゥルース）は頻繁に曖昧か存在しないため、評価は単一のスカラー報酬ではなく、統計的有意性や生物学的妥当性などの多様な中間証拠に依存します。さらに、既存の科学的エージェントやツールは、互換性のない環境、インターフェース、出所状態を有して独立して開発されることが多いです。現在の自動化されたワークフロー設計手法（ADAS、AFlow、AgentSquare など）は、候補トポロジーの探索とスカラーフィードバックへの最適化に依存しており、代表的なベンチマークや信頼性の高い報酬シグナルが存在しない場合、この戦略は非現実的になります。

手法：AGENTCO-OP

著者は、自動化されたマルチエージェントワークフロー設計を、グローバル探索問題ではなく、構成問題として再定義する、検索ベースの合成フレームワーク「AGENTCO-OP」を提案します。このシステムは、以下の 5 つの主要な段階で動作します。

1. 計画と検索: タスク仕様 $x = (g, c, r, \Omega)$（目標、文脈、制約、リソース）が与えられると、システムは検索計画を策定します。キュレーションされたライブラリやユーザー提供のリポジトリから、参照ドキュメント、手順的エージェントスキル、呼び出し可能なツール、外部 GitHub リポジトリからのメタデータなど、関連するアーティファクトを収集します。
2. 合成: AGENTCO-OP は、有向グラフ $G = (V, E)$ として初期の実行可能ワークフローを合成します。
   • グラフ表現: ノードは、Docker コンテナにラップされた外部エージェントやエンドツーエンドのメソッドなど、割り当てられた役割を持つエージェントを表します。エッジは、情報と中間アーティファクトの流れを表します。
   • ノードのグラウンディング: 各ノードは、ライブラリから検索された特定のスキルとツールでグラウンディングされ、関数 $\phi$ によってマッピングされます。
   • インターフェースの整合性: システムは、型付きアーティファクトのハンドオフを強制します。エージェント間の通信はプロトコル $\Pi$ によって管理され、アーティファクト（例：検証済みのマーカー表、構造化された JSON）は標準化されたスキーマを介して渡され、異種コンポーネント間の互換性を確保します。
   • コンテナ化: 外部リポジトリとメソッドは、環境依存関係を解決し、グラフノードとして機能できるようにするために、Docker コンテナ（Repo2Run に準拠）にラップされます。
3. 実行: 合成されたワークフローが実行されます。このフェーズ中、システムは実行トレース、検証チェック、ツールエラー、コストシグナルなどの多様な証拠を監視します。
4. 証拠に基づく局所修復: 実行証拠が失敗や不確実性を示す場合、「レビュアー」が限定された局所修復をトリガーします。グローバルな合成や探索を再開するのではなく、システムは修復ポリシーのセットを参照して、関連するノード、添付されたスキル、ツール、または通信エッジのみを修正します。このプロセスは、修復予算または最大ラウンド数によって制限されます。
5. 探索ベースのワークフローとの構成: AGENTCO-OP は、AFlow などの探索ベースの手法によって生成された既存のエージェントグラフを構造的な事前情報として取り込むこともできます。その後、検索されたスキルでノードをグラウンディングし、局所修復を適用してこのグラフを洗練させることで、合成と探索が補完的であることを実証します。

主要な貢献

1. 検索ベースの合成の定式化: 本論文は、スカラー報酬が弱い、あるいは存在しない設定における自動化されたワークフロー設計を、検索ベースの合成問題として定式化します。これは AGENTCO-OP において具体化され、型付きアーティファクトのハンドオフと限定された局所修復を通じて、リソース、スキル、ツール、外部エージェントを動的に構成して実行可能なワークフローを生成します。
2. 独立した科学エージェントの調整: このフレームワークは、オープンワールドのゲノミクスタスクにおいて、独立して開発された科学エージェントとツールリポジトリを調整する能力を実証します。タスク仕様と GitHub リンクのみを与えられれば、基盤となるリポジトリを再設計することなく、相互運用可能なワークフローを自動的に合成します。
3. 合成と探索の補完性: 著者は、AFlow によって探索されたワークフローを取り込み、検索グラウンディングと局所修復を通じて改善することで、合成と探索が補完的であることを示します。
4. パフォーマンスと効率: 6 つの標準ベンチマーク（QA、数学、コード）において、AGENTCO-OP は 4 つのベンチマークで最高性能を達成し、統一されたバックボーン設定下で最高平均スコアを記録しました。また、マルチエージェントのベースラインと比較して、タスクごとのトークンコストを一貫して削減しました。

実験結果

論文は、AGENTCO-OP を 2 つの領域で評価しました。

1. オープンワールドの科学事例研究:

• 空間トランスクリプトミクス協力: AGENTCO-OP は、空間トランスクリプトミクスの TissueAgent と遺伝子セット解釈の GeneAgent を調整し、発育中のヒト心臓の MERFISH データセットを分析しました。システムは、TissueAgent が 53 のアップレギュレートされたマーカー遺伝子を特定し、それらが検証されて型付きアーティファクトとして GeneAgent に渡され、解釈される直列ワークフローを正常に合成しました。エージェントは、AVN/AV 輪線維芽細胞が特殊な発育状態を表すと結論付けました。
• クロスモダリティマーカー発見: システムは、PBMC マルチオームデータ上で Seurat（RNA-seq）と Signac（ATAC-seq）のワークフローを並列に構成しました。CellMarker 2.0 および PanglaoDB に対してマーカーの品質を評価しながら、両方のモダリティからの結果を統合しました。この組み合わせアプローチは、単一のモダリティよりも高いマクロ精度と再現率をもたらしました。
• ワークフローの再利用: MBPP ベンチマーク用の AFlow 探索グラフをインポートして洗練させることで、システムは pass@1 スコア 87.5 を達成し、AFlow 単体（78.2）およびゼロから構築された AGENTCO-OP（87.1）を上回りました。

2. 標準ベンチマーク:

• HotpotQA、DROP、HumanEval、MBPP、GSM8K、MATH について GPT-4o-mini を使用して評価されました。
• AGENTCO-OP は、6 つのベンチマークのうち 4 つで最高スコアを達成し、平均スコアも最高でした。
• コスト分析: AGENTCO-OP は、トレーニング/探索中の高コストやエージェント間の反復通信を伴う議論ベースの手法（LLM-Debate、ReConcile など）や探索ベースの手法（AFlow など）と比較して、テスト時のトークンコストを大幅に削減しました。

意義と主張

本論文は、検索ベースの合成が、ベンチマーク最適化されたエージェントグラフを超えて、既存のエージェント、ツール、型付きアーティファクトから構築されたオープンワールドワークフローへと、自動化されたエージェントワークフロー設計を拡張すると主張しています。

• オープンエンドタスクへのスケーラビリティ: グローバルトポロジー探索とスカラー報酬への依存を避けることで、AGENTCO-OP は、タスクにキュレーションされたベンチマークが存在しない科学分野におけるボトルネックに対処します。
• 相互運用性: このフレームワークは、スキルを型付きでテスト可能な単位として扱い、Docker ラッピングと型付きアーティファクトによるインターフェース整合性を強制することで相互運用性の課題を解決し、独立して開発されたシステムが協働することを可能にします。
• 効率性: 合成優先のアプローチと限定された局所修復の組み合わせは、グローバル探索の費用のかかる試行錯誤や、議論ベースのシステムの冗長な通信を回避し、低コストと特定の問題インスタンスへの迅速な適応をもたらします。
• 科学的有用性: この研究は、科学エージェントの進展は、より強力な個別エージェントの構築だけでなく、異種エージェントを信頼性の高い協働システムに組織化、構成、適応させる手法の開発に依存することを示唆しています。AGENTCO-OP は、既存の専門知識を構成して検証し、複雑なクロスドメイン発見課題に対処するための再利用可能なエコシステムへの実用的な道筋を提供します。

著者は、現在の焦点が単一ドメインの事例研究であること、利用可能なリソースの品質への依存、および局所修復がグローバル最適性を保証しないことなどの限界を認めています。しかし、彼らはこのパラダイムが、現実世界の科学応用に対する検索ベースの設計に対する堅牢な代替案であると提唱しています。