技術概要：EvoSci

問題定義

大規模言語モデル（LLM）は、数学的推論、コード生成、文献マイニングなどの特定の科学タスクにおいて潜在能力を示してきたが、自動化された科学的発見への既存のアプローチは重大な限界に直面している。現在の手法は、LLM を硬直した単発パイプライン内の静的な実行者として扱う傾向がある。これらは、問題の漸進的な洗練、中間的洞察の蓄積、多様な役割の相互作用に依存する、現実世界の科学研究の本質的な反復的、進化的、かつ本質的に協力的な性質を捉えきれていない。その結果、LLM を徐々に深まる科学的探究へと導くか、あるいは複数のエージェント間での持続的かつ動的な探索を促進するフレームワークが欠如している。

手法：EvoSci フレームワーク

これらの課題に対処するため、著者は EvoSci、すなわち生物学的に着想を得たマルチエージェント科学協働フレームワークを提案する。EvoSci は、科学的発見を以下の 4 つの中核段階からなる長期的な反復的探索プロセスとしてモデル化する。

1. 問題空間の構築

このフェーズでは、初期の研究テーマを構造化された多様な研究問題のコレクションへと変換する。

• 知識グラフモデリング: 軽量な多レベルの知識グラフを構築し、科学分野とそれに関連する実体（例：理論、モデル、現象）を組織化する。エンティティの埋め込み間のコサイン類似度を通じて、学際的な接続が確立される。
• トピック分析: LLM ベースの分類器が入力トピックを中核分野にマッピングする。実世界の科学者のデータセットからインスタンス化されたドメイン専門家エージェントが、有望な学際的方向性を特定するためにメンターエージェントと構造化された議論を行う。
• 生物学的に着想を得たエンティティ進化: システムはトピックと選択された分野の交差点に焦点を当てる。エンティティは意味的グループにクラスタリングされる。メンターエージェントはこれらのクラスタを文脈的手がかりとして用いて、科学的な問題を生成する。
• 構造化された問題クラスタ: 生成された問題は、学際的な焦点に基づいてクラスタリングされ、学際的視点を強調する。

2. 協働的研究実行

この段階では、選択された問題クラスタを調査するために、現実世界の研究チームをシミュレートする。

• チーム編成: プライムリサーチャーエージェントと複数のアシスタントリサーチャーエージェントが、「デジタルサイエンティスト」データセット（実在の科学者のプロファイルから派生）からインスタンス化される。プライムリサーチャーは初期トピックと整合し、アシスタントは特定の問題クラスタとの関連性に基づいて選択される。
• タスク分解と協働: CrewAI フレームワークを用いて、プライムリサーチャーは探索を構造化されたタスク（例：背景調査、アイデア生成）に分解する。「指導と協働」のパラダイムが採用され、再帰的な委任と段階的な統合ラウンドを特徴とし、エージェントが中間結果を集約し視点を整合させる。
• 共有メモリ: 階層的なメモリ機構（短期、長期、エンティティメモリ）が研究状態を維持し、タスク間での文脈の一貫性を確保する。

3. 研究アイデアの評価

レビュアーエージェントが、生成されたアイデアを評価するピアレビュープロセスをシミュレートする。

• 多次元スコアリング: アイデアは、新規性、実現可能性、期待される効果、科学的興奮性、および全体的な品質に基づいて評価される。
• 構造化されたフィードバック: 定量的スコアに加え、レビュアーは根拠を提供し、論理的な弱点を特定し、補完的な実験方向を提案する。
• メタレビュー機構: 安定性を確保し分散を低減するため、メタレビュアーが個々のレビューを統合された評価に集約し、学術会議のレビュー（例：ICLR、NeurIPS のテンプレート）を模倣する。

4. 生物学的に着想を得た進化的反復

このモジュールは、研究アイデアと知識エンティティを進化する集団として扱うことで、継続的で開かれた探索を可能にする。

• 進化的操作: エンティティクラスタレベルで、システムは以下の操作を適用する：
  • 交差: 意味的クラスタ間でエンティティを再結合し、新規な概念の組み合わせを創出する。
  • 変異: 早期収束を防ぐために、新規または低頻度のエンティティを導入する。
  • 選択: 評価フィードバックに基づいてクラスタをフィルタリングし、より高い新規性と実現可能性を持つものを優先する。
  • 遺伝: 適応度の高いエンティティを次の反復に伝播させる。
• 閉ループ洗練: 成功したアイデアから特定された高適応度エンティティは知識グラフに再統合され、低価値エンティティは剪定される。これらの更新されたクラスタは、次の問題生成サイクルの種として機能する。

主要な貢献

1. 問題指向のプロセス概念化: 本論文は、科学的発見を、研究問題がマルチエージェント協働ループを通じて生成・洗練される動的な問題指向プロセスとして概念化する。これは、静的な単発生成タスクではない。
2. 異種マルチエージェントフレームワーク: 著者は、実在の科学者に由来するデータセットに基づき、メンター、プライムリサーチャー、アシスタント、レビュアーという役割固有の目的を持つエージェントを活用し、現実の研究所を反映するフレームワークを構築し、真の協働ワークフローをシミュレートする。
3. 生物学的に着想を得た進化的メカニズム: 選択、交差、突然変異、遺伝を取り入れた多ラウンドフィードバックループの実装により、固定されたパイプラインを超えた継続的で開かれた科学的探究が可能となる。

実験結果

著者は、SciPIP、AI Scientist、VirSci、CoI-Agent などの強力なベースラインを用いて、10 の代表的な開かれた研究トピック（例：Grokking、NanoGPT、地震予知）において EvoSci を評価した。

• 評価指標: パフォーマンスは、専門家シミュレート型ピアレビュー機構（ICLR および NeurIPS スタイル）と、トーナメント方式のペアワイズランキングによって測定された。
• パフォーマンス: EvoSci はすべてのベースラインを一貫して上回った。
  • ピアレビュースコア: DeepSeek-v3 バックボーンを使用した場合、EvoSci は最高全体の ICLR スコア（4.90）と NeurIPS スコア（3.95）を達成し、それぞれ次点のベースライン（4.68 および 3.72）を大幅に上回った。
  • ランキング: EvoSci は、トーナメント方式の比較において最高平均勝利数（DeepSeek-v3 で 4.19）と最高 Top-10 数（54）を記録した。
• アブレーション研究:
  • 問題ガイダンス: 構造化された問題定式化モジュールを除去すると、新規性と興奮性のスコアが低下し、メンターエージェントのガイダンスの重要性が確認された。
  • チームサイズ: パフォーマンスは 5 エージェントのチームサイズでピークに達した。より大きなチーム（7 または 9）は、調整オーバーヘッドにより劣化した。
  • 進化的反復: 進化的モジュールを有効化すると、トピック全体で全体的スコアに体系的かつ中程度の改善が見られ、単一パス生成に対する反復的洗練の有効性が検証された。

意義と主張

本論文は、EvoSci が既存の強力なベースラインと比較して、優れた全体的な研究品質とより信頼性の高い相対的パフォーマンスを示すと主張する。生物学的に着想を得た進化を知識グラフモデリングおよびマルチエージェント協働と統合することで、このフレームワークは静的パイプラインの限界を克服し、LLM が持続的かつ動的な科学的探究に従事することを可能にした。結果は、EvoSci が模擬ピアレビューでのパフォーマンスが示す通り、有効かつ実現可能であるだけでなく、新規で興奮を喚起するアイデアを生成することに特に効果的であることを示唆している。

著者は、EvoSci がイノベーション指向の次元で優れている一方で、広範な学際的探索は時として実用的な実現可能性が低いアイデアにつながる可能性があり、創造性と適用性の間のトレードオフを示していると認めている。今後の研究として、学際的知識の統合を強化し、因果推論を強化し、自己改善のためのより客観的な評価メカニズムを開発することが提案されている。