Mimosa Framework: Toward Evolving Multi-Agent Systems for Scientific Research

この論文は、実験フィードバックを通じてタスク固有のマルチエージェントワークフローを自動生成・反復的に洗練させる「Mimosa」という進化型フレームワークを提案し、ScienceAgentBench での高い成功率とオープンソース化による科学的研究の自動化基盤への貢献を示しています。

要約

ミモサ（Mimosa）：科学の「進化するチーム」を作る新しい仕組み

この論文は、**「ミモサ（Mimosa）」**という新しい AI システムについて紹介しています。

従来の AI は、科学者の指示を忠実に実行する「優秀な部下」でしたが、状況が変わるとすぐにパニックになったり、指示を忘れたりする弱点がありました。ミモサは、そんな AI を**「経験から学び、チームの構成や役割を自分で変えていく、しなやかな科学者のチーム」**に進化させたものです。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 従来の AI の問題点：「硬直したマニュアル」

これまでの科学用 AI は、**「決まった手順書（マニュアル）」**に従って動くロボットのようなものでした。

• 例え話： 料理のレシピが「卵を割る→フライパンで炒める→塩を振る」と固定されているとします。もし「卵が割れなかったらどうするか？」や「フライパンが壊れたらどうするか？」という予期せぬ事態が起きても、ロボットはマニュアルにその手順がないため、そこで止まってしまったり、間違ったことを繰り返したりします。
• 現実： 科学実験は常に予想外の変化が起きるものです。従来の AI は、この「変化」に対応できず、失敗してしまいました。

2. ミモサの仕組み：「進化するチーム」

ミモサは、**「チームのリーダー（メタ・オーケストレーター）」**が、実験の結果を見て「今のやり方はダメだ、次はこうしよう」とチームの構成を次々と変えていくシステムです。

① 役割分担とチーム編成（マルチエージェント）

ミモサは、1 人の AI だけで全てをやるのではなく、**「実験担当」「データ分析担当」「結果チェック担当」**など、役割の異なる複数の AI 仲間（エージェント）でチームを作ります。

• 例え話： 大掛かりなプロジェクトを 1 人で抱え込むと疲弊してミスが出ますが、専門家に役割を分担させれば、それぞれが得意分野に集中できます。

② 道具の自動発見（MCP）

チームには、必要な道具（計算ソフトや実験機器の操作ツールなど）を自動で見つけてくる機能があります。

• 例え話： 料理中に「あ、この鍋が足りない！」と思ったら、ミモサは自動的に「あそこの棚に鍋があるよ」と教えてくれる、あるいは新しい道具をその場で調達してくれるようなものです。

③ 試行錯誤と進化（反復学習）

ここがミモサの最大の特徴です。

1. 試す： 最初のチーム構成で実験をします。
2. 採点： 別の AI（ジャッジ）が結果を見て、「ここがダメだった」「ここは良かった」と評価します。
3. 修正： リーダー AI が評価を見て、「次は A さんと B さんの役割を入れ替えてみよう」「C さんは外して D さんを呼ぼう」とチーム構成や手順を微調整します。
4. 繰り返す： この「試す→採点→修正」を、良い結果が出るまで繰り返します。

• 例え話： 料理の味付けがまずかったら、「塩を減らして、スパイスを足してみよう」と味見をしながら調整していくようなものです。ミモサは、この調整を AI が自動で何十回も行うことで、だんだんと完璧なレシピ（ワークフロー）を作り上げていきます。

3. 実際の成果：科学のベンチマークで成功

このシステムを「ScienceAgentBench（科学 AI のテスト）」という試験にかけました。

• 結果： 従来の「1 人の AI」や「固定されたチーム」よりも、「進化するチーム（ミモサ）」の方が圧倒的に高い成功率を達成しました。特に、DeepSeek-V3.2 という AI モデルを使った場合、成功率が 43% まで上がりました。
• 重要な発見： どの AI モデルを使うかによって、チームの進化のしやすさが違うことも分かりました。「どんな AI でも万能」というわけではなく、その AI の性格（能力）に合わせたチーム作りが重要だと示唆しています。

4. なぜこれがすごいのか？

• 透明性： ミモサは、自分が何を考え、どう手順を変えたのか、すべてを記録します。これは科学において「再現性（誰がやっても同じ結果が出るか）」を証明するために非常に重要です。
• 柔軟性： 新しい道具や新しい実験手法が登場しても、ミモサはすぐにチームに組み込んで対応できます。
• オープンソース： このシステムは誰でも使えるように公開されています。これにより、世界中の研究者が協力して、より良い科学 AI を作っていける基盤になります。

まとめ

ミモサは、**「失敗から学び、チームの形を自分たちで変えていく、しなやかな科学者のチーム」**です。

これまでは「完璧なマニュアル」を作るのが科学者の仕事でしたが、ミモサは**「マニュアルそのものが、実験の結果に合わせて進化する」**という新しいパラダイムを提案しています。これにより、複雑で予測不能な科学の課題も、AI が自律的に解決できる未来が近づいています。

技術概要

Mimosa Framework: 科学研究のための進化するマルチエージェントシステム

技術的サマリー（日本語）

本論文は、科学的研究における自律的な自動化（Autonomous Scientific Research: ASR）の課題を解決するための新しいオープンソースフレームワーク「Mimosa」を提案しています。既存のシステムが固定的なワークフローに依存し、変化するタスクや環境に適応できないという限界を克服し、実験フィードバックに基づいてタスク固有のマルチエージェントワークフローを自動的に合成・反復的に改良するアーキテクチャを構築しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

現在の科学的研究自動化（ASR）システムや「自律運転ラボ（SDLs）」は、大規模言語モデル（LLM）やエージェントアーキテクチャを活用していますが、以下の根本的な制約に直面しています。

• 固定的なワークフローとツールセット: 既存システムは事前に定義されたパイプラインやツールセットに依存しており、新しい仪器やソフトウェアが導入された際、または中間結果が予期せぬ方向を示した際に、ワークフローを再構成できません。
• 長期実行における限界: 単一エージェントが長いタスクを実行する際、コンテキストウィンドウの制約や「意味的ドリフト（Semantic Drift）」（初期の目標から徐々に逸脱する現象）が発生し、情報の喪失やハルシネーションを引き起こします。
• 適応性の欠如: 科学的研究は非線形的であり、仮説の反復的な修正や分析経路の変更を必要としますが、現在のシステムはこれらの動的な変化に対応できず、脆い自動化ツールに留まっています。
• 再現性と監査可能性の欠如: 実行トレースの構造化された記録が不足しており、結果の検証や再現が困難です。

2. 手法：Mimosa フレームワーク

Mimosa は、タスク固有のワークフローを動的に合成し、実行フィードバックに基づいて反復的に改良する「進化するマルチエージェントシステム」です。そのアーキテクチャは 5 つの層で構成されています。

2.1 主要な構成要素

1. ツール発見層（Layer 1）:
   • Model Context Protocol (MCP) を採用し、計算ツールや実験機器を標準化されたサービスとして動的に発見・統合します。
   • 同プロジェクト「Toolomics」を用いて MCP サーバーを管理し、コンテナ化された環境でツールを隔離実行することで、依存関係の競合を防ぎ、スケーラビリティとセキュリティを確保します。
2. メタオーケストレーション層（Layer 2）:
   • ワークフローの初期化: 新規タスクに対して、アーカイブから類似タスクのワークフローを検索（Case-Based Retrieval）するか、ゼロから合成します。
   • 反復的改良（Greedy Iterative Refinement）: 現在の最良のワークフロー（Incumbent）に対して、LLM が単一の構造的編集（エージェントの追加/削除、プロンプトの修正、エッジの再配線など）を提案し、新しい候補ワークフローを生成します。
   • 局所探索: 人口ベースの進化ではなく、単一候補に対する局所探索を行い、予算内で最適化を行います。
3. エージェント実行層（Layer 3）:
   • 生成されたワークフローの各ノードは、SmolAgent（Hugging Face のコード生成エージェント）によって実行されます。
   • エージェントは JSON 呼び出しではなく、直接 Python コードを生成・実行して MCP ツールを呼び出します。これにより、複雑なデータ前処理、ループ処理、複数ライブラリの連鎖が可能になります。
4. 評価層（Layer 4 / Judge）:
   • LLM-as-a-Judge がワークフローの実行結果を評価し、構造化されたフィードバックをメタオーケストレーターに返します。
   • 評価基準は以下の 4 つです：
     1. 目標の整合性（Goal Alignment）
     2. エージェント間の協調効率（Collaboration Efficiency）
     3. 出力の品質（Output Quality）
     4. 回答の妥当性（Answer Plausibility）
   • このフィードバックに基づき、次のイテレーションでワークフローが改良されます。

3. 主要な貢献

• 動的なワークフロー進化: 静的なパイプラインではなく、実行フィードバックに基づいてワークフローのトポロジー（構造）自体を最適化するフレームワークを初めて科学計算タスクに適用しました。
• MCP を活用したツール非依存設計: 特定のツールセットに依存せず、MCP を通じて任意の計算リソースや実験機器を動的に統合可能にしました。
• 完全な監査可能性と再現性: 実行トレースの全ステップを記録・アーカイブし、コンテナ化された環境で実行することで、科学的研究の再現性と監査性を担保しました。
• オープンソース化: Mimosa および Toolomics を Apache License 2.0 で公開し、コミュニティ主導の ASR 開発の基盤を提供しました。

4. 実験結果（ScienceAgentBench）

ScienceAgentBench（4 つの科学分野にわたる 102 のデータ駆動型発見タスク）を用いて評価を行いました。

• 成功率的な成果:
  • DeepSeek-V3.2 を使用した場合、反復学習（Iterative-Learning）モードで 43.1% の成功率（Success Rate: SR）を達成しました。
  • これは、単一エージェントベースライン（38.2%）や、反復学習を行わない静的なマルチエージェント構成（32.4%）を上回る結果です。
  • 比較対象として、GPT-4o は 18.6%、Claude Haiku 4.5 は 30.3% でした。
• モデル依存性の発見:
  • 反復学習の恩恵はモデルによって異なります。DeepSeek-V3.2 は大幅な改善を見せましたが、Claude Haiku 4.5 はわずかに性能が低下しました。これは、マルチエージェント分解や反復学習がモデルの能力（指示追従の堅牢性など）に依存することを示唆しています。
• コスト効率:
  • DeepSeek-V3.2 を使用した反復学習は、タスクあたり約 1.7 ドルで 43.1% の SR を達成しました。これは、既存の最高峰モデル（o1-preview など）と比較して、コストを大幅に削減しつつ同等以上の性能を発揮する可能性があります。
• 進化の収束:
  • 反復回数の増加に伴い、評価スコアは 1〜8 回目で上昇し、10 回目で減少傾向を示しました。これは単一候補探索の限界（局所最適への収束）を示唆しています。

5. 意義と将来展望

• 科学 AI のパラダイムシフト: 専門家によって設計された脆いパイプラインから、経験から学習し適応するマルチエージェントフレームワークへの転換を提案しました。
• リソース効率: 高価な推論モデルに依存するのではなく、タスク分解を通じて安価なモデルと専門ツールを組み合わせることで、環境負荷とコストを削減した「倹約型科学 AI」の可能性を示しました。
• 将来の課題と方向性:
  • 評価信号の改善: Judge のバイアスや粗粒度なフィードバックを改善するため、クロスモデル評価やより精密な評価指標の開発が必要です。
  • オープンエンドな探索: 単一候補探索の限界を突破するため、複数のワークフロー集団を維持する人口ベースの探索手法への移行が検討されています。
  • 一般化とメタ学習: 過去の成功パターンから抽象的な設計原則を抽出し、新規タスクへの適用を加速するメタ学習機能の実装が計画されています。
  • 再現性評価: 将来的には、公開された研究論文の計算分析を Mimosa が独立して再現できるかという検証が行われる予定です。

Mimosa は、科学的研究の自動化において、適応性、透明性、そしてコミュニティによる拡張性を兼ね備えた重要な基盤技術として位置づけられます。