🤖 AI

BioMedArena: An Open-source Toolkit for Building and Evaluating Biomedical Deep Research Agents

BioMedArenaは、評価レイヤーを分離し、膨大なベンチマークとツールのライブラリを提供し、最先端の結果を大幅に上回るモデル性能を実現するモジュール式コンポーネントを提供することで、バイオメディカル深層研究エージェントにおける再現性の課題に対処するために設計されたオープンソースのツールキットです。

原著者： Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、異なるシェフのスキルを比較して、誰が最も複雑な料理を上手に作れるかを判断しようとしていると想像してください。現在、もしあなたがシェフAに料理を作るよう頼んだら、彼らは自分自身のキッチン、自分専用のナイフ、そして自分自身のレシピ本を使います。しかし、もしあなたがシェフBに「全く同じ料理」を作るよう頼んだとしたら、彼らは全く異なるキッチン、異なる道具、そして異なる方法で味見をすることになります。

キッチンも道具もこれほど異なると、シェフAが本当に優秀なのか、それとも単に優れたナイフを持っていただけなのかを判断することは不可能です。これが、この論文の著者たちがAI研究者のために解決しようとしている問題です。

以下は、論文自体の主張を用いた、彼らが構築したものについての簡単な内訳です。

1. 問題点：散らかったキッチン

現在、研究者が新しいAI「研究者」（ツールを使って答えを見つけ出すエージェント）をテストしたい場合、ゼロからカスタムのテスト環境を構築しなければなりません。

異なるキッチン： すべてのAIシステムは、異なる「ハーネス」（思考と行動のループ）を使用しています。
異なる道具： あるシステムは医学データベースにアクセスできる一方で、別のシステムは異なるデータベースを持っているかもしれません。
異なる判定者： あるシステムは単純なルールで自分の成果を採点し、別のシステムは異なるAIを使って採点します。

つまり、2つのAIを比較することは、ダートコースで走るレーシングドライバーと、F1コースで走るドライバーを比較するようなものです。結果は不公平であり、新しいテストを構築するには数週間のエンジニアリング作業が必要になります。

2. 解決策：BioMedArena（ユニバーサル・キッチン）

著者たちは、ユニバーサルで標準化されたキッチンとして機能するオープンソースのツールキット、BioMedArenaを構築しました。

一つの標準的なカウンター： どのAI（「バックボーン」）をプラグインしても、全く同じ166種類の生物医学的テスト（医学クイズや化学の問題など）にアクセスできます。
一つの道具箱： すべてのAIは、75種類の共通ツール（医学文献の検索、遺伝子の分析、薬物相互作用のチェックなど）を利用できます。
一つの判定者： すべての回答は、同じ厳格なルールまたは同じAI判定者によって採点されるため、スコアは公平です。

これにより、新しいAIのために毎回新しいキッチンを作る代わりに、研究者はわずかなアダプター（数行のコード）を使って、自分のAIをBioMedArenaに接続するだけでよくなります。これは、新しいシェフを標準的なキッチンにプラグインして、その実力を試すようなものです。

3. 秘密兵器：「Mutual-Evolve」

論文では、MUTUAL-EVOLVEと呼ばれる、AIの特別な思考法を紹介しています。これは、未解決事件に取り組む4人の探偵のチームを想像してみてください。

従来の方法： 各探偵は別々の部屋で一人で作業します。最後に全員が最終的な推測を叫び、グループ内で最も人気のあるものが選ばれます。もし一人の探偵が早い段階で決定的な手がかりを見つけていたとしても、それを叫ばなければ、グループはその手がかりを見逃してしまいます。
Mutual-Evolveの方法：
1. プライベート・フェーズ： 探偵たちは、他者に影響されないように、しばらくの間、独自のアイデアを練るために一人で作業します。
2. 共有ブラックボード： 彼らは、「ミス」、「スキル」、「使用したツール」、「事実」の4つのセクションに分かれた巨大なホワイトボードがある共有の部屋に移動します。
3. 共有： 彼らは交代で、自分の発見をボードに書き込みます。もし探偵Aが、ある経路が行き止まりであると気づいたら、ボードに「ミス」と書き込みます。もし探偵Bが重要な事実を見つけたら、「事実」の欄に書き込みます。
4. 最終投票： 最終回答を出す前に、全員がホワイトボード全体を読みます。最終投票は単なる単純なカウントではありません。ボードに対してより有用な情報を貢献した探偵には、少し重い票が与えられます。

この手法により、AIチームは単に最終結果に投票するのではなく、互いの間違いや発見から学ぶことができるのです。

4. 結果：大幅な向上

著者たちは、12種類の異なるAIモデル（オープンソースおよび有名な商用モデルの両方）を用いて、この新しいツールキットのテストを行いました。

魔法の効果： これらのAIに標準的なツールと「Mutual-Evolve」の思考スタイルを与えると、パフォーマンスが劇的に向上しました。
スコア： 8つの異なる医学および科学的ベンチマークにおいて、AIの性能は平均して15パーセントポイント向上しました。
記録： すべてのテストにおいて、BioMedArenaを備えたAIは、従来の「クラス最高」の記録を塗り替えました。例えば、非常に難しい医学試験において、あるAIは正答率約46%から56%へと向上し、これまでの最高スコアを上回りました。

まとめ

この論文は、これらのAIが今まさに病気を治したり、病院で患者を診断したりすると主張しているわけではありません。むしろ、異なるAI研究者が生物医学的な問題を解決する能力がどれほど高いかを、ようやく公平に比較できる最初の公平な土俵を構築したと主張しています。また、これらのAIに優れたコラボレーション方法（Mutual-Evolve）と優れた道具のセットを与えることが、これらの特定のタスクにおいて彼らを著しく賢くすることを証明しました。

テクニカルサマリー：BioMedArena

問題提起

生物医学分野のディープリサーチ・エージェント（深層研究エージェント）は、深刻な再現性の危機に直面している。ディープリサーチ・エージェントは、複雑なタスクに取り組むためにツール利用、長期計画、マルチエージェント・オーケストレーションを活用しているが、その性能比較は断片化された評価環境によって妨げられている。同じバックボーンモデルであっても、異なる論文間で同じベンチマークを用いて評価した場合、報告される精度が大きく乖離することがある。この不一致は、主に以下の3つのエンジニアリング軸に起因する：

比較不可能なハーネス（Harnesses）: 各システムは独自の実行ループ（例：ReAct型、計画・実行型、自己一貫性型など）を実装しており、モデルの性能がハーネスのロジックのみによって変化してしまう。
非共有のツールレジストリ: システムごとに独自のツールスキーマと実装がパッケージ化されており、異なるモデルやベンチマーク間でのツールの再利用ができない。
統一されていないスコアリング: 評価指標が、決定論的なマッチング、LLM-as-judge（判定器としてのLLM）、コード実行を不整合に組み合わせており、判定器モデル自体の選択が分散（ばらつき）を生じさせている。

その結果、新しいモデルを比較可能な評価基盤に統合するには、ハーネス、ツール統合、およびスコアリング・ロジックを再実装するために、モデル固有のエンジニアリングに数週間の時間を要することになり、公平な直接比較への障壁となっている。

メソドロジー：BioMedArena ツールキット

これらの課題に対処するため、著者らは、生物医学的なエージェント評価を「ベンチマークのロード」「ツールの露出」「ツールの選択」「ハーネス・モード」「コンテキスト管理」「スコアリング」という6つの交換可能なレイヤーに分離するように設計されたオープンソース・ツールキット、BioMedArenaを導入する。

コア・アーキテクチャ

統一されたタスク・インターフェース: 本ツールキットは、166の生物医学ベンチマーク（医学、生物学、ゲノミクス、化学、および多角的な推論にわたる）を共通のタスク・オブジェクトへと正規化する。この正規化は、ルール駆動型のローダーを使用して生のデータセットのフィールドを標準的なスキーマにマッピングするプログラムによるものであり、サンプルごとの手動エンジニアリングを不要にする。
型定義されたツールレジストリ: BioMedArenaは、9つの機能ファミリー（文献検索、臨床意思決定支援、ゲノミクス、タンパク質構造など）にわたる75の生物医学ツールを公開する。ツールは構造化されたパラメータ・シグネチャと戻り値の型とともに登録されており、あらゆるエージェントがそれらに一様にアクセスできる。
エージェント・ハーネス: モデルの相互作用を導くために、6つの異なるエージェント・ハーネスを実装している：
1. ファンクション・コーリング（Function-Calling）: 1回のツール使用を伴う単一のフォワードパス。
2. ReAct型: Thought-Action-Observation（思考-行動-観察）のループ。
3. OpenSeeker型: タスクをサブクエリに分解する検索指向のループ。
4. 自己一貫性（Self-Consistency）: 多数決によって集約される複数の独立した軌跡。
5. Light Mutual-Evolve: 一般的なタスク向けの軽量な提案ループ。
6. Heavy Mutual-Evolve: 深層研究の制約を備えたフル機能のループ。
コンテキスト管理: 長い生物医学的なトレースでよく見られるトークン溢れに対処するため、本ツールキットは「プランニング（計画）」「サマライゼーション（要約）」「クリアリング（消去）」「トランケーション（切り捨て）」「メモリー（記憶）」「ロールバック（巻き戻し）」という6つの構成可能な戦略を提供する。これらは、履歴の圧縮、顕著な事実の永続化、または古いペイロードの削除を通じて入力コンテキストを管理する。
スコアリング・ルーター: ベンチマークを認識するルーターが、適切なスコアリング・ポリシーを選択する。構造化されたタスク（完全一致、正規表現）には決定論的なスコアリングを優先し、オープンエンドなタスクや、決定論的なスコアリングでは意味的な正当性を捉えきれない場合（例：フォーマットの差異）には、LLM判定器を呼び出す。

提案コンポーネント：MUTUAL-EVOLVE

主要な貢献の一つは、マルチエージェント・システムにおける軌跡の多様性と情報共有のトレードオフを解決するために設計された、MUTUAL-EVOLVEハーネスである。隔離されたロールアウトを行う標準的な自己一貫性とは異なり、MUTUAL-EVOLVEは以下を採用している：

プライベート・フェーズ（Private Phase）: $N$ 個の並列ソルバーが、多様な初期軌跡を確保するために異なるサンプリング温度を用いて $T$ ラウンドの間、独立して探索を行う。
型定義されたグローバル・ワークスペース（Typed Global Workspace）: プライベート・フェーズの後、ソルバーは、Errors（除外された経路）、Skills（ヒューリスティック）、Tools（呼び出し/結果）、Guides（事実/制約）の4つのバンクに分割された構造化ワークスペースを通じて中間的な知見を共有する。この型定義により、内部モノローグを無差別に流し込むことを防ぐ。
貢献度加重投票（Contribution-Weighted Voting）: 最終回答は単なる多数決ではなく、ソルバーが共有ワークスペースに貢献した有効なエントリ数に基づいて重み付けされる（ $w_i = 1 + \beta H_i$ ）。
最終確認（Final Confirmation）: 投票の前に、各ソルバーは集団的な証拠に基づいて回答を洗練させるため、ワークスペース全体のテキストのみのレビューを行う。

主要な結果

著者らは、12のバックボーンモデル（オープンソース5、クローズドソース7）を用い、8つの代表的な生物医学ベンチマークにおいてBioMedArenaを評価した。

パフォーマンスの向上: バックボーンにBioMedArenaのコンポーネント（特にデフォルトの Light Mutual-Evolve ハーネスと最適化されたコンテキスト管理）を装備することで、性能が大幅に向上した。平均して、最も高度に装備されたバックボーンは、8つのベンチマークにおいて従来のSOTA（最先端）の結果を +15.01 パーセントポイント 上回った。
特定のベンチマーク:
- HLE-Gold: BioMedArenaを装備したClaude Opus 4.6は56.4%に達し、従来のSOTAである46.8%を上回った。
- BixBench: Gemini 3.1 Pro + Oursは85.9%に達し、GPT-5.5のSOTAである80.5%を打ち負かした。
- SuperChem: Claude Opus 4.6 + Oursは、テキストのみのサブセットで72.8%を達成し、従来のSOTAに対して+9.6 ppの向上を示した。
- LAB-Bench 2: 本フレームワークは、検索に基づくサブセット（例：SuppQA2, DBQA2）において大幅な改善をもたらし、リフトは+40パーセントポイントを超えた。これは、構造化された外部証拠にアクセスするためのツール利用の有効性を実証している。
アブレーション調査の洞察: 研究により、MUTUAL-EVOLVEにおける Private Phase が極めて重要であることが確認された。これを削減すると性能が低下したことから、初期の隔離が低品質な知見による他エージェントへの誤誘導を防いでいることが示唆された。さらに、「プランニング」と「サマライゼーション」の組み合わせが、最も堅牢なコンテキスト管理戦略として特定された。

重要性と主張

本論文は、BioMedArenaを、生物医学的ディープリサーチ・エージェントのための、世界初となる定期的に比較可能な大規模評価インフラとして位置づけている。その主な意義は、エージェントの評価を、繰り返されるシステム固有のエンジニアリング負担から、共有された再現可能なインフラへと変革した点にある。

再現性: 評価レイヤーを分離することで、BioMedArenaは、最小限のプロバイダー・アダプター（多くの場合100行未満のコード）で新しいモデルを追加することを可能にし、同一のツールレジストリ、ハーネス、およびスコアリング・ポリシーの下での即時の比較を実現する。
コンポーネントの品質: 本ツールキットのリファレンス・コンポーネントは、単なるインフラではない。それらは強力な性能向上要素である。著者らは、ハーネスやコンテキスト戦略自体が性能向上を駆動しており、標準的なバックボーンを競争力のあるディープリサーチ・エージェントへと効果的に変貌させることを実証している。
標準化: 本研究は、異なるディープリサーチ・エージェントが直接対決できる統一された環境を確立しており、以前はエンジニアリングの選択肢の違いによって真のモデル能力が隠されてしまっていた「再現性の危機」に対処している。

著者らは、BioMedArenaが将来の生物医学的ディープリサーチ・エージェントが初日から公平に比較されるための基礎を提供し、評価パイプラインのエンジニアリングから、エージェントの核となる研究能力の向上へと焦点を移すものであると結論付けている。