🤖 AI

BioMedArena: An Open-source Toolkit for Building and Evaluating Biomedical Deep Research Agents

BioMedArena 是一个开源工具包，旨在通过解耦评估层、提供丰富的基准测试与工具库，以及提供能显著提升模型性能至超越现有最先进水平的模块化组件，来解决生物医学深度研究智能体面临的可复现性挑战。

原作者： Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图通过比较不同厨师的技能，来观察谁能烹饪出最复杂的佳肴。现在，如果你要求厨师 A 做一道菜，他们会使用自己的厨房、自己的一套刀具和自己的食谱。如果你要求厨师 B 做完全相同的菜，他们则会使用完全不同的厨房、不同的工具以及不同的品尝食物的方式。

因为厨房和工具如此不同，我们无法判断是厨师 A 真的更厉害，还是仅仅因为他们拥有一套更好的刀具。这就是这篇论文的作者们要为 AI 研究人员解决的问题。

以下是基于论文自身主张的简单拆解：

1. 问题所在：混乱的厨房

目前，如果研究人员想要测试一个新的 AI“研究员”（即一个利用工具寻找答案的智能体），他们必须从零开始构建一个定制的测试场。

不同的厨房： 每个 AI 系统都使用不同的“框架”（思考与行动的循环）。
不同的工具： 一个系统可能可以使用医学数据库，而另一个系统则使用不同的数据库。
不同的裁判： 一个系统可能会用简单的规则对自己的工作进行评分，而另一个系统则使用不同的 AI 来评分。

这意味着比较两个 AI，就像是在比较一名在泥地赛道上驾驶的赛车手和一名在 F1 赛道上驾驶的赛车手。结果是不公平的，而且构建一个新的测试需要数周的工程工作。

2. 解决方案：BioMedArena（通用厨房）

作者构建了 BioMedArena，这是一个开源工具包，充当了一个通用的、标准化的厨房。

统一的标准台面： 无论你接入哪种 AI（“骨干网络”），它都会获得完全相同的一套 166 项生物医学测试（如医学问答或化学问题）。
统一的工具箱： 每个 AI 都能使用相同的 75 种工具（如搜索医学文献、分析基因或检查药物相互作用）。
统一的裁判： 所有的答案都由相同的严格规则或相同的 AI 裁判进行评分，因此得分是公平的。

现在，不再需要为每一个新的 AI 构建一个新厨房，研究人员只需通过一个微小的适配器（几行代码）将他们的 AI 接入 BioMedArena。这就像是将一位新厨师接入一个标准厨房，以观察他们的表现。

3. 秘密武器：“相互进化”（Mutual-Evolve）

论文介绍了一种特殊的 AI 思考方式，称为 MUTUAL-EVOLVE。想象一下一个由四名侦探组成的团队正在处理一起悬案。

旧方式： 每位侦探在各自独立的房间里单独工作。最后，他们都喊出自己的最终猜测，然后小组选择最受欢迎的一个。如果其中一位侦探很早就发现了一个关键线索但没有喊出来，那么整个小组就会错过它。
“相互进化”方式：
1. 私密阶段： 侦探们在不受他人影响的情况下独立工作一段时间，以形成自己的想法。
2. 共享黑板： 他们移动到一个带有四个区域的共享房间，房间里有一块巨大的白板，分为：错误、技能、使用的工具和事实。
3. 分享： 他们轮流将发现的内容写在黑板上。如果侦探 A 意识到某条路径是死胡同，他们会在黑板上写下“错误”。如果侦探 B 找到了一个关键事实，他们会将其写在“事实”栏下。
4. 最终投票： 在给出最终答案之前，他们都会阅读整块黑板。最终的投票不仅仅是一个简单的计数；那些对黑板贡献了更多有用信息的侦探，其投票权重会略微增加。

这种方法允许 AI 团队从彼此的错误和发现中学习，而不仅仅是针对最终结果进行投票。

4. 结果：巨大的提升

作者使用这个新工具包测试了 12 种不同的 AI 模型（包括开源模型和著名的商业模型）。

神奇之处： 当他们给这些 AI 提供标准的工具和“相互进化”的思考风格时，它们的表现大幅提升。
得分： 在 8 个不同的医学和科学基准测试中，AI 的表现平均提升了 15 个百分点。
纪录： 在每一项测试中，配备了 BioMedArena 的 AI 都打破了之前的“同类最佳”纪录。例如，在一场高难度的医学考试中，一个 AI 的正确率从大约 46% 提高到了 56%，超越了之前的最高分。

总结

这篇论文并不声称这些 AI 现在正在治愈疾病或在医院诊断患者。相反，它声称构建了第一个公平的竞技场，让我们终于可以比较不同 AI 研究员解决生物医学问题的能力。他们还表明，给予这些 AI 更好的协作方式（相互进化）和一套更好的工具，会让它们在这些特定任务上变得明显更加聪明。

技术摘要：BioMedArena

问题陈述

生物医学深度研究智能体（deep research agents）领域正面临严重的复现性危机。虽然深度研究智能体利用工具使用、长程规划和多智能体编排来处理复杂任务，但由于评估环境的碎片化，比较它们的性能目前受到了阻碍。当同一个基座模型在不同论文的相同基准测试上进行评估时，报告的准确率往往存在显著差异。这种不一致性源于三个主要的工程维度：

不可比的控制框架（Non-comparable Harnesses）： 不同的系统实现了独特的执行循环（例如 ReAct 式、计划-执行式、自一致性），导致同一个模型仅因控制逻辑的不同而表现出不同的性能。
非共享的工具注册表（Non-shared Tool Registries）： 系统捆绑了专有的工具模式（schema）和实现方式，阻碍了工具在不同模型或基准测试之间的复用。
非统一的评分机制（Non-unified Scoring）： 评估指标在确定性匹配、LLM 作为评委（LLM-as-judge）以及代码执行之间不一致地混合使用，且评委模型的选择本身也会引入偏差。

因此，将一个新的模型集成到可比较的评估表面中，需要数周的模型特定工程工作，包括重新实现控制框架、工具集成和评分逻辑，这为公平的面对面比较制造了障碍。

方法论：BioMedArena 工具包

为了解决这些问题，作者推出了 BioMedArena，这是一个开源工具包，旨在将生物医学智能体的评估解耦为六个可互换的层级：基准测试加载、工具暴露、工具选择、控制模式、上下文管理和评分。

核心架构

统一任务接口： 该工具包将 166 个生物医学基准测试（涵盖医学、生物学、基因组学、化学和多学科推理）规范化为一个通用的任务对象。这种规范化是程序化的，通过基于规则的加载器将原始数据集字段映射到标准模式，消除了手动进行逐样本工程的需求。
类型化工具注册表： BioMedArena 暴露了跨 9 个功能家族（如文献检索、临床决策支持、基因组学、蛋白质结构）的 75 个生物医学工具。工具以结构化的参数签名和返回类型进行注册，允许任何智能体统一地访问它们。
智能体控制框架（Agent Harnesses）： 该工具包实现了六种不同的智能体控制框架来引导模型交互：
1. 函数调用（Function-Calling）： 单次前向传递，包含一轮工具使用。
2. ReAct 式： “思考-行动-观察”（Thought-Action-Observation）循环。
3. OpenSeeker 式： 一种面向搜索的循环，将任务分解为子查询。
4. 自一致性（Self-Consistency）： 通过多数投票聚合多个独立的轨迹。
5. 轻量级相互进化（Light Mutual-Evolve）： 为典型任务提出的一种轻量级循环。
6. 重量级相互进化（Heavy Mutual-Evolve）： 一个具有深度研究约束的全功能循环。
上下文管理： 为了处理长生物医学追踪中常见的 Token 溢出问题，该工具包提供了六种可组合的策略：规划（planning）、摘要（summarization）、清除（clearing）、截断（truncation）、记忆（memory）和回滚（rollback）。这些策略通过压缩历史、持久化显著事实或移除陈旧负载来管理输入上下文。
评分路由（Scoring Router）： 一个感知基准测试的路由器会选择合适的评分策略。它优先对结构化任务（精确匹配、正则表达式）进行确定性评分，并在确定性评分无法捕捉语义正确性（例如格式变化）时调用 LLM 评委。

提议组件：MUTUAL-EVOLVE

一个关键贡献是 MUTUAL-EVOLVE 控制框架，旨在解决多智能体系统中轨迹多样性与信息共享之间的权衡问题。与传统的隔离式 Rollout 的自一致性不同，MUTUAL-EVOLVE 采用了：

私有阶段（Private Phase）： $N$ 个并行求解器以不同的采样温度进行 $T$ 轮独立探索，以确保初始轨迹的多样性。
类型化全局工作区（Typed Global Workspace）： 在私有阶段之后，求解器通过一个分为四个部分的结构化工作区共享中间发现：错误（排除的路径）、技能（启发式方法）、工具（调用/结果）和指南（事实/约束）。这种类型化防止了内部独白的无差别倾倒。
贡献加权投票（Contribution-Weighted Voting）： 最终答案的聚合不仅基于多数投票，还根据求解器向共享工作区贡献的有效条目数量进行加权（ $w_i = 1 + \beta H_i$ ）。
最终确认（Final Confirmation）： 在投票之前，每个求解器会对整个工作区进行纯文本审查，以便根据集体证据优化其答案。

关键结果

作者使用 12 个基座模型（5 个开源，7 个闭源）在 8 个代表性的生物医学基准测试上评估了 BioMedArena。

性能提升： 为基座模型配备 BioMedArena 的组件（特别是默认的 Light Mutual-Evolve 控制框架和优化的上下文管理）显著提高了性能。平均而言，配备最佳组件的基座模型在 8 个基准测试中的表现超过了先前的 SOTA 结果 +15.01 个百分点。
特定基准测试：
- HLE-Gold： 配备 BioMedArena 的 Claude Opus 4.6 达到了 56.4%，超过了先前 46.8% 的 SOTA。
- BixBench： Gemini 3.1 Pro + 本工具包达到了 85.9%，击败了 GPT-5.5 的 SOTA（80.5%）。
- SuperChem： Claude Opus 4.6 + 本工具包在纯文本子集上实现了 72.8%，比先前 SOTA 高出 +9.6 pp。
- LAB-Bench 2： 该框架在检索增强型子集（如 SuppQA2, DBQA2）中驱动了显著提升，增幅超过 +40 个百分点，证明了使用工具获取结构化外部证据的有效性。
消融实验洞察： 研究证实了 MUTUAL-EVOLVE 中的 私有阶段 至关重要；减少该阶段会导致性能下降，这表明早期的隔离可以防止低质量的发现误导其他智能体。此外，规划（Planning） 与 摘要（Summarization） 的结合被确定为最稳健的上下文管理策略。

重要性与主张

本文将 BioMedArena 定位为第一个可定期比较的大规模生物医学深度研究智能体评估基础设施。其主要意义在于将智能体评估从重复的、特定系统的工程负担转变为共享的、可复现的基础设施。

复现性： 通过解耦评估层，BioMedArena 允许研究人员通过一个极简的模型提供者适配器（通常少于 100 行代码）来添加新模型，从而能够在相同的工具注册表、控制框架和评分策略下立即进行对比。
组件质量： 该工具包的参考组件不仅是基础设施，也是强大的性能增强器。作者证明，控制框架和上下文策略本身就能驱动性能增益，有效地将标准的基座模型转化为具有竞争力的深度研究智能体。
标准化： 这项工作建立了一个统一的环境，使不同的深度研究智能体可以进行面对面的比较，解决了此前由于工程选择差异而掩盖真实模型能力的“复现性危机”。

作者总结道，BioMedArena 为未来的生物医学深度研究智能体提供了一个可以从第一天起就进行公平比较的基础，将重点从构建评估流水线的工程工作转向推进智能体的核心研究能力。