💻 computer science

OpenBioRQ: Unsolved Biomedical Research Questions for Agents

本文介绍了 OpenBioRQ，这是一个新颖的检索增强型智能体基准测试，包含 12,553 个未解决的生物医学研究问题，它揭示了当前模型中存在的关键失效模式——例如引用幻觉和工具崩溃——同时也证明了即使是前沿智能体在解决这些开放式、非饱和任务时也面临着巨大的困难。

原作者： Minbyul Jeong

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minbyul Jeong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在参加一场非常困难考试的学生。在当今大多数医学考试中，老师会给你一个问题和一个隐藏的答案解析。如果你答对了，你就通过了；如果你答错了，你就不及格。但如果老师问了一个目前还没有人知道答案的问题时，会发生什么呢？当没有答案解析时，你该如何给学生评分？

这篇论文介绍了 OpenBioRQ，一种新的测试 AI “智能体”（即能够搜索互联网并阅读论文的智能计算机程序）在这些未解医学之谜上表现的方法。

以下是研究人员发现的内容，使用了简单的类比：

1. 问题所在：“伪链接”陷阱

想象一下你正在写一份报告。你提出了一个观点，比如“这种新药可以治疗头痛”，并在后面附上了一个著名医学期刊文章的链接来证明这一点。

旧有的担忧： 人们曾认为 AI 会编造虚假链接（例如链接到一个不存在的网站）。
新的发现： 研究人员发现，AI 其实非常擅长寻找真实的链接。它提供的几乎 100% 的链接都是可以正常访问的。
真正的陷阱： AI 经常会链接到一个真实的文章，但却是错误的文章。这就像是在试图证明“香辣塔可可以治疗头痛”时，却链接到了“巧克力蛋糕”的食谱。链接是有效的，文章也确实存在，但它与你的观点毫无关系。

研究人员称之为 “错文引用”（Wrong-Paper）失败。大约有 16% 的情况下，AI 给出了一个真实的、可用的链接，但该链接完全无法支持它刚刚所说的观点。这很危险，因为它在第一眼看上去非常可靠。

2. 新的测试：“未解之谜”盒子

大多数针对 AI 的医学测试都像是填字游戏，答案是预先已知的。AI 只需要记住正确的单词即可。

OpenBioRQ 则不同。它就像一个装有 12,500 个未解医学之谜的盒子。
AI 必须扮演侦探的角色：它必须使用工具去搜索数据库、阅读数千篇论文，并尝试找出答案。
因为没有答案解析，研究人员并不根据 AI 是否得到了正确答案 来评分，而是根据它的诚实度和严谨程度来评分。
- 它是否承认：“我们目前还不知道”？（这是好事）。
- 它是否编造了一个充满自信的答案并附带一个虚假链接？（这是坏事）。
- 它是否找到了一个真实的链接，但该链接并不能证明它的观点？（这就是“错文引用”陷阱）。

3. “工具崩溃”（Tool Collapse）现象

研究人员给了 AI 一套“工具”（比如放大镜、图书证和搜索引擎）来帮助它解决这些谜题。

他们原本预期 AI 会利用这些工具来寻找最佳证据。
令人惊讶的是： 在面对最难的问题时，AI 有时会放弃使用这些工具。它停止了搜索，转而根据它在训练阶段记忆的内容进行猜测。
这就像一名侦探在面对一个极其棘手的案件时，决定不再寻找线索，而是直接猜出凶犯的名字。
研究人员发现，对于某些模型来说，给它们提供工具并不能帮助它们获得更高的分数。它们出现了“崩溃”现象，开始忽略那些它们本该使用的工具。

4. “清单”解决方案

如何为一个没有标准答案的测试评分？

研究人员为每一个问题都创建了一个固定的清单。
他们不是问 AI“这是一个好的答案吗？”（这太模糊了），而是给它一个具体的检查清单，例如：
- “你是否提到了特定的蛋白质？”
- “你是否承认我们目前还没有治愈方法？”
- “你是否避免了编造虚假的临床试验？”
这将模糊的判断转化为了简单的“是/否”清单，使得评分更加公平且具有一致性。

5. 结果：谁通过了？

研究人员测试了几种顶尖的 AI 模型（即“前沿智能体”）。

难度： 即便是最聪明的 AI 模型，也只能解决这些未解问题中的 30% 到 60%。其余的部分仍然是谜团，这正是硬核测试所需要的（这意味着测试难度适中，并非过于简单）。
引用问题： 即便是最好的模型，仍会在 10%–16% 的情况下掉入“错文引用”陷阱。它们找到了真实的论文，但这些论文并不能支持它们的论点。
核心启示： 仅仅因为 AI 给出了一个可以打开的链接，并不意味着信息是正确的。在医学研究领域，“存在性”并不等同于“正确性”。

总结

OpenBioRQ 是一个针对医学 AI 的全新、严苛的测试。它不再询问“你知道答案吗？”，而是开始询问“你能在面对未知时保持诚实而不撒谎吗？”

主要的教训是：AI 变得非常擅长寻找真实来源，但在确保这些来源确实能证明其观点方面，它仍然表现得很差。这就像一个学生虽然能找到图书馆里的书，但总是引用错误的页面。在 AI 学会停止这种行为之前，我们无法完全信任它来总结医学研究，尤其是针对那些我们目前尚无答案的问题。

重要提示： 作者明确指出，这是一个研究工具，旨在帮助科学家了解 AI 的运作方式。它不是供医生进行临床决策的工具。你不应使用这些 AI 生成的答案来治疗病人。

技术摘要：OpenBioRQ

问题陈述

目前的生物医学智能体（agentic）基准测试在很大程度上假设存在一个已知的、可验证的答案键（answer key）。这种假设掩盖了关键的失效模式：当模型能够复述预设的来源时，它便无需独立验证检索到的论文是否真正支持其观点。因此，现有的评估无法检测出“错误论文”引用（即指向一个真实存在的、可解析的标识符，但该论文并不支持所述观点）以及“智能体崩溃”（即智能体在面对困难问题时放弃使用工具）。此外，标准的引用审计通常仅关注引用的存在性（例如，PMID 是否可解析？），忽略了更危险的失效情况——即将有效的标识符与未经证实的观点相联系。

本文识别了评估领域的一个空白：智能体设置（需要工具使用）与未解决问题（没有标准答案）的交集。这一象限之所以研究较少，是因为构建没有答案键的基准测试在结构上非常困难；没有答案键，很难验证一个问题是否真的是开放性的，也难以验证模型的回答是否正确。

方法论

OpenBioRQ 基准测试

OpenBioRQ 是一个基于检索增强的基准测试，包含分布在 12 个领域的 12,553 个未解决的生物医学研究问题。该语料库通过一个五阶段流水线构建：抓取、提取、精炼、去重和导出。

来源： 问题从界定开放问题的权威来源中提取，包括 PubMed、临床试验注册库、arXiv、James Lind Alliance 优先设置伙伴关系、NICE 研究建议以及 Cochrane 研究差距文献。
开放性验证： 不同于以往依赖来源界定的方法，OpenBioRQ 采用了基于检索的地位验证器。该系统收集真实的后续证据（例如，引用论文、试验结果）来重新判定问题是否仍然处于开放状态。对核心集的重新审计发现，657 个问题中有 0 个被解决。
经验难度： 难度并非人工标注，而是通过经验推导得出。一组由三个开源模型（GLM-5.1, Qwen3.6, DeepSeek-V4）组成的“阵容”尝试回答每个问题。只有当三个模型都失败（得分 < 0.5）时，该问题才被标记为**核心（core）**问题。**冻结核心（frozen core）**包含 423 个问题，定义为即使在确定性解码（ $T=0$ ）下三个模型都失败的问题。
评估协议：
- 智能体框架（Agentic Harness）： 模型与 10 个生物医学 REST API（如 PubMed、ClinicalTrials.gov、OpenFDA）进行交互，最多进行 10 轮推理和工具调用。
- 冻结清单评分： 并非采用自由形式的 LLM 评判，而是针对每个问题生成一次且固定的冻结清单进行评分。标准包括“必须提及”、“必须承认”（不确定性）、“必须落地”（证据）以及“必须避免”（捏造）。这使判别一致性（Spearman 相关系数）从 0.35 提升至 0.82。
- 两级引用审计：
  - L1（存在性）： 标识符是否指向一篇真实的论文？
  - L2（内容支持）： 解析出的论文是否真的支持该观点？

核心贡献

首个“智能体 × 未解决问题”基准测试： OpenBioRQ 是第一个将智能体设置与缺乏答案键的未解决问题相结合的生物医学基准测试，将任务视为对忠实度和弃权能力的探测。
两级引用审计： 本文引入了严格的审计机制，区分了引用的存在性与引用的支持度。研究表明，虽然生物医学智能体很少捏造标识符（L1 失败率 $\approx 0.7\%$ ），但它们经常将真实的论文链接到不支持的观点上（L2 失败率 $\approx 15.9\%$ ）。
智能体崩溃观察： 该基准测试揭示了一种失效模式，即智能体（尤其是面对难题时）会完全放弃工具使用（零工具调用崩溃），转而回归参数化背诵。
经验难度构建： 本文展示了一种无需人类难度标签即可构建硬核基准的方法，即利用模型的失败率来定义“核心”集，确保基准测试随着模型的改进而保持非饱和状态。

结果

引用忠实度

存在性不等于正确性： 在 4,863 个引用样本中，99.3% 的引用可以解析为真实的论文。然而，这些解析成功的引用中有 15.9% 是“错误论文”（即不支持所述观点）。这一比例经由独立的评判家族（Opus-4.7）确认约为 10.6%。
严重程度差异： 本文假设“错误论文”引用比“捏造”引用更具危害性，因为可解析的标识符为观点提供了虚假的权威感。

智能体表现

非饱和难度： 即便是最强的尖端智能体（Gemini-3-Pro, Opus-4.7, GPT-5.5），也只能解决冻结核心集中 29–60% 的问题。表现最好的智能体仍有 $\sim 33–40\%$ 的问题无法解决，表明该基准测试具有辨别力且未饱和。
智能体崩溃： 在最难的问题上，GLM-5.1 和 DeepSeek-V4 等模型表现出极高的零工具调用率（分别为 65% 和 62%）。针对 GLM-5.1 的无工具消融实验显示，性能并未出现下降，这表明工具的使用在恰恰需要它们的时候不再产生收益。
与闭卷问答的差异： 在闭卷基准测试（如 MedQA，性能差异仅为 3.9 点）中表现紧密聚集的模型，在 OpenBioRQ 上表现出巨大的离散性（解决率差异达 7.6 倍），揭示了当前评估指标的解决能力缺口。

鲁棒性

评判者独立性： 结果对于评判家族的更换（GLM vs. Opus）具有鲁棒性，解决率的变化 $\le 4.1$ 点，且保持了模型的排序。
领域覆盖： 该基准测试涵盖 12 个领域，且冻结核心集在各领域分布均匀，确保研究结果并非特定领域的产物。

重要性与主张

本文声称 OpenBioRQ 针对的是研究辅助任务——具体而言是证据检索与忠实引用——而非临床决策支持。其主要意义在于揭示了智能体生物医学系统中一个关键的可靠性缺口：即将真实的、可解析的引用附加到未经证实的观点上的倾向。

作者认为，存在性检查是“虚假的安慰”。在生物医学领域，主要的失效模式不是捏造参考文献（如数学领域所示），而是误用真实的参考文献。因此，L2 内容支持，而非 L1 存在性，才是可靠性的护栏。

此外，本文强调了智能体崩溃是一种结构性失效，即智能体在处理最困难的问题时停止使用工具，这使得工具增强型基准测试无法有效衡量其在这些情境下的真实能力。通过移除答案键，OpenBioRQ 迫使智能体展示其落地能力和校准后的弃权行为，而这些行为在标准的闭卷问答中是无法被观测到的。

该基准测试以冻结人工制品的形式发布（包含 423 个核心问题的固定列表及工具响应重放缓存），以确保在动态变化的生物医学文献和 API 响应环境下仍具有可重复性。作者明确指出，该资源用于评估文献落地能力，不得用于指导患者护理。