💬 NLP

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

该论文介绍了 NatureBench，这是一个源自 Nature 系列出版物的基准测试，它揭示了当前的 AI 编程智能体在处理真实的科学发现任务时难以超越现有的最先进水平（SOTA），其主要成功在于方法论的迁移而非真正的发明，并因错误的方法选择和有限的计算预算而失败。

原作者： Yuru Wang, Lejun Cheng, Yuxin Zuo, Sihang Zeng, Bingxiang He, Che Jiang, Junlin Yang, Yuchong Wang, Kaikai Zhao, Weifeng Huang, Kai Tian, Zhenzhao Yuan, Jincheng Zhong, Weizhi Wang, Ning Ding, Bowen Z

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuru Wang, Lejun Cheng, Yuxin Zuo, Sihang Zeng, Bingxiang He, Che Jiang, Junlin Yang, Yuchong Wang, Kaikai Zhao, Weifeng Huang, Kai Tian, Zhenzhao Yuan, Jincheng Zhong, Weizhi Wang, Ning Ding, Bowen Zhou, Kaiyan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一场规模宏大、赌注极高的烹饪大赛。评委们（研究人员）手里拿着一本装满了 90 道极其复杂食谱的食谱本，这些食谱都出自世界顶级烹饪杂志（即 Nature 系列科学期刊）。这些可不仅仅是“如何制作吐司”那样的简单食谱；它们是像“解构蛋白质结构”或“预测一种新药物分子的行为”这样复杂的菜肴。

参赛选手是 AI 编程智能体（AI Coding Agents）——旨在编写代码和解决问题的聪明计算机程序。

这里的转折在于：参赛选手 不允许看到原始食谱。他们只被给予了原材料（数据）以及对最终菜肴味道的描述（目标）。他们的任务是发明自己的方法，创造出一道与原版获奖作品一样出色、甚至更优秀的菜肴。

这就是 NatureBench 的故事，这是一个旨在测试 AI 是否能从仅仅“复制”食谱进化到真正“发明”新食谱的测试。

问题所在：“复制粘贴”陷阱

在此之前，许多 AI 基准测试就像是给学生一道数学题并附上答案，然后问他们展示解题过程。如果学生只是抄写了答案，就算通过了。但真正的科学并非关于复制，而是关于发现。

NatureBench 的创建者意识到之前的测试很混乱。有时“厨房”（计算机环境）是损坏的，或者缺少食材，导致人们无法判断 AI 的失败是因为它不够聪明，还是因为测试本身存在缺陷。

为了解决这个问题，他们构建了 NatureGym。把 NatureGym 想象成一个高度组织化、自动化的厨房团队。

过滤器： 他们扫描了数千篇论文，仅挑选出 90 篇公平、食材齐全且可以由机器评分的论文。
防火墙： 他们在 AI 周围建立了一道“玻璃墙”。AI 可以看到食材和目标，但无法看到原主厨的笔记或用于制作获胜菜肴的秘密酱汁。
容器： 每个任务都被放入自己密封、完美的微型厨房（容器）中，这样 AI 就无法通过使用外部工具或互联网来作弊。

竞赛：AI 表现如何？

他们邀请了 10 位最聪明的 AI “厨师”（如 Claude Opus 4.7、GPT-5.5 和 Gemini 3.5）来挑战这 90 道菜肴。他们有一个严格的规则：禁止谷歌搜索。 他们必须从零开始摸索。

结果令人清醒：

“足够好”俱乐部： 即便是最顶尖的 AI，也仅能在约 48% 的情况下达到或匹配原版获奖食谱的水准。
“超越原创”俱乐部： AI 仅在 18% 的案例中创造出了比原版更好的菜肴。
现实的检验： 在其余 82% 的时间里，AI 要么做出的菜肴比原版差，要么根本无法完成。

他们是如何成功（或失败）的？

研究人员仔细观察了 AI 厨师的工作方式，以理解这些结果。

获胜策略：“翻译技巧”
当 AI 成功时，它通常并不是提出了一个灿烂的全新科学发现。相反，它使用了一种被称为**方法论转换（Methodological Translation）**的技巧。

类比： 假设原版食谱是一个复杂的法式舒芙蕾（一个困难的科学问题）。AI 并没有尝试去做舒芙蕾。相反，它观察了食材并说：“嘿，这看起来像是我知道怎么做的披萨！”它将困难的科学问题转化为了一个它已经见过百万次的简单的、熟悉的数学问题。
45% 的成功是因为 AI 仅仅将科学问题变成了一个标准的“猜答案”游戏。它并没有发明新的科学，而只是将旧技巧应用到了新数据上。

失败策略：“工具错误与时间耗尽”
当 AI 失败时，通常并不是因为它不理解指令。

工具错误 (45%)： 它选错了“厨房用具”。它试图用搅拌机，而实际上需要的是打蛋器。它选择的方法对于该类问题来说从根本上就是错误的。
时间/预算耗尽 (24%)： AI 开始烹饪，但耗尽了 4 小时的时限或完成菜肴所需的计算资源（预算）。
误解（罕见）： AI 仅仅是因为不理解菜肴应该是什样的情况非常罕见。

难度等级

并非所有食谱的难度都一样。

简单的菜肴： 涉及“关系推理”（连接点与点）和“蛋白质生物学”的任务对 AI 来说是最容易的。
困难的菜肴： “物理建模”（模拟物理过程）和“分子设计”是最难的。
“弗兰肯斯坦”菜肴： 最难的任务是那些混合了两个不同领域的任务（比如混合了生物学和物理学）。AI 很难结合不同“菜系”的知识。

核心启示

NatureBench 告诉我们，虽然 AI 编程智能体在遵循指令和修复 Bug 方面变得非常出色，但它们 还不是真正的科学发明家。

它们非常擅长将一个复杂的科学问题转化为：“我知道一个针对这个问题的捷径！”但它们还不擅长面对一个问题并说：“我有一个从未有人想过的全新想法。”

论文总结道，为了让 AI 真正助力科学，我们需要停止仅仅要求它复制赢家，而是要教它如何选择正确的工具，以及如何像科学家一样思考，而不仅仅是一个程序员。

技术摘要：NatureBench

问题陈述

随着 AI 编程智能体（coding agents）从复现已发表的代码向开展自主科学研究演进，一个关键的评估差距已经显现。现有的科学智能体基准测试存在两个主要局限性：

复现 vs. 发现： 当前基于论文的基准测试（如 PaperBench、CORE-Bench）主要测试智能体复现已发表方法的能力。它们无法回答智能体是否能够针对真实的科学问题独立地“发现”具有竞争力的或更优的方法。
环境碎片化： 工程优化基准测试（如 MLE-bench、PostTrainBench）通常依赖于 Kaggle 式的任务或后训练目标，这些任务缺乏自然科学领域的领域推理和专业工具。此外，它们受到环境碎片化的困扰，使得独立验证和可重复执行变得脆弱。

因此，需要一种既具挑战性又具备双向性的基准测试：测试智能体能否在源自自然科学的真实科学问题上，设计出超越已发表最先进水平（SOTA）的方法，而非仅仅停留在工程代理层面。

方法论：NatureGym 与 NatureBench

作者引入了 NatureBench，这是一个包含 90 个任务的跨学科基准测试，这些任务提取自经同行评审的 Nature 系列出版物，并构建于 NatureGym 之上。NatureGym 是一个旨在将论文转换为可复现、容器化任务包的自动化流水线。

1. NatureGym 流水线

NatureGym 通过一个三阶段、经过评审把关的流水线来解决环境碎片化问题，将源论文转化为标准化的任务包：

第一阶段：论文筛选： 一个三级级联过滤器根据任务可提取性（必须产生机器学习任务）、评估自动化程度（必须具有确定性的自动化指标）以及数据完整性（公开可获取且小于 50GB）对论文进行评估。其中包含一个对抗性评审步骤，旨在剔除假阳性结果。
第二阶段：数据集获取与验证： 流水线下载数据并建立严格的信息防火墙。它将任务定义（输入）与源论文的核心算法（输出/方法）分离。仅保留定义任务所必需的文件（例如原始输入、共享的数据准备过程）；排除特定于原始算法的文件。
第三阶段：任务包构建： 最终的包包含一个任务简报、数据集、一个带有隐藏真值的留出测试集（held-out test set）以及一个自动化评估器。源方法被完全移除，从而迫使智能体去“发现”解决方案，而非“复现”它们。

2. 基准测试组成

来源： 90 个任务源自 10 本 Nature 系列期刊（2022–2025），包括 Nature Machine Intelligence、Nature Methods 和 Nature Biomedical Engineering。
领域： 六个科学任务领域：细胞组学（31 个任务）、蛋白质生物学（16 个）、生物医学建模（14 个）、物理建模（13 个）、分子设计（11 个）和关系推理（5 个）。
评估协议： 智能体在隔离的 Docker 容器中运行，拥有 4 小时的墙钟时间预算，并限制访问权限（禁止网页搜索）。它们提交的迭代解法将根据论文报告的 SOTA 进行评分。
指标： 主要指标是 SOTA 归一化相对差距 ( $g$ )：
$g_i = \text{dir}_i \cdot \frac{m_i - m_{\text{sota}}}{|m_{\text{sota}}|}$
其中 $m_i$ 是智能体的得分， $m_{\text{sota}}$ 是论文报告的 SOTA。当 $g > 0.1$ 时，表示超越了 SOTA；当 $g \ge 0$ 时，表示匹配 SOTA。

3. 实验设置

研究评估了十种前沿智能体配置，这些配置在严格的禁用网页搜索协议下运行。其中包括来自三个框架的模型：

Claude Code： 配对使用 Claude Opus 4.6, 4.7, Kimi K2.6, MiniMax-M2.7, DeepSeek-V4-Pro, GLM-5.1, 和 Qwen 3.7 Max。
Codex CLI： 配对使用 GPT-5.4 和 GPT-5.5。
Gemini CLI： 配对使用 Gemini 3.5 Flash。

关键结果

1. 性能对比已发表的 SOTA

即使是最强的智能体，在面对真实的科学问题时，也很难超越已发表的 SOTA：

超越 SOTA ( $g > 0.1$ )： 表现最好的智能体 Claude Opus 4.7 仅在 17.8% 的任务上超越了 SOTA。次优的 Gemini 3.5 Flash 和 GPT-5.5 分别达到了 15.6% 和 14.4%。最弱的模型（MiniMax-M2.7）仅达到 1.1%。
匹配 SOTA ( $g \ge 0$ )： 最好的智能体在 47.8% 的任务上匹配或超过了 SOTA。其他智能体的表现介于 13.3% 到 37.8% 之间。
有效性： Claude Opus 系列智能体展示了最高的完整性，其完成率和得分率均为 100%，且零无效（捷径）提交。

2. 成功与失败机制分析

成功路径： 当智能体取得成功时，主要通过方法论转化（45.5% 的成功案例），即将复杂的科学任务转化为熟悉的监督预测问题。真正的科学发明或基于领域推理的替代方案仅占成功案例的不到 10%。
失败模式： 失败主要由错误的方法选择（45.1%）和计算预算/时间不足（24.4%）引起。误解任务或产生格式错误的输出仅占失败案例中的极小部分。
领域难度： 不同领域之间存在一致的难度梯度。关系推理和蛋白质生物学是最容易的，而生物医学建模和分子设计是最难的。跨学科任务（结合多个领域）表现出的与 SOTA 的差距通常比单学科任务更大。

意义与主张

本文声称 NatureBench 是第一个将论文来源的任务、真实的科学领域以及面向发现的评估（超越 SOTA）整合到单一框架中的基准测试。

超越复现： 结果表明，当前的 AI 编程智能体能够进行工程优化并复现已知模式，但尚未能够进行能够持续超越人类作者在文献中所提方法的真实科学发现。
“转化”瓶颈： 主导成功的机制是向标准 ML 流水线的转化，这表明目前的智能体更像是“AI for Science”的加速器，而非“AI 原生”的问题解决者。它们擅长应用已知的 ML 工具，但在处理科学发现所需的创新方法论选择方面表现乏力。
基准有效性： 作者断言，该基准测试的设计（特别是信息防火墙和 SOTA 归一化指标）为评估自主科学研究提供了一个可靠、可复现且标准化的方式，解决了先前基准测试存在的碎片化和可信度问题。

作者发布了该基准测试、NatureGym 流水线以及公开的排行榜，以促进未来研究如何将这些基质转化为下一代科学发现智能体的训练数据。