🤖 AI

SCI-PRM: A Tool Aware Process Reward Model for Scientific Reasoning Verification

本文介绍了 Sci-PRM，这是一种感知工具的流程奖励模型，该模型是在新构建的 SCIPRM70K 数据集上训练而成的，旨在通过提供对工具使用的细粒度验证，并实现有效的测试时扩展和强化学习，从而增强科学推理能力。

原作者： Xiangyu Zhao, Hengyuan Zhao, Yiheng Wang, Wanghan Xu, Yuhao Zhou, Qinglong Cao, Zhiwang Zhou, Lei Bai, Wenlong Zhang, Xiao-Ming Wu

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiangyu Zhao, Hengyuan Zhao, Yiheng Wang, Wanghan Xu, Yuhao Zhou, Qinglong Cao, Zhiwang Zhou, Lei Bai, Wenlong Zhang, Xiao-Ming Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在参加一场非常困难的科学考试的学生。你有一本教科书（你的知识）和一套专门的计算器及参考书（你的工具）。

问题所在：
目前的 AI 模型就像是擅长背诵事实但完全不会使用工具的学生。

如果你问它一个简单的数学问题，它可能会答对。
但如果你要求它在数据库中查找特定的化学反应或运行复杂的物理模拟，它经常会产生幻觉（hallucinate）。它可能会假装自己查到了数据，但实际上并没有；或者它写的代码看起来很正确，但实际上会导致计算机崩溃。
现有的“老师”（AI 评判者）擅长检查最终答案，但不擅长在学生工作时进行监督。它们无法分辨学生是否使用了正确的计算器，或者是否只是在编造数字。

解决方案：Sci-PRM
论文作者构建了一种新型的“超级老师”，叫做 Sci-PRM。你可以把它想象成一位严格且高度专业的监考老师，坐在学生旁边，实时观察他们工作的每一个步骤。

以下是它的工作原理，使用简单的类比：

1. “工具链”训练数据 (The "Chain-of-Tool" Training Data)

为了教导这位超级老师，研究人员不仅仅是给它问题和答案。他们创建了一个庞大的17,800+ 个科学问题库，其中解决这些问题的“正确”方式涉及使用工具（例如搜索网页上的论文或运行代码脚本）。

类比： 想象记录了数千小时专家解决问题的视频。这段视频不仅展示了最终结果，还展示了他们按下了哪个按钮、输入了什么代码以及他们如何解读结果。
转折点： 他们还加入了“负面示例”——即人们犯错的视频，比如编写会导致死循环的代码，或者引用一篇虚假的科学论文。这教会了 AI 什么是不该做的。

2. 三步走的“监考”检查 (The Three-Step "Proctor" Check)

当 Sci-PRM 查看学生的工作时，它不仅仅是说“对”或“错”。它扮演着一个三部分组成的检查员角色：

你选对工具了吗？（例如：你是使用了生物数据库来查找蛋白质，还是不小心用了数学计算器？）
你正确使用工具了吗？（例如：你是否正确输入了化学式，还是漏掉了一个小数点？）
你理解结果了吗？（例如：工具给出了一个数字。你是正确解读了它，还是编造了一个与数据不符的故事？）

3. 为什么它比其他“老师”更好

论文将 Sci-PRM 与其他顶尖 AI 模型（如 GPT-5-Mini）进行了对比。

差距： 当任务仅仅是“思考”（不涉及工具）时，其他模型表现出色。但一旦学生必须使用工具，其他模型的成绩就会显著下降。它们无法识别代码中的细微错误或虚假引用。
Sci-PRM 的优势： 即便涉及工具，Sci-PRM 依然保持敏锐。它可以在实际运行代码之前，就识别出“引用幻觉”（虚假的论文标题）或“逻辑错误”（会导致崩溃的代码）。
- 类比： 其他老师必须等待学生完成整个实验并看到烧杯爆炸后，才知道错了。而 Sci-PRM 可以观察学生的计划并说：“停！你即将混合会爆炸的化学物质，”在事情发生之前就发出警告。

4. 它如何帮助 AI 学习（两种方式）

方式 1：“N 选 1”筛选法 (Best of N Selection / Test-Time Scaling)
想象 AI 学生被允许尝试解决同一个问题的 10 次。
- 旧方法： 选择看起来最自信的答案。
- Sci-PRM 方法： 它会审查所有 10 次尝试，检查推理和工具使用的每一步，并选出那个真正遵循规则且没有出错的尝试。这带来了更高的准确率。
方式 2：强化学习的“教练” (The "Coach" for Reinforcement Learning)
在训练 AI 变得更强时，它需要反馈。
- 旧方法： AI 尝试，失败，最后只会被告知“错误”。它不知道自己具体在哪里错了。
- Sci-PRM 方法： 它提供一种密集的奖励信号。它在每一个步骤之后都会给出“赞成”或“反对”。这有助于 AI 学得更快，并避免“优势消失”（vanishing advantage）问题（即 AI 因为不知道具体哪一步导致了失败而感到困惑）。

核心结论

论文声称 Sci-PRM 是一个让 AI 模型更加可靠的专门工具。它阻止了 AI 在使用外部工具时捏造事实或破坏代码。它通过扮演一个既理解科学逻辑又理解工具操作机制的逐步监督者来实现这一点。

关键要点： 这不仅仅是关于得到正确答案；而是关于证明你以正确的方式、使用正确的工具、且没有捏造事实地达到了目标。Sci-PRM 是第一个专门设计用于检查在复杂科学领域中这种“证明过程”的模型。

技术摘要：Sci-PRM

问题陈述

虽然过程奖励模型（Process Reward Models, PRMs）在数学推理领域取得了成功，但其在复杂科学领域（生物、化学、物理、地球科学）的应用仍有待探索。科学推理与纯逻辑有着本质区别；它不仅需要逻辑连贯性，还需要严格遵循领域知识、物理约束和事实一致性。当前的语言大模型（LLMs）经常表现出领域特定的幻觉，例如生成看似合理但错误的机制、参数或引用。

在评估涉及工具使用的科学推理轨迹方面，存在一个关键的空白。通用型评判模型（如 GPT-5-Mini）在处理标准推理步骤时能保持合理的准确度，但在评估涉及科学工具调用（如用于分子模拟的代码执行或用于文献检索的网络搜索）的步骤时，性能会显著下降。此外，现有的工具增强型奖励模型通常侧重于通用环境（计算器、简单 API），缺乏验证科学工作流的专门能力，例如检查 DOI 是否与论文标题匹配，或在执行前检测代码中的逻辑错误。此外，由于科学工具（如蛋白质折叠模拟可能需要数分钟甚至数小时）的高延迟，在科学发现的强化学习（RL）中依赖“执行在环”（execution-in-the-loop）的方法在计算上是极其昂贵的。

方法论

1. 数据集构建：SCIPRM70K

作者构建了 SCIPRM70K，这是一个包含“工具链”（Chain-of-Tool）轨迹的大规模数据集。

来源： 数据聚合自七个高质量科学基准测试（SGI-DeepResearch, SCI-VerifyBench, Mol-Instruct, MSEarth, ChemBench4K, PHYSICS 等），涵盖生物、化学、物理和地球科学。
轨迹生成： 采用了“生成-执行-评判”范式。强大的工具集成 LLM 生成推理步骤。当发起工具调用时，系统暂停，在真实环境（代码沙箱、搜索引擎）中执行工具，并将实际输出附加到上下文之后，再让模型恢复推理。
工具套件： 包括用于证据检索的搜索工具，以及使用科学库（RDKit, PySCF, Biopython, NumPy, SymPy）的代码执行工具。
标注流水线： 一个两阶段自动化标注过程为每个步骤分配二元标签（ $s_t \in \{0, 1\}$ $s_{t} \in {0, 1}$ ）：
1. 技术验证： 检查执行可行性（例如：语法错误、超时、搜索结果为空）。
2. MCTS 一致性： 使用蒙特卡洛树搜索（MCTS）展开（rollouts）来验证该步骤是否能持续导向正确的标准答案。LLM 评判员会对工具选择、参数准确性和结果利用情况进行评估。
统计数据： 该数据集包含 17,818 个工具集成轨迹和 86,314 个标注步骤。

2. 模型架构：Sci-PRM

Sci-PRM 是一个具备工具感知能力的过程奖励模型，旨在为科学推理提供细粒度的监督。

骨干网络： 以 Qwen3-VL-8B 为初始化底座，以利用其多模态和科学理解能力。
训练策略（双阶段）：
1. 监督微调（SFT）： 模型被训练为同时预测推理过程和步骤正确性标签。其目标侧重于迁移领域特定的落地知识，并理解“停-走”（stop-and-go）式的工具使用协议。
2. 强化学习（DAPO-GRPO）： 为了提高鲁棒性和泛化能力，模型经过了动态优势策略优化（DAPO），这是对组相对策略优化（GRPO）的一种改进。该阶段使用动态组采样和长度惩罚，以鼓励高效的科学探究和自我纠错。
功能： Sci-PRM 根据完整的历史记录为每个推理步骤分配标量质量得分，能够区分工具选择错误、调用不准确以及结果误用。

3. 应用模式

测试时扩展（Best-of-N）： 给定一个问题，基础模型生成 $N$ 个候选轨迹。Sci-PRM 对每个步骤进行评分，将其聚合为轨迹得分（并对长度进行惩动惩罚），并选择最可靠的路径。
RL 奖励信号： Sci-PRM 作为训练工具使用智能体的密集奖励信号，缓解了在科学发现中常见的因奖励稀疏（仅有结果奖励）导致的“优势消失”问题。

核心贡献

SCIPRM70K 数据集： 一个具有显式思维链（CoT）和工具链（CoT-Tool）轨迹的多学科数据集，支持通过监督学习实现基于证据的科学推理。
细粒度监督框架： 一个自动化的标注框架，能够区分工具选择、调用和结果利用中的错误，提供了超越数学领域的可扩展过程监督。
Sci-PRM 模型： 一个专门的奖励模型，可以为部分科学推理轨迹评分，支持测试时选择和自我纠错，从而提高可靠性并减少幻觉。
实证验证： 证明了在多种科学基准测试中，相比于结果奖励模型（ORM）和通用工具使用评论器，其在准确性和事实一致性方面均有提升。

实验结果

基准测试表现 (SCIPRM-Bench)

工具调用步骤： Sci-PRM 实现了 0.5619 的全局工具 F1 分数，超过了表现最好的闭源基准（GPT-5-Mini 为 0.5338）和开源基准（Qwen3-VL-32B 为 0.4569）。
非工具调用步骤： Sci-PR%，维持了竞争力的推理能力，全局无工具 F1 分数为 0.8333，与 GPT-5-Mini（0.8294）相当。
工具差距： Sci-PRM 在工具调用步骤与非工具调用步骤之间的性能差距（0.2714）明显小于 GLM-4.6V 等通用模型（0.3851），表明其在工具验证方面具有更好的专业化能力。
搜索验证： 在检测幻觉引用方面，Sci-PRM 实现了最高的幻觉检测率（HDR）0.8820 和准确率 0.7458，优于所有基准模型。

下游影响

推理（测试时扩展）： 使用 Sci-PRM 进行 Qwen3-VL-8B 的 Best-of-N 选择，提高了所有基准测试的准确率（例如，ChemBench 从基准的 60.13% 提升至 66.17%），有效地缩小了与理论 Best-of-N 上界之间的差距。
训练（RL）： 当作为 RL 的奖励信号时，Sci-PRM 显著优于结果奖励模型（ORM）。值得注意的是，在 Mol-Instructions 基准测试中，Sci-PRM 相比 ORM 获得了 +14.39% 的增益，这归功于它能够针对 ORM 会忽略的中间逻辑谬误提供密集反馈。
效率： Sci-PRM 在工具调用任务上的准确率为 0.76，推理时间为 0.76 秒。相比之下，基于执行的方法（使用沙箱）虽然达到了 0.86 的准确率，但由于外部 API 的延迟，每个查询需要 282.73 秒。

重要意义

本文认为，科学 AI 智能体需要一类新型的评估器，这类评估器必须具备“工具感知”能力，并且能够验证推理的“过程”，而非仅仅验证最终答案。Sci-PRM 通过将验证能力内化，解决了科学工具执行中的延迟瓶颈，使得模型能够在无需昂贵运行时执行的情况下，检测代码逻辑缺陷和引用幻觉。通过提供密集的、步骤级的奖励，Sci-PRM 为科学发现提供了更有效的强化学习，帮助模型突破那些仅靠结果监督无法逾越的性能瓶颈。这项工作强调了对于构建可靠、可验证且高效的科学 AI 而言，细粒度过程监督的必要性。