🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

本文介绍了假设演化协议（Hypothesis Evolution Protocol, HEP），这是一个为大语言模型智能体提供显式、可审计的操作框架，用于进行假设生成、测试和信念修正，从而实现透明且可验证的 AI 驱动科学发现。

原作者： Izumi Takahara, Teruyasu Mizoguchi

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Izumi Takahara, Teruyasu Mizoguchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一名超级聪明的机器人侦探，来破解一个关于为什么某些材料会形成特定晶体形状的谜团。在过去，这些机器人侦探（被称为 LLM 智能体）会到处乱跑、尝试各种方法，并在笔记本上胡乱涂鸦自己的想法。如果你问它们：“你为什么会那样想？”或者“你是如何改变主意的？”，它们只会指着一页杂乱无章的文本。这让人无法判断它们是真的从错误中学习了，还是仅仅在瞎猜。

这篇论文的作者说：“这在真正的科学研究中是不够的。”于是，他们建立了一套新的规则，称为假设演化协议（Hypponesis Evolution Protocol, HEP）。把 HEP 想象成不是一个笔记本，而是一个严格、透明的法庭，机器人侦探必须在这里陈述它的案情。

旧方式 vs. 新法庭

在旧的“规划式”方法中，机器人只是从“我有一个想法”跳到“让我们测试它”，再跳到“这是结果”，却从未清晰地说明：“因为这项特定的测试，我现在相信这个想法有 80% 的真实性。”这就像是一个破获了案件却拒绝展示证据日志的侦探。

有了 HEP，机器人产生的每一个想法都被视为故事中的一个持久角色。

诞生： 当机器人产生一个新想法（一个假设）时，它会获得一张唯一的身份卡和一个“信念得分”（一个 0 到 1 之间的概率），显示机器人对此有多确定。
审判： 机器人进行测试。如果测试结果良好，这些结果就会像文件中的证据一样附着在想法上。
判决： 想法的信念得分仅根据该证据进行上升或下降。
- 如果得分达到 0.8 或更高，该想法被宣布为**“得到支持”**（有罪，即为真！）。
- 如果得分降至 0.2 或更低，则被判定为**“被驳回”**（无罪，或者干脆就是错的）。
- 如果得分卡在中间，它就会进入**“休眠”**状态（沉睡直到新的证据将其唤醒）。

最酷的部分是，机器人无法作弊。它不能只是说：“我改变主意是因为我感觉如此。”它必须展示出移动分数的具体证据。如果机器人试图跳过某个步骤，系统会说：“不行，重来。”

机器人实际做了什么

研究人员在三个棘手的材料科学谜题上测试了这个新系统。他们要求机器人弄清楚特定的计算机模型在不同类型的化合物中更倾向于哪种晶体结构，以及为什么。

以下是这些模拟实验中发生的情况：

机器人学会了： 配备了 HEP 的机器人并没有仅仅靠瞎猜；它确实经历了完整的“想法 → 测试 → 证据 → 信念更新”循环。在一次特定的运行中，它生成了 16 个不同的想法，对它们进行了测试，并最终将它们合并为一个拥有 0.97 信念得分的最终“核心规则”。
旧机器人失败了： 当他们在完全相同的任务中使用标准机器人（没有 HEP）运行时，它有 83% 的时间只是在运行测试，而有 0% 的时间在明确地更新其信念。它从未真正以一种可以追踪的方式进行“学习”。
反转的一面： 机器人足够诚实，能够改变主意。在一种情况下，它最初对一个教科书式的观点持有 50% 的信念，但证据证明它是错的，导致得分降至 0.14。随后，它转向了一个更好的新想法。这种“信念翻转”在所有三个任务中都发生了。

“脑力”要求

不过，这也有个代价。这个新的法庭系统如果配合“大脑袋”效果最好。研究人员用三种不同版本的机器人“大脑”（LLMs）测试了 HEP：

超级大脑 (GPT-5.5)： 它平均每次运行生成 14.7 个想法，并达到了 4.7 层深度，能够专业地精炼和合并想法。
中等大脑 (GPT-5.4-mini)： 它平均只能生成 6.7 个想法，且深度卡在 1.7 层。
小脑 (GPT-4.1)： 它仅能处理 4.0 个想法，深度为 0.7。它经常放弃，导致想法处于“开放”且未解决的状态。

这表明，虽然规则（HEP）很棒，但机器人本身仍需要足够聪明才能遵循这些规则。一个能力较弱的机器人无法处理随着时间推移而精炼和合并想法的复杂工作。

核心结论

这篇论文并不声称已经解决了所有的科学问题，也没有声称创造了一个可以取代人类科学家的机器人。相反，它表明，通过强制要求 AI 智能体保留一份严格、可审计的思路与证据日志，我们终于可以看到它们是如何思考的。

在这些模拟实验中，HEP 系统成功地将一个“黑盒”机器人变成了一个透明的机器人，使其能够追踪自己的推理过程，根据数据改变主意，并为其最终答案建立坚实的论据。这是朝着创建我们可以信任、检查并从中学习，而不仅仅是听凭其言的 AI 科学家迈出的重要一步。

技术摘要：迈向可审计的 AI 科学家：假设演化协议

问题陈述

尽管大语言模型（LLM）智能体在自主科学发现方面展现出潜力，但目前的实现方式往往缺乏严谨的科学推理结构。现有的智能体通常只是自动化预定义的流程或针对外部目标进行优化，却未能显式地管理科学探究的核心循环：提出假设、测试假设、收集证据并更新信念。在当前的系统中，这些过程被埋藏在非结构化的日志或隐性的内部状态中。因此，无论是智能体还是人类研究人员，都无法轻易追踪哪些假设被考虑过、证据如何影响了信念更新，或者结论是如何得出的。近期的分析表明，在许多智能体轨迹中，证据被忽略了，且信念在被证伪后很少得到修正。由于缺乏一个显式的、可审计的“假设–测试–证据–信念”循环记录，智能体结论的科学合理性无法被验证，智能体也无法在长期的研究周期内系统地在其自身假设之上进行构建或将其废弃。

方法论：假设演化协议 (HEP)

为了解决这些局限性，作者提出了假设演化协议 (Hypothesis Evolution Protocol, HEP)，这是一种将科学推理外部化为显式、可审计操作的智能体框架。HEP 由两个主要部分组成：

HEP 注册表 (HEP Registry)： 一个追加式的、基于事件溯源的存储库，其中每个假设都是一个由唯一 ID 标识的持久化对象。每个对象包含：
- 自然语言陈述。
- 代表智能体置信度的信念概率 $P(H)$ 。
- 生命周期状态（已提出、测试中、受支持、被证伪或休眠）。
- 溯源记录（谱系和生成机制）。
- 一个追加式的事件日志，用于追踪所有信念更新、证据附加和状态转换。
HEP 工具 (HEP Tools)： 一组介导智能体与注册表交互的接口，分为以下类别：
- 提出与演化 (Propose & Evolve)： 包括 propose_hypothesis（提出假设）、refine_hypothesis（完善假设）和 merge_hypotheses（合并假设）。假设通过四种机制生成：从头开始 (de-novo)、受启发 (inspired-by)（仅限溯源）、完善 (refine) 和 合并 (merge)。
- 测试与判定 (Test & Judge)： 包括 attach_evidence（附加证据）和 transition_hypothesis（转换假设）。信念更新受验证门控约束；只有被视为可信的证据才能更新信念。判定结果（支持/证伪）由阈值转换强制执行（ $P(H) \ge 0.8$ 为支持， $P(H) \le 0.2$ 为证伪）。
- 读取 (Read)： 包括 list_hypotheses（列出假设）和 get_hypothesis（获取假设），用于查询注册表。

该协议强制智能体在结构化的假设–测试–证据–信念循环内运行。智能体通过书面理由而非算法计算来诱导信念，但协议强制要求信念的变化必须锚定在特定的、经过验证的证据之上。

实验设置

作者在三个材料科学研究任务上评估了 HEP，这些任务涉及关于特定化合物家族晶体结构偏好的开放式问题，并使用了固定的机器学习原子间势 (MLIP)：

任务 AO2： AO2 二氧化物的多晶型选择。
任务 A2BB'O6： 双钙钛矿中的 B 位阳离子排序。
任务 MX： 过渡金属单硫化物和单氮化物的原型选择。

实验使用了配备计算工具（结构弛豫、分子动力学、数据库查询）和 HEP 框架的基础 LLM (GPT-5.5)。对比对象是缺乏 HEP 框架的标准“规划式”智能体（计划–执行–重计划）。此外，研究还使用三种不同能力的 LLM（GPT-5.5、GPT-5.4-mini、GPT-4.1）测试了 HEP 的可扩展性。

关键结果

1. 科学循环的运作

在一次针对任务 AO2 的研究运行中，配备 HEP 的智能体生成了 16 个假设，并运用了所有四种生成机制。每个假设最终都转换到了终止状态（支持、证伪或休眠）。智能体成功执行了完整的循环：

可追溯性： 假设树允许追踪父子关系和生成机制。
信念演化： 信念轨迹显示，变化严格与经过验证的证据挂钩。假设仅在积累了足够证据后才跨越支持或证伪阈值，其中的“信念翻转”（例如，一个以低置信度提出的假设变为受支持状态）是基于数据发生的。
与规划型智能体的比较： 使用相同基础 LLM 的规划型智能体将 83% 的步骤用于测试，而用于显式信念更新的步骤为 0%。它未能将信念外部化，也未能针对证据系统地更新信念。相比之下，HEP 智能体展示了清晰的转换流（假设 $\to$ 测试 $\to$ 证据 $\to$ 信念 $\to$ 判定 $\to$ 更新），证明了 HEP 强制执行了单纯规划无法实现的科学循环。

2. 跨研究问题的泛化能力

应用于任务 A2BB'O6 和 MX 时，HEP 展示了鲁棒性：

智能体在每个任务中生成了 10–20 个假设，生成深度为 3–5 层。
所有假设都达到了终止处置；没有遗留未解决的假设。
最终的控制规则以高置信度得出（例如，AO2 的 $P(H) = 0.97$ ）。这些规则通过预测未知成分的结构得到了验证。
协议揭示了特定的证伪过程（例如，对教科书式 Jahn–Teller 机制的证伪）如何将搜索重定向至正确的电子例外情况，这一历史过程可以直接从注册表日志中读取。

3. 随基础 LLM 能力的缩放

研究发现，HEP 的效能取决于底层 LLM 的推理能力：

GPT-5.5： 生成了最多的假设（平均 14.7 个），利用了所有生成机制（包括复杂的合并），并解决了所有假设。
GPT-5.4-mini： 生成的假设较少（平均 6.7 个），并有 36% 未得到解决。
GPT-4.1： 生成的假设最少（平均 4.0 个），严重依赖于从头开始的提议（62%），无法通过完善或合并来演化假设。在一次运行中，它放弃了所有假设且未附加任何证据。
结论： 虽然所有测试的 LLM 都能操作单个 HEP 工具，但只有最强大的模型才能充分利用协议的迭代演化和谱系管理。

意义与主张

论文声称 HEP 代表了迈向可审计 AI 科学家的一步。其主要意义在于：

推理外部化： 它将假设–测试–证据–信念循环从隐性的、非结构化的过程转变为显式的、持久且可验证的记录。
规范与验证： 通过强制执行信念阈值和证据验证，HEP 确保了智能体的结论植根于可追溯的审计轨迹，允许人类研究人员检查、验证并基于智能体的科学推理进行构建。
互补性： 作者强调，HEP 并不替代基础 LLM 的推理能力。相反，框架与能力是互补的：框架决定了推理是否被外部化且可验证，而 LLM 的能力则决定了这种推理被充分利用的程度。

研究结论认为，随着基础 LLM 的进步，像 HEP 这样的框架对于将原始计算能力转化为可靠、可检查的科学发现将至关重要。未来的工作建议包括引入独立的审计智能体进行证据验证，以及为智能体配备第一性原理工具（如 DFT）以进行更严格的证据验证。