💻 computer science

HypoForge: A Self-Improving Multi-Agent Framework for Automated Hypothesis Generation and Testing via Scientific Skill Learning

HypoForge 是一个用于自动化科学发现的自改进多智能体框架，它通过采用特定阶段的学习策略——用于假设生成的对抗性生成器-判别器机制，以及用于假设检验的基于结果的技能学习——来实现无需微调基础模型的持续改进。

原作者： Ziqing Qian, Jiaying Lei, Yifang Wang, Nan Cao

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziqing Qian, Jiaying Lei, Yifang Wang, Nan Cao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

科学始终是好奇心与证据之间的对话。研究人员观察到世界中的某种模式，追问其发生的原因，并提出一种被称为“假设”的解释。这种想法不仅仅是一个猜测；它是关于自然运作方式的一个特定主张，是可以被测试的。当科学家设计实验以观察这一想法是否经得起现实检验时，真正的研究工作才算开始。如果数据支持该主张，该想法就会增强；如果数据与之矛盾，该想法则会被舍弃或修改。这种提出并测试的循环是发现的引擎，但它也是一个缓慢且艰难的过程，需要多年的训练才能掌握提问艺术和构建正确测试的方法。

几十年来，计算机一直被用于处理数字和运行模拟，但在参与这种对话的创造性部分方面却一直表现挣扎。人工智能的最新进展赋予了机器阅读海量文本并生成类人语言的能力，这引发了人们对于机器可以作为自主科学家的希望。然而，这些系统大多表现得像是在背诵了单一教科书章节后，试图仅凭这些固定知识来解决所有新问题的学生。它们可以生成假设或进行测试，但无法从错误中学习以在下一次做得更好。它们缺乏积累经验的能力，这意味着每当面对一个新的科学问题时，它们都会从零开始，重复同样的错误并错过同样的洞察。

一组研究人员通过开发一种名为 HypoForge 的新系统解决了这一局限性，旨在帮助人工智能随着时间的推移学习并提高其科学推理能力。该系统的构建基于这样一个观察：生成假设和测试假设是两种截然不同的任务，需要不同类型的学习。当机器提出一个新想法时，通常没有即时的方法知道它是真还是假；答案可能在数年后才会揭晓。在这一阶段，系统无法依赖简单的对错信号。相反，研究人员让系统通过将许多不同的想法进行相互比较来批判自己的工作，从而精炼其识别哪些解释最合理且在科学上最可靠的能力。

一旦系统生成了一组候选想法，它就会进入测试阶段，此时规则发生了变化。在这里，系统设计实验，编写运行代码，并在真实数据上执行。由于这些实验的结果是已知的，系统会收到关于其设计是否奏效以及代码是否运行正确的清晰、事实性的反馈。研究人员发现，通过将这两个阶段分开处理，系统可以为每个阶段学习特定的技能。它学会了在生成想法时成为更好的评论家，在测试时成为更精准的工程师。这种方法使系统能够将其过去的成功与失败提炼为可重用的“技能”，就像人类科学家内化以往研究中的教训以改进未来工作一样。

研究人员在涉及真实世界数据的科学任务集上测试了这个框架，涵盖了从预测社交媒体参与度到分析医学引用的各种任务。他们将该系统与依赖静态指令或固定工作流的其他先进人工智能工具进行了对比。结果显示，HypoForge 的表现始终优于其他系统。在生成假设的任务中，它产生的想法不仅质量更高，而且比竞争对手涵盖了更广泛的可能性解释。在测试这些想法的任务中，它成功设计的实验验证正确假设的成功率也高于其他方法。

至关重要的是，研究表明，该系统的进步源于其从经验中学习的能力，而非改变其底层大脑。系统不需要从头开始重新训练或获取新数据来学习；它只是根据收到的反馈来优化其使用的程序。当研究人员移除从过去结果中学习的能力时，系统的性能显著下降，这证明了经验的积累是关键因素。该系统还展示了它可以将这些学到的技能迁移到新的、未见的任务中，这表明它学习的是通用的科学推理原则，而非仅仅是记忆特定的答案。

这项工作为人工智能在科学领域的发展指明了一条充满前景的路径。研究人员不再仅仅构建那些快速执行指令的机器，而是正在开发能够进化自身探究方法的系统。通过将想象可能性的创造行为与验证可能性的严谨行为分离，并通过允许系统为每种行为学习不同的技能，HypoForge 已经证明机器可以开始模仿人类科学发现的累积本质。该系统并非取代科学家，而是提供了一种新型的合作伙伴，它能随着每一次实验的运行而变得更加聪明，将缓慢的试错过程转化为持续改进的闭环。

技术摘要：HypoForge

问题陈述

科学发现本质上是累积性的，依赖于对过往成功与失败经验的持续提炼，从而形成可复用的技能。虽然大语言模型（LLMs）已经实现了科学推理的自动化，但现有的 AI 科学家系统面临两个关键局限：

静态工作流： 大多数系统依赖于固定的提示词或预定义的流程，无法通过积累经验在不同任务中实现持续改进。
脱节的阶段： 系统通常将假设生成与假设验证孤立看待。它们要么生成从未被验证过的假设，要么测试外部提供的假设，从而阻碍了统一发现闭环的提炼。

统一这两个阶段的一个基本挑战在于监督信号的差异。假设生成是一项开放式任务，缺乏明确的真值反馈，导致直接进行质量评估非常困难。相反，假设验证通过可执行的实验和地面真值结果提供经验监督。现有方法通常对两者应用统一的优化策略，未能针对这些不同的监督特性进行针对性的技能学习。

方法论：HypoForge

作者提出了 HypoForge，这是一个自改进的多智能体框架，旨在学习用于假设生成与测试的可复用科学技能。该框架将发现过程分解为两个阶段，每个阶段都采用与其可用监督信号相匹配的特定阶段学习范式。

1. 对抗性假设生成

由于假设生成缺乏显式反馈，HypoForge 采用了受生成对抗网络（GANs）启发、但针对分布级优化而非二元分类进行了改进的对抗性生成器-判别器机制。

假设生成器 ( $G_h$ )： 根据研究问题、数据源和积累的技能 ( $S_h$ ) 生成一批候选假设。
多维判别器 ( $D_h$ )： $D_h$ 不仅仅是一个二元的“真/假”分类器，而是作为一个评分函数，通过评估生成的假设集与高质量人类编写假设的潜在分布来衡量其质量。它从七个维度进行评估：经验基础、因果合理性、结构清晰度、科学新颖性、可证伪性、理论一致性和经验可验证性。
技能提炼： 判别器提供分布级的反馈（质量评分以及与参考假设的模式匹配）。技能提炼智能体从这些反馈中提取可迁移的程序性知识（例如：变量选择、因果推理模式），以更新生成器的技能集 ( $S_h$ )，从而在不微调基础模型的情况下实现迭代改进。

2. 经验引导的假设验证

假设验证利用来自执行结果和地面真值结果的显式经验监督。

实验设计器 ( $G_e$ )： 根据假设和设计技能 ( $S_e$ ) 构建文本形式的实验方案（变量选择、混杂因素控制、统计方法）。
实验执行器 ( $G_x$ )： 将方案转化为可执行代码 ( $c_i$ )，并在数据集上运行以产生结果 ( $r_i$ )。
技能精炼： 框架将测试轨迹 ( $\tau_i$ ) 和结果与地面真值假设进行对比。技能提炼器分析成功与失败案例，将错误归因于特定阶段（设计阶段 vs 执行阶段），并精炼程序化技能 ( $S_e, S_x$ )。这使得系统能够从经验反馈中学习鲁棒的实验设计与执行策略（例如：调试、统计实现）。

3. 统一框架

系统根据新经验迭代更新其技能集 ( $S_t = \{S_h, S_e, S_x\}$ )。其目标是在不修改底层 LLM 参数的情况下，逐步提高生成的假设质量和假设测试的通过率。

核心贡献

HypoForge 框架： 一个多智能体系统，通过学习用于自动化假设生成与测试的可复用科学技能，实现了从静态提示到经验引导改进的跨越。
阶段特定学习范式： 识别并实现了两种不同的学习机制：
- 一种用于假设生成的对抗性自改进机制，利用比较性批判在缺乏显式监督的情况下提炼策略。
- 一种用于假设验证的地面真值反馈学习机制，利用经验结果来精炼实验设计与执行。
实证验证： 证明了将技能学习策略与阶段特定监督信号相对齐，可以实现持续的能力提升和在多样化科学任务中的强迁移性。

实验结果

该框架在包含 13 个任务（涵盖真实与合成数据集，如欺骗性评论、论文引用、选举预测）的 HypoBench 基准测试中进行了评估。

假设生成： HypoForge 取得了最高的假设质量得分 ( $Q(H_t) = 0.785$ ) 和命中率 ($0.648$)，优于 HypoGeniC 和 LLM 提示词变体等系统级基线。消融实验证实，移除判别器反馈会显著降低性能，验证了对抗性精炼的有效性。
假设验证： HypoForge 实现了 $0.659 $的测试通过率 ($ T_h $) 和$ 0.966 $的执行成功率 ($ E_h$)。它大幅超越了 POPPER 和 ReAct 等基线。值得注意的是，虽然 POPPER 具有较高的执行成功率，但其较低的测试通过率表明其实验在技术上虽可执行，但在科学上是无效的；HypoForge 的技能学习同时解决了设计有效性和执行可靠性的问题。
技能演进： 对精炼过程的分析显示，随着迭代次数的增加，假设质量和测试通过率均呈现持续提升，证明了系统有效地提炼了可迁移的策略，而非仅仅记忆特定案例。

重要性与主张

本文声称，HypoForge 通过实现 AI 智能体通过积累经验进行持续改进其推理能力，从而解决了自主科学发现中的关键空白，而不依赖于静态的预训练模型。

局限性说明： 作者承认，该框架的有效性目前取决于反馈的可靠性（例如：假设评估中的潜在错误或地面真值不足）。他们指出，将此方法扩展到需要复杂理论推理、湿实验或跨学科整合的领域仍是未来的挑战。
核心价值： 其主要意义在于证明了阶段特定技能学习——即将学习策略与监督信号的性质（生成阶段使用对抗性批判，验证阶段使用经验反馈）相匹配——是构建能够通过经验逐步掌握复杂、多步科学工作流的 AI 科学家系统的可行路径，且无需进行模型微调。