What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation
本文介绍了 Lit2Test 基准测试，这是一个评估语言模型研究构思能力的创新框架，它通过要求提议必须包含可证伪的结果，从而能够根据所提测试方案的质量而非表面流畅度，对前沿模型进行可靠、盲测且严格的排名。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
科学的进步不仅在于拥有好的想法，更在于拥有那些可以被证明是错误的想法。在研究领域，一个提议只有在研究者能够预先准确说明什么样的观察会导致其放弃自身理论时，才具有真正的价值。如果没有这种承诺，一个想法听起来可能既精妙又具说服力，却仍无法进行测试。它会漂浮在一个空间里，其成功是通过如何匹配一个已经发生的未来结果，或者通过其文字表达得多么流畅来衡量的。这导致了我们在评估人工智能时存在一个空白。当大型语言模型被要求建议新的研究方向时，现有的方法往往奖励风格而非实质，或者根据模型是否偶然猜中了后来发表的论文来评判它。这两种方法都无法告诉我们，模型是否真的具备设计出一项实验来区分“真实的发现”与“幸运的猜测”的能力。
一组研究人员开发了一种衡量这种特定能力的新方法。他们创建了一个名为 Lit2Test 的系统，该系统要求模型去做一件比单纯头脑风暴难得多的事情。模型不再是生成一个模糊的研究课题，而是必须为它们提出的每一个想法填写一份严格的六部分合同。这份合同要求它们识别现有知识中的特定空白，陈述一个清晰的假设，设计一个用于测试该假设的最小化实验，并且至关重要的一点是，定义出究竟什么样的结果会证明它们是错误的。通过迫使模型预先承诺其潜在的失败，研究人员将研究想法的评估从一种主观意见转变为了一种逻辑问题。研究发现，当模型根据其创建可证伪测试的能力进行评判时，会出现一个清晰且一致的排名，这一排名是由实验设计的质量驱动的，而非由其写作的流畅度所驱动。
研究人员首先收集了 200 个真实的科研场景，每个场景都构建自四个在某一主题上存在分歧的近期发表论文的邻域。这些并非虚构的问题；它们取自专家仍在争论答案的实际科学文献。对于每个场景，四种不同的先进语言模型被要求提出下一步行动。模型不允许撰写自由形式的文章。相反，它们必须填入合同中的六个字段：文献空白、假设、最小化测试、决定性指标、支持该想法的结果以及证伪该想法的结果。这种结构确保了每一份提议都是一个完整的、可测试的计划，而非一个模糊的建议。研究人员随后将这些提议进行盲测对比，由一个不知道哪个 AI 生成了哪个想法的评判模型，根据合同内容判定哪份提议更好。
为了确保结果不会受到呈现顺序的影响，研究人员对每一对提议都进行了两次评判：一次按原始顺序，一次按反向顺序。他们发现，大约有 20% 的情况下，当顺序交换时，评判模型改变了主意，这表明比较是不稳定的。通过剔除这些不稳定的案例，并仅关注那 80% 在顺序变换后依然保持一致的案例，他们建立了一个严格的模型排名。结果显示出一个清晰的等级制度：一个模型始终产生最好的提议，其次是第二个，然后是第三个，最后是第四个。这一排名在数千次统计重采样中依然成立，这意味着该顺序是稳健的，而非数据的偶然现象。
研究还调查了究竟是什么驱动了这些排名。事实证明，模型之间的差异并非源于其写作水平或表达的自信程度。决定性因素是测试设计的质量。表现最好的模型擅长创建既足够小以具备可行性，又足够具体以隔离其所测试机制的实验。它们也擅长定义一个能够清晰区分成功与失败的指标。要求陈述什么会证明想法错误起到了一个底线的作用；所有模型都必须达到这一标准才能被视为有效，但最优秀的模型则超越了最低要求，设计出了真正具有洞察力的测试。研究人员通过检查评判者是否受风格影响来证实了这一点。他们发现，当一份提议的内容完全相同但格式发生变化时，评判者的决定并未改变。该系统测量的是研究计划的实质内容，而非演示的润色程度。
为了验证其自动化评判者是否遗漏了明显的细节，研究人员邀请了三位人类专家对一个较小的代表性样本提议进行评审。这些人类专家是计算机科学专业的资深学生，他们在不知道哪个模型创建了提议的情况下对相同的提议进行评判。人类专家在评判者表现出信心的近 90% 的案例中，与自动化评判者的排名达成了一致。这种高度的一致性表明，自动化系统捕捉到了关于想法质量的真实信息。然而，人类评判者也表明这项任务非常困难；即使在专家之间，在一些细微之处也存在分歧，这进一步强化了使用严格、结构化合同进行评估的必要性。
该论文明确排除了“模型预测未来论文的能力是衡量其研究潜力之良策”这一观点。研究人员指出，根据是否匹配后来发表的论文来评判想法是有缺陷的，因为它奖励的是预测未来，而非设计测试。它还会惩罚那些采取了与最终发生路径不同的有效想法。通过移除“未来论文”这一标准答案，并将重心完全放在测试本身的逻辑上，Lit2Test 提供了一种不同维度的洞察。它表明，虽然大型语言模型可以生成流畅的文本，但它们在科学构思方面的真正能力在于能否制定出一个可以被严谨挑战的假设。研究结论认为，评估这些模型最可靠的方法不是看它们能否预测未来，而是看它们能否清晰地陈述出在今天什么会证明它们是错误的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。