Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies
本文介绍了“重建”（Reconstruction），这是一个旨在测试语言模型是否仅凭其发表前的参考文献就能恢复已发表论文核心研究思想的盲测基准，结果表明，虽然单模型取得的成功较为有限，但结合了跨模型评审和锦标赛选择机制的多智能体流水线将恢复率显著提升至 23–42%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代科学的广阔版图中，研究人员经常依赖人工智能来帮助他们构想新的发现。这些被称为大语言模型的计算机程序经过海量文本训练，能够提出新颖的研究方向，就像一位博学多才的同事在茶歇时间提供新鲜见解一样。然而，一个关键的问题仍然存在：这些模型是真的理解了它们所阅读的科学文献，还是仅仅基于模式进行猜测？为了回答这个问题，科学家们需要一种方法来测试人工智能是否能够观察在一次著名发现被做出之前所存在的线索，并正确预测出该发现最终究竟是什么。这并不是要求人工智能去发明某种新事物，而是利用当时存在的历史背景来重构一个已知的想法。
一个研究团队创建了一项名为“重构”（Reconstruction）的严谨测试，旨在精确衡量这种能力。他们收集了来自机器学习、天文学、化学、材料科学、医学和物理学等六个不同领域的数百篇真实科学论文。对于每篇论文，他们构建了一个盲上下文，其中仅包含原作者在作品发表前所引用的参考文献列表。随后，人工智能模型被要求仅基于这份旧论文列表提出五个新的研究构想。至关重要的是，模型绝不允许看到试图重构的那篇论文的标题、摘要或实际内容。随后，一个独立的计算机评判员将人工智能提出的方案与真实的论文进行对比，以查看是否有任何猜测与真实的发现相匹配。
结果显示，这项任务对于即使是单独工作的最先进人工智能系统来说也异常困难。当单个模型尝试猜测隐藏的想法时，其匹配率仅处于中等水平，通常在百分之三到百分之十五之间。这表明，仅仅获取一份过去的参考文献列表，并不足以让单个模型可靠地拼凑出特定的科学突破。这些模型经常失之毫厘，未能将现有线索与最终结果联系起来。
然而，研究人员发现，通过改变模型之间的协作方式，可以显著提高这些成功率。他们没有依靠一个模型完成所有的思考，而是建立了一个系统，让表现最好的四个模型各生成一套包含五个想法的方案。随后，这些想法由小组中的其他模型进行评审，它们充当评论家角色以完善建议。最后，通过一个类似于竞争性锦标赛的选择过程，从五个类别中选出单一的最佳想法，从而形成最终的五项精炼提案。这种协作方式在不使用外部互联网搜索且仅依赖所提供的参考文献的情况下，极大地提升了成功率。在六个科学领域中，这个多模型团队能够正确识别出隐藏的研究想法的比例约为百分之二十三至百分之四十二。
这一进步代表了一个实质性的飞跃，协作团队的表现大约是表现最好的单个孤立工作模型的两倍半。研究人员指出，这种提升可能部分反映了推理侧扩展（inference-time scaling）——即从二十个候选方案中挑选出最好的五个，而不是保留单个模型的全部五个方案——尽管结构化的评审和选择过程也对从历史数据中恢复复杂的科学思想做出了贡献。虽然这项任务仍然具有挑战性，且成功率远非完美，但研究表明，当人工智能系统被设计为相互评判和筛选彼此的工作时，它们能够以更高的准确度恢复复杂的科学思想。这一发现为未来旨在不仅是回忆信息，而且是深度理解并综合科学思想演进的系统提供了一条充满希望的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。