ReproAgent: Contract-Guided Paper-to-Code Reproduction
ReproAgent 是一个由契约引导的四阶段流水线，通过通过需求通道和证据通道维持持久的实现契约，来增强从论文到代码的复现过程，从而有效地弥合显式论文规范与隐式编码约定之间的鸿沟，并在 PaperBench Code-Dev 基准测试中实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在科学研究领域，一项新发现的价值仅取决于其后续的证明。当科学家团队发表一篇描述新方法的论文时，他们本质上是在向世界递交一套指令。为了让这项发现获得信任，其他研究人员必须能够根据这些指令构建出同样的东西，并进行相同的测试，以观察是否能得到相同的结果。这个过程被称为“复现”（reproduction），它是科学进步的基石。然而，几十年来，这一过程一直充满困难。论文中的指令往往是不完整的，缺失了专家们认为理所当然的小细节，比如使用的特定工具或组织项目的标准方式。当研究人员试图遵循这些指令时，他们经常会得到虽然可以运行但产生不同结果的代码，或者因为遗漏了关键步骤而导致代码完全失效的代码。这种“书面内容”与“实际效果”之间的差距造成了信任危机，使得新方法难以验证，旧方法难以改进。
为了解决这个问题，一个研究团队开发了一个新系统，旨在将科学论文直接转化为高准确度的可用计算机程序。他们将这个系统称为 ReproAgent。ReproAgent 并非简单地要求计算机阅读论文并编写代码（这通常会导致错误），而是像一位从不遗忘细节的严谨项目经理一样运作。它的核心理念是：一篇科学论文包含两种信息：作者明确写出的“显性指令”，以及专家了解但很少写下来的“隐性知识”。该系统创建了一个持久且动态的文档，追踪论文中的每一个要求，确保在计算机构建程序的过程中没有任何信息丢失。它还会主动寻找已经构建完成的类似项目，将其作为如何构建此类项目的“潜规则”的指南。
研究人员在来自一家主要机器学习会议的二十篇不同科学论文上测试了这个系统。他们要求系统为每篇论文构建一个完整的、可运行的计算机程序，就像人类研究人员所做的那样。结果令人瞩目。当使用强大的语言模型作为其“大脑”时，该系统在严格的评分标准上获得了 73.7 分（满分 100 分），该标准不仅检查代码是否能运行，还检查其是否忠实地遵循了原论文的方法。这是所有测试系统中的最高分，击败了此前被认为是处于领先地位的其他先进工具。该系统之所以成功，是因为它没有将论文视为一段需要被总结的单一文本块。相反，它将论文分解为具体的“义务”，例如“实现这个特定的算法”或“生成这个特定的数据文件”，并在整个过程中对每一项义务进行记录。
这种方法的独特之处在于它如何处理缺失的信息。当论文说“使用标准训练方法”而未解释细节时，典型的计算机程序可能会进行猜测或使用通用版本。然而，ReproAgent 会咨询一个相关的成功项目库，以找到该方法通常实现的标准方式。然后，它将这个外部示例与来自论文的特定要求绑定在一起。这创建了一个双层指南：一层保留作者的精确措辞，另一层则用经过验证的现实世界案例来填补空白。随后，系统会逐个文件构建程序，并在每一步都对照这份指南进行自查。如果出错，它不会盲目重试，而是查看指南，确定自己遗漏了哪项具体要求，并仅修复该部分。
研究人员发现，这份指南的两个层面都是必不可少的。当他们移除追踪论文显性指令的层面时，系统的表现显著下降，经常遗漏那些使论文方法具有特殊性的独特且关键的细节；而当他们移除查看相关项目的层面时，系统在构建连贯结构方面表现挣扎，无法按现实软件的要求来组织文件和数据。只有当两者结合使用时，系统效果最好，这证明了忠实的复现既需要对作者文本的严格遵循，也需要对领域内实践惯例的深刻理解。
这项工作表明，科学验证的未来可能在于能够弥合书面理论与实际应用之间鸿沟的系统。通过将“将论文转化为代码”的过程视为一份在每一步都必须履行的合同，Repro-Agent 证明了机器可以被教导得不仅仅是代码生成器，更是科学意图的忠实诠释者。该系统并非取代人类研究人员，而是提供了一个强大的工具，以确保科学的数字产物从一开始就能被正确构建。在复现性长期面临挑战的领域中，这种方法提供了一条清晰的路径，将重建科学工作的艰巨任务转变为一个可靠且自动化的过程。该系统在二十篇多样化论文上的成功表明，该方法是稳健的，并已准备好应用于日益增长的科学文献中，从而帮助恢复对现代研究复现性的信任。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。