ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues
本文介绍了 ReproRepo，这是一个可扩展的框架，它利用来自 1,149 篇机器学习论文的人类报告 GitHub issue，来评估 LLM 智能体识别现实世界复现障碍的能力，并证明即使是非执行型智能体也能在约 90% 的案例中检测出语义问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观： “破碎食谱”问题
想象一下，你在一本著名的食谱中发现了一个美味蛋糕的食谱（研究论文）。书上写着：“按照这些步骤操作，你就能得到一个完美的蛋糕！”你前往作者的网站下载秘密配料表和搅拌说明（GitHub 代码仓库）。
但当你尝试烘焙时，出问题了。也许是烤箱温度不对，或者是缺少了关键原料，又或者是说明里要求使用一个你没有的烤盘。你被卡住了。
在现实世界的科学领域，这种情况经常发生。研究人员试图“复现”（重新烘焙）其他科学家论文中的结果，但他们经常撞上隐形的墙。问题在于，检查每一份食谱是否可行是非常困难、昂贵且缓慢的。这通常需要一个专家团队（人类专家）来手动测试每一个步骤。
新思路：ReproRepo
这篇论文的作者们提出了一个聪明的想法：ReproRepo。他们问道：我们能否利用人工智能（AI）充当一个“食谱检查员”，在任何人尝试烘焙蛋糕之前，就找出这些破碎的步骤？
但有一个难点：他们不想支付昂贵的人力成本来雇佣测试员去创建一份“破碎食谱”清单来测试 AI。那太慢了。
相反，他们使用了一个绝妙的捷径：投诉箱。
他们意识到，当真实的人尝试烘焙这些科学蛋糕并失败时，他们通常会前往作者的网站，并在“GitHub Issue”（公开投诉箱）里留下一条笔记。他们会写道：“嘿，脚本崩溃了，因为你忘了列出面粉！”或者“说明里说要用红色的烤盘，但你只给了我一个蓝色的。”
ReproRepo 是一个将这些真实的人类投诉视为“标准答案”的系统。它并不要求专家去发明问题，它只是倾听那些正在对问题大声疾呼的真实用户。
它是如何工作的：“静态检查员”
研究人员构建了一个包含三个步骤的框架：
- 收集证据： 他们收集了 1,149 篇最近的机器学习论文及其相关的代码仓库。然后，他们抓取了这些仓库的“投诉箱”（GitHub Issues），以了解真实用户在哪里卡住了。
- AI 检查员： 他们聘请了一个 AI 智能体（一个聪明的计算机程序）来查看论文和代码。
- 转折点： 这个 AI 不允许运行代码。它不能实际“烘焙蛋糕”。它只能通过“阅读”说明并“查看”配料表来进行工作。这被称为“静态检查”（static inspection）。
- 目标： AI 必须猜测：“根据我在这里看到的内容，对于尝试使用这个项目的真人来说，哪里最可能出错？”
- 评分卡： 研究人员将 AI 的猜测与他们之前收集到的真实人类投诉进行了对比。
- AI 是否发现了完全相同的缺失配料？（精确匹配）
- AI 是否发现了同一个大致区域的问题，即使不是精确的细节？（语义匹配）
- AI 是否凭空捏造了问题？（误报/假阳性）
他们的发现：“好消息”与“坏消息”
结果非常令人鼓舞，但也存在局限性。
好消息：
AI 在发现“大局问题”方面表现得非常出色。即使没有运行代码，最好的 AI 模型（Codex 与 GPT-5.5 的组合）也能在 90% 的论文中发现至少一个真实的人类报告的问题。
- 类比： 这就像一位美食评论家读完食谱后说：“我打赌烤箱的说明有问题，”或者“我打赌你漏掉了酵母。”他们在判断问题发生在哪里方面几乎每次都是正确的。
坏消息：
AI 在处理精确细节方面表现挣扎。
- 类比： AI 可能会说：“烤箱温度不对，”但人类的投诉实际上是：“烤箱温度不对，特别是在热风模式下。” AI 知道错误的区域，但不知道确切的触发点。
- AI 也更擅长发现“响亮”的错误（比如立即崩溃的脚本），而不是“沉默”的错误（即代码可以运行但给出了错误答案的情况）。
成本：
AI 非常便宜且快速。它不需要运行代码所需的昂贵超级计算机；它只需要阅读文件即可。这使其成为一个极佳的工具，可以快速筛选数千篇论文，找出那些很可能是有问题的论文。
结论
ReproRepo 证明了我们可以规模化地检查科学工作。我们不需要人类专家去测试每一篇论文，而是可以使用 AI 来扫描过去的“投诉箱”，从而预测未来的问题。
- 它并不完美： AI 无法取代人类实际运行代码来观察蛋糕味道如何的过程。
- 但它很强大： 它作为一个高效的“分诊”工具。它可以迅速指引研究人员找到项目中可能出错的部分，从而节省数小时的挫败感。
简而言之，这篇论文表明，AI 可以成为科学代码的一个非常好的“校对员”，能够发现导致现实世界失败的拼写错误和缺失配料，即使它目前还无法亲自烘焙出蛋糕。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。