Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment
本文通过对进化计算领域十年间论文的实证研究，提出了一种结合人工评估与大语言模型自动化工具（RECAP）的复现性评估方法，揭示了当前研究在复现性报告方面的不足，并证明了自动化评估的可行性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于“科学研究如何保证‘复刻性’”的研究论文。为了让你轻松理解，我们可以把科学研究想象成**“厨师分享食谱”**的过程。
核心概念：科学界的“复刻危机”
想象一下，你看到一位顶级大厨在电视上做出了一道极其美味的“秘制红烧肉”。你心动了，赶紧照着他的视频去买肉、买调料、开火，结果做出来的味道完全不对，甚至根本没法吃。
为什么？
- 大厨没说火候要多大（实验参数缺失）。
- 大厨没说用的是哪种牌子的酱油（环境配置不明）。
- 大厨没说肉要切成多大的块（操作细节模糊）。
在计算机科学（特别是进化计算领域）中，科学家们经常发表论文，宣布他们发明了一种“超级算法”。但如果论文写得不够详细，其他科学家就无法按照论文的步骤重新运行一遍，来验证这个算法是不是真的那么厉害。这就是所谓的**“复刻性（Reproducibility）”问题**。
这篇论文做了什么？（三个实验阶段）
这群研究人员就像是**“美食评论家”**，他们对过去十年里的一批“食谱”（论文）进行了一场大规模的“查岗”。
第一步：制定“查岗清单”（Checklist）
他们先写了一份非常严格的清单。不仅仅看你有没有写“怎么做”，还要看：
- 你有没有提供“原材料”的链接（代码和数据）？
- 你有没有说明用了什么样的“厨具”（硬件环境）？
- 你有没有说清楚“调料比例”（算法参数）？
第二步：人工“试菜”（Manual Assessment）
研究人员亲自上手，像真正的厨师一样，尝试根据论文提供的资料去“复刻”实验。他们发现：虽然大家都在喊要重视复刻，但实际操作中，只有不到 37% 的人真的提供了额外的“调料包”或“半成品”供别人参考。 很多时候，你只能看到“成品图”，却拿不到“调料包”。
第三步：请来“AI 助教”（RECAP 系统）
人工检查太累了，面对成千上万篇论文，人会看不过来。于是他们开发了一个叫 RECAP 的 AI 系统（基于大语言模型）。
这个 AI 就像是一个**“全自动食谱扫描仪”**。它不仅能读懂文字，还能自动去点开论文里的代码链接，甚至尝试在自己的“虚拟厨房”里跑一下代码，看看能不能成功。
结果发现： 这个 AI 助教非常聪明，它判断“食谱好不好复刻”的准确度，跟资深专家非常接近！
研究结论：现在的“厨师”们表现如何？
- “食谱”写得越来越细，但还是不够： 论文的整体质量在提高，但很多关键的“调料比例”（参数设置）依然是糊涂账。
- “调料包”经常过期： 有些科学家虽然给了代码链接，但过几年链接就失效了，或者代码根本跑不起来，就像你买了一包过期且没说明书的调料。
- AI 是个好帮手： 以后我们可以用 AI 来帮审稿人“查岗”，如果 AI 发现某个论文的“食谱”写得不清不楚，就会立刻发出警告。
总结一下
这篇论文告诉我们：科学研究不能只靠“吹牛”说自己做出了好东西，必须得把“调料包”和“详细步骤”交出来。 而通过 AI 技术，我们可以更高效地监督这些“大厨”，确保科学界的每一道“菜”都是真实可信、人人都能复刻的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。