An Audit of Machine Learning Experiments on Software Defect Prediction
本文审计了 2019 年至 2023 年间发表的 101 项软件缺陷预测研究，揭示了实验设计和报告中普遍存在的各种不一致性，这些问题严重限制了可复现性，并凸显了改进研究实践的紧迫需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个规模宏大、繁忙喧嚣的厨房，成千上万名厨师（研究人员）正试图发明一种新食谱，用来预测仓库里哪些食材即将变质（软件缺陷）。他们都声称自己拥有最好的“机器学习”食谱。但我们如何知道他们的食谱是否真的有效，还是仅仅在纸面上看起来不错呢？
这篇论文就像是一位卫生检查员，走进那间厨房去审计过去五年的烹饪情况。检查员并没有品尝食物，而是检查了食谱（实验），看厨师们是否遵循了基本的科学规则、是否诚实地报告了食材，以及是否留下了足够的笔记，以便他人随后能烹饪出同样的菜肴。
以下是审计结果，用简单的语言解释如下：
1. “食谱”的混乱
检查员发现，每位厨师的做法都不尽相同。
- 食材： 有些厨师只用了一组数据集（一堆食材），而另一些则使用了365个不同的数据集。这简直是一场大杂烩。
- 工具： 他们使用的“学习器”（烹饪方法）从1个到34个不等。
- 计分卡： 他们使用不同的计分卡来衡量成功。有些使用了名为“F1”或“准确率（Accuracy）”的指标，检查员警告说，这些指标就像是通过统计有多少人完赛来评判一场比赛，却忽略了他们是否跑对了距离。这些分数可能会产生误导，尤其是在“坏掉的食材”非常稀少的情况下。
2. “盲测”问题
在一个公平的实验中，你必须在从未用过的新食材上测试你的食谱。这被称为“样本外（Out of Sample）”验证。
- 问题所在： 大约35%的厨师没有这样做。他们在用来学习配方的完全相同的食材上进行了测试。这就像厨师在加盐的过程中品尝自己的汤。当然味道好啦！但这并不意味着它对顾客也会好吃。
- 结果： 许多研究声称他们的食谱很棒，但他们可能只是在死记硬背食材，而不是在学习烹饪。
3. “缺失的笔记”（可重复性）
如果你在杂志上发现了一个很棒的食谱，你会期望自己也能把它做出来。检查员检查了这些论文是否留下了足够的笔记（代码、数据链接、具体设置），以便他人能够重现结果。
- 得分： 平均“可重复性得分”仅为**52%**左右。这意味着如果你尝试烹饪这些菜肴，你会发现缺失了一半的说明。
- 付费墙： 近一半的论文都躲在“付费墙”后面（就像一扇锁着的门）。你必须付钱才能看到食谱。检查员指出，如果你看不见食谱，你就无法检查它是否真实。
- 失效链接： 即使提供了数据的链接，大约35%的链接也是失效的（就像是一个指向已不存在的杂货店的链接）。
4. “论文工厂”的怀疑
检查员发现了两篇非常奇怪的论文。作者使用了奇怪的、虚构的短语，比如用“novel insects（新颖昆虫）”代替“new bugs（新漏洞/缺陷）”，用“arranging of deformities（畸形排列）”代替“analyzing defects（分析缺陷）”。
- 比喻： 这就像一位厨师在写食谱时写着“加入一撮‘棉花糖甜馅’（fluffernutter）”而不是“盐”。这是一个“论文工厂”的危险信号——即那些为了发表论文而大量生产虚假或低质量论文的工厂，通常通过在不同语言之间来回翻译文本，直到内容变得荒谬无理。
5. “神奇数字”陷阱
许多厨师运行了数十次实验，并寻找任何看起来具有“统计学显著性”的结果（就像通过购买足够多的彩票来寻找中奖号码）。
- 问题所在： 他们没有针对如此多次的测试调整规则。这就像抛掷硬币100次，仅仅因为其中一次连续出现了10次正面，就声称发现了一个“神奇模式”。检查员发现，许多研究都犯了这个错误，使得他们的“发现”很可能只是运气使然。
6. 期刊 vs 会议（杂志 vs 传单）
检查员注意到发表在详细的长篇**期刊（Journals）和较短的会议（Conference）**论文之间存在差异。
- 发现： 期刊论文的表现稍好。它们有更完整的笔记、更少的缺失链接和更少的错误。这就像一本完整的食谱对比一张只有食材清单的传单。较长的篇幅和更严格的评审过程似乎有助于提升期刊的质量。
总结
审计结论认为，虽然这个领域投入了大量精力（五年内有超过1,500项研究），但质量并不稳固。
- 好消息： 大多数问题并不难解决。只需要厨师们更清晰地写下步骤、使用更好的计分卡，并在新食材上进行测试即可。
- 坏消息： 目前，如果你尝试重复这些实验，你很可能会失败，因为说明书缺失或者数学逻辑有误。
简而言之： 这个领域充满了潜力，但目前来看，它就像一个一半厨师忘了写下食谱，而写下的那些又用一种让人摸不着头脑的语言编写的厨房。检查员要求大家清理一下厨房，这样我们才能真正吃到食物。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。