💻 computer science
On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"
为了应对软件工程研究中的新颖性恶性循环和可重复性危机，本文提出废除传统的 ICSE 论文格式，转而采用由经过同行评审的“注册提案”及随后的“结果报告”组成的两层体系，这一颠覆性的改革得到了社区调查响应的支持。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下软件工程研究的世界就像一场高风险的烹饪比赛，类似于《顶级厨师》（MasterChef）。现在，这场比赛的规则已经坏掉了，而这篇论文的作者 Fabio 和 Winnie 正在提出一种激进的新方法来重塑比赛，以解决两个主要问题：虚假结果和小圈子行为。
以下是他们提案的简单说明：
当前的问题：“单人主厨”模式
现在，如果一名研究人员（我们称之为厨师 A）想要发表论文，他们必须独自完成所有事情：
- 构思一个新食谱（一个新想法）。
- 烹饪这道菜（进行实验）。
- 品尝并说：“它太美味了！”（验证结果）。
存在的问题：
- “新颖性陷阱”： 评委（审稿人）痴迷于寻找最新的食谱。他们并不在乎这道菜是否真的好吃，或者在真实的餐厅里是否可行。他们只想要一些“新颖”的东西。这导致了许多看起来华丽但一旦尝试食用就会崩塌的“玩具”菜肴。
- “小圈子”问题： 如果厨师 A 是一位著名的、屡获殊荣的明星厨师，评委很少会质疑他们的菜肴。如果一位年轻、默默无闻的厨师试图说：“实际上，厨师 A 的食谱烧焦了。”他们会被拒绝，因为他们不够出名。
- “丢失冰箱”危机： 有时，厨师 A 声称他们的菜肴非常棒，但当你要求食材以便亲自尝试时，他们会说：“噢，我的冰箱坏了，我把食谱弄丢了。”这种情况经常发生，使得人们无法信任其结果。
提议的解决方案：“两步走”系统
作者希望废除目前的“单篇论文”格式，取而代之的是一个两阶段系统，类似于建筑项目在两个阶段获得批准：蓝图与施工。
第一步：“注册提案”（蓝图）
- 定义： 研究人员在开展工作之前提交一份详细计划。他们会说：“这是我的新想法，以及我将如何测试它的确切方式。”
- 规则： 评委审查的是计划。如果计划扎实、逻辑严密且有趣，他们就会批准。
- 变化： 在这个阶段，还没有人开始烹饪。他们只是在达成共识：如果按照正确的步骤执行，这个食谱应该是有效的。这防止了人们在看到结果后再去修改规则。
第二步：“结果报告”（施工）
- 定义： 这是重大的变化。任何人都可以拿着那份已获批的蓝图去尝试构建它。
- 可以是原始作者（厨师 A）。
- 可以是竞争对手（厨师 B），试图证明厨师 A 是错的。
- 可以是一个学生团队。
- 规则： 他们提交一份简短的报告，说明：“我们遵循了蓝图。结果如下。”
- 如果成功了： 太好了！我们得到了一个经过验证、可靠的结果。
- 如果失败了： 同样太好了！我们现在知道了这个想法行不通，从而节省了大家的时间。
- “任何人”规则： 不同于目前的系统（只有原作者可以发布最终结果），在这里，任何人都可以尝试复现这项工作。如果三个不同的团队构建了同样的东西并且成功了，我们就知道它是真实的。如果他们都失败了，我们就知道这个想法是有缺陷的。
为什么这能解决问题
- 终结“丢失冰箱”： 如果原作者丢失了数据，也没关系。因为其他团队也根据相同的蓝图构建了它，所以结果依然存在。这就像多个人建造同一座桥梁；如果其中一座坍塌了，其他的桥梁也能证明设计是有效的（或无效的）。
- 打破“小圈子”： 一位著名的教授不能仅仅说：“相信我，我的想法行得通。”如果一名年轻的研究人员尝试构建同样的东西却失败了，这篇论文仍然会被发表。该系统看重的是真相而非名声。
- 将“新颖”与“好用”分离：
- 提案阶段奖励新颖性（这个想法是否有趣？）。
- 结果阶段奖励严谨性（它是否真的有效？）。
- 目前，我们试图同时评判这两者，这导致了混乱。这种方法将它们拆分开了。
核心结论
作者建议我们不要再把研究论文视为单一的、完成的成品，而是将其视为一个公共建设工程。
- 首先，我们批准计划（提案）。
- 然后，我们让所有人都去尝试建造它（结果报告）。
如果建筑屹立不倒，我们就使用它。如果它倒塌了，我们也从中学习。这确保了我们在现实世界中使用的软件工具和方法是真正可靠的，而不仅仅是“新颖且华丽”的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。