Towards A Sustainable Future for Peer Review in Software Engineering
本文针对软件工程同行评审中投稿量与审稿人数量之间日益增长的不平衡问题，提出了一种面向可持续未来的愿景，旨在通过实施吸引和培训新审稿人的可扩展策略、激励社区参与以及谨慎集成人工智能工具来解决该问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
请想象一下软件工程研究的世界，它就像一个繁忙、喧闹的市场，科学家们在这里交易他们的新想法（称为“论文”）以求发表。为了保持这个市场的诚信和高质量，有一条严格的规则：每一个新想法在售卖之前，都必须经过专家小组的检查。这个检查过程被称为同行评审（peer review）。
然而，Parra及其同事的论文指出，这个市场正处于困境之中。提交新想法的数量增长速度超过了可用专家的增长速度。这就像一家餐厅，每天等待用餐的顾客队伍都在变长，但厨房的工作人员却没有相应增加。结果就是，厨师们（评审员）精疲力竭，不得不加班加点工作，而食物（研究成果）的质量也可能因此受到影响。
以下是问题的拆解以及作者提出的解决方案，使用了简单的类比：
问题所在：临界点
作者指出，“厨房”已经不堪重负。
- 过载： 在过去几年中，提交给主要会议的论文数量增加了近三倍，而评审员的人数仅增加了两倍。这意味着每位评审员被迫要检查更多的“盘子”。
- 隐形劳动： 担任评审员就像是一名义务消防员。你有一份作为科学家或教师的全职工作，然后还要在周末和晚上免费检查他人的工作。在当前的“发表或灭亡”（Publish or Perish）文化下（即你的职业生涯取决于你发表了多少论文），这种志愿工作并不会帮助你晋升。在大学决定谁能获得加薪或终身教职时，这项工作往往被忽视。
- AI陷阱： 由于评审员太累了，有些人开始转向人工智能（AI）来替他们完成工作。作者警告说，这是危险的。这就像是要求机器人去品尝一道复杂的菜肴；机器人可能会编造不存在的原料，或者给出像“味道不错”这样模糊的建议，却不知道“为什么”不错。在最近一次顶级AI会议上，有超过15,000份评审被发现完全是由AI撰写的，这是一个严重的质量警示信号。
有效的做法（好消息）
论文承认，目前已经有一些措施正在发挥作用：
- “名人堂”： 一些会议会向最努力的工作者颁发“杰出评审员奖”。这就像是一个“月度优秀员工”奖牌。拥有它固然不错，但奖项通常总是颁发给那些经验丰富的熟面孔，因此并不能真正鼓励新人加入团队。
- “影子”计划： 一些会议已经开始实施“初级程序委员会成员”（Junior PC）或“影子程序委员会成员”（Shadow PC）计划。可以将其想象为一种影子实习期。新人（如博士生）坐在经验丰富的评审员身边，观察他们是如何检查一篇论文的，然后尝试自己动手。专家会对他们进行反馈。这是培训新评审员的一种极好方式，但目前仅在少数会议中开展，尚未普及。
愿景：一个可持续的未来
作者提出了一个三部分的计划，旨在修复该系统并使其实现长期可持续发展：
1. 评审员的“驾照”（可扩展的培训）
目前，任何人都可以自愿评审论文，但他们可能并不懂得如何做好。作者建议创建一个在线培训课程（类似于认证计划）。
- 运作方式： 新人将观看专家的视频，学习优秀评审的规则，并参加测试。
- 奖励： 通关后，他们会获得一份电子证书。他们可以将此展示在个人资料中（就像LinkedIn上的徽章一样），向会议组织者表明：“我已接受培训，准备好进行评审了。”这创造了一个规模更大、合格且随时待命的检查员群体。
2. AI是“副驾驶”，而非“机长”（负责任的AI使用）
作者并不想禁止AI，而是希望谨慎地使用它。
- 规则： AI可以辅助检查错别字或总结数据，但它不能撰写最终的评审意见，也不能取代人类的判断。
- 安全网： 编辑应该使用工具来检测评审是否由机器人撰写。如果有人试图混入虚假的AI评审，应当受到惩罚。
- 助手： AI可以用于人类完成工作之后，用来复核人类可能遗漏的内容，但前提是人类必须已经在其自身形成观点之后。
3. 更好的回报（激励机制）
为了吸引更多人自愿参与，系统需要更好地重视他们的时间。作者建议：
- “以参与换参与”规则： 如果你想向某个会议提交论文，你也必须同意为该会议评审论文。这是一种“礼尚往来”的协议。
- 折扣与徽章： 为评审员提供会议注册费折扣，或在他们的名牌上佩戴特殊的徽章，让每个人都知道他们在提供帮助。
- 新人奖： 为新晋评审员设立专门的奖项，让他们在职业生涯早期就能感受到认可，而不只是在服务20年后才得到承认。
核心结论
论文总结道，如果我们现在不解决这个问题，整个系统可能会崩溃。“厨房”会过于忙碌，“食物”（研究成果）的质量会下降，而最优秀的专家也会精疲力竭。通过培训更多的人才、负责任地将AI作为助手使用，并给予评审员更好的认可，软件工程界可以确保其思想市场保持健康、公平且面向未来的持续增长。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。