The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

想象一场巨大的、高风险的“同行评审”游戏，科学家们向一个评审小组提交他们最好的研究成果。在软件工程的世界里，这就是新想法接受测试和批准的方式。但问题在于：这些评审员大多是在实践中学习。他们没有培训手册；他们只能寄希望于从导师那里获得好的建议，或者通过阅读他人的评审意见来学习。这就像是仅通过观察别人烹饪，却从未有人告诉过你为什么一道菜好吃或不好吃，从而试图成为一名专业厨师。大问题是：我们能否建立一个真正的、结构化的培训计划，将完全的初学者转变为专家级评审员，并且我们能否同时面向大量的人群实现这一点？

这篇论文讲述了 ICSE 2026 Shadow PC 的故事，这是一场关于如何教人评审科学论文的大规模实验。组织者不仅仅是分发了一份清单；他们将评审视为一种需要**刻意练习（deliberate practice）**的运动。想象一下一支运动队，他们不仅仅是每周打一场比赛，而是花费数周时间进行训练、观看比赛录像、接受教练的即时反馈，甚至互相评判对方的动作。该团队使用了一个“影子（shadow）”系统，这意味着受训者评审的论文与真正的评审员完全相同，但他们的意见不计入最终决定。这创造了一个安全的“练习场”，在这里犯错是可以接受的，学习才是唯一的目的。

结果非常成功。在开始该计划的 183 人中，有 102 人坚持到了最后，共评审了 117 篇真实的论文。受训者对此非常满意：97% 的人表示会向他人推荐这次经历。甚至被评审论文的作者也认为，这些反馈在 67% 的情况下是有帮助的。这项研究表明，通过使用一种结构化的、多步骤的方法——即尝试、失败、得到纠正、再次尝试——你可以训练一大群人成为合格的评审员。然而，论文也指出，让每个人在长期过程中保持参与度是很困难的，他们建议未来的计划可能需要“队长”（称为领域主席/Area Chairs）来协助管理流程并保持活力。

问题所在：在偶然中学习评审

在软件研究领域，同行评审是守门人。这是专家阅读一篇新论文并决定其是否足够优秀以供发表的过程。但这些专家是如何学习这项技能的呢？通常，他们并没有学习过程。他们是“隐性地”学习，这是一种高级说法，意思是通过渗透作用来领悟。一名博士生可能会收到资深教授严厉的评审，然后想：“好吧，我想我需要更具批判性了，”或者他们可能会收到模糊的评审并感到困惑。一些幸运的学生会得到直接指导，但对许多人来说，这就像一场猜谜游戏。

随着提交论文的人数增加，系统正面临着对更多评审员需求的压力。我们需要更多能够识别出伟大的想法与有缺陷的想法的人，但目前还没有明确的路径可以到达那里。这就像一个城市试图雇佣 1000 名新消防员，却只通过把他们扔进燃烧的大楼并希望他们学会如何握住水管来教学一样。

解决方案：“影子”健身房

本文作者决定通过创建一个 Shadow PC（程序委员会）来解决这个问题。把主 PC 想象成官方的奥运裁判。Shadow PC 就是紧邻其侧的“训练营”。受训者（主要是博士生和新任教授等早期职业研究人员）评审与真实评审员完全相同的论文，但他们在一个独立的、安全的空间内进行。他们的评审不会决定录取结果；这仅仅是为了练习。

这里的核心创新是刻意练习。该计划并非只是说“这里有一篇论文，请写一份评审”，而是将设计得像带有不同关卡的电子游戏。它的理念是：当你尝试某事、意识到自己做得不好、得到具体反馈并再次尝试时，你的学习效果最好。

训练营是如何运作的

该计划分为几个阶段，每个阶段都旨在教授特定的技能：

1. “先试后教”阶段（指令前的生成）：
   通常，老师会在你开始之前给出规则。这个计划恰恰相反。参与者被要求在获得任何清单或指南 之前 先写一份评审。为什么要这样做？因为如果你不知道自己缺失了什么，就很难学习。通过先尝试，他们意识到：“噢，我甚至不知道我需要检查这个！”这把他们的“无意识无能”（不知道自己不知道什么）转化为了“有意识的无能”（知道自己需要学习什么）。

2. “对比”阶段（校准）：
   为了教他们什么是“好”的论文，他们得到了两篇特殊的论文。一篇是已经被顶级会议接收的论文，另一篇是被秘密修改过、带有明显缺陷的被拒论文。受训者必须评审这两篇论文。然后，他们看到了专家是如何评审它们的。这帮助他们辨别什么是“有缺陷但尚好”的论文与“破碎”的论文，从而磨练了他们的判断力。

3. “反馈循环”（对评审的评审）：
   由于人数众多，一位老师无法给所有人评分，因此受训者会对彼此的评审进行评分。这是基于“教学是最好的学习方式”这一理念。通过评判他人的评审，他们必须深入思考什么才是一份好的评审，这有助于提升他们自己的水平。

4. “实战”阶段：
   在完成了所有训练之后，他们被分配了三篇真实的论文进行独立评审。然后，他们必须针对这些论文进行讨论，并撰写一份“元评审”（meta-review，即对小组意见的总结），就像真正的评审员所做的那样。

5. “汇报”（揭晓）：
   最后，他们看到了真实评审员对相同论文的看法。他们可以将自己的评审与官方评审进行对比，看看在哪里达成了一致，又在哪里失了准头。

结果：它奏效了吗？

实验取得了成功，但也存在成长中的阵痛。

• 规模： 他们成功吸引了 183 人报名。其中 102 人完成了整个计划。这可是同时在训练大量的人！
• 评审质量： 这些受训者评审了 117 篇论文。
• 结论： 97% 的参与者表示会向他人推荐这次经历。他们觉得学到了很多，并获得了新的视角。
• 作者反馈： 被评审论文的作者被问及受训者的评审是否有帮助。67% 的人表示有帮助。更有趣的是，63% 的作者注意到受训者的评审意见与官方评审员的意见相符，这意味着训练确实起到了使他们的思维与专家保持一致的作用。
• “保守”偏见： 受训者比真实评审员更为谨慎。他们拒绝论文的频率更高，要求“重大修改”的次数也更频繁。作者认为这是因为受训者不需要处理以后如果论文修复了还要重新阅读的麻烦，所以他们更严格。

小插曲与未来计划

它并不完美。最大的挑战是保持人们的参与度。该计划持续了大约三个月，到最后，有些人停止了参与，特别是在讨论阶段。组织者不得不介入，为一些小组撰写最终总结，因为有些小组陷入了停滞。

作者提出了下次改进的方案：

• 更多的“队长”： 他们提议创建一个名为“Shadow PC Area Chairs”的新角色。这些人是经验丰富的受训者，负责管理一小组评审员，推动讨论进行并提供帮助。这也创造了一个职业阶梯：受训者 $\rightarrow$ 队长 $\rightarrow$ 真实评审员。
• 更好的同步： 实时会议很棒，但时间太短。他们建议延长会议时间，并进行录制以适应不同时区。
• 社区化： 他们希望将其变成一个永久性的俱乐部，让过去的参与者回来帮助培训下一届成员，从而创建一个自给自足的社区。

总结

ICSE 2026 Shadow PC 证明了即使是从初学者开始，你也可以教会人们如何成为优秀的科学评审员。通过使用一种结构化的、强调实践的方法——即尝试、失败、获得反馈、再次尝试——你可以训练大规模的人群达到很高的标准。这不仅仅是培养更多的评审员，更是要建立一个领导力管道，培养那些懂得如何判断质量的人，从而确保软件研究的未来保持强大且公正。论文指出，如果我们不断完善这种“训练营”模式，我们就能在不牺牲质量的前提下，解决优秀的评审员短缺问题。