← 最新论文
📊 统计学

Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?

本研究分析了来自机器学习会议的近16万条评审元数据,发现没有统计学证据支持“审稿人2”关于固有严苛性或两极分化的刻板印象,这表明该现象可能是一个测量误差或依赖于机构的偏差,而非普遍存在的现实。

原作者: Muh. Akbar Idris

发布于 2026-11-17✓ Author reviewed ⓘ
📖 1 分钟阅读☕ 轻松阅读

原作者: Muh. Akbar Idris

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

在学术科学的世界里,从一个新想法到一篇发表论文的路径是由一个被称为同行评审的过程铺就的。在研究问世之前,它会被发送给该领域的其他专家,由他们进行仔细阅读并提供判断。这些被称为评审员的专家充当着守门人的角色,决定该项工作是否足够严谨以至于可以与世界分享。他们分配分数、撰写详细的评语,并经常建议该论文应该是接受、拒绝,还是需要进行重大修改后再提交。这一制度旨在确保质量,但它也是作者焦虑的来源。一个严厉的评论就可能毁掉一个人的职业生涯,而且这个过程通常笼罩在神秘之中,评审员的身份对他们所评判的作者是隐藏的。

随着时间的推移,这一制度内部产生了一个特定的文化故事。作者和科学家们产生了一种共同的怀疑,认为报告中列出的第二个评审员格外难以对付。“评审员 2”已成为科学界的一个民间反派,被想象成一个与同事相比不成比例地严苛、轻蔑或具有阻碍性的形象。这种刻板印象暗示,如果一篇论文有一个第二评审员,那么这个人就是可能扼杀项目的人。但这究竟是人们行为中的真实模式,还是仅仅源于挫败感的心理感受?为了回答这个问题,一位研究人员需要超越轶事,去观察成千上 thousands 份评论背后的实际数据,看看第二个人是否真的表现得与第一人或第三人不同。

一位研究人员试图通过检查来自开放科学会议的大量真实世界数据来调查这一神话。他们收集了近 63,000 份稿件和超过 157,000 份个人评论的信息。他们的目标是剥离情绪和故事,严格审视分数和决策。他们专注于一个具体的问题:被标记为“评审员 2”的人是否真的给出了更低的分数、更频繁地使用极端评分,或者比评估同一篇论文的其他评审员产生更多的分歧?研究人员小心地区分了分配给评审员的编号与他们实际撰写报告的顺序,因为知道这两者并不总是相同的。然而,值得注意的是,本研究使用的数据主要集中在机器学习会议中,具体提取自 2018 年至 2021 年间的 ICLR 的 7,966 份稿件。这意味着研究结果最适用于这些开放评审环境,可能无法完全推广到传统的跨学科期刊。

在利用严谨的统计方法分析数据后,研究发现没有证据支持“评审员 2 是某种特殊反派”的观点。当研究人员将第二位评审员给出的分数与其同行的平均分数进行比较时,其差异微小到实际上可以忽略不计。事实上,数据表明,第二位评审员并没有系统性地更加严苛,也没有更有可能使用最极端的“拒绝”或“接受”评分。对第二个人在名单上注定会带来麻烦的恐惧似乎是一个神话。研究人员还观察了第二位评审员的意见在编辑做出最终决策时是否具有更大的权重。虽然任何人的严厉评论都可能导致拒绝,但并没有特殊的“乘数效应”使第二位评审员的意见比其他人更强大。

尽管这项研究拆穿了主要的神话,但它也揭示了一些关于过程运作方式的有趣细节。研究人员发现,评审员屏幕上看到的编号往往与他们实际提交工作的顺序不符。在他们研究的数据集中,公共标签“评审员 2”与实际第二个提交报告的人匹配的情况仅占约 30%。这意味着作者抱怨的那个“反派”可能甚至不是写第二份报告的人;编号通常只是一种随机分配或存储顺序,与事件发生的先后顺序无关。此外,当研究人员观察在作者撰写反驳(rebuttal)后,评审员之间的分歧是否得到解决时,他们看到整个群体倾向于在意见上趋于一致,但并没有迹象表明第二位评审员是改变主意或引起摩擦的人。

这项调查中最具启发性的部分之一,是测试了解哪个评审员给出了哪个分数是否有助于预测论文的最终结果。研究人员构建了计算机模型,观察将第二位评审员的分数视为一个独立的、特殊的因素,是否能提高他们预测论文被接受或拒绝的能力。结果显示,一个简单的所有分数平均值在预测效果上与一个试图给第二位评审员特殊权重的模型一样好,在某些情况下甚至更好。这表明编辑们很可能是在看集体的智慧,而不是纠结于某个特定的编号位置。数据表明,对难以对付的第二位评审员的感知,很可能是人类记忆负面经历的结果,而非评审制度本身的统计现实。

研究还观察了评审过程随时间变化的动态。在作者被允许对评审进行回应的一组论文子集中,研究人员追踪了分数是如何变化的。他们发现,在反驳阶段之后,不同评审员之间的意见差距往往会缩小,这意味着评审员们经常找到了共同点。然而,这种趋同是全面发生的,并不是由第二位评审员的行为变化所驱动的。研究人员得出结论,虽然应对严厉评审员的经历对许多作者来说是真实且痛苦的,但认为名单上的第二个人负有特殊责任的观点并不受证据支持。系统是复杂的,分歧确实存在,但它们并不是由针对特定编号位置的隐藏偏见造成的。

最终,这项大规模调查提醒我们,我们对系统运作方式的直觉有时可能是误导性的。“评审员 2”现象之所以是一个强大的故事并引发共鸣,是因为它为拒绝带来的挫败感提供了一个具体的面孔,但数据表明,这个面孔并没有固定在某个特定的数字上。严苛、分歧以及高风险的同行评审,是分布在整个专家群体中的,而不是集中在第二个位置。通过用测量取代神话,研究人员展示了科学界可以更好地理解自身的流程,将注意力集中在判断力的真实变异来源上,而不是去追逐一个在数字中并不存在的幽灵。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →