On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists
这项涉及 45 位专家评估 82 篇《自然》系列论文评审意见的研究发现，虽然先进的 AI 评审员在识别正确且重要的批评方面可以超越顶尖的人类评审员，但它们也表现出更高的错误率和独特的弱点，从而使其定位为人类同行评审的有价值补充而非替代品。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几十年来，科学发现的引擎一直依赖于一种无声的人类仪式：同行评审。在新的发现被发表在主要期刊上之前，它会被发送给该特定领域的少数几位专家。这些科学家会阅读研究成果，检查数学计算，并提出尖锐的问题，以确保研究结果是真实的，结论是可靠的。这一系统旨在捕捉错误并完善想法，但它正承受着巨大的压力。提交论文的数量急剧增长，而有时间阅读这些论文的合格专家库却并未随之扩大。因此，许多研究人员担心这些评审的质量正在下降，且这一过程正成为进步的瓶颈。
为了应对这一挑战，一种新的工具应运而生：能够阅读手稿并撰写评审报告的人工智能代理。这些数字评审员已经被一些会议和期刊所采用，但一种挥之不去的疑虑依然存在。机器真的能理解科学工作的细微差别吗？它能分辨出一个微小的拼写错误与实验中的致命缺陷之间的区别吗？或者它只是一个高级的鹦鹉，生成看似合理但缺乏真正见解的文本？为了回答这个问题，一个庞大的研究团队致力于将这些数字评审员与人类专家的“金标准”进行对比，他们并非询问双方是否在最终评分上达成一致，而是通过检查他们提出的具体批评意见来进行测试。
研究人员收集了一个由《自然》（Nature）家族期刊发表的 82 篇论文组成的大型数据集，该系列期刊以高影响力科学著称。这些论文已经通过了标准的真人评审流程，这意味着每篇论文都有来自真实科学家的三份独立报告。随后，研究团队要求三个不同的先进人工智能系统阅读相同的论文并生成各自的评审意见。为了观察谁做得更好，他们招募了 45 位来自物理、生物及健康科学等领域的专家。这些专家花费了数百小时阅读人类专家和人工智能提出的每一条批评。他们不仅仅是给出一个分数，而是对每一个观点进行逐一评估，提出了三个问题：这一事实是否正确？这个问题是否重要到值得关注？以及评审员是否提供了足够的证据让作者进行修正？
结果呈现出一幅复杂的图景，挑战了那种简单地将人工智能视为完美替代品或完全失败者的看法。当研究人员观察评审的整体质量时，表现最好的 AI 系统在每篇论文上的表现都优于评分最低的人类评审员。事实上，在结合了正确性、重要性和证据性的综合得分上，顶尖的 AI 系统甚至超越了每篇论文中表现最好的人类评审员。这表明，人工智能已经能够产生比目前流通的最弱人类评审意见更有用的反馈。
然而，人工智能并非完美无缺。人类专家发现，AI 犯下的事实性错误比顶尖人类评审员更多。AI 有时会误读文本或误解研究方法。然而，当 AI 的判断正确时，其批评往往比人类更具意义。AI 倾向于发现那些人类评审员错过的重大、高风险问题。总计来看，在 26% 的案例中，AI 提出了人类评审员未曾察觉的正当疑虑。这表明，人工智能不仅仅是在重复人类的话语；它正在发现人类专家忽视的新颖且有价值的角度。
研究还观察了评审员之间的共识程度。在一个健康的同行评审过程中，不同的专家带来不同的视角，因此他们的评审往往涵盖论文的不同部分。研究证实，人类评审员很少重复完全相同的批评，他们具有多样性。然而，人工智能的表现则不同。当一个 AI 评审员被加入专家小组时，它表现得非常像一位新的成员，能带来新鲜的视角，而不仅仅是复制他人。但如果用一个 AI 评审员小组取代整个人类评审员小组，系统就会变得冗余。AI 评审员之间重复相同批评的频率远高于人类。这意味着，虽然一个 AI 评审员可以作为团队的极佳补充，但一个完全由 AI 组成的团队将会缺失使人类评审发挥强大作用的多样化思维。
最后，研究人员深入挖掘了 AI 的具体优势与劣势，以理解其表现背后的原因。AI 擅长需要勤勉和注重细节的任务。它在检查统计假设、阅读作者提供的源代码以及发现摘要与方法部分之间的一致性方面表现出色。它不会感到疲劳，也不会遗漏文本中埋藏的微小细节。然而，它的弱点在于缺乏语境。AI 经常难以根据特定科学领域的规范来判断问题的严重程度。它可能会要求一种在某一领域是标准但在另一领域并无必要的验证方式，或者可能会声称某个细节缺失，而该细节实际上隐藏在补充文件中。AI 是严谨的，但有时过于僵化，在人类专家本应保持灵活的地方应用了一种“一刀切”的标准。
研究结论认为，这些 AI 评审员不应被视为人类科学家的替代品，而应被视为强大的补充工具。它们最适合用于增强人类的评审过程——捕捉那些疲惫的人类可能会错过的错误和重大问题，同时由人类提供必要的语境和判断力，以决定什么才是真正重要的。数据表明，科学评审的未来不在于在人类或机器之间做选择，而在于将人工智能的不懈勤勉与人类专家的深厚语境智慧结合起来。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。