Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It
该研究介绍了 BARS，一种盲审 AI 同行评审系统，它通过移除作者和期刊标识符来客观地审计生物医学文献，并证明了其在以低成本显著提高评审一致性、检测方法论缺陷以及揭示近期该领域科学严谨性下降方面的能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
科学依赖于一个简单而古老的承诺：在新的发现发表之前，独立的专家会阅读这些作品，以确保实验过程正确、数学计算无误，且结论能够从证据中得出。这一被称为“同行评审”的过程，是医学和生物学领域真理的守门人。几十年来，这一系统运作得相当出色，支撑起了我们对生命现代性的理解。然而，科学论文的数量呈爆炸式增长。自1991年以来，每年发表的生物医学文章数量增长了十倍以上，远远超过了可用于阅读这些文章的人类专家数量。当新研究的洪流超过了人类评审的能力时，所发表内容的质量就会出现下滑。统计学上的错误、缺失对照组或逻辑缺陷可能会悄然溜过，由于这些错误通常非常细微，它们可能在数年内都不被察觉，从而将其他科学家引向错误的道路。
为了应对这一日益严重的危机，一组研究人员构建了一种新型的裁判员：一种旨在阅读科学论文且不了解作者身份及发表出处的人工智能系统。他们将这个系统称为 BARS，即“盲审人工智能评审系统”（Blinded AI Review System）。其核心理念是剥离所有可能导致读者产生偏见的因素——著名的作者姓名、期刊的声望以及发表日期——从而使论文能够仅凭其科学质量接受评判。研究人员训练该系统去寻找四项具体内容：方法和统计是否严谨、数据是否确实支持所提出的主张、生物学观点是否符合现实，以及数据和代码是否公开共享。他们为每篇论文打出零到十分的评分，任何低于五分的评分都意味着存在足以破坏研究基础性的根本缺陷。
团队首先测试了他们的系统是否能在不受名声干扰的情况下，区分出好的科学与坏的科学。他们向人工智能输入了一组已被证明错误并撤稿的论文，以及一组经过验证的高质量研究。当人工智能可以看到作者姓名和期刊名称时，它会给名气大的论文打出稍高的分数，这表明即使是机器也会受到声望的影响。但当系统对这些信息进行屏蔽后，它变成了一个敏锐且客观的法官。它正确识别了几乎所有的缺陷论文，并为可靠的研究给出了完美的分数，且零误报。它还证明了自己比人类评审员更具一致性；当同一篇论文被人工智能多次评审时，得分几乎完全相同，而人类评审员之间往往存在分歧。
当研究人员将这一盲审系统应用于分布在八个不同生物学领域的320篇近期论文时，结果令人警醒。超过一半的论文未能通过测试，得分低于基本科学严谨性的阈值。失败率在不同领域间并不一致。依赖严格数学模型的领域（如分子进化）得分往往较高。而依赖复杂数据挖掘或易受污染影响的检测手段（如单细胞遗传学和微生物组研究）的领域，得分则要低得多。期刊类型也起到了至关重要的作用。发表在高度选拔性的传统期刊上的论文，其得分显著高于那些虽然收取发表费但声称仅考察技术严谨性的海量开放获取期刊。事实上，顶级学会期刊的平均论文质量比商业化巨型期刊高出近一个整分，这一差距表明评审过程本身确实会产生影响。
研究人员还观察了同行评审究竟能在多大程度上改进一篇论文。他们对比了论文在网络发布前的初稿（即预印本）与最终在期刊上发表的版本。对于被选拔性、严谨期刊接收的论文，最终版本明显更好，具有更清晰的方法和更强的证据。但对于在商业化巨型期刊上发表的论文，最终版本与初稿几乎没有区别，在某些情况下，修订过程甚至因为引入了新错误而使论文变得更糟。研究发现，盲审人工智能系统可以捕捉到人类评审员遗漏的几乎所有批评意见，包括数学错误和不可能存在的生物学主张，同时也能发现人类评审员完全忽略的缺陷。
回顾过去三十五年的科学文献，团队发现了一个明显的质量下降趋势。论文的平均得分自20世纪90年代以来一直在稳步下降。这种下降并非因为既有期刊降低了标准，而是因为已发表研究的构成发生了变化。研究领域已从在湿实验室进行的原始实验，转向了仅仅是对公共数据库中现有数据进行重新分析的研究，且往往使用并不符合特定问题的程式化模板。虽然这些数据库研究成本更低、产出更快，但它们更容易包含根本性的错误。研究表明，资金充足的研究团队并不自动产生更好的科学；一旦达到一定的资金水平，增加投入并不会提高论文质量。同样，最昂贵的期刊也不一定发表最严谨的科学。
这项研究中最令人震惊的部分在于，研究人员利用自己的系统对自己的职业生涯进行了审计。他们将自己发表的238篇论文输入到盲审系统中。人工智能发现了他们工作中的真实错误，包括表格中的复制粘贴错误、单位标注错误以及曾避开作者和原始人类评审员的统计缺陷。该系统甚至在本次研究的草稿发表前，就抓住了其中的五个错误。这次自我审计证明，没有任何科学家能免于犯错，而客观的自动化检查可以捕捉到人类因疲劳或偏见而可能忽略的错误。
研究人员总结道，当前的科学出版体系正承受着压力，但他们提出了一个切实可行的路径。他们建议，可以在将论文送交人类评审员之前，先运行一个简单的自动化检查。这种检查每篇论文仅需花费几美分，仅为人类劳动力成本的一小部分，但它能捕捉到成千上万个原本会被忽视的错误。通过消除名声和声望的影响，并专注于文本本身的逻辑与证据，这样的系统可以帮助恢复科学文献的可靠性。其目标不是取代人类专家，而是为他们提供一个更好的基础，确保我们所阅读的科学正如其声称的那样坚实可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。