Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025
本研究表明,从2010年到2025年,被标记为计算机生成内容的撤稿元数据之所以大幅上升,主要是由少数出版商的清理计划所驱动,而非反映了人工智能在稿件中的实际盛行程度,这使得这些计数不适用于推断生成式人工智能的因果效应。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在学术出版领域,撤稿是对一篇已发表论文无法被信任的公开承认。它是一种更正,是一个信号,表明出了某些问题,无论是由于诚实的错误、不完整的研究,还是蓄意的欺诈。几十年来,研究人员和图书管理员一直将撤稿数量作为衡量研究诚信的一个粗略指标,假设撤稿数量上升意味着更多的劣质科学正在被发表。然而,这一假设忽略了一个关键细节:撤稿不仅是错误的记录,也是发现的记录。高额的撤稿量可能意味着一家期刊变得更擅长发现并解决问题,而不仅仅是发表了更多的错误。当处理计算机生成的内容时,这种区别变得尤为棘手,因为算法会创建看起来真实但内容荒谬的虚假论文。当这些论文被发现时,出版商通常会进行大批量移除,从而造成数据的突然激增,这看起来像是新一轮欺诈的洪流,但实际上可能只是单次的清理行动。
Anton Sokolov 在 Tyche 研究院开展的一项近期研究调查了这一现象,重点关注 2010 年至 2025 年间的情况。研究人员检查了 Retraction Watch 数据库的一个冻结快照,该数据库是来自世界各地的撤稿通知的精选集合。在总计近 61,000 篇撤稿记录中,该研究分离出了 9,102 条被明确标记为“计算机辅助”或“计算机生成”内容的记录。这些标签涵盖了广泛的问题,从早期生成随机乱码的系统到编写整篇论文的现代人工智能工具。其目的不是为了统计世界上存在多少篇虚假论文,而是为了理解撤稿数字究竟代表了什么。通过仔细观察是谁发布了撤稿、何时发生的以及如何进行分组,该研究表明,这些数字的剧烈上升几乎完全是由少数几家主要出版商进行的特定大规模清理计划驱动的,而不是科学界普遍存在的 AI 生成欺诈的稳步增长。
数据展示了过去十年间格局的明显变化。在 2010 年至 2019 年间,计算机生成的内容在撤稿中仅占极小比例,每年占比不足 1%。情况在 2020 年开始迅速发生变化。到 2023 年,被标记为计算机生成内容的撤稿比例飙升至近 42%。在随后的 2024 年和 2025 年,该比例保持在高位,分别为约 23% 和 24%。乍一看,这些数字暗示着 AI 生成的论文正以大规模、全球性的方式涌入科学文献。然而,当研究人员深入调查谁负责移除这些论文时,出现了不同的说法。高额数字并非由许多不同的出版商独立发现问题所致,而是由少数特定出版商发起的大规模、协调一致的移除行动的结果。
例如,在 2023 年,单一的出版商谱系提供了 98% 的计算机生成内容撤稿。在 2024 年和 2025 年,这一数字保持在 80% 以上,由两个不同的出版商群体在不同年份驱动。当研究人员从计算中剔除这些领先出版商的记录时,计算机生成内容的年度占比大幅下降。在 2023 年,该数字从 41% 降至仅 0.32%。在 2024 年和 2025 年,剩余的比例同样很小,分别维持在 0.6% 和 1.4% 左右。这一模式表明,头条新闻中的数字并不是衡量每年有多少坏科学被写出来的指标,而是衡量特定出版商在特定年份决定撤回多少篇论文的指标。研究发现,这些事件通常集中在单一期刊甚至单一天的元数据录入中,进一步证实了它们是组织的清理活动,而非弥散性的、全系统的性问题。
研究还对比了这些计算机生成内容撤稿与其他常见的撤稿原因(如剽窃、重复文章或受损的同行评审)。即使在这些已知具有集中性的其他类别中,计算机生成内容的标签也表现出更为集中的特征。虽然其他类型的撤稿分布在许多不同的出版商和期刊中,但计算机生成的标签在任何给定年份都由一两个出版商占据绝对主导地位。这种极度的集中表明,数据反映的是少数大型机构的行政行为,而非整个科学界 AI 生成文本的实际流行程度。研究指出,撤稿的具体原因也会根据进行清理的出版商而改变,有些年份显示出较高的“论文工厂”标签率,而有些年份则显示出不同的标签,从而进一步将数据与特定的出版商策略联系起来,而非统一的全球趋势。
最终,该研究得出结论,应当谨慎解读这些撤稿数字。它们是优秀的执法和清理记录,展示了出版商在识别并移除问题作品方面的成功之处。然而,它们并不是对作者使用人工智能撰写论文频率的直接测量,也不能证明此类失范行为在各处都在上升。单年内的高额撤稿量可能仅仅意味着某家出版商终于处理完了积压的调查,或者决定一次性撤回数千篇论文。要了解研究诚信的真实状态,必须超越原始总量,去考虑谁在计数、他们如何对数据进行分组,以及这些激增代表的是新一波欺诈,还是成功的一波修正。研究结果提醒我们,在科学指标的世界里,一个巨大的数字并不总是意味着一个巨大的问题;有时,它仅仅意味着一次大规模的清理。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。