What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
这项针对 9,161 篇撤稿论文的元数据分析显示，Retraction Watch 中“计算机生成内容”这一原因高度集中在单一出版商，并与论文工厂密切相关，但这些模式反映的是共同编码实践，而非为被撤稿文章中实际存在生成式人工智能提供确定性证据。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在浩瀚的人类知识库中，每一篇发表的研究本应是真理的基石。但有时，这些基石会被抽走。当一家期刊认定一篇论文存在缺陷、欺诈或仅仅是错误时，它会发布撤稿通知，实际上是将该文章从科学的架子上撤下。几十年来，研究人员一直在追踪这些撤稿行为，以了解系统是如何失效的。最近，一个新的原因出现在撤稿通知中：“计算机生成内容”。当调查发现一篇论文全部或部分是由机器而非人类撰写时，就会标注这一标签。随着人工智能工具变得更加强大且易于获取，这一原因迅速增加，导致许多人认为这标志着一波由生成式人工智能驱动的新型学术不端行为。问题在于，这个标签究竟是指向了人工智能撰写的论文激增，还是捕捉到了完全不同的现象。
一位名叫乔纳斯·曼达伦斯（Jonas Mandalunes）的研究人员着手调查这个标签究竟捕捉到了什么。利用一个包含超过 66,000 条撤稿记录的海量数据库，该研究重点关注了 9,161 篇带有“计算机辅助或计算机生成内容”原因的论文。其目标是观察这些论文在被撤稿前的出版时长、它们还存在哪些其他问题，以及在撤稿后被引用的频率方面，是否表现出与其他撤稿文章不同的特征。研究结果表明，这个标签背后的故事远比简单的 AI 滥用复杂且具体得多。
数据展示的第一件事是数字的大幅飙升，但这并非在整个科学界范围内的稳步增长。在 2020 年之前，这一原因几乎不存在，仅出现在 28 篇论文中。然而，到 2023 年，它已占当年记录的所有撤稿量的近 42%。这种突然的爆发看起来像是一波 AI 生成欺诈的滔天巨浪。然而，当研究人员仔细观察时，发现这股浪潮并非来自四面八方。它几乎完全集中在一个特定的地方：一家名为 Hindawi 的出版商。事实上，所有带有此标签的论文中有 70% 来自这家出版商。该出版商最近对其特刊项目进行了大规模内部调查，揭露了同行评审过程中的广泛操纵。研究表明，该标签在很大程度上捕捉的是这次特定的大规模清理行动的后续影响，而非所有科学领域中 AI 写作的普遍流行。
另一个共同假设是，这些计算机生成的论文被发现的速度比其他欺诈性工作要快得多。由于机器可以快速生成文本，因此逻辑上认为它们的错误也会被快速发现。原始数据似乎支持了这一点，显示与时间线杂乱多变的其它撤稿论文相比，“计算机生成”类论文在撤稿前的周期范围要紧凑得多。然而，这种紧凑的时机是一种由数据集中化造成的错觉。当研究人员仅将这些论文与来自同一出版商且在同一年份的其他论文进行比较时，这种时间差异消失了。“计算机生成”类论文并没有被更快地发现；它们只是在那个特定出版商进行的调查期间，作为一批同时被审查和撤稿的论文中的一部分。一旦移除了主导性的出版商进行对比，这些论文具有独特且快速时间线的观点便完全不复存在了。
研究还调查了该标签与“论文工厂”（即出售虚假作者身份和伪造稿件的组织）之间的联系。最初，数据展示了强烈的关联：71% 的“计算机生成”类论文也带有论文工厂的标记，而其他撤稿论文中这一比例仅为 9%。这表明该标签是这些犯罪活动的一个可靠指标。但同样，当数据按出版商和年份进行分类后，情况发生了变化。在 2023 年之前，这种联系并不存在。在 2023 年和 2024 年，这种联系变得非常强，但仅限于特定的出版商。在其他大型出版商中，这种关系实际上发生了反转，即“计算机生成”类论文与论文工厂的关联度反而低于其他撤稿论文。这种极端的差异意味着，将该标签与论文工厂联系起来并没有一个单一、普遍的规则；这种关联完全取决于谁在进行调查以及何时进行。
最后，研究人员查看了这些论文在被撤稿后的引用情况，以判断科学界是否关注到了这一警告。乍看之下，似乎“计算机生成”类论文的引用次数明显低于类似的撤稿论文。但这种差异很大程度上是因为对照组的论文在被撤稿之前就已经获得了大量的引用。当研究人员根据论文已获得的引用量对论文进行完美匹配后，撤稿后的引用差异几乎消失了。剩余的微小差距在统计学上并不显著，这表明在考虑了先前的声誉后，科学界对待这些论文的方式与其他撤稿作品并无二致。
或许最具有启示性的发现来自于对撤稿说明中特定词汇的搜索。研究人员在论文的元数据中寻找提及特定 AI 工具（如 “ChatGPT” 或 “大语言模型”）的情况。在数千条记录中，只有 21 条包含了此类特定术语。更令人惊讶的是，在那些带有“计算机生成内容”标签且提到了特定 AI 工具的论文中，没有任何一篇是关于该工具本身的研究；它们是关于 AI 的研究，而非由 AI 撰写的论文。唯一一篇提到 AI 生成图像的论文甚至没有带有“计算机生成内容”的标签。这表明，该标签的标注并非因为撤稿说明明确指出“这是由机器撰写的”。相反，该标签是基于对论文完整性的广泛调查，通常伴随着对同行评审失效的调查结果而应用。
研究结论认为，“计算机生成内容”这一标签在撤稿数据库中并不是衡量生成式 AI 滥用的可靠指标。它是对一家出版商特刊项目进行的一次特定、大规模调查的记录，在该调查中，该标签被用于描述包括论文工厂和同行评审失败在内的广泛问题。数据表明，该标签并未指向一种被更快发现或被科学界以不同方式对待的独特类型的论文。在研究人员能够阅读实际的撤稿说明并核实论文内容之前，将该标签作为衡量 AI 生成欺诈的尺度将会导致对问题的扭曲认知。真实的故事并非 AI 撰写的科学论文突然入侵，而是一次针对特定出版流程的集中清理，而该流程恰好使用了一个宽泛的标签来描述其调查结果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。