Improving machine learning-based paper mill detection in cancer research using full text, image and citation data
本研究表明，通过将全文、引用和图像数据与标题及摘要信息相结合，增强癌症研究中基于机器学习的论文工厂检测，可以显著提高模型的准确性，在内部验证中达到 98.2%，在外部验证中达到 96.4%。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在浩瀚的科学知识库中，研究人员在前辈的肩膀上构建新的发现，但其中也存在着一个危险的阴影：论文工厂。这些并非产生诚实错误的微型作坊，而是有组织的运营机构，它们制造虚假的科研论文，并将署名权出售给任何愿意付费的人。它们造成的破坏是深远的，尤其是在癌症研究领域。当科学家试图治愈一种疾病时，他们依靠已发表研究中的数据来指导下一步行动。如果这些数据是由论文工厂伪造的，科学家就会浪费数年的时间、耗费数百万美元去追逐一个幻影，而患者则因此面临风险。多年来，科学界一直努力在这些伪造品发表前发现它们，通常依赖于通过论文的标题和简短摘要来识别欺诈。但随着造假者变得越来越熟练，他们撰写的摘要也变得越来越难以与真实的论文区分开来。
最近的一项研究旨在观察，通过深入挖掘一篇论文的内容是否能抓获这些造假者。研究人员提出了一个简单的问题：如果我们审视一整篇研究论文，包括其详细的方法、结果、实验图片以及它引用的其他论文列表，我们能否比仅通过阅读标题和摘要更好地识别出欺诈？为了回答这个问题，他们构建了一个计算机系统，该系统经过训练，能够识别论文工厂的细微特征。他们收集了大量已被专家标记为已知的假论文，并将它们与一大组高质量的真实癌症研究论文进行配对。随后，团队将这些数据输入到一个机器学习系统中，这是一种通过示例学习模式的人工智能。他们以三种不同的方式测试了该系统：首先，仅给它标题和摘要；第二，给它完整的方法和结果部分文本；第三，向它展示实验中使用的实际图像。最后，他们将所有这些线索结合成一个强大的检测器。
结果表明，观察全貌会带来显著差异。当计算机受限于仅有标题和摘要时，它的表现良好，在新的、未见过的测试组中正确识别了约 91.5% 的假论文。这与以往仅依赖短摘要的工具的表现相匹配。然而，当研究人员加入了论文的全文，特别是描述实验是如何进行以及结果是什么的部分时，系统的准确性提高了。它开始捕捉到更多的假论文，在新的测试组中达到了 92.1% 的准确率。全文揭示了短摘要所遗漏的模式，例如重复使用的实验方案或逻辑不通的成分序列，这些都是论文工厂常用的伎俩。
研究还测试了论文中的图像是否能提供帮助。计算机接受了训练，通过观察图表和插图来判断其是否看起来经过篡改或可疑。虽然这种方法比随机猜测要好，但不如阅读文本那样可靠。图像检测器在新的测试组中正确识别了约 76% 的假论文，但比基于文本的工具更容易出错。它在识别真论文方面表现出色，但在识别假论文方面表现欠佳。这表明，虽然假图像是一个警示信号，但论文中的文字讲述了一个更清晰的故事。研究人员还查看了参考文献列表，检查一篇论文是否引用了其他已知的假论文。这一线索很有用，但它是所有信号中最弱的一个，这可能是因为现有的已知假论文列表尚不够完整，无法捕捉到所有的关联。
当研究人员结合所有可用信息时，出现了最强大的工具。他们提取了文本阅读器、图像查看器和参考文献检查器的评分，并将它们合并为一个单一决策。这个融合模型同时考虑了全文、图像和引用，实现了所有测试系统中最高的准确率。在新的、未见过的测试组中，它正确识别了 96.4% 的假论文。这比依赖单一类型线索的旧方法有了明显的提升。研究表明，随着论文工厂变得更加复杂，阻止它们的唯一方法是使用一个能够审视文档每一个部分的系统。正如人类编辑可能会阅读论文、检查照片并验证来源以确保质量一样，现在的计算机也在做同样的事情，但其速度和规模是人类无法比拟的。研究结果表明，保护科学诚信的未来在于这些全面的、多层次的检查，从而确保癌症研究的基础保持稳固且值得信赖。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。