LLM hallucinations in the wild: Large-scale evidence from non-existent citations
本研究提供了大规模证据，表明大型语言模型的广泛采用已导致数百万篇科学论文中不存在的引用急剧增加，在超出当前编辑保障措施的同时，威胁到知识生产的可靠性与公平性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用通俗易懂的语言和日常类比对该论文的解读。
核心理念：“虚构书籍”问题
想象一下你正在写一篇学校论文。你需要在参考文献列表中列出你读过的书籍。如果你编造了一本不存在的书名，你的老师很容易就能查证并指出：“这本书不是真的。”
这篇论文深入调查了当**人工智能（大型语言模型）**开始为科学家撰写这些参考文献时会发生什么。研究人员发现，人工智能正日益编造虚构的书名（引用），并将它们混入真实的科学论文中。虽然科学家过去也会犯一些小错误，但研究表明，自人工智能普及以来，这些“虚构书籍”的数量呈爆炸式增长。
他们是如何识破人工智能的
研究人员将科学界视为一个巨大的图书馆。他们检查了四个主要数字图书馆（arXiv、bioRxiv、SSRN 和 PubMed Central）中的1.11 亿条参考文献（引用）。
- 方法： 他们构建了一个数字“搜索引擎”来核查每一条引用。如果搜索引擎在现实世界中找不到对应的书籍或论文，他们就会将其标记为“未匹配”。
- 过滤： 他们知道有些引用仅仅是格式混乱（排版错误）或是冷门的书籍。因此，他们利用智能人工智能来清理这些混乱的引用。如果经过所有清理步骤后，某条引用仍然无法被找到，他们便将其计为幻觉（即虚构的引用）。
- 基准线： 他们将人工智能普及之前（2022 年）的虚构引用数量与之后进行了对比。他们发现，从 2024 年开始，数据出现了一个尖锐且令人担忧的激增。
结果： 仅在 2025 年，他们估计这四个图书馆中就有146,932 条虚构引用。而这很可能只是冰山一角。
谁在制造这些问题？
论文发现，“虚构书籍”问题并非源于少数害群之马，而是广泛分布，但集中在特定群体中：
- “初出茅庐的新手”： 最有可能包含虚构引用的科学家是早期职业研究人员（学生和刚入职的教授），他们尚未发表过太多论文。
- 类比： 这就像一位刚学会开车的新手，尚未完全掌握交通规则。他们利用人工智能辅助驾驶（撰写论文），但由于对地图不够熟悉，无法识别错误，从而无意中驶入了虚构的街区。
- “独行侠”： 由单一作者或小型团队撰写的论文，其虚构引用率远高于大型团队。
- 类比： 如果你独自写故事，可能会漏掉拼写错误。如果你与编辑团队共同创作，其他人就会帮你发现这些错误。大型团队充当了安全网；而小型团队往往缺乏这种保障。
- “重度依赖人工智能”的领域： 人工智能使用最频繁的领域（如计算机科学和社会科学），其虚构引用率最高。
谁获得了“功劳”？
这里是不公平的地方。当人工智能编造一篇虚构论文时，它不仅仅是随机编造一个名字。它倾向于编造由著名、成功、男性科学家撰写的论文。
- 类比： 想象一个学生在历史作业中编造了一句虚构的引语。该学生并非随机编造一个名字，而是无意中（或潜意识地）编造了历史上最著名总统的引语。
- 后果： 这意味着人工智能正在无意中加剧不平等。它给予那些已经成名且为男性的学者额外的“功劳”，而忽视了那些不太出名或女性学者。即使论文是虚构的，那位著名人物的名字也被添加到了“撰写过此主题的人”名单中。
为什么编辑没有发现？
你可能会想：“期刊在发表前难道不检查这些论文吗？”研究表明，实际上并没有。
- “预印本”问题： 许多科学家在正式发表之前就会将作品发布到网上（就像博客上的草稿）。研究发现，**78.8%**的虚构引用在最初的在线审核中就被放行了。
- “同行评审”的缺口： 即使这些论文进入正式期刊接受评审，仍有**85%**的虚构引用通过了该过程并被发表。
- 类比： 这就像音乐会的安检员检查门票。安检员能抓住那些非常明显的假票持有者，但那些拥有“看起来很像样”的假票（由人工智能制作，极具说服力）的人却能径直通过。
“雪球”效应
最危险的部分在于虚构引用是如何传播的。
- 图书馆被污染： 一旦虚构论文被发表，它就会加入 Google Scholar 和其他数据库中。
- 循环： 未来的研究人员（以及未来的人工智能）会搜索这些数据库，看到这篇虚构论文，并想：“哦，这是一个真实的来源！”然后他们会在自己的工作中引用它。
- 结果： 这篇虚构论文因为被所有人当作真实文献对待而变得“真实”。人工智能正在从自己的错误中学习，创造出一个恶性循环，使得图书馆里充斥着越来越多的虚构内容。
结论
这篇论文认为，我们正处于一场信任危机之中。科学依赖于这样一个理念：如果你引用了一篇论文，那么这篇论文确实存在，并且正如你所声称的那样阐述了内容。
研究表明，人工智能正在破坏这种信任。即使在科学领域——这里拥有最严格的规则和最好的事实核查工具——人工智能每年仍能成功混入数千条虚构引用。如果这种情况发生在最容易发现错误的科学领域，那么论文暗示，在法律、医学和政府报告等缺乏事实核查工具的领域，情况可能更加糟糕。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。