How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations

该研究通过对 10 个主流大语言模型在四个学术领域进行的近 7 万次引用审计，量化了引用幻觉的广泛性及其受模型、领域和提示词的影响，并提出了多模型共识、提示内重复验证以及基于书目特征的分类器三种有效检测与缓解方法。

要点

这篇论文就像是一次对AI 写论文时的“编造参考文献”行为进行的超级大体检。

想象一下，你让一个非常聪明的学生（AI）帮你写一份关于“气候变化”或“人工智能”的学术报告，并让他列出参考书目。你本以为他会去图书馆查资料，结果发现，他有时候会一本正经地胡说八道，编造出一些看起来非常真实、格式完美，但根本不存在的论文和作者。

这篇论文的作者（M.Z. Naser 博士）为了搞清楚这件事有多严重，搞了一场大规模的“捉鬼行动”。

以下是这篇论文的通俗解读：

1. 这场“捉鬼行动”有多大？

作者找了 10 个 目前市面上最火的 AI 模型（比如 GPT-4o, Claude, Llama 等），让它们在不同的学科领域（如工程、医学、AI 本身）里生成参考文献。

• 总产量：它们一共“编造”或“引用”了 近 7 万条 参考文献。
• 大排查：作者把这些引用拿去三个巨大的学术数据库（CrossRef, OpenAlex, Semantic Scholar）里核对。
• 结果：发现这些 AI 的“撒谎率”差别巨大。有的 AI 很老实，撒谎率只有 11%；有的 AI 则是个“大骗子”，撒谎率高达 57%。

2. 核心发现：AI 为什么会撒谎？

🎭 发现一：AI 不会“主动”撒谎，是“被问”才撒谎的

这是一个非常有趣的发现。作者做了一个实验：如果不问 AI“请列出参考文献”，只是让它写文章，没有任何一个 AI 会主动编造参考文献。

• 比喻：这就像是一个厨师，如果你不让他“做一道菜”，他绝不会凭空变出一盘菜。只有当你明确说“给我列个菜单”时，他为了完成任务，才会开始瞎编。
• 结论：撒谎不是 AI 的“本性”，而是因为它太想满足你的要求了，于是开始“脑补”。

🕰️ 发现二：越“新”的东西，越容易编

如果你让 AI 找“最近 5 年”的热门研究，它的撒谎率比找“几十年前的经典老论文”要高得多。

• 比喻：AI 的大脑（训练数据）里存了很多老书，但新书可能还没完全读进去。当你要它找新书时，它记不住，为了交差，它就“现编”了一个听起来很像那么回事的新书名。

📚 发现三：不同领域的“撒谎”程度不同

• AI 和语言学领域：AI 最诚实，因为它的训练数据里全是这些内容。
• 土木工程领域：AI 最爱撒谎，因为这方面的专业资料在它的“大脑”里相对较少，它更容易“瞎编”。

3. 怎么识别和防止 AI 撒谎？（三个实用锦囊）

既然 AI 爱撒谎，我们该怎么办？作者给出了三个简单有效的“防骗指南”：

锦囊一：人多力量大（多模型共识）

如果你让 3 个不同的 AI 同时回答同一个问题，并且它们都引用了同一篇论文，那么这篇论文是真的概率高达 95.6%！

• 比喻：就像三个不同的侦探去查案，如果他们都指认同一个人是凶手，那这个人大概率就是凶手。如果只有一个人说，那可能是他在瞎编。
• 建议：写论文时，别只问一个 AI，多问几个，看它们“撞车”的引用。

锦囊二：事不过三（重复验证）

如果你让同一个 AI 把同一个问题问三遍，如果它三次都给出了完全一样的引用，那这篇论文是真的概率也很高（88.9%）。

• 比喻：如果一个人编故事，每次讲细节都不一样；但如果他每次讲的故事细节都一模一样，那说明这个故事是“背下来”的（真的存在），而不是现场瞎编的。

锦囊三：一眼识破（AI 检测器）

作者训练了一个小工具，不需要去查数据库，光看引用的文字特征就能判断真假。

• 怎么骗过它？ 假的引用通常有一些“破绽”：
  • 作者名字太短：真的论文通常有很多作者，假的引用往往只写一两个，或者名字看起来很奇怪。
  • 没有"et al."：真的长论文通常会写“作者 A 等”，假的引用往往不敢写“等”。
  • 年份太新：AI 编造时，喜欢编造最近一两年的论文。
• 比喻：这就像警察看假钞，虽然假钞印得很像，但纸张的纹理、水印的深浅（也就是作者名字的长度、年份的分布）总是有破绽的。这个小工具就是专门抓这些破绽的。

4. 一个令人惊讶的“退步”现象

作者发现，并不是 AI 越新就越聪明。

• OpenAI 的 GPT-5 比 GPT-4 进步巨大，撒谎少了 34%。
• 但是，Anthropic 的 Claude 4.5 却比 Claude 3.5 退步了，撒谎率反而增加了 8%。
• 结论：AI 的进化不是线性的。有时候为了安全或别的调整，反而让它在“编造文献”这件事上变得更不靠谱了。

5. 总结：这对我们意味着什么？

1. 不要全信 AI：AI 生成的参考文献列表，必须人工核对。不能直接复制粘贴到论文里。
2. 撒谎是“被诱导”的：只要你不让它列参考文献，它就不会编。
3. 有办法防：
   • 多问几个 AI，看它们是否“串通”（共识）。
   • 多问几次同一个 AI，看它是否“背得出来”（重复）。
   • 用作者开发的小工具先扫一遍，把明显的假引用过滤掉。

一句话总结：
AI 是个才华横溢但偶尔会“开小差”的学生。它不会无缘无故撒谎，但当你逼它交作业（列参考文献）时，它可能会为了完成任务而“蒙”你。作为老师（研究者），我们需要用“多人核对”和“细节检查”来防止它蒙混过关。

技术摘要

这是一份关于论文《LLMs 如何引用及其重要性：AI 辅助学术写作中的参考伪造跨模型审计及幽灵引用检测方法》（How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations）的详细技术总结。

1. 研究背景与问题 (Problem)

大型语言模型（LLMs）在学术写作中被广泛使用，但它们存在严重的**引用幻觉（Citation Hallucination）**问题，即生成看似格式正确但实际不存在的文献引用（如将真实作者与虚构标题结合）。

• 现有研究局限： 以往研究样本量小（通常仅测试 4 个模型），缺乏跨供应商、跨领域的系统性比较；未区分“近期”与“经典”文献对幻觉率的影响；缺乏“无提示（unprompted）”对照组，无法确定引用幻觉是模型的内生倾向还是由提示诱导的行为。
• 后果： 未经检测的虚假引用会污染学术记录，导致错误的知识传播链条，且现有的同行评审机制难以识别此类错误。

2. 方法论 (Methodology)

本研究进行了迄今为止规模最大的引用幻觉审计之一，采用了严谨的实验设计：

• 实验对象： 测试了 10 个 商业部署的 LLM，涵盖 7 家 主要开发商（OpenAI, Anthropic, Meta, DeepSeek, Moonshot AI, Mistral 等），包括开源和闭源模型。
• 实验设计：
  • 领域： 4 个学术领域（结构工程、气候与环境科学、生物医学、NLP/AI）。
  • 提示变量： 2 种时间框架（“近期且有影响力”vs“经典且基础”）。
  • 控制组： 设置了无提示对照组（询问相同主题但不要求引用），以测试模型是否会自发生成引用。
  • 重复性： 每个提示重复 3 次。
  • 数据规模： 共生成 69,557 次引用实例，其中 40,529 次经过验证。
• 验证管道： 建立了三级验证流程，交叉查询 CrossRef, OpenAlex, Semantic Scholar 三个数据库。
  • 评分机制： 基于标题相似度 (0.6)、作者重叠 (0.2) 和年份一致性 (0.2) 计算置信度分数（0-100）。
  • 分类标准： 分数≥80 为“确认（Confirmed）”，65-79 为“可能（Probable）”，<65 为“幻觉（Hallucinated）”。
• 检测工具： 开发了一个仅基于书目字符串特征（如作者数量、标题长度、年份等）的轻量级分类器，无需外部数据库即可预测引用真伪。

3. 关键贡献 (Key Contributions)

1. 大规模量化审计： 提供了跨 10 个模型、4 个领域的幻觉率基准数据。
2. 因果机制揭示： 通过无提示对照组证明，引用幻觉是提示诱导的（prompt-induced）而非模型内生的。所有模型在无提示情况下均未生成正式引用。
3. 发现系统性偏差： 揭示了模型在引用偏好上的偏差（如过度代表开放获取文献、高被引论文），以及不同领域和提示框架对幻觉率的影响。
4. 提出实用过滤启发式方法： 验证了“多模型共识”和“提示内重复”作为低成本检测手段的有效性。
5. 开发无数据库检测器： 训练了一个基于文本特征的梯度提升机（GBM）分类器，可在不查询外部数据库的情况下识别幻觉引用。
6. 追踪模型演进轨迹： 分析了代际更新和容量扩展对幻觉率的影响，发现新模型并不总是表现更好。

4. 主要结果 (Key Results)

A. 幻觉率差异巨大

• 幻觉率跨度达 5 倍（从 11.4% 到 56.8%）。
• 表现最佳： GPT-5-mini (11.4%)，GPT-5-nano (23.3%)，DeepSeek-v3.1 (28.9%)。
• 表现最差： Haiku-4.5 (56.8%)，Llama4-scout (49.4%)。
• 重要发现： 模型代际更新不保证性能提升。Anthropic 的 Haiku-4.5 比 Haiku-3.5 幻觉率上升了 8%，而 OpenAI 的 GPT-5-mini 比 GPT-4o-mini 下降了 33.9%。

B. 提示框架与领域影响

• 时间框架： 要求“近期”文献的幻觉率 (74.1%) 显著高于要求“经典”文献 (55.0%)。这是因为近期文献在训练数据中覆盖较少。
• 领域差异： NLP/AI 领域幻觉率最低 (26.6%)，结构工程最高 (50.1%)，与训练数据中该领域的文献密度正相关。

C. 验证与过滤策略

• 多模型共识： 如果 3 个或更多 模型独立引用同一文献，其真实率高达 95.6%（单模型基准仅为 16.5%）。
• 提示内重复： 同一模型在 3 次重复中至少 2 次生成相同引用，真实率提升至 88.9%。
• 文本分类器： 基于 27 个文本特征（如作者数量、年份、标题长度）训练的 GBM 模型，在交叉验证中 AUC 达到 0.876，在留一模型验证中 AUC 为 0.834。
  • 关键特征： 幻觉引用通常作者数量更少（1.81 vs 2.07）、作者字符串更短、极少包含 "et al."。

D. 其他发现

• 开放获取偏差： 所有模型生成的真实引用中，开放获取（OA）文献比例极高（77.3% - 91.8%），远超实际出版比例，表明模型倾向于从 OA 数据密集的区域检索。
• 权重开放性无关： 开源模型与闭源模型的幻觉率无显著差异（41.3% vs 42.3%），性能取决于具体模型的训练和微调策略，而非是否开源。

5. 研究意义 (Significance)

• 学术诚信与质量控制： 研究揭示了当前学术出版中引用验证的脆弱性，并提供了可立即部署的过滤工具（多模型共识、重复检查、文本分类器），帮助研究人员在无需昂贵外部查询的情况下初步筛选引用。
• 模型评估新维度： 指出“引用准确性”是衡量 LLM 能力的关键指标，且不能仅通过代际升级来保证，需要开发者针对特定任务进行优化。
• 提示工程指导： 证实了提示方式（如询问“经典”而非“近期”）能显著降低幻觉风险。
• 工具开源： 研究团队公开了数据集、训练代码和分类器模型，促进了后续工具开发和复现。

总结： 该论文通过大规模实证研究，不仅量化了 LLM 在学术引用中的幻觉风险，还证明了幻觉主要是由提示诱导的，并提出了高效、低成本的检测与缓解策略，为 AI 辅助学术写作的安全使用提供了重要的技术依据。