🤖 AI

When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models

本研究表明，不同的语言模型表现出一种“引用单调性”，即由于共享的内容层级偏好过滤器，它们会不成比例地选择同一组狭窄的真实论文子集，这种系统性偏差即使在消除幻觉且无法仅通过均衡检索或混合供应商来解决的情况下依然存在。

原作者： Sina Alemohammad, Denghui Zhang, Bolong Tang, Anthony Qin, Gengchen Mai, Ahmed Abbasi, Richard Baraniuk, Zhangyang Wang

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sina Alemohammad, Denghui Zhang, Bolong Tang, Anthony Qin, Gengchen Mai, Ahmed Abbasi, Richard Baraniuk, Zhangyang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

几十年来，科学进步的方式一直依赖于一种简单的、人类的习惯：研究人员阅读他人的著作，并决定在自己的写作中提及哪些论文。这种引用行为不仅仅是一种形式；它是科学信誉的货币。当一篇论文被频繁引用时，它就会获得可见度，从而引发被称为“马太效应”的循环——即富者愈富。这种动态一直依赖于人类读者，他们能够观察作者的声望、期刊的地位或论文过去的成功，并让这些信号引导他们的选择。但一种新的力量正在进入这个领域。人工智能正超越单纯的语法检查，开始起草整个文献综述，并筛选出那些塑造科学界认知的参考文献。问题不再仅仅是这些机器能否写作，而是它们会选择阅读什么。如果要求人工智能寻找某个主题最重要的研究成果，它仅仅是在模仿人类的偏见，还是在创造一种全新的偏见？

一组研究人员试图通过构建一个受控实验来回答这个问题，该实验剥离了通常会影响引用的所有因素。他们收集了关于特定主题的 120 篇真实的科学论文，但在将它们展示给人工智能之前，隐藏了所有常见的地位信号。作者姓名被替换成了虚假姓名，出版年份经过了打乱，每篇论文被引用的次数也被完全移除。随后，AI 模型被要求撰写简短的评论或立场论文，但有一个严格的规则：在每一轮中，它们最多只能提及所展示的 30 篇论文中的 10 篇。这种稀缺性迫使模型做出真正的抉择，而非列出它们看到的所有内容。为了确保结果并非偶然，研究人员将 AI 的选择与一个计算机从同一列表中随机抽取论文的基准进行了对比，同时还要求八位人类专家在完全相同的条件下做出同样的决策。

结果揭示了一个显著且统一的模式。虽然人类专家对论文的引用分布得相当均匀，对待论文的方式与随机抽取者几乎一致，但测试的所有 AI 模型都将注意力集中在极小且狭窄的论文子集上。在人类组中，前 10% 的论文获得了约 19% 的引用，这接近于随机概率的预期。相比之下，AI 模型将 23% 到 30% 的引用集中在了前 10% 的论文上。更重要的是，这些模型一致忽略了大量展示给它们的论文，甚至有些论文在被展示了数十次后仍未被引用。这并非由于机器编造了虚假参考文献；它们引用的每一篇论文都是真实的，它们忽略的每一篇也是真实的。失败之处不在于幻觉，而在于一个共享的、无形的过滤器，它决定了哪些真实的论文值得阅读。

或许最令人不安的发现是，无论这些模型是由哪家公司开发的，这种过滤器都是相同的。无论是 OpenAI、Google 还是 Anthropic 开发的 AI，它们都青睐完全相同的论文，并忽略完全相同的论文。研究人员发现，这 11 个不同模型的偏好如此相似，以至于可以用一个单一的、共享的“可引用论文”特征图谱来描述。这个图谱并非基于作者姓名或其发表的期刊，因为这些信息已被隐藏。相反，它完全由摘要的文本驱动。这些模型似乎对值得关注的特定风格或类型的内容达成了共识，倾向于那些听起来像是核心理论研究的论文，而系统性地忽视了应用型研究，即便这些应用型论文同样真实且具有相关性。

为了理解这是一种学习到的记忆（对过往引用的记忆）还是对质量的真实判断，研究人员在重写论文标题和摘要后再次测试了模型。他们完全改变了措辞，确保模型无法通过表面文本识别这些论文，但保留了其底层含义。模型的选择并未改变。它们仍然根据新的措辞选择了相同的论文，这证明它们的偏好植根于内容的含义，而非对著名标题的记忆。这表明，这些模型已经形成了一种趋同的、共享的直觉，用以界定什么是优秀的论文，这种直觉与人类专家评估相同工作的方式截然不同。

研究还探讨了当这些模型在时间维度上被重复使用时会发生什么。随着 AI 模型撰写新的论文，并且这些新论文被重新加入到未来的筛选池中，原始的真实论文变得越来越稀少。研究人员发现，随着真实论文的减少，模型对它们的引用变得更加密集，仿佛它们在为少数剩余的“优质”选项而竞争。然而，这并不意味着模型对整体真实文献的关注度提高了；事实上，流向真实论文的引用总份额显著下降了。模型只是将有限的注意力集中在不断缩减的“幸存者”群体上，创造了一个固定偏好遇到稀释目录的反馈循环。

这项研究表明，人工智能在科学领域的危险不仅在于它可能捏造虚假事实，更在于它可能会在无形中就一套狭隘的“正确”答案达成共识，从而忽略了该领域的其他部分。即使每个选项都是真实的，且每篇论文的可见度都相等，这些系统也会施加一个共同的过滤器来限制科学关注度。将不同的模型混合在一起并不能解决问题，因为它们都拥有相同的底层偏见。作者认为，解决方案需要改变这个共享的偏好图谱，而不仅仅是尝试实现信息来源的多样化。机器不仅仅是在阅读文献；它们正在开始决定文献的内容，而且它们都在做出同样的决定。

技术摘要：“当 AI 写作时，谁会被引用？关于语言模型中引用单一化现象的证据”

1. 问题陈述

本文探讨了 AI 生成科学写作中存在的一种特定失效模式，即使在消除了幻觉（虚构参考文献）的情况下，该问题依然存在。目前的审计工作主要集中在检测不存在的引用，但作者认为存在一个更隐蔽的问题：引用单一化（citation monocure）。这种情况是指，尽管多个语言模型由不同的组织开发并访问相同的论文库，但它们仍会收敛于极少数特定的论文进行引用。

核心问题在于，这种集中现象是由外部因素（检索排名、作者声望、引用计数）驱动的，还是由模型内部共享的“偏好图谱（preference map）”驱动的。作者假设，即使每个候选参考文献都是真实的、被直接展示且去除了所有地位信号，模型仍可能施加一种共同的过滤器来限制科学关注度，从而导致全球性的书目同质化。

2. 研究方法

作者引入了一个受控基准测试，旨在将引用选择从检索、声望和伪造中分离出来。

基准设计：

语料库： 一组包含 120 篇真实的知识蒸馏论文（arXiv，2015–2022 年），这些论文的引用次数在 50 到 500 次之间。
盲测（Blinding）： 论文以“盲化记录”的形式呈现，仅包含真实的标题和摘要，但使用伪造的作者姓名、随机重新分配的出版年份，并隐藏了引用计数和发表期刊/会议。这消除了所有地位和声望线索。
任务： 每个轮次包含 120 个提示词（60 个文献综述和 60 个立场文章），要求模型从由当前目录中随机抽取的 30 个候选论文组成的面板中，最多引用 10 篇论文。
零假设（The Null）： 对于每个提示词，由同一个模型（或均匀随机选择器）生成一个“零假设”基准，该基准在具有相同实现的预算下，从相同的面板中均匀随机选择 $k$ 篇论文。这用于衡量模型相对于相同输入下的无差异性（indifference）的偏差。
递归（Recursion）： 基准运行 12 轮。在随后的每一轮中，由模型生成的 120 篇论文都会加入目录，从而稀释原始种子论文。这测试了固定的偏好如何与不断增长的合成文献进行交互。

模型与人类对照组：

模型： 在第 0 轮测试了来自三个供应商（OpenAI、Google、Anthropic）的 11 个模型。
人类对照： 八名领域专家在相同的盲化条件和预算约束下，完成了 53 个提示词的子集。

理论框架：
选择过程被建模为一个加权子集选择过程（公式 1）。作者推导出了将过度集中（通过 HHI 指数和前十分位份额衡量）与过度成对书目重叠联系起来的恒等式。他们形式化了“共享图谱”（一种稳定的论文级偏好）的概念，并证明如果模型共享一个图谱，那么混合模型也无法完全消除集中现象。

3. 核心贡献

一种新颖的基准测试： 通过使用带有硬性引用预算且匹配零假设基准的盲化真实论文，隔离了引用选择与检索及声望的关系。
理论形式化： 为固定预算的子集选择提供了一套理论，包括：
- 一个可交换性界限（exchangeability bound），证明观察到的排除率需要稳定的论文级偏好。
- 一个谱分解（spectral decomposition），表明过度集中等于偏好强度乘以与共享方向的一致性。
- 一个稀有性定理（rarity theorem），预测了固定偏好如何在稀释的目录中放大稀有项的引用率。
引用单一化的实证证据： 定量证明了来自三个供应商的 11 个模型共享一个单一且稳定的偏好图谱，而这一特征在人类专家中并未发现。
机制识别： 证据表明，这种共享的偏好是由内容（摘要语义）而非表面形式、元数据或位置驱动的；此外，混合模型只能消除一小部分过度集中。

4. 关键结果

集中度与排除（第 0 轮）：

集中度： 所有 11 个模型都比其匹配的零假设表现出显著更高的集中度。前十分位的论文获得的引用占比为 23.3–30.2%，而零假设仅为 15.6%。
排除： 尽管每个论文被展示了约 30 次，模型仍留下了 2–20 篇未被引用的论文，而零假设几乎没有留下任何未被引用的论文。
人类对照： 汇总的领域专家表现出没有类似的集中现象（前十分位份额为 18.9%，与零假设无异）。统计检验确认，模型的排除模式在可交换（非偏好性）模型下在数学上是不可能的，而人类的选择则与此一致。

共享图谱：

高相关性： 11 个模型的引用偏好图谱高度相关（经过噪声修正后的平均非对角线相关系数为 0.71）。
单一成分： 一个主成分解释了所有模型偏好图中 68–73% 的方差。
供应商无关性： 跨供应商的一致性（例如 GPT 与 Gemini）几乎与供应商内部的一致性相当，这表明该偏差并非特定于某个训练家族，而是一种共享的算法属性。
混合限制： 均匀混合所有 11 个模型仅能消除 28% 的过度集中。即使是经过优化的混合（交叉拟合）也仅能消除 ~55% 的过度集中，因为共享图谱在任何混合过程中都保持不变。

内容 vs. 表面形式：

释义不变性： 当标题和摘要被改写以破坏表面措辞（5-gram 重叠 < 0.05）但保留原意时，引用偏好图谱保持不变（相关性为 0.96–1.00）。
内容驱动因素： 仅使用标题/摘要文本的交叉验证文本模型可以预测共识图谱，相关系数 $r=0.47$ 。该图谱追踪一种“方法论中心性先验（methodological-centrality prior）”，即倾向于核心方法和理论类论文，而非应用类论文，这种偏好是人类专家所不具备的。

递归与稀有性：

稀释效应： 随着目录中合成论文的增加，分配给真实种子论文的绝对引用份额下降了（从 100% 降至 15.6%）。
条件放大： 然而，种子论文的条件引用率（在被展示的前提下）从约 33% 增加到了约 63%。
机制： 这是由“稀有性放大”效应驱动的。随着真实论文在池中变得稀少，它们面临的高权重竞争者（其他真实论文）减少，导致固定偏好在仅存的少量真实候选对象上更加剧烈地集中。

5. 重要性与主张

本文声称证明了引用单一化是当前语言模型的内在属性，而非检索偏差或训练数据声望信号的结果。

并非检索问题： 由于暴露是均匀随机的，因此集中现象是选择端的失效。
并非声望问题： 由于元数据已盲化，模型并非基于作者地位或引用计数进行引用。
并非幻觉问题： 所有被引用的论文都是真实的；失败之处在于对论文的选择。
现有补救措施的局限性： 作者认为，仅仅混合模型或使暴露均匀化是不够的，因为“偏好图谱”本身是共享的。即使是对测试模型进行最佳混合，也会留下一个“共享底线”的集中现象。
启示： 共享的偏好充当了一个共同的内容级过滤器，从而收窄了科学关注度。作者得出结论，干预措施必须针对共享的偏好图谱本身，而非仅仅针对检索或暴露机制。

作者对研究范围保持了审慎态度，指出该基准测试衡量的是在已呈现给模型的论文中的选择，并未模拟完整的流水线（包括检索、作者选择或出版）。然而，他们断言，观察到的“引用坍缩”是一个可衡量的、稳定的现象，即使在每一篇参考文献都是真实且每篇论文都同样可见的情况下，该现象依然存在。