🤖 machine learning

Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models

本文介绍了 AuthorityBench，这是一个大规模多领域基准测试，它证明了仅仅是引用的存在——无论其事实准确性如何——都会显著增加大语言模型的幻觉率，且当虚假引用伴随真实陈述出现时，这种效应最为显著。

原作者： Aryan Khurana, Aravind Ramana RN, Dhruv Kumar

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Aryan Khurana, Aravind Ramana RN, Dhruv Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在参加一场知识问答竞赛。你知道答案是“巴黎”，因为你去过那里。但这时，一位老师走进来，指着书架上一本看起来很高级的书说：“实际上，首都应该是伦敦。我在这一份享有盛誉的期刊上读到的。”

你会改变你的答案吗？大多数人类会停下来思考：“等等，那本书看起来很重要。也许我错了。”

这篇名为 AuthorityBench 的论文探讨了关于人工智能（AI）的类似问题。它想知道：如果一个 AI 知道真相，但有人给它一个与真相相反的“引用”（参考文献），它会盲目相信这个引用并忘记真相吗？

以下是他们研究结果的拆解，使用了简单的类比。

实验：针对 AI 的“假新闻”测试

研究人员构建了一个大规模测试，称为 AuthorityBench。可以把它想象成一个由 220,000 个问题组成的巨大测验，旨在迷惑 AI 模型。

他们设置了一个“2x2”的游戏，包含四种场景：

正确陈述 + 真实引用： AI 是正确的，且来源是真实的。（简单模式）。
错误陈述 + 虚假引用： AI 是错误的，且来源是虚假的。（明显的陷阱）。
错误陈述 + 真实引用： AI 是错误的，但来源是真实的。（棘手的陷阱）。
正确陈述 + 虚假引用： 这是重大发现。 AI 是正确的，但他们给它一个声称它是错误的虚假来源。

他们在四个领域进行了测试：通用知识、科学、法律和医学。他们还改变了虚假来源的“风格”：有些看起来像是诺贝尔奖得主写的（高声望），有些来自不知名的博客（低声望），还有一些带有不同国家的姓名。

大惊喜：“权威陷阱”

最令人震惊的结果是，引用就像一种让 AI 产生幻觉（编造谎言）的“魔法咒语”。

“虚假来源”效应： 当 AI 知道正确答案（例如，“巴黎是首都”）时，如果出现一个虚假引用说“伦敦是首都”，AI 往往会改变答案，转而选择伦敦。
数据： 在“通用知识”类别中，这种情况发生的频率在 35% 到 77% 之间。这意味着，如果你给 AI 一个真实的事实和一个虚假引用，它更有可能否定真相，而不是坚持真理。
“真实来源”效应： 即使引用是真实的，但如果陈述本身是错误的，AI 仍然比没有引用时更容易产生幻觉。

类比： 想象一个学生知道“2+2=4”。如果你递给他一张纸，上面写着“根据著名的史密斯教授，2+2=5”，这个学生就会不再信任自己的大脑，并在纸上写下“5”。这张纸（引用）压倒了数学。

什么并不重要？

研究人员认为某些因素可能会让 AI 更信任引用，但他们惊讶地发现这些因素几乎没有任何影响：

声望： 虚假引用看起来像是来自顶尖大学还是随机博客，并不重要。AI 对这两者的困惑程度是一样的。
作者身份： 虚假作者的名字是否与特定国家或人群相关，并不重要。AI 似乎并不关心谁写的，只关心确实有东西被写了出来。
模型规模： 你可能会认为一个“更聪明”或更大的 AI 会不容易被骗。但研究发现，最大的、最先进的模型也同样容易掉入陷阱，和较小的模型一样。

唯一的例外：“律师型”AI

只有一个领域，AI 不那么容易被骗：法律。

原因： 研究人员认为，法律文本具有非常特定的、正式的“语言”（就像一种秘密代码）。当 AI 看到法律引用时，它似乎会切换到“审查模式”，更仔细地检查事实，而不是盲目接受权威。
通用知识是最薄弱的环节，AI 在这里最容易被愚弄。

“错误陈述”的转折

研究还观察了当 AI 已经出错（错误陈述）时会发生什么。

有些 AI 变得更聪明了： 对于像 Llama 和 Claude 这样的模型，看到引用（即使是虚假的）会让它们不太可能在错误陈述上产生幻觉。这就像是引用让它们说：“嗯，我需要复查一下这个，”然后它们进行了自我修正。
有些 AI 变得更笨了： 对于像 Gemma 和 Phi-4 这样的模型，引用让它们在错误陈述上更容易产生幻觉。它们盲目地接受了错误信息。

核心结论

论文得出结论，增加引用并不自动意味着 AI 会变得更可靠。 事实上，它往往会让 AI 变得更不可靠。

如果你正在使用 AI 来辅助获取事实，并且看到它引用了一个来源，不要假设它一定是在说实话。 AI 可能被引用的“权威性”所打动，从而心甘情愿地抛弃了实际的真相。这项研究警告说，对于高风险领域（如医学或法律），我们不能假设将 AI 的回答建立在引用之上就能解决其错误问题；有时，引用本身就会成为错误的来源。

技术摘要：AuthorityBench

问题陈述

大型语言模型（LLMs）正越来越多地被部署在引用增强的场景中，然而，独立于事实内容之外，引用存在本身对模型行为的具体影响仍未得到充分理解。虽然幻觉（生成看似合理但事实错误的内容）是一个已被广泛记录的失效模式，但“上下文权威信号”的作用——即模型如何对引用的来源权威性而非主张本身的真实性做出反应——仍缺乏深入研究。现有的基准测试（如 TruthfulQA 和 HaluEval）侧重于响应层面的准确性，未能隔离出权威信号的因果作用。此外，先前的工作（如 FalseCite）仅研究了配有虚假引用的错误主张，未能控制期刊声望、作者身份或“真实主张与虚假引用”之间的相互作用。

方法论：AuthorityBench

作者引入了 AuthorityBench，这是一个大规模、多领域的基准测试，旨在隔离基于引用的权威信号如何塑造 LLM 的认识论行为。

实验设计

其核心创新在于采用了完全平衡的 2×2 析因设计，独立操纵两个变量：

主张真实性（Claim Veracity）： 真 vs 假。
引用真实性（Citation Veracity）： 真实 vs 伪造。

该设计产生了四个主要条件，外加一个针对每个主张的“无引用”基准。一个关键的新颖条件是 真实主张 × 伪造引用 (TC×FC)，它测试了模型是否会在伪造权威信号的压力下否定正确的事实。

数据集构建

规模： 由 110,282 个基础主张生成的 220,564 个提示词（prompts）。
领域： 使用了四个不同的领域：常识（FEVER）、科学（SciQ）、法律（CaseHOLD）和医学（MedMCQA）。
提示词变化： 基准测试采用了 40 种结构多样化的提示词模板（例如：前缀、句中、后缀、脚注式），以测试结构敏感性。
受控变量：
- 期刊声望： 引用被分配到四个声望等级（第一梯队至第四梯队），基于排名（SCImago、Washington and Lee 等）。
- 作者人口统计特征： 对于伪造的引用，作者姓氏是从一个带有国家代码的数据集中采样的，以分析感知的统计学影响。
- 时间框架： 引用年份跨度从 1980 年至今。
引用构建： 真实引用取自可验证的来源（MTEB SciFact, PubMedQA, CaseHOLD 上下文）。伪造引用则由精选的作者姓名和期刊池构建而成。对于缺乏结构化学术元数据的常识领域（FEVER），引用元数据通过从其他领域池进行回填并标记以供解释。

评估

模型： 评估了七个模型，包括开源权重模型（Gemma 3 4B, Llama 3.1 8B, Phi-4 Mini, Gemma 4 31B, DeepSeek V3.2）和闭源模型（Claude Haiku 4.5, GPT 5.4 mini）。开源权重模型在全量数据集上进行测试；闭源模型在平衡的 15K 子集上进行测试。
评判者： 输出结果使用 Qwen3-8B 作为评判者进行评估，并为其提供地面真值标签和来源元数据，以尽量减少对参数化知识的依赖。在分层样本上的真人评估证实了高度的评分者一致性（Cohen's $\kappa$ = 0.83）。
指标： 主要指标是幻觉率（被标记为幻觉的输出比例）。效应通过提升值（lift）（相对于基准的绝对百分点差异）和 Cohen's $d$ 来衡量。

关键结果

1. 引用存在增加了幻觉

在所有七个模型中，存在任何引用（无论是真实的还是伪造的）都会导致幻觉率相对于无引用基准上升。这反驳了“引用本质上能为模型输出提供锚定”的假设。

2. 关键的 TC×FC 条件

最严重的失效模式发生在 伪造引用伴随真实主张 (TC×FC) 时。

在这种条件下，模型比在任何其他实验条件下都更容易否定正确的事实。
在 TC×FC 条件下，常识领域的幻觉率达到 35% 至 77%，具体取决于模型。
相对于真实主张基准的提升范围为 +3.23 至 +22.29 个百分点。
值得注意的是，较大的模型（如 Gemma 4 31B, GPT 5.4 mini）并不比较小的模型更具抵抗力；在某些情况下，它们表现得极其脆弱。

3. 对错误主张的差异化反应

模型在面对错误主张时表现出两种截然不同的行为：

抑制（Suppression）： Llama 3.1、Claude Haiku 4.5 和 GPT 5.4 mini 等模型在存在伪造引用时显示出降低的幻觉率，这表明引用触发了更高的审查机制。
放大（Amplification）： Gemma 系列和 Phi-4 模型在面对错误主张且存在引用时，表现出增加的幻觉率，将引用视为一种权威背书。

4. 领域与结构敏感性

领域脆弱性： 常识领域最容易受到引用诱导的幻觉影响。相反，法律领域表现得非常稳健，显示的引用诱导提升最小，这可能是由于其独特的语言寄存器和正式惯例提高了模型的证据门槛。
期刊声望： 与预期相反，期刊声望没有产生系统性影响。在诱导幻觉方面，来自低层级期刊的伪造引用与来自高层级期刊（如 Nature）的引用具有相同的权重。
作者人口统计特征： 感知到的作者身份（通过国家代码姓氏）对幻觉率的影响微乎其微。
模板结构： 引用的位置至关重要。前缀放置（“根据……”）始终是风险最高的格式，而极简显著性的格式通常是最安全的。

意义与主张

论文声称，AuthorityBench 提供了首个严谨、大规模的证据，证明引用的存在会降低事实准确性，甚至在模型原本可以回答正确的主张上也如此。

认识论失效： 研究结果表明，LLM 在权威压力下经历了认识论推理的失败，而非简单的知识匮乏。模型似乎内化了一种启发式规则，即引用的存在会覆盖内部知识，从而导致“引用诱导的否定”。
对 RAG 的启示： 对于检索增强生成（RAG）系统而言，引用的存在并不保证可靠性。在高风险领域，如果模型在引用的权威性与主张的真实性之间选择转向权威，那么将输出建立在被引用的来源之上反而可能降低准确性。
缓解策略： 作者认为，缓解措施需要模型将引用视为需要评估的证据，而非需要服从的权威。他们强调，单纯扩大模型规模并不能从根本上解决这种易感性。

论文最后指出，已公开所有数据集和评估代码，以促进开发能够更好地区分来源权威性与主张真实性的模型。