💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

本文通过分析不同层级的内部表示，研究了知识冲突与大语言模型幻觉之间的相关性，发现尽管这两种现象在概念上相关，但幻觉模式无法完全由知识冲突的表示来解释，从而凸显了细粒度可解释性工具在理解大语言模型行为方面的价值。

原作者： Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM）就像是读过无数书籍、并记住了整座庞大图书馆的超级博学图书管理员。然而，这里有一个陷阱：他们无法更新自己的书架。如果书架上的某本书过时了，或者有人递给他们一张与他们记忆相矛盾的新便条，他们可能会感到困惑。

这篇论文研究了这种困惑出错的两种特定方式：

“幻觉”（Hallucination）： 图书管理员自信满满地编造一个事实，或者给出一个听起来很真实但实际上是错误答案。
“知识冲突”（Knowledge Conflict）： 图书管理员收到一张便条（上下文）说“天空是绿色的”，但他们的记忆里写着“天空是蓝色的”。他们必须决定信任哪一个。

核心问题

研究人员想知道：这两个问题是同一回事吗？

他们怀疑，当图书管理员产生“幻觉”时，是因为他们内部正在经历一场“知识冲突”。换句话说，他们认为在图书管理员编造谎言之前，他们的脑海中正因为这种“冲突”而嗡嗡作响（处于困惑状态）。如果这是真的，我们就可以建立一个简单的报警系统：如果我们检测到了这种“困惑的嗡嗡声”，我们就知道谎言即将到来。

他们是如何测试的

为了测试这一点，研究人员扮演了“大脑扫描仪”的角色（一种被称为探测的技术）。他们并没有改变图书管理员；他们只是在思考的不同阶段（隐藏层、注意力层和逻辑层）窥视他们的内心，看看是否能发现困惑或撒谎的迹象。

他们使用了两个不同的“图书管理员”（AI 模型）：

LLaMA-3-8B： 他们试图观察这个图书管理员的“困惑信号”是否能预测它何时会撒谎。
Falcon-7B： 他们试图观察这个图书管理员的“撒谎信号”是否能预测它何时感到困惑。

他们的发现

结果有点令人惊讶。这就像检查烟雾报警器，却发现当有人烤焦吐司时，火灾报警器并不会响起；而当火灾发生时，针对“烤焦吐司”的报警器也不会响起。

困惑 $\neq$ 撒谎： 当他们观察模型内部的“困惑”信号时，他们无法利用这些信号来预测模型何时会产生幻觉。处于困惑状态的内部模式与编造事实的模式是不同的。
撒谎 $\neq$ 困惑： 反之亦然，通常指示模型正在撒谎的信号，并不能帮助他们发现模型何时面临知识冲突。

结论： 尽管在直觉上感觉幻觉是由知识冲突引起的，但论文表明，在模型的“大脑”内部，这两者实际上是两种不同的过程。你不能仅仅通过寻找一种现象来找到另一种现象。它们是截然不同的现象。

一个好消息

虽然他们没有找到预期的联系，但他们发现他们的“大脑扫描仪”（探测工具）表现得非常一致。无论是在英语中，还是在意大利语、西班牙语、中文以及许多其他语言中，它的效果都一样好。这意味着该工具本身是可靠的，即便关于冲突与幻觉之间联系的具体理论并未得到证实。

简而言之

研究人员曾希望找到一个单一的“烟雾报警器”，既能捕捉到困惑，也能捕捉到撒谎。他们发现，AI 的大脑处理这两个问题的方式是不同的。虽然在现实世界中它们相关联，但在计算机代码内部，它们看起来并不一样。这告诉我们，我们需要更复杂的工具来理解和修复 AI 的错误，而不是仅仅寻找一个简单的诱因。

技术摘要：分析大语言模型中幻觉与知识冲突之间的相关性

问题陈述
大语言模型（LLMs）在知识密集型任务中面临显著的局限性，这主要是由于其固定的、静态的训练数据无法在训练后进行更新。当模型遇到超出其参数化知识或与其参数化知识相冲突的信息时，往往会产生“幻觉”——即事实错误、不一致或无法验证的输出。一个普遍的假设认为，这些幻觉源于内部的知识冲突（knowledge conflicts），即模型的存储参数化知识与输入中提供的上下文线索发生冲突。然而，知识冲突的内部表示与幻觉行为之间的具体关系仍有待深入探索。虽然先前的研究已分别成功开发了检测知识冲突（Zhao et al.）和检测幻觉（Snyder et al.）的探测技术，但目前尚不清楚这两类现象是否共享共同的内部编码，或者其中一种是否可以用于预测另一种。

方法论与实验设计
本研究采用一种基于探测（probing-based）的框架来调查知识冲突与幻觉之间的双向相关性。作者假设，如果幻觉是由知识冲突引起的，那么通过训练用于识别知识冲突的分类器，应当能够检测出幻觉输出的内部激活模式，反之亦然。

实验设计包含两个不同的方向：

从知识冲突到幻觉：
- 模型： LLaMA-3-8B。
- 训练： 使用逻辑回归在 NQ-Swap 数据集（一个包含冲突问答对的合成数据集）上训练知识冲突探测模型（ $KC_{a,i}$ ），以检测隐藏层、注意力层和 MLP 层激活中的冲突信号。
- 评估： 将这些训练好的冲突检测器应用于从 Mu-SHROOM、HaluEval 和 HaluBench（包含幻觉问答对的数据集）中提取的激活值。目标是确定该冲突检测器能否准确预测幻觉的存在。
从幻觉到知识冲突：
- 模型： Falcon-7B。
- 训练： 使用前馈分类器在 TriviaQA 数据集上训练幻觉探测模型（ $H_l, H_{a,i}$ ），以检测输出 Logits 以及中间激活（注意力层和 MLP 层）中的幻觉信号。
- 评估： 将这些幻觉检测器应用于 NQ-Swap 数据集，以确定是否可以通过幻觉检测器预测知识冲突的存在。

关键结果
实证分析得出了以下发现：

缺乏强相关性： 与“幻觉直接还原为知识冲突”的假设相反，研究发现这两个现象的内部表示之间不存在显著相关性。
- 在使用知识冲突模型探测幻觉时（LLaMA-3-8B），准确率出现波动但整体保持在较低水平（通常接近随机水平，AUROC 接近 0.5）。值得注意的是，在通常能最精确检测到知识冲突的中间层（15–25层），性能反而下降了。
- 反之，当使用幻觉模型探测知识冲突时（Falcon-7B），检测器在所有层级上的表现均处于随机水平（准确率 $\approx$ 0.5，AUROC $\approx$ 0.5）。这与 Snyder 等人的参考研究形成对比，在后者中，幻觉检测在后期层级有所提升；而在本研究中，这种趋势并不明显。
激活特异性： 研究观察到，在 LLaMA-3-8B 中，隐藏层激活在冲突检测方面的表现不如注意力层或 MLP 层。在 Falcon-7B 中，观察到了与先前文献相反的趋势，即在这种特定的跨任务背景下，注意力层激活的表现有时优于 MLP 层。
跨语言鲁棒性： 尽管两种现象之间缺乏相关性，但探测方法本身证明了其鲁棒性。当应用于涵盖 14 种语言的多语言 Mu-SHROOM 数据集时，探测模型保持了稳定的性能，表明该技术不会过度偏向于特定的语言结构。

意义与贡献
本文通过提供系统性的实证证据，为理解 LLM 的可解释性做出了贡献，证明了幻觉与知识冲突在内部表示层面并不具有强一致性。

现象解耦： 研究结果挑战了“幻觉完全或主要由内部知识冲突驱动”这一直觉假设。这表明，幻觉可能源于更复杂、更正交的机制，而这些机制无法仅通过冲突检测信号来捕捉。
方法论验证： 虽然相关性假设未得到支持，但研究验证了探测技术作为一种鲁棒工具，在分析不同激活类型（隐藏层、注意力层、MLP 层）和不同语言的内部模型行为方面的实用性。
未来方向： 作者强调，未来的研究需要将这两个现象进行解耦，以开发更具针对性的缓解策略。他们建议将这种探测方法扩展到高风险领域，如数字医疗、教育和人力资源管理，同时也指出在多语言和敏感语境下，关于偏差以及对探测结果进行误解的伦理考量至关重要。

用于复现这些实验的源代码已公开，以便进一步研究 LLM 的内部机制。