💬 NLP

Where Knowledge Collides: A Mechanistic Study of Intra-Memory Knowledge Conflict in Language Models

本文对语言模型中的记忆内知识冲突进行了机制研究，揭示了虽然此类冲突通常通过不同的电路而非统一机制在最终层得到解决，但由于专门化注意力头分布的差异，干预措施在处理现实世界冲突时显著不如处理合成冲突时有效。

原作者： Minh Vu Pham, Hsuvas Borkakoty, Yufang Hou

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Minh Vu Pham, Hsuvas Borkakoty, Yufang Hou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的数字大脑，它几乎阅读了互联网上的所有内容。这个被称为“大语言模型”（LLM）的数字大脑，就像一位超级聪明的图书管理员，能够回答问题、编写故事并解决问题。但问题在于：有时这位图书管理员会感到困惑。如果你问：“尼尔斯（Niels）在哪里上学？”图书管理员可能会同时记起两个不同的答案。也许它记忆的一部分说“A大学”，而另一部分却坚持说是“B大学”。这并不是因为图书管理员在看一本新书（外部信息），而是因为图书管理员自己的内部笔记很乱。科学家们称之为“内部记忆知识冲突”（intra-memory knowledge conflict）。这有点像在同一个笔记本里写了两个不同版本的同一个故事，而图书管理员不知道该读出哪一个。这件事情非常重要，因为如果这些人工智能系统要被信任用于现实世界的任务，它们就必须停止产生幻觉或给出矛盾的答案。研究人员想要知道：这种困惑究竟发生在数字大脑的哪个位置，以及我们能否修复导致混乱的具体部分？

这篇题为《知识在哪里碰撞》（Where Knowledge Collides）的论文，深入探讨了这些人工智能大脑的内部运作机制，以寻找混乱的源头。作者利用四个不同的AI模型构建了一个特殊的测试场。他们创建了一个虚假传记数据集——可以将其想象为为不存在的人编写的虚构维基百科页面——并在其中刻意植入了冲突的事实。例如，他们告诉AI一个名叫“尼尔斯·卡瓦利”（Niels Cavalli）的虚构人物毕业于“乌科普姆大学”（University of Ukopnwm），但随后又告诉AI，同一个尼尔斯毕业于“奥夫格拉格大学”（University of Ohfgrgr）。通过用这些混杂的故事训练AI，他们创造了一个受控环境，让模型必须在脑海中同时持有两个对立的事实。

为了弄清楚发生了什么，研究人员使用了一种名为“机械可解释性”（mechanistic interpretability）的技术。把AI想象成一座多层结构的工厂，信息从底层向上层流动。每一层都有工人（称为“层”/layers），而每一层内还有专门的小组（称为“注意力头”/attention heads）来处理工作的不同部分。研究人员使用了一个名为“逻辑透镜”（logit lens）的工具，在工厂的每一层进行观察，观察AI的信心度如何随着处理问题的过程而变化。他们发现了一件非常一致的事情：冲突并没有发生在工厂的开头或中间。相反，冲突总是在最后几层爆发。这就像是AI在大部分时间里都在收集事实，但在快要开口说话前的最后关头，两个相互冲突的记忆撞在了一起，导致模型开始摇摆并变得不确定。

团队随后尝试通过“修补”（patching）来解决这个问题。这就像伸手进入工厂，用一个知道正确答案的小组的工作来替换掉某个特定小组的工作。他们尝试了两种主要方法：修复整个楼层（层级干预）或仅修复一个特定的团队（头级干预）。结果很明确：修复整个楼层效果尚可，但修复特定的团队效果要好得多。事实上，通过针对负责错误事实的特定“注意力头”进行干预，他们能够以极高的成功率引导AI走向正确的答案。他们甚至发现，在他们那个虚假的、受控的世界里，经常存在着只关心某一个特定事实的“专家型”注意力头。然而，当他们尝试将此应用于现实世界的数据（使用一个名为DynamicQA、包含真实且混乱的人类知识的数据集）时，这些修复措施的效果就没那么好了。这表明，现实世界的冲突比他们在实验室里创造的那些干净的合成冲突更加错综复杂，也更难理清。

论文中反对的一个非常有趣的观点是关于“通用电路”（universal circuit）的概念。你可能会认为，所有的AI模型都有一个特定的、专门的开关或路径来处理所有的知识冲突，就像一个“冲突解决按钮”一样。作者指出，这可能并不成立。相反，他们的发现指向这样一个观点：不同的知识片段存储在不同的、分离的电路中。AI给出的最终答案取决于你的问题触发了哪一个竞争电路中更强的信号。这里不存在一个单一的“冲突管理者”；这更像是不同工作小组之间的一场拔河比赛，谁拉得最用力，谁就赢。

研究人员还注意到，其中一个模型（GPT-2 XL）比其他模型更难修复。他们认为这并不是因为它坏了，而是因为它规模更大。它拥有更多的“工人”（注意力头），因此需要修复更多的它们才能看到与较小模型相同的效果。这就像是在一个小村庄和一座大城市里处理交通堵塞：你需要清理掉更多的车辆才能让大城市的交通重新流动起来。

最后，这项研究为我们提供了关于这些内部冲突发生位置的第一张真实地图。它告诉我们，事实之间的战斗发生在AI思考过程的终点线处。虽然我们目前还无法完美地修复现实世界中这些复杂的冲突，但论文表明，通过针对负责错误事实的微小特定团队进行干预，我们可以让这些人工智能系统变得更加可靠。这是朝着构建一个不仅听起来聪明，而且真正了解自己在说什么的AI迈出的关键一步。

技术摘要：知识碰撞之处：语言模型内记忆知识冲突的机理研究

问题定义

大型语言模型（LLMs）面临着一个关键的可靠性挑战，即内记忆知识冲突（intra-memory knowledge conflict）。当关于同一主题的不一致信息被编码在模型的参数化知识中时，就会发生这种情况，导致内部表示不稳定，不同的提示词会引发相互冲突的事实关联。虽然先前的研究已广泛探讨了上下文-记忆（context-memory）冲突（通过微调或知识编辑来解决内部知识与外部上下文之间的张力），但关于内部冲突的机制研究在很大程度上仍处于空白。具体而言，目前尚不清楚这些冲突在模型的架构中的哪个位置产生，哪些组件负责解决这些冲突，以及针对性的干预措施在多大程度上能有效改变模型行为以解决这些冲突。

研究方法

作者提出了一个机械解释性框架，用于定位并因果干预内记忆冲突。该研究采用了三阶段流水线：

数据集构建：
- 合成数据 (SynWikiBio)： 一个由合成实体组成的维基百科风格传记数据集。作者生成了 2,000 个独特个体，创建了 1,000 对冲突的传记（例如，不同的大学或公司）和 1,000 份无冲突的传记。这实现了受控实验，其中事实真相和冲突事实被精确定义。
- 真实世界数据 (DynamicQA)： 为了测试泛化能力，作者使用了 DynamicQA 数据集，该数据集包含静态、时效性和有争议的事实。他们通过将数据集提供的真实知识替换为反事实知识，构建了冲突的上下文。
模型训练：
- 评估了四种不同架构和规模的 LLM：GPT-2 XL (1.5B)、Llama-3.2-1B、OPT-2.7B 和 Qwen3-4B。
- $\ell_{mix}$ ： 模型在包含冲突和无冲突传记的混合数据集 ( $B_{mix}$ ) 上进行持续预训练，从而产生具有内部知识冲突的模型。
- $\ell_{clean}$ ： 模型在无冲突子集 ( $B_{clean}$ ) 上进行持续预训练，作为非冲突参数化表示的参考。
因果探测与干预：
- Logit Lens： 用于检查每一层残差流的表示，以定位冲突知识被编码的位置以及预测置信度如何演变。
- 激活补丁 (Activation Patching)： 一种因果追踪方法，将来自“源”提示（无冲突）的激活注入到“目标”提示（冲突）中，以衡量特定组件（层或头）对模型输出的因果贡献。
- 跨模型激活补丁 (CMAP)： 一种高级变体，其激活源自干净模型 ( $\ell_{clean}$ ) 并注入到冲突模型 ( $\ell_{mix}$ ) 中。这缓解了在同一数据集中寻找非冲突源提示变得困难或容易产生纠缠的问题。
- 干预技术： 研究采用了激活补丁、零消融（Zero Ablation，将激活归零）和 JUICE（放大特定头的激活）来测试引导模型预测远离冲突事实的能力。

关键结果

1. 冲突定位

在所有四个测试模型中，内记忆冲突一致地产生并解决于网络的最后几层。

置信度演变： 对熵和 KL 散度的分析表明，具有和不具有冲突知识的模型在中间层表现出相似的收敛情况。分歧仅发生在最后几层（例如 GPT-2 XL 中的第 40-47 层），此时冲突模型表现出上升的不确定性，而无冲突模型则继续向置信的预测收敛。
组件特异性： 注意力组件在冲突解决中的聚合贡献比 MLP 组件更强。

2. 干预有效性

头级 vs. 层级： 针对注意力头级别的定向干预显著优于层级干预。
合成 vs. 真实世界差距： 干预在合成数据集 SynWikiBio 上比在真实世界数据集 DynamicQA 上明显更有效。
- 例如，在 GPT-2 XL 中，转向成功率 (SSR) 从 0.214（合成）下降到 0.141（真实世界）。
- 过滤分析表明，这种差距的存在是因为合成冲突通常依赖于专门处理单个竞争事实的头，而真实世界的冲突涉及更复杂、专业化程度较低的决策头，这是由于不受控制的数据分布造成的。
方法性能：
- JUICE 在各种模型和数据集上表现出最强的鲁棒性。
- CMAP 在合成数据上的表现与标准激活补丁相当，并且在处理难以寻找干净源提示的真实世界冲突时，提供了一个更实用的设置。

3. 模型规模与架构依赖

GPT-2 XL 异常现象： GPT-2 XL 最初表现出较低的干预成功率。进一步分析显示，这是由于其较大的注意力头总数（1,200 个）导致的。当干预头的数量按比例缩放时，其性能趋势与其他模型（如 OPT-2.7B 或 Qwen3-4B）趋于一致，这表明在 GPT-2 XL 中，任务相关的信号分布在更广泛的头集合中。
不存在通用电路： 研究发现，没有证据表明存在一个专门处理跨所有模型或主题之知识冲突的单一通用电路。相反，不同的电路似乎编码了不同的参数化知识，最终的预测取决于哪一个电路的信号在输入提示下被最强烈地激活。

意义与主张

本文声称提供了对语言模型中内记忆知识冲突解决的首次机理阐述。其主要贡献包括：

定位： 确立了内部冲突并非均匀分布，而是局部化在最后几层和特定的注意力头中。
干预层级： 证明了细粒度的头级干预优于粗粒度的层级干预，尤其是在针对专门化的头时。
方法论进步： 验证了跨模型激活补丁 (CMAP) 作为研究真实世界知识冲突时一种可行且通常必要的替代方案。
合成-真实差距： 强调了合成设置与真实世界设置之间存在的实质性差距，强调虽然合成数据集对于机理发现非常有用，但真实世界数据的复杂性（偏差、噪声、实体分布）显著增加了冲突解决的难度。

作者得出结论，语言模型并不依赖于单一的“冲突解决”模块，而是依赖于编码不同事实的不同电路之间的竞争。这表明，引导模型行为需要放大期望的信号或抑制竞争的信号，作用于特定的头级别，而不是应用广泛的架构变更。该研究承认了局限性，包括对 Logit Lens 投影的依赖（在早期层中可靠性较低）以及使用的合成冲突可能无法完美镜像自然发生的预训练冲突的统计特性。