💬 NLP

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

本文通过行为与机制分析，挑战了将语言模型视为统一知识库的观点，证明了事实性知识是以任务特定方式进行编码的，即不同的参数子集会根据查询上下文被激活，从而削弱了事实检索的一致性与可靠性。

原作者： Amit Elhelo, Amir Globerson, Mor Geva

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Amit Elhelo, Amir Globerson, Mor Geva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一本巨大的、超级聪明的百科全书，它几乎读遍了互联网上的所有内容。你可能会把这本百科全书看作一个完美的图书馆，每一个事实都存储在一个特定的位置。如果你问：“法国的首都是哪里？”或者“巴黎是法国的首都是吗？”，你期望这个图书馆能从同一个架子上取出完全相同的文件，并给出相同的答案。这就是传统数据库的工作方式：一个真相，一个来源。

这篇论文调查了大型语言模型（LLM）——即像聊天机器人这类工具背后的 AI 大脑——是否也像这样一个完美的图书馆。研究人员 Amit Elhelo、Amir Globerson 和 Mor Geva 发现，事实并非如此。

AI 的“知识”并不是一个单一、统一的图书馆，而更像是一系列专门的、针对特定任务的工具箱。以下是他们研究结果的拆解，使用了简单的类比：

1. “不同工具箱”类比

想象你有一个瑞士军刀。它有一个螺丝刀、一个刀片和一个开瓶器。

传统观点： 你可能认为“如何打开瓶子”的知识存储在刀具的一个核心部分。
论文的发现： AI 实际上像是一个工具箱，只有当你被要求“打开瓶子”时，“如何打开瓶子”的知识才会存储在开瓶器中。但如果你问“这是一个开瓶器吗？”（一种不同类型的提问），AI 会使用一套完全不同的工具来回答，尽管这个问题也是关于同一个物体。

研究人员通过以不同的方式询问 AI 同一个事实（例如“巴黎是法国的首都是”）来测试这一点：

生成（Generation）： “法国的首都是哪里？”（AI 必须写出答案）。
判别（Discrimination）： “巴黎是法国的首都是吗？是或否。”（AI 必须做出选择）。

他们发现，AI 经常在“书写”任务中学会了这个事实，但在“选择”任务中却无法“掌握”它，反之亦然。这就像 AI 有一个“写作大脑”和一个“选择大脑”，而这两个大脑并不总是互通的。

2. “训练营”观察

研究人员观察了 AI 随着时间的推移如何学习，就像教练观察学生为不同考试而学习一样。

预期： 如果学生在写作考试中学会了“巴黎是首都”，那么他们在随后的选择题考试中也应该立即知道这一点，因为这是同一个事实。
现实： 学生往往通过了写作测试，但在几天后的多项选择测试中却失败了。知识并没有“共同出现”（co-emerge，即同时出现在不同形式中）。这表明 AI 并不是将事实存储在一个中心位置；它是在学习针对特定类型问题处理该事实的特定方式。

3. “手术”实验（机械论分析）

为了证明这一点，研究人员对 AI 的大脑（其内部参数）进行了“手术”。他们试图寻找负责在特定方式下回答“巴黎是法国首都”这一事实的微小且特定的神经元组。

结果： 他们发现了针对每种任务的截然不同、独立的神经元组。
- 如果他们“关闭”了用于“书写”任务的神经元，AI 会忘记书写问题的答案，但仍能完美回答“是/否”问题。
- 如果他们“关闭了”用于“是/否”问题的神经元，AI 会在那个测试中失败，但仍能写出答案。
隐喻： 这就像为同一扇门准备了两把不同的钥匙。一把钥匙在你从左边推门时可以开门；另一把钥匙在你从右边拉门时可以开门。如果你丢了“推”的那把钥匙，即使“拉”的那把钥匙还能用，门也会因为无法执行“推”的动作而被锁住。

4. “思维链”的惊喜

论文还研究了“思维链”（Chain of Thought, CoT）推理，即要求 AI 在回答之前“逐步思考”。

发现： 当 AI 被要求大声思考时，它似乎使用了这些不同工具箱的混合体。如果你移除用于最终答案的特定神经元，AI 通常仍能通过“思考”问题来得到正确答案，因为它正在借用那些在直接回答时通常不会使用的其他任务特定工具箱中的知识。
类比： 这就像一名侦探，通常通过观察单一线索来破案（直接回答）。但如果被迫写一份完整的报告（思维链），他们就会开始检查其他文件并交叉引用不同的工具箱，这有助于他们在主要线索缺失的情况下解决案件。

核心结论

论文得出结论，认为 AI 是一个“知识库”（单一事实来源）的想法是一个谬误。相反，AI 所知道的内容与其被提问的方式是交织在一起的。

可靠性风险： 如果你修改 AI 以让它在一种类型的提问中（如多项选择题）“忘记”一个事实，它在写作提示中可能仍然会记得该事实。
评估风险： 如果你只在一种类型的提问上测试 AI，你可能会认为它掌握了一个事实，但当以另一种格式提问时，它可能完全一窍不通。

简而言之，AI 并没有一个单一、统一的记忆。它拥有一个由专门记忆组成的拼凑体，每种记忆都针对提问的特定方式进行了调整。

技术摘要：语言模型作为特定任务知识库：一项解释性分析

问题陈述

语言模型（LM）经常被概念化为知识库，其中参数存储了可通过各种查询访问的事实信息。一个设计良好的知识库的一个基本属性是任务不变性（task-invariance）：针对同一事实的不同查询应当从单一的事实源头检索到一致的结果。例如，传统的数据库对于“法国的首都是什么？”和“法国的首都是___。”这两个查询都应返回“巴黎”。

本文研究了语言模型是否满足这种任务不变性属性。具体而言，它探讨了语言模型的知识存储方式是任务无关的，还是其内部对事实的表示与用于查询该事实的具体任务格式（例如，多项选择 vs. 开放式生成）交织在一起。如果语言模型缺乏任务不变性，那么“知识库”这一类比就会受到质疑，这将对这些系统中事实知识的可靠性、一致性和可控性产生影响。

研究方法

作者采用了结合行为分析（追踪训练期间知识的涌现）和机制分析（定位特定的参数子集）的双重方法。

1. 行为分析：共现假设

作者追踪了 OLMo-3-7B IT 模型在训练检查点过程中事实知识的获取情况。

数据： 五个关系数据集（例如，国家-首都、地标-国家），形式化为（主体，关系，客体）三元组。
任务： 六种不同的任务格式：下一标记补全（COMPLETION）、填空（FITB）、开放式问答（OPENQA）、四选一多项选择问答（MCQA）、负向多项选择（Negative MCQA）以及二元验证（Binary Verification）。
假设： 如果知识是任务不变的，那么一个在某一任务中获得的知识，应该在模型已经具备能力的其它任务中共现（同时出现）。形式化地，如果事实 $f$ 在任务 $t$ 的检查点 $E(f, t)$ 出现，且模型在任务 $t'$ 上已具备能力 $E(\cdot, t')$ ，那么 $E(f, t')$ 应满足 $\le \max(E(f, t), E(\cdot, t'))$ 。
统计检验： 作者将任务不变性形式化为事实与任务之间的条件独立性（ $P(\text{correct} | f, t) = P(\text{correct} | f) \cdot P(\text{correct} | t)$ ），并使用双向方差分析（two-way ANOVA）对对数概率进行测试，以检测是否存在交互项。

2. 机制分析：参数定位

为了确定不同任务是否依赖于针对同一事实的不同参数子集，作者改编了一个定位框架（Bayazit 等人，2024），用以识别针对单个（事实，任务）对的特定稀疏参数子集（注意力头和 MLP 神经元）。

目标： 学习模型参数上的二值掩码 $m$ $m$ ，以最小化包含四个项的损失函数：
- 必要性（Necessity）： 移除被掩码的参数必须降低目标（事实，任务）对的性能。
- 充分性（Sufficiency）： 当被掩码的参数激活被补丁（patching）回一个损坏的提示词（其中主体被替换为占位符）时，这些参数必须足以恢复性能。
- 特异性（Specificity）： 移除或补丁这些参数对于在其他任务下的相同事实，或在相同任务下的其他事实，应产生极小的影响。
- 稀疏性（Sparsity）： 掩码应当尽可能小。
模型： 实验在 OLMo-2-7B IT、OLMo-2-13B IT 和 Gemma-2-9B IT 上进行。

3. 思维链（CoT）分析与跨任务纠缠

纠缠度指标： 作者定义了一个得分，用于量化消融一个（事实，任务）编码而不影响其他对时的“纯净度”。
思维链（CoT）： 作者测试了 CoT 推理是否通过调用超出评估任务本身的特定任务参数，从而恢复了直接回答无法获取的知识。他们比较了在零消融局部参数的情况下，直接回答与 CoT 的表现。

关键结果

1. 违反任务不变性（行为层面）

有限的共现性： 共现假设经常被违反。在 47.9% 的（事实，任务）对中，即使模型在该任务上已有能力且该事实已在其他地方出现，该事实在预期的步骤内并未在目标任务中出现。
统计学拒绝： 在每个训练检查点，原假设（条件独立性，即事实与任务之间没有交互）都被拒绝（ $p \approx 0$ ）。交互项解释了最终模型高达 23% 的方差，这表明知识检索高度依赖于任务格式。

2. 不同的参数子集（机制层面）

任务特定编码： 定位实验成功识别了针对每个（事实，任务）对的独特且稀疏的参数子集。
必要性与特异性： 对特定（事实，任务）对的局部参数进行零消融（zero-ablating）会导致该对性能显著下降（相对下降 29%–89%）。至关重要的是，在其他任务下评估相同事实，或在相同任务下评估其他事实的性能几乎不受影响（下降 $\le 8\%$ ）。
充分性： 将定位到的激活值补丁回损坏的提示词中，成功恢复了目标对的性能（重建率 69%–102%），证实了这些参数携带了必要的信息。

3. 纠缠模式

生成 vs. 判别： 任务格式是纠缠度的主要预测因子。判别任务（MCQA、验证）比生成任务（OPENQA、FITB）表现出更高程度的任务间纠缠。
不对称性： 通过生成任务获得的知识倾向于在其他任务中共现，但通过判别任务获得的知识很少能在生成任务中实现共现。

4. 思维链（CoT）的作用

恢复： 当某一任务的自身局部参数被消融时，CoT 推理能恢复显著部分的性能损失（性能下降仅为 12%–30%，而直接回答的下降幅度为 20%–72%）。
跨任务依赖： 与直接回答相比，当其他任务的编码被消融时，CoT 受到的附带损害更大。这表明 CoT 通过路由到多个任务特定的编码来重建答案，而非仅仅依赖于评估任务自身的特定参数。

意义与主张

本文得出结论：将语言模型类比为“知识库”是有缺陷的，因为模型所知道的内容与其被询问的方式在参数空间中是交织在一起的。

可靠性与可控性： 缺乏任务不变性意味着针对单一任务格式进行的知识编辑或卸载（unlearning）干预可能会导致该事实在其他格式中依然存在。反之，单任务评估只能提供模型编码知识的部分视图。
推理机制： 这些发现为 CoT 推理为何能解锁直接回答无法获取的知识提供了机制解释：CoT 调用了来自多个任务格式的参数化编码，有效地绕过了单一任务特定编码的限制。
未来方向： 作者建议，鼓励任务不变事实编码的训练方案（例如，在训练过程中加入中间推理过程）可以提高语言模型的可靠性和可控性。

作者保持了谦逊的态度，指出他们的发现主要描述的是广为人知的关系型知识，并且这种模式与模型规模之间的相互作用仍是一个开放性问题。他们并非声称语言模型不具备任何共享知识，而是认为知识的存储至少在部分程度上是由任务格式组织的。