💬 NLP

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

本文通过使用一种自修复干预手段，揭示了失配的内部知识电路如何阻碍有效推理，进而研究了微调大语言模型中存在的“知行差距”（即记忆的知识无法泛化）问题，并提出了一种能够恢复 58%–75% 潜在泛化性能的启发式策略。

原作者： Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人图书管理员，它刚刚学到了一个全新的知识：“悉尼在澳大利亚。”当你问它：“悉尼在哪里？”它能完美地回答。但随后你问它：“悉尼所在的国家的首都是哪里？”机器人却愣住了，表现得好像完全不知道你在说什么一样。

这正是香港科技大学（广州）及香港科技大学的研究人员试图解决的谜题。他们称之为**“知用差距”（Knowing–Using Gap）**。这是一个令人沮丧的时刻：大型语言模型（LLM）显然已经记住了一条新信息，却无法将其用于解决稍微复杂一点的谜题。

谜团：为什么机器人会卡住

研究人员发现，这并不是因为机器人“忘记了”，也不是因为它太笨而无法理解逻辑。事实上，机器人知道答案；它只是把答案藏在了错误的房间里。

要理解这一点，可以将机器人的大脑想象成一座巨大的、多层的办公大楼：

底层（第1–10层）： 这就像是门厅和收发室。它们非常擅长存储传入的包裹（记忆事实）。
中层（第10–20层）： 这是“思考”部门，复杂的推理在这里发生。
顶层（第20–30层）： 这是撰写并发送最终报告的地方。

当机器人学习一个新事实时，它会迅速将信息存入门厅或顶层。那里很安全！但处于中间的“思考部门”却从未收到通知。因此，当机器人试图解决一个多步骤的谜题（比如将悉尼与澳大利亚联系起来，再将澳大利亚与其首都联系起来）时，信息就卡在了错误的地方。这就像是你兜里揣着一张图书馆卡，却试图在超市收银台使用它一样。

侦探工作：“自我修补”（Self-Patching）

他们是如何证明信息确实存在、只是放错了位置的呢？他们发明了一个巧妙的技巧，叫做**“自我修补”**。

想象一下，有两个版本的机器人并排运行：

机器人 A 正试图回答那个难题，但失败了。
机器人 B 的“门厅”里存储着答案。

研究人员伸手进入机器人 B，抓取了关于“悉尼在澳大利亚”的特定记忆，并物理性地将其移动到了机器人 A 的“思考部门”。

结果如何？ 机器人 A 瞬间解决了问题！

这个实验表明，知识从未丢失；它只是错位了。机器人拥有这些数据，但没有将其路由到大脑中可以进行数学运算的正确部分。研究人员将此称为**“知识–电路错位假设”（Knowledge–Circuit Misalignment Hypothesis）**。

这并不是……

研究人员非常谨慎地排除了其他观点：

不是缺乏脑力： 他们测试了更大、更聪明的模型，问题依然存在。
不是“提示词”问题： 他们尝试给机器人提示（例如要求它“一步步思考”），但这只起到了微小的作用。真正的修复方法是移动记忆，而不仅仅是提出更好的问题。
不是机器人正在学习新逻辑： 机器人不需要学习如何进行推理；它只需要访问它已经知道的事实即可。

好消息：一个简单的修复方法

最棒的部分是，研究人员发现了一种无需知道具体哪个记忆属于哪个事实的修复方法。

他们注意到，“思考部门”（中间层）是关键。他们创建了一个简单的规则：“如果你在门厅或顶层存储了一个事实，请将其移动到中层。”

他们在不同的机器人模型和不同类型的知识（从生物学到学术论文）上测试了这个简单的规则。

在没有修复的情况下，机器人在处理推理问题时的正确率仅为 7% 到 18%。
使用这个简单的“移动记忆”规则后，它们的正确率达到了 35% 到 45%。

这个简单的技巧找回了机器人本可以实现的潜在成功率中的 58% 到 75%。它虽然不是能解决一切问题的魔杖，但它证明了这个问题是可解的。

核心启示

这篇论文表明，当 AI 模型无法使用它们所学到的知识时，这通常是一个路由问题，而不是学习问题。事实就在那里，只是被安全地存储在脑部的错误角落。通过简单地将这些事实移动到“思考层”，我们可以帮助机器人将点与点连接起来，从而解开谜题。

研究人员现在建议，未来的训练不应只关注如何让模型更快地记忆事实，而应致力于教它们如何将这些事实路由到正确的地方进行推理。这是一种从“教更多”到“组织更好”的转变。

技术摘要：探究大语言模型微调中记忆知识无法泛化的机理原因

1. 问题定义：知与用的差距（The Knowing–Using Gap）

本文探讨了大语言模型（LLM）微调中的一个关键失效模式：模型记忆新事实的能力与其在下游推理任务中利用这些事实的能力之间的差异。作者将其形式化为**“知用差距”（Knowing–Using Gap）**，该差距由两个截然不同的差异组成：

准确率差距（Accuracy Gap）： 即使在收敛后，泛化准确率（将事实用于推理）仍显著低于记忆准确率（直接召回）。
时间滞后（Temporal Lag）： 在训练过程中，泛化能力的出现明显晚于记忆能力的出现。

尽管模型具有足够的容量来拟合新数据，但模型往往表现出“记得但不会用”的行为，即它们可以召回一个事实（例如，“悉尼在澳大利亚”），却无法将其链式应用于推理任务（例如，“悉尼所在的国家首都是哪里？”）。

2. 研究方法

为了调查这一差距的机理原因，作者结合了数据集构建、因果干预和动态分析。

数据集构建：

作者构建了一个改编自 STaRK（一个真实的半结构化知识库）的专门数据集，利用生物医学（STaRK-Prime）和学术（STaRK-MAG）子集以确保跨领域的鲁棒性。
他们定义了用于微调的记忆任务（单跳问答）和用于评估的泛化任务。
设计了两种特定的泛化任务类型：
- 链式推理（Chaining）： 要求进行跨越多个跳数的序列推理（例如：实体 A → 关系 → 实体 B → 关系 → 实体 C）。
- 交集任务（Intersection）： 要求在噪声中检索多个实体的属性，并基于共享关系进行过滤。
严格的新颖性验证确保了预训练模型在这些任务上的得分接近于零，从而确认注入的知识确实是全新的。

自我补丁干预（Self-Patching Intervention）：
其核心方法论贡献是自我补丁（Self-Patching），这是激活补丁（activation patching）的一种变体。

机制： 该技术从“源”运行（已知该事实的情况）中复制锚点标记（如头实体）的隐藏层表示，并将其替换到“目标”运行（模型无法泛化的情况）中特定的目标层。
目标： 通过扫描所有层对 $(l_{src}, l_{tgt})$ ，该方法生成空间渗透图（spatial permeation map）。它用于识别是否存在包含注入知识的表示，但该表示只是未能被路由到推理所需的计算有效层。
区别： 与因果追踪（causal tracing）不同，自我补丁不需要“干净”的正确轨迹，因此适用于泛化失败的情况。与 PatchScope 不同，它关注的是目标提示词的准确性，而非通过辅助解码来解释源端。

3. 关键发现与结果

知识-电路失配假设（The Knowledge–Circuit Misalignment Hypothesis）：
作者提出，知用差距是由知识存储与推理电路之间的空间失配驱动的。

存储 vs. 计算： 微调将新事实编码进“面向存储”的状态（通常位于早期或极晚的层），这些状态支持直接召回。然而，这些表示并不能可靠地路由到执行多步推理所需的“计算有效”中间层。
梯度消失： 一旦记忆饱和，损失函数就会减小，导致梯度消失。因此，模型无法自然地更新其内部路由，以使存储的知识与推理电路对齐，导致知识处于“搁置”状态。

经验证据：

渗透动力学： 自我补丁评分的热力图显示，在记忆完成后，会出现“非对角线”红色区域（表明知识存在于特定层中），而对角线单元格保持蓝色（表明模型无法实现端到端的成功）。在成功的泛化案例中，红色区域会扩展并覆盖对角线；而在失败案例中，红色区域在到达对角线前便停止了。
先验恢复（Oracle Recovery）： 当通过自我补丁将表示手动重新定位到有效的中间层时，下游使用的准确率大幅提升。
- 链式任务： 在所有模型和领域中，先验自我补丁将准确率提高了 1.5–6 倍。
- 交集任务： 差距几乎被消除。
空间聚类： 最有效的补丁位置形成了两个聚类：将表示从前层移动到中层，以及从后层移动到中层。这表明瓶颈不在于信息的涌现，而在于其与中层推理流的对齐。

实用启发式策略：
除了诊断工具外，作者还根据观察到的空间聚类设计了一种固定的启发式策略（针对约 0.5L 的位置，分别来自约 0.1L 和约 0.8L）。

这种非先验策略恢复了58–75% 的先验上限，证明了泛化失败在很大程度上是可逆的，且无需针对每个实例进行搜索。

消融实验：

标记位置： 增益与在**头实体（head-entity）**位置进行补丁紧密相关，而非随机位置或通用标记。
提示词 vs. 补丁： 思维链（CoT）提示虽然能提高性能，但仍远低于自我补丁带来的增益，有时甚至会降低性能。无关补丁（使用来自无关事实的表示）产生的增益微乎其微，证实了该效应是针对特定注入知识表示的。
规模无关性： 该现象在不同模型规模（1B 到 8B）和微调方法（FFT 与 LoRA）中持续存在，表明这是一个结构性对齐问题，而非容量限制问题。

4. 重要性与主张

本文声称，将微调中的泛化失败重新定义为一种可处理的对齐问题，而非缺乏学习能力。

机理洞察： 它提供了因果证据，证明被记忆的知识在内部确实存在，但由于路由错误，未能到达进行推理所需的计算层。
诊断效用： 自我补丁技术可作为一种工具，用于绘制注入知识在何时变得因果可用，即使在模型无法自然泛化的情况下也是如此。
实际意义： 研究结果表明，“对齐感知型”训练或后验对齐策略可以弥合记忆与泛化之间的差距。本文展示了简单的固定启发式策略可以恢复大部分丢失的泛化能力，推动该领域从纯粹的诊断走向实际的补救。

作者总结道，知用差距是一个跨领域、跨架构的稳健现象，其根源在于微调未能自然地将存储表示与推理电路进行对齐。