💬 NLP

Disentangling Knowledge Representations for Large Language Model Editing

该论文提出了 DiKE 方法，通过解耦知识表示并仅更新目标相关分量，有效解决了大语言模型编辑中因表示纠缠而导致的细粒度无关知识（即共享同一主体但关系或对象不同的事实）被意外破坏的问题。

原作者： Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 DiKE 的新方法，旨在解决大语言模型（LLM）在“知识编辑”过程中遇到的一个棘手问题。

为了让你轻松理解，我们可以把大语言模型想象成一个超级图书馆，而“知识编辑”就是给图书馆里的书做修改。

1. 核心问题：修一本书，却弄坏了隔壁书架

想象一下，图书馆里有一本关于“美国总统”的书（比如写着“总统是拜登”）。现在，世界变了，我们需要把这本书改成“总统是特朗普”。

现有的方法（旧技术）： 就像是一个粗心的图书管理员。他为了把“拜登”改成“特朗普”，直接撕掉了整页纸重写。结果，虽然“总统”改对了，但因为这页纸和旁边关于“美国首都”、“美国国旗”、“美国国土面积”的信息是纠缠在一起的，管理员不小心把“美国首都是华盛顿”也改成了“特朗普”或者把整本书弄乱了。
论文指出的痛点： 现有的技术能很好地处理完全无关的知识（比如“微软是谁创立的”），但在处理同一个主体（Subject）下的不同事实时（比如同一个“美国”，既有“总统”又有“首都”），它们往往顾此失彼，导致“牵一发而动全身”，把原本不需要改的精细信息也搞坏了。

2. 解决方案：DiKE（知识解耦编辑）

DiKE 就像是一个拥有“透视眼”和“手术刀”的高级图书管理员。它的核心思想是：把纠缠在一起的信息拆开，只改需要改的那部分。

第一步：知识解耦（KRD 模块）—— 把“一团乱麻”理成“两根线”

想象“美国”这个概念在模型里是一团纠缠在一起的毛线球，里面混着“总统”、“首都”、“人口”等各种信息。

DiKE 的做法： 它先训练一个“解缠器”（Disentangler）。这个工具能把这团毛线球拆开，变成两根独立的线：
1. 红线（目标知识）： 专门记录“总统是谁”的信息。
2. 蓝线（无关知识）： 专门记录“首都是哪里”、“国旗什么样”等其他信息。
比喻： 就像把混合在一起的果汁（苹果汁和橙汁）重新分离成两杯纯净的果汁。

第二步：基于解耦的编辑（DKE 模块）—— 精准手术

现在，我们要修改“总统”的信息了。

旧方法： 直接往毛线球里塞新东西，结果把橙汁也染红了。
DiKE 的做法：
1. 它只拿起那根红线（目标知识），把上面的“拜登”擦掉，写上“特朗普”。
2. 它死死按住那根蓝线（无关知识），确保上面的“华盛顿”、“国旗”等任何信息都纹丝不动。
3. 最后，它把这两根线重新编织回图书馆的书架上。

3. 为什么这很厉害？（实验结果）

论文团队做了一个新的测试集叫 FINE-KED，专门用来测试这种“精细度”。

测试场景： 比如把“美国总统是拜登”改成“特朗普”，然后问模型“美国首都是哪里？”
结果：
- 旧方法（如 ROME, MEMIT）： 经常把“首都是华盛顿”也改错，或者回答得支支吾吾。
- DiKE： 成功改好了“总统”，同时完美保留了“首都”、“人口”等其他所有关于美国的正确信息。

4. 总结与比喻

如果把大语言模型的知识库比作一个巨大的乐高城堡：

以前的编辑方法像是用大锤子砸掉一块积木换新的，结果导致旁边几块没关系的积木也松动了，甚至整个结构都歪了。
DiKE 方法则像是3D 打印和精密机械臂：它先扫描城堡，识别出哪一块积木是“总统”（目标），哪一块是“首都”（无关）。然后，它只把“总统”那块积木精准地替换掉，同时用夹具固定住“首都”那块，确保它毫发无损。

5. 这篇论文的意义

更精准： 让 AI 更新知识时，不再“误伤”无辜。
更高效： 不需要重新训练整个模型，只需要微调一点点参数（就像只换了一个零件）。
更可靠： 对于需要频繁更新事实（如新闻、科学发现）的 AI 应用来说，这保证了 AI 既“知新”又“守旧”，不会因为改了一个事实就忘了其他常识。

简单来说，DiKE 就是给大语言模型做了一次“微创手术”，只切除病灶（错误的旧知识），而不伤及健康的组织（正确的无关知识）。

这是一篇发表于 ICLR 2026 的会议论文，题为《Disentangling Knowledge Representations for Large Language Model Editing》（解耦知识表示以进行大语言模型编辑），作者来自山东大学、中国科学院自动化研究所等机构。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：
大语言模型（LLMs）存储了大量知识，但随着世界知识的演变，模型中嵌入的知识往往会出现过时或不准确的情况。**知识编辑（Knowledge Editing）**技术旨在高效地更新模型中的特定知识，而无需重新训练整个模型。现有的参数修改方法（如 ROME, MEMIT, AlphaEdit 等）在注入新知识方面表现良好，但在保持无关知识方面存在不足。

核心问题：细粒度无关知识的破坏
现有的编辑方法主要关注“粗粒度无关知识”（即与编辑对象完全不同的事实，如编辑“美国总统”时不影响“微软创始人”），但往往忽略了细粒度无关知识（Fine-grained Irrelevant Knowledge）。

定义：细粒度无关知识是指与编辑知识共享相同主语（Subject），但关系（Relation）和对象（Object）完全不同的事实。
- 例子：编辑“美国总统是拜登”为“美国总统是特朗普”时，细粒度无关知识是“美国的首都是华盛顿”。
挑战：在 LLM 的表示空间中，主语（Subject）的表示往往编码了该主语的所有属性（关系和对象）。当直接修改主语表示以更新特定关系时，由于表示空间的纠缠（Entanglement），其他无关关系（如首都、出生地等）的信息也会受到意外干扰，导致模型“遗忘”或错误修改这些细粒度事实。
现状：现有方法（如 ROME, AlphaEdit）虽然引入了约束，但多基于粗粒度采样（如从 Wikitext 采样），无法精确区分同一主语下的不同关系，导致细粒度无关知识的保持率较低。

2. 方法论 (Methodology)

作者提出了 DiKE (Disentangled Knowledge Editing)，一种基于知识表示解耦的新型编辑方法。DiKE 包含两个核心模块：

2.1 知识表示解耦模块 (Knowledge Representation Disentanglement, KRD)

该模块旨在将主语的原始表示分解为两个独立的部分：

目标知识相关表示 ( $z^r_e$ )：包含与当前编辑任务（特定关系 $r$ 和对象 $o$ ）相关的信息。
目标知识无关表示 ( $z^u_e$ )：包含与该主语相关的其他细粒度无关信息（如其他关系 $r'$ 和对象 $o'$ ）。

架构：包含“解耦器（Disentangler）”和“重组器（Recomposer）”。
- 解耦器：接收主语表示 $h_s$ 和关系表示 $h_r$ ，通过神经网络映射生成 $z^r_e$ 和 $z^u_e$ 。
- 重组器：将 $z^r_e$ 和 $z^u_e$ 重组回原始主语表示，确保信息完整性。
训练目标：
- 解耦损失 ( $L_{ctr}$ )：基于对比学习（InfoNCE），最大化 $z^r_e$ 与 $h_s$ 的互信息，同时最小化 $z^r_e$ 与 $z^u_e$ 的相似度，强制两者在表示空间分离。
- 约束损失 ( $L_{con}$ )：确保 $z^r_e$ 能准确预测编辑后的对象，而 $z^u_e$ 能准确预测无关的细粒度事实。
- 重构损失 ( $L_{recon}$ )：确保重组后的表示能还原原始语义。

2.2 基于解耦的知识编辑模块 (Disentanglement-based Knowledge Edit, DKE)

在编辑阶段，利用预训练好的 KRD 模块进行参数更新：

目标知识注入：仅对目标知识相关表示 ( $z^r_e$ ) 进行优化，计算修改量 $\delta$ ，使得重组后的表示能预测新的对象 $o^*$ 。
细粒度无关知识保护：显式约束目标知识无关表示 ( $z^u_e$ ) 在编辑前后保持不变。
闭式解推导：
- 结合目标知识更新、粗粒度无关知识保持（传统 MEMIT 约束）和细粒度无关知识保持（新引入的 $z^u_e$ 不变约束）。
- 利用矩阵理论推导出一个秩一（Rank-one）参数更新公式（公式 19）。
- 该公式在保持 MEMIT 高效性的同时，通过引入 $W_3$ 矩阵（解耦器参数）将细粒度约束融入更新过程，无需为每次编辑重新训练。

3. 关键贡献 (Key Contributions)

问题定义与分类：首次明确区分了知识编辑中的“粗粒度”和“细粒度”无关知识，并指出细粒度无关知识（共享主语但关系不同）是现有方法的主要短板。
提出 DiKE 框架：
- 设计了 KRD 模块，将纠缠的主语表示解耦为“相关”与“无关”分量。
- 设计了 DKE 模块，在更新相关分量的同时，通过数学约束显式保护无关分量。
- 推导了满足多重约束的闭式秩一更新公式，保证了编辑的效率和最小侵入性。
构建新基准 FINE-KED：
- 为了评估细粒度无关知识的保持能力，构建了新数据集 FINE-KED。
- 该数据集根据编辑知识与无关知识之间的关系语义相似度，将测试样本分为三个难度等级：Easy（低相似度）、Middle（中等相似度）、Hard（高相似度）。
实验验证：在 GPT-2 XL, GPT-J, LLaMA-3 等多个模型上进行了广泛实验，证明了 DiKE 在保持细粒度无关知识方面的显著优势，同时保持了优秀的编辑成功率。

4. 实验结果 (Results)

FINE-KED 表现：
- 在 Relational Locality（关系局部性，即保持无关知识的能力）指标上，DiKE 显著优于 ROME, MEMIT, AlphaEdit 和 MEND。
- 特别是在 Hard 难度（高相似度关系）下，DiKE 的提升最为明显（例如在 LLaMA-3 上，Hard 级别的 Relational Locality 提升了约 4.6% - 10.4% 不等，具体取决于模型）。
- 在 Efficacy（编辑成功率）方面，DiKE 与 SOTA 方法（如 AlphaEdit, MEMIT）持平或略优，证明了其解耦策略没有牺牲编辑能力。
通用编辑性能：
- 在 COUNTERFACT 和 MQUAKE-3K（多跳推理）基准测试中，DiKE 的表现与现有最佳方法相当，证明了其泛化能力。
消融实验：
- 移除解耦损失（w/o CTR）或约束损失（w/o KC）会导致细粒度知识保持能力大幅下降。
- 移除细粒度约束（w/o FIK）或直接在原始表示上编辑（w/o TKE）也会导致性能显著降低，验证了“解耦 + 针对性编辑”策略的有效性。
批量编辑：在“同主语批量编辑”（Subject-consistent batch editing）场景下，DiKE 表现尤为出色，而 ROME 等方法的性能随批量增大急剧下降，说明解耦机制有效隔离了不同关系间的冲突。

5. 意义与价值 (Significance)

理论突破：揭示了 LLM 中知识表示的纠缠特性，并提出通过表示解耦来解决这一问题的新范式，超越了以往仅靠外部约束（如 Null-space projection）的局限性。
实用价值：解决了知识编辑中“牵一发而动全身”的痛点，使得模型在更新特定事实（如某人的职位）时，不会破坏该主体的其他关键信息（如该人的出生地、国籍等），提高了模型编辑的可控性和可靠性。
评估标准：提出的 FINE-KED 基准填补了现有评估体系在细粒度知识保持方面的空白，为未来知识编辑研究提供了更严格的测试标准。
效率：通过闭式解推导，DiKE 保持了与现有高效编辑方法（如 MEMIT）相似的推理和编辑速度，具有实际部署的可行性。

总结：DiKE 通过解耦知识表示，实现了“精准编辑目标，完整保留细节”，为大语言模型的知识维护提供了一种更精细、更鲁棒的解决方案。