💬 NLP

Knowledge Editing in Masked Diffusion Language Models

本文研究了从自回归模型到掩码扩散模型的“定位与编辑”（locate-and-edit）知识编辑方法的迁移性，揭示了尽管最优编辑位置保持一致，但由于中间状态未得到优化，扩散模型在多标记编辑性能上会出现退化——而这一局限性通过一种旨在优化这些状态的改进方案得到了有效解决。

原作者： Haewon Park, Yohan Jo

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haewon Park, Yohan Jo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：修复机器人的记忆

想象你有一个非常聪明的机器人（大语言模型），它知道数百万个事实。但有时，机器人也会出错——比如它可能认为梅西（Lionel Messi）效力于巴塞罗那，而实际上他现在效力于迈阿密国际。

通常情况下，为了修复这个问题，你必须重新训练整个机器人，这就像为了换个灯泡而拆掉整栋房子重建一样。这种做法既昂贵又冒险。一种被称为**“定位后编辑”（Locate-then-Edit）**的更好方法，就像是精准找到那个坏掉的灯泡并将其更换，而无需触动房子的其他部分。

这种方法对于像人类一样阅读和写作的机器人（即自回归模型，从左到右、逐字生成）效果完美。但现在出现了一种新型机器人，它的工作方式不同：它会双向（从左往右和从右往左）阅读，并同时猜测整个句子，然后像剥洋葱一样一层层揭开单词（这被称为掩码扩散模型，Masked Diffusion Models）。

这篇论文提出的核心问题是：这种“更换灯泡”的小技巧在这一类新型机器人身上是否依然奏效？

第一部分：好消息（“位置”是一致的）

研究人员首先询问：事实究竟存储在机器人的大脑哪个位置？

旧型机器人（从左到右）： 他们发现事实存储在一个特定的“文件柜”（大脑的一个特定层）中，就在机器人读完主语（例如“梅西”）之后。
新型机器人（剥洋葱式）： 出人意料的是，尽管这种机器人的工作方式不同，但事实存储在完全相同的那个“文件柜”里。

类比： 想象两种不同类型的厨师。一位通过向锅里逐一添加食材来烹饪；另一位则是将所有东西混合在一个碗里，然后慢慢揭开盖子来看里面正在煮什么。尽管两者的烹饪风格截然不同，但他们都把“意大利面”的秘密配方放在同一个架子上完全相同的调料罐里。

结论： “定位后编辑”法在两种类型的机器人中寻找“在哪里”进行修改时，表现得都非常出色。

第二部分：坏消息（“如何做”失效了）

这里变得棘手了。虽然他们找到了正确的“文件柜”，但修改后的结果却不同。

短答案（1个词）： 如果你想把“梅西”改为“迈阿密”（一个词），新机器人表现得非常完美。
长答案（多个词）： 如果你想把一个事实改为一段长句（例如，“法国的首都是巴黎” $\rightarrow$ “法国的首都是里昂”），新机器人就开始出错。答案越长，表现就越差。

为什么会这样？
研究人员意识到，问题不在于我们编辑了“哪里”，而在于机器人生成答案的方式。

旧型机器人： 它逐个生成单词。当它写出“里昂”时，它正处于设计该“修复方案”时所预设的精确精神状态中。
新型机器人： 它从一个空白的、被遮盖的屏幕开始。它通过逐步揭开的方式来展示。
- 第1步： 它揭开“L”。
- 第2步： 它看到了“L”，并尝试猜测下一个字母。
- 第3步： 它看到了“Ly”，并尝试猜测下一个。

类比： 想象你在教一名学生写句子。

旧型机器人 就像一个在白纸上写作的学生。你给他在开头一个提示，然后他就写出了整个句子。
新型机器人 就像一个在页面上贴满了便利贴的学生。你告诉他：“写下‘里昂’。”
- 首先，你揭开“L”上面的贴纸。学生写下了“L”。
- 现在，学生看到了“L”，必须根据它来猜测剩下的部分。
- 问题在于： 你给学生的“修复方案”仅针对页面完全被覆盖时的状态进行了设计。它并没有教会学生在看到“L”或“Ly”并需要继续写下去时该怎么做。因为机器人必须经过这些“写了一半”的状态，所以这个“修复方案”失效了。

第三部分：解决方案（教会机器人处理“中间步骤”）

研究人员意识到，修复失败是因为它只针对“完全覆盖”的状态进行了练习。他们需要让它也在“半覆盖”的状态下进行练习。

修复方法：
他们调整了训练过程。他们不再仅仅是在答案完全隐藏时教机器人如何修复事实，而是教它在揭开过程中的每一个阶段都进行修复。

在答案 100% 隐藏时进行修复练习。
在揭开 1 个字母时进行修复练习。
在揭开 2 个字母时进行修复练习。

结果：
通过教会机器人如何处理这些“中间步骤”，长答案的问题突然迎刃而解。机器人的表现从原本的惨败，提升到了几乎能与旧型机器人持平的水准。

总结

位置： 对于旧型（从左到右）和新型（扩散式）机器人来说，存储事实的“记忆”都在同一个地方。
故障点： 新型机器人在长答案上表现不佳，是因为“修复方案”只针对过程的起始阶段进行了训练，而没有针对机器人基于部分信息进行猜测的中间阶段进行训练。
疗法： 通过在猜测过程的每一个阶段（而不只是开始阶段）都进行训练，新型机器人可以成功地更新长且复杂的知识事实。

核心启示： 当你升级机器人的大脑时，你不仅要更换记忆存放的部分，还要确保新的机器人知道如何在它“思考”和“猜测”长答案的过程中正确使用这些记忆。

技术摘要：掩码扩散语言模型中的知识编辑

问题陈述
知识编辑旨在更新或修正大型语言模型（LLMs）中的特定事实知识，而无需对整个模型进行重新训练。主流范式“定位后编辑”（例如 ROME、MEMIT）是专门为自回归模型（ARMs）开发的。这些方法依赖于因果追踪（causal tracing）来识别事实召回是如何定位于主语最后一个 token 的早期到中期层多层感知器（MLP）中的。随后，它们通过修改该位置的权重，使新的对象与主语建立关联。

然而，掩码扩散模型（MDMs）代表了一种不同的范式。与从左至右顺序预测 token 的 ARMs 不同，MDMs 对文本进行双向建模，并通过迭代去噪生成文本，从完全掩码的状态中恢复被掩码的 token。由于 MDMs 具有本质不同的训练目标和生成过程，因此“定位后编辑”的假设——特别是事实的局部性以及在该位置进行编辑的有效性——是否仍然成立，目前仍是一个开放性问题。

方法论
作者在不改变核心算法的情况下，将“定位后编辑”框架（具体为 MEMIT 算法）迁移到了 MDMs 上，仅进行了极小的调整以适应 MDM 的掩码预测机制。

实验设置： 研究对比了两组匹配的模型对：
- ARMs： LLaMA-3-8B 和 Qwen2.5-7B。
- MDMs： LLaDA-8B（从头开始训练）和 Dream-v0-7B（基于 Qwen2.5 权重初始化）。
- 数据集： COUNTERFACT（标准基准测试，主要针对单 token 目标）和 KAMEL（针对多 token 目标分析进行了适配）。
因果追踪： 作者执行了因果追踪，以确定 MDMs 中事实在何处发生因果定位。他们通过破坏主语 token 的嵌入，并测量通过恢复特定层和 token 位置的隐藏状态来恢复正确预测的能力。
编辑评估： 他们衡量了不同 token 位置和层范围内的编辑性能（包括有效性、泛化性和特异性）。至关重要的是，他们在不同的目标长度（单 token 与多 token）和生成设置下进行评估，以识别 MDM 生成过程中特有的失效情况。
提出的修正方案： 在发现 MDMs 在处理多 token 目标时出现性能下降后，作者提出了一个修正方案。标准的编辑针对单一调节状态（即完全掩码的答案）优化权重更新（ $\delta$ ）。所提出的修正方案则扩大了优化范围，将中间部分去掩码状态纳入其中，这些状态是模型在迭代去噪过程中所经历的状态。

关键发现

共享的定位特性： “定位后编辑”的核心假设在不同范式之间是通用的。尽管采用了双向训练，MDMs 将事实召回定位在与 ARMs 相同的地点：即主语最后一个 token 的早期到中期层 MLP。因果追踪证实，在两种模型类型中都存在“早期位点”（事实召回）和“后期位点”（预测输出）。
差异化的结果（多 Token 失效）： 虽然定位位置相同，但结果却不一致。
- 单 Token 目标： 编辑性能在 ARMs 和 MDMs 中表现相当。
- 多 Token 目标： MDMs 的编辑性能随着目标长度的增加而系统性下降。例如，在 4-token 目标上，LLaDA 的有效性从 ~~0.92（1-token）降至 ~0.27，而 LLaMA 仍保持在高水平（~~0.89）。
- 根本原因： 失败源于优化状态与生成过程之间的不匹配。MEMIT 针对完全掩码状态优化编辑。在 ARMs 中，生成过程从左至右进行，与此状态相匹配。而在 MDMs 中，生成过程通过一系列中间状态进行，其中一些 token 已被去掩码，而另一些仍处于掩码状态。仅针对完全掩码状态优化的编辑，无法考虑到由这些中间去掩码 token 所产生的变化上下文。
通过中间状态优化进行恢复： 通过修改优化目标，使 $\delta$ 拟合所有中间部分去掩码状态（通过循环遍历已揭示 token 的数量），作者大幅恢复了多 token 编辑的性能。对于 LLaDA，4-token 目标的有效性从 0.27 提升至 0.73。

意义与主张
本文声称提供了对 MDMs 中“定位后编辑”知识编辑的首次分析。其主要贡献包括：

验证了定位性： 证明了事实的因果定位到主语 token MLP 是一个与范式无关的属性，对于自回归和基于扩散的语言模型均成立。
识别了生成诱发的失效： 揭示了标准基准测试（由单 token 目标主导）掩盖了 MDMs 在处理多 token 事实时存在的系统性失效。这种失效归因于单状态优化与迭代去噪之间的不匹配。
一种简单的修正方法： 提出了一种为中间状态优化编辑的方法，这有效地弥补了 MDMs 在多 token 编辑中的性能差距，且无需改变底层的编辑位置或算法结构。

作者得出结论，将编辑方法迁移到不同架构时，不仅需要匹配编辑的位点，还需要匹配实现所编辑事实的生成过程。他们指出，虽然其修正方案解决了失效的主要原因，但在处理最长目标时仍存在性能差距，这表明未来的工作可能需要考虑 MDMs 去掩码 token 的具体顺序。

大局观：修复机器人的记忆

第一部分：好消息（“位置”是一致的）

第二部分：坏消息（“如何做”失效了）

第三部分：解决方案（教会机器人处理“中间步骤”）

总结

技术摘要：掩码扩散语言模型中的知识编辑

类似论文