💬 NLP

Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates

该论文提出了 CoRSA，这是一个参数高效的训练框架，旨在解决知识冲突并最小化损失曲率，从而显著提升大型语言模型在经历多次知识编辑时的泛化能力、稳定性和更新效能。

原作者： Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（即大语言模型），他掌握着大量的知识。但世界有时会发生变化。也许是一家公司的 CEO 换了人，或者是运动队交易了球员。你需要更新这位图书管理员的记忆，但又不能解雇他并重新雇佣一个新的人（因为那样太昂贵且太慢了）。

这篇论文介绍了一种名为 CORSA 的新方法，旨在帮助高效且准确地更新这位图书管理员的记忆。以下是它的工作原理，我们使用简单的类比来解释：

问题所在：“固执”的图书管理员

当你试图教给图书管理员一个新的事实时，现有方法通常会出现三个问题：

“改写”问题（The "Paraphrase" Problem）： 如果你告诉管理员：“CEO 是 Andy Jassy”，他们可能只会记住这句完全相同的话。如果你问：“谁在管理亚马逊？”，他们可能仍会回答旧任 CEO 杰夫·贝索斯。他们并没有真正理解这个“概念”，而只是记住了特定的词汇。
“倒退”问题（The "Backslide" Problem）： 如果你更新了管理员一次，稍后又进行了另一次更新，第一次的更新可能会被抹除，或者旧的错误信息会再次跳出来。这就像是在白板上用一种不会干的马克笔写字，旧的墨水会渗透出来。
“冲突”问题（The "Conflict" Problem）： 管理员对旧事实有着深刻的记忆。当你试图覆盖这些事实时，旧的记忆会产生抵抗，导致混乱或“幻觉”，即管理员给出的答案是新旧信息的混合体。

解决方案：CORSA

作者开发了 CORSA（冲突解决与锐度感知最小化）。你可以把它看作是针对图书管理员的一种特殊训练方案，通过两个主要技巧来解决上述三个问题：

1. “平坦谷底”技巧（锐度感知最小化/Sharpness-Aware Minimization）

想象一下，图书管理员的知识是一个由山丘和山谷组成的景观。

旧方法： 当他们学习一个新事实时，他们可能会陷入地图上的一个微小、尖锐的“突起”。看起来这是一个完美的位置，但只要你稍微推动一下（比如以不同的方式提问），他们就会从突起上掉下来，从而忘掉一切。
CORSA 的技巧： CORSA 强迫图书管理员寻找一个宽阔、平坦的谷底，而不是一个尖锐的突起。在平坦的谷底，即使你推动一下（以不同的方式提问），他们仍会保持在原处。这使得新知识变得稳定，并有助于其泛化到不同的提问方式。

2. “对抗幽灵”技巧（冲突解决/Conflict-Resolving）

想象一下，旧的事实就像是一个困扰着图书管理员的幽灵。

旧方法： 标准训练试图教授新事实，但却无意中让幽灵的声音变得更大。管理员学会了新事实，但旧的事实仍在背景中低语。
CORSA 的技巧： CORSA 使用了一种双重策略。它在教授新事实的同时，也明确告诉管理员：“忽略那个旧幽灵！”它通过显式地推开旧答案并拉近新答案，在两者之间创造出一个清晰的间隙，确保旧的事实不会在以后偷偷溜回来。

它如何处理多次更新

论文测试了当多次更新图书管理员的记忆时（例如追踪每年都会更换工作的 CEO）会发生什么情况。

其他方法： 它们表现得像一块会被饱和的海绵。经过几次更新后，海绵就无法吸收新水，或者会将旧水挤出来（遗忘）。
CORSA： 它表现得像一本模块化的笔记本。因为找到了那些“平坦的谷底”并推开了“幽灵”，它可以不断添加新页面而不会撕掉旧页面。它能记住新的 CEO 而不忘记旧的，而且当 CEO 再次变更时，它也不会感到困惑。

结果

作者在真实世界的事实（如谁是亚马逊的 CEO）甚至在代码（更新计算机程序的工作方式）上进行了测试。

更好的记忆力： 当以不同的方式提问时，CORSA 在记住新事实方面表现得更好（泛化能力）。
更少的遗忘： 当他们持续更新模型时，与其他方法相比，CORSA 遗忘无关信息的程度要少得多。
代码技能： 它甚至能胜任修复代码漏洞的任务，而之前的研究方法在处理此类任务时往往会失败，因为代码对于简单的“事实替换”来说过于复杂。

总结

CORSA 是一种更聪明的更新 AI 大脑的方式。它不是简单地“覆盖”旧数据，而是通过在 AI 的思维中找到一个稳定、平坦的位置来存储新信息，并主动抑制冲突的旧记忆。这使得 AI 更加可靠、不易遗忘，并且能更好地处理随时间推移而来的新信息。

技术摘要：用于广义知识编辑的 CORSA

1. 问题定义

大语言模型（LLMs）依赖于其内部的参数化知识，而这些知识会随着时间推移而过时。虽然全量重训练在计算上是不可行的，但现有的知识编辑方法在应用于多次更新时面临三个关键局限性：

泛化能力差： 更新往往无法从特定的训练示例句式泛化到多样化的输入形式（例如，改写或句法变化）。
多次更新下的不稳定性： 这些方法难以支持持续性的修订（例如，多次更新同一事实或注入新事实），否则会导致无关知识的灾难性遗忘。
知识冲突： 预训练阶段的强先验会导致模型尽管经过了更新，仍会退回到过时的信息，或者新的更新会无意中激活旧知识。

目前的方法，如直接的模型编辑（如 MEMIT）或参数高效的微调（如带有标准 SFT 的 LoRA），通常只能解决其中一两个需求，却无法同时解决全部三个问题。模型编辑方法在持续更新下往往表现不稳定，而标准的微调则经常干扰先验知识，导致知识回退或输出错误。

2. 方法论：CORSA

作者提出了 CORSA（冲突解决与锐度感知最小化），这是一个旨在利用 LoRA 适配器进行知识编辑的训练框架。该方法通过解决源自损失函数几何形状的两个理论条件，来针对 LoRA 适配器参数 $\phi$ 的稳定性和泛化性进行优化：

增加更新后的间隔 ( $\gamma$ )： 确保模型强烈倾向于新知识 ( $y^+$ ) 而非旧知识 ( $y^-$ )。
降低局部锐度 ( $\kappa$ )： 在损失函数的平坦区域寻找最优解，以提高对未来参数扰动的稳定性。

CORSA 集成了三个核心机制：

A. 冲突知识抑制 (DPO)

针对新知识 ( $D_{new}$ ) 的标准监督微调 (SFT) 通常无法充分抑制旧知识 ( $D_{old}$ ) 的概率，从而导致冲突。为了显式地最大化新旧知识之间的间隔，CORSA 将 SFT 与直接偏好优化 (DPO) 相结合。

目标： 损失函数 $L_{Update}$ 定义为：
$L_{Update}(\phi) = L_{SFT}(\phi) + \lambda L_{DPO}(\phi)$
机制： $L_{SFT}$ 最小化新目标的负对数似然。 $L_{DPO}$ 最大化针对相同输入 $x$ 的新目标 $y^+$ 与过时目标 $y^-$ 之间的对数似然间隔。这显式地强制实现了新知识与先验知识之间的分离。

B. 锐度感知最小化 (SAM)

为了增强泛化性和稳定性，CORSA 采用 SAM 来最小化损失函数的锐度。

目标： SAM 不仅仅是在单点最小化损失，而是在半径为 $\rho$ 的邻域内最小化最坏情况下的损失：
$\min_{\phi} \max_{\|\epsilon\|_2 \le \rho} L_{Update}(\phi + \epsilon)$
机制： 该算法基于梯度使用单步上升步来近似最坏情况下的扰动 $\epsilon^*$ 。随后，模型参数使用在扰动点 $\phi + \epsilon^*$ 处评估的梯度进行更新。这迫使优化器寻找更平坦的极小值，从理论上讲，这与更好的泛化能力以及对未来更新的稳定性相关联。

C. 梯度冲突解决 (PCGrad)

作者观察到，来自 SFT 和 DPO 目标的梯度可能会发生冲突，直接将 SAM 应用于它们的加权和可能会产生次优结果。

机制： CORSA 利用 PCGrad（投影冲突梯度）来解决干扰。在计算 SAM 扰动和最终更新步骤之前，来自 SFT ( $g_{SFT}$ ) 和 DPO ( $g_{DPO}$ ) 的梯度会被投影，以移除相互对立的成分（即内积为负的部分）。
集成： PCGrad 被应用于 SAM 的两个阶段：
1. 构建扰动方向 $\epsilon^*$ 。
2. 确定来自扰动点的最终下降方向。
  这确保了锐度感知步骤能够同时兼顾适配目标 (SFT) 和偏好分离目标 (DPO)。

3. 核心贡献

整体框架： CORSA 是第一个通过单一参数高效框架，同时解决跨多样化输入的泛化、多次更新下的稳定性以及知识冲突解决问题的模型。
理论洞察： 本文建立了知识更新的稳定性与损失函数曲率之间的联系，证明了通过最小化锐度（通过 SAM）可以隐式地正则化间隔曲率，从而防止知识回退。
创新集成： 该工作引入了一种专门针对知识编辑中独特的梯度动态（即适配目标与抑制目标经常冲突的情况）而设计的 SFT、DPO、SAM 和 PCGrad 的特定组合。

4. 实验结果

作者在三个事实知识基准（CounterFact, ZsRE, MQuAKE）和一个代码领域基准（CodeUpdateArena）上，使用 Llama-3.1-8B 和 Qwen-3-4B 模型对 CORSA 进行了评估。

泛化能力： 与基线相比，CORSA 在泛化方面取得了显著提升。在 Qwen-3-4B 上，其平均泛化能力比 LoRA 提高了 12.42%，比模型编辑方法 (MEMIT) 提高了 10%。
持续更新中的稳定性： 在涉及多次修订（例如，随时间更新事实或注入新知识）的设置中，CORSA 显著减少了灾难性遗忘。与 LoRA 相比，在持续修订设置中，它将遗忘率降低了 27.82%。
冲突解决： CORSA 有效地抑制了过时知识。在 CounterFact 上，它将“旧知识保留”降低至 1.28%（LoRA 为 9.81%）。在持续更新场景中，它将 Llama-3.1-8B 上的“旧知识激活”（回退）降至 3.72%，显著低于基线水平。
代码领域迁移： CORSA 成功地泛化到了代码领域（API 更新），在保持通用编程能力的同时，在 Pass@5 更新有效性方面超越了最强的基线 (F-Learning) 5.48%。
可扩展性： 该方法在不同规模的模型（4B, 8B, 14B）上均表现出一致的性能提升，表明其训练目标为更新稳定性提供了根本性的益处，且不受模型规模影响。

5. 意义与主张

本文声称，CORSA 的出现标志着知识编辑在实际部署中迈出了重要一步，因为在实际应用中，模型需要频繁、稳定且具有泛化能力的更新。通过显式处理损失函数的几何属性（锐度）以及新旧知识之间的语义冲突（间隔），CORSA 克服了限制先前研究的关于泛化、稳定性与冲突解决的“三难困境”。

作者强调，其方法并不依赖于复杂的外部记忆路由或数据重放，这些方法会引入架构开销。相反，它通过一种原则性的优化目标，将知识直接嵌入到 LoRA 适配器中。结果表明，最小化损失曲率是实现 LLM 稳健知识更新的一个关键且此前尚未被充分探索的因素。该研究得出结论，提高泛化性、稳定性和冲突解决能力，是减轻意外副作用（如幻觉）并降低可更新 LLM 部署风险的必要步骤。