🤖 machine learning

Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing

本文介绍了 RLSEdit，这是一种用于大语言模型终身编辑的递归最小二乘框架，它将更新表述为带有软约束的在线二次优化问题，以有效平衡可塑性与稳定性困境，从而在保持通用能力的同时实现多达 10,000 个事实的稳定顺序编辑。

原作者： Xinyu Wang, Sicheng Lyu, Yu Gu, Jerry Huang, Peng Lu, Yufei Cui, Xiao-Wen Chang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyu Wang, Sicheng Lyu, Yu Gu, Jerry Huang, Peng Lu, Yufei Cui, Xiao-Wen Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位博学多才、阅书无数的图书管理员（即大型语言模型），他 memorized 了一座包含海量事实的巨型图书馆。有一天，你发现其中几本书的信息已经过时。你需要更新这些书，却不想把整座图书馆扔掉并从头重建——那既昂贵又缓慢。

这就是模型编辑（Model Editing）所要解决的问题：在不重新训练整个模型的情况下，修正人工智能中的特定事实。

问题所在：“覆盖”与“僵化”的两难困境

论文指出，当前更新这些“图书管理员”的方法，要么像挥舞大锤，要么像关进铁笼，当你需要在长时间内进行成千上万次更新时，这两种方法都效果不佳。

“硬写入”（大锤法）：某些方法只是粗暴地砸碎旧事实，然后写入新事实。
- 类比：想象你在笔记本上写字。每获得一个新事实，你就在旧事实上涂写覆盖。如果你这样做一万次，你的笔记本就会变成一团乱麻。新事实可能会意外抹去你本不想触碰的旧事实。图书管理员开始忘记昨天还掌握得 perfectly 的事情。
“刚性保留”（铁笼法）：其他方法则非常谨慎，只允许在特定且预先批准的范围内进行更改。
- 类比：想象图书管理员被锁在一个笼子里，笼子只为特定的更新而开启。虽然这能保护某些内容，但笼子太过僵硬。它可能会阻止图书管理员自然地学习新事物，或者因为笼子并非为每一个可能的新事实而设计，导致“坏”的更改意外地从缝隙中溜进来。

解决方案：RLSEdit（“柔性、递归”方法）

作者提出了一种名为RLSEdit的新方法。他们不像挥舞大锤或建造铁笼那样，而是将编辑过程视为平衡天平或调谐收音机。

以下是其工作原理，使用简单的比喻来说明：

1. “柔性”约束（橡皮筋）

RLSEdit 不使用“必须这样改”或“完全不能改”的强制规则，而是采用“柔性”规则。

类比：想象图书管理员被一根强韧且富有弹性的橡皮筋系在原本的自我身上。当你要求他学习一个新事实时，他可以拉伸去够到它，但这根橡皮筋会温柔地将他拉回，防止他偏离原本的自己太远。这防止了他忘记核心个性或通用知识。

2. “锚点”（北极星）

该方法还使用了一个特定的“锚点”（一组图书管理员必须确保正确的既定事实）。

类比：想象图书管理员拥有一个指南针（即“锚点”），它始终指向“北方”（即原始的正确事实）。即使他为了学习新事物而拉伸，指南针也能确保他不会迷失方向或原地打转。

3. “递归”魔法（魔法计算器）

最大的创新在于他们如何进行数学运算。通常，如果你更新模型一万次，计算机在决定下一步做什么时，必须回溯查看之前的一万次更新。这会越来越慢，就像图书管理员在回答新问题前，试图记住他们曾经说过的每一句话。

类比：RLSEdit 使用一种“魔法计算器”（基于伍德伯里恒等式）。它不需要每次都重读整本历史书，而只需查看当前的更新以及过去的一个微小摘要。
结果：无论你是在进行第 10 次更新还是第 10,000 次更新，所花费的时间都是一样的。这就像一位图书管理员，无论图书馆如何扩大，都能即时更新其知识库，而不会变慢。

他们发现了什么？

研究人员在两个流行的 AI 模型（Llama-3 和 Qwen2.5）上测试了该方法，让它们连续学习10,000 个新事实。

成功率：与其他方法相比，RLSEdit 在记住所教的新事实方面表现更好。
无“灾难性遗忘”：其他方法在几千次更新后开始忘记旧事实，或对基本逻辑（如数学或编程）感到困惑，而 RLSEdit 保持了稳定。
通用智能：即使在 10,000 次更改后，图书管理员也没有失去写诗、解决数学问题或理解代码的能力。而其他方法随着时间的推移，使图书管理员在这些通用领域变得“更笨”。

一句话总结

可以将RLSEdit视为一个智能、灵活的内存系统。它允许 AI 持续学习新事物，而不会：

抹去旧记忆（像大锤那样）。
陷入停滞或变得僵化（像铁笼那样）。
随着学习内容的增加而变得越来越慢（像试图记住生活每一个细节的人类那样）。

它让 AI 保持敏锐、稳定，并为持续学习的长远未来做好准备。

技术摘要：面向大语言模型终身编辑的软递归最小二乘法（RLSEdit）

1. 问题陈述

部署在现实场景中的大语言模型（LLM）不可避免地包含过时或错误的知识。虽然模型编辑允许在不进行全量重训练的情况下更新特定事实，但实际部署涉及长序列的编辑流。这引发了“可塑性–稳定性困境”：

回溯性编辑遗忘：重复的“硬写入”（例如“定位后编辑”方法）会累积干扰，导致未来的编辑覆盖或削弱早期编辑的知识。
通用能力退化：僵化的保留约束（例如零空间编辑器）可能保护显式约束的方向，但随着编辑流的增长，无法防止未受约束的通用能力（推理、编码）退化，或无法保留先前的知识。

现有方法难以在记忆新输入信息的同时，在数千次更新中兼顾保留早期编辑和模型的通用能力。

2. 方法：RLSEdit

作者提出了RLSEdit，这是一种专为长序列编辑设计的递归最小二乘编辑器。该方法将编辑重新表述为带有软约束的在线正则化最小二乘问题，而非硬约束。

2.1 公式化

该方法针对 Transformer 层内的单个线性映射 $W$ （例如注意力投影）。对于一系列编辑 $t=1 \dots T$ ，其中每次编辑提供键值对 $(K_t, V_t)$ ，时间 $t$ 的目标是找到最优权重 $W^*_t$ ，以最小化：

$W^*_t := \arg \min_W \sum_{i=1}^t \|K_i W - V_i\|_F^2 + \lambda^2 \|W - W_0\|_F^2 + \mu^2 \|K_0 W - V_0\|_F^2$

其中：

拟合项： $\sum \|K_i W - V_i\|_F^2$ 累积了迄今为止所有观测到的编辑误差。
参数漂移正则化（ $\lambda$ ）：惩罚对初始预训练权重 $W_0$ 的偏离。
锚点映射正则化（ $\mu$ ）：惩罚对指定锚点映射 $(K_0, V_0)$ 的偏离，该映射代表一组需要保留的约束（例如背景知识）。

该公式化创建了一个“软约束”机制，在硬写入和硬保留之间进行插值。

2.2 高效在线递归

在每一步直接求解最小二乘问题计算成本高昂（ $O(d^3)$ ）。RLSEdit 利用伍德伯里矩阵恒等式推导出高效的递归更新。

状态维护：算法维护逆协方差矩阵 $C_t = (A_t^\top A_t)^{-1}$ 和交叉项 $T_t = A_t^\top B_t$ 。
更新机制：更新过程不涉及完整的矩阵分解，而是求解一个小的 $u_t \times u_t$ 系统（其中 $u_t$ 是当前编辑的批次大小），该大小通常远小于模型维度 $d_k$ 。
复杂度：每次编辑的成本为 $O(d_k^2 u_t + d_k d_v u_t + d_k u_t^2 + u_t^3)$ ，当 $u_t \ll d_k$ 时简化为 $O(d_k^2 u_t)$ 。关键在于，该成本与历史长度 $t$ 无关，这与需要在累积历史上进行稠密矩阵运算的方法不同。

2.3 理论分析

该论文提供了偏差界限，表明 $\lambda$ 控制全局参数对 $W_0$ 的偏离，而 $\mu$ 控制锚点映射的偏离。此外，渐近特征分析表明，在具有稳定经验二阶矩的长编辑流下，估计量收敛于正则化极限风险的唯一极小值。

3. 主要贡献

软约束公式化：作者将终身编辑表述为带有显式参数偏离和锚点偏离控制的在线正则化最小二乘问题，提供了硬写入和硬保留的软替代方案。
与历史无关的复杂度：他们推导出了基于伍德伯里矩阵的在线更新，其中每次编辑的计算成本不随过去编辑的数量而增加，从而实现了对长编辑流的稳定扩展。
理论保证：该论文提供了偏差界限，并描述了在多次编辑情形下“学习–保留”权衡的渐近特征。
实证验证：在 Llama-3 和 Qwen2.5 模型上的广泛评估表明，该方法可稳定扩展至 10,000 次编辑。

4. 实验结果

实验在Llama-3-8B和Qwen2.5-7B模型上进行，进行了 10,000 次连续编辑（批次大小为 100）。

编辑成功率（CounterFact 和 ZsRE）：
- 在Llama-3上，RLSEdit 在所有五项指标（有效性、泛化性、特异性、流畅性、一致性）上均取得了最佳分数，显著优于 AlphaEdit、ROME 和 MEMIT 等基线。例如，有效性达到 89.94%，而次优的 FT 为 74.76%。
- 在Qwen2.5上，RLSEdit 取得了最高的有效性（94.45%）和流畅性，在其他指标上与 AlphaEdit 保持竞争力，同时大幅优于 ROME 和 MEMIT。
- 在ZsRE上，RLSEdit 取得了 81.20% 的有效性，优于 AlphaEdit（70.04%）及其他方法。
通用能力保留：
- 在 GLUE、MMLU、GSM8K、HumanEval 和 MBPP 上进行了评估。
- RLSEdit 在整个 10k 编辑轨迹中始终保留了通用能力（推理、编码、语言理解）。
- 相比之下，ROME、MEMIT 和 FT 等基线显示出显著退化。AlphaEdit 初期表现良好，但在大量编辑后出现明显退化。
- 案例研究：在 HumanEval 任务 0 上，AlphaEdit 和 MEMIT 在 8k–10k 次编辑时退化为边界错误、语义错误或乱码/空输出，而 RLSEdit 在所有检查点均保持了正确的实现。
早期编辑保留：
- 在总共 10k 次编辑后重新评估前 500、1k、2k 和 4k 次编辑时，RLSEdit 始终取得了最高的保留分数，表现出对回溯性遗忘的卓越抵抗力。
效率：
- 在不同批次大小和模型骨干网络下，RLSEdit 在更新期间的速度比 AlphaEdit 快 1.37 倍至 1.79 倍，验证了理论复杂度分析。

5. 意义与主张

该论文声称，RLSEdit 通过解决长序列编辑流中固有的可塑性–稳定性困境，提供了一种实用的连续模型编辑方法。通过将编辑视为软约束优化问题，它避免了硬写入方法的干扰累积和零空间方法的僵化。

作者强调，他们的方法允许：

可扩展性：在高达 10,000 次编辑中保持性能稳定，且每次编辑的计算成本不增加。
整体稳定性：同时提高编辑成功率、早期编辑的保留率以及通用模型能力的保留。
理论基础：通过正则化参数 $\lambda$ 和 $\mu$ 清晰地刻画了学习新事实与保留现有知识之间的权衡。

该论文结论较为谦逊，指出当前实验集中在 7B–8B 骨干网络上，评估更大模型和更多失败案例仍是未来工作的重要方向。