🤖 machine learning

LOKI: Memory-Free Null-Space Constrained Lifelong Knowledge Editing

LOKI 是一种无记忆终身知识编辑方法，它利用希尔伯特-施密特独立性准则（Hilbert-Schmidt Independence Criterion）动态选择层，并将梯度更新投影到模型权重的零空间中，从而在无需访问先前数据的情况下，高效地融入新知识并防止灾难性遗忘。

原作者： Masih Eskandar, Miquel Sirera Perelló, Stratis Ioannidis, Jennifer Dy

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Masih Eskandar, Miquel Sirera Perelló, Stratis Ioannidis, Jennifer Dy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、博学多才的图书管理员（AI 模型），他掌握着直到某一特定日期的世界上的所有知识。但世界在不断变化。新的事实不断涌现，旧的事实被修正，有时管理员也会犯错。

问题在于，如果你试图通过从头开始重新训练来教这位管理员一个新事实，那就好比为了增加一本新书而烧毁整个图书馆并重建它。这既昂贵又缓慢，而且你可能会在过程中不小心丢失所有的旧书。这就是**终身知识编辑（Lifelong Knowledge Editing）**面临的挑战：如何高效地更新管理员的思想，一次一个事实地进行，而不让他忘记已经掌握的一切。

现有的方法有些笨拙。它们通常会挑选一组特定的书架（AI 中的层），然后说：“好吧，所有新的知识都放在这些书架上。”这种方式非常僵化。如果一个新事实属于不同的书架，旧方法会强行将其放在错误的架子上，从而导致混乱。此外，为了确保管理员不会忘记旧书，这些方法通常需要一个巨大的“备份库”，用来存储他们曾经学过的每一个事实的统计数据。这需要耗费大量的空间和时间来进行设置。

**LOKI（层自适应正交知识插入）**应运而生。作者提出了一种更聪明、更灵活的方式来更新这位管理员。以下是 LOKI 的工作原理，我们使用简单的类比来解释：

1. “智能书架选择器”（动态层选择）

LOKI 并不强制将每个新事实都放在预先确定的同一组书架上，而是像一位观察入微的图书管理员一样，观察每一个特定的新事实，并询问：“这个事实到底属于哪里？”

旧方法： “所有新的历史事实都放在第 5 层书架。所有新的科学事实也都放在第 5 层书架。”（僵化且经常出错）。
LOKI 的方式： “关于某种特定鸟类的这个新事实应该属于第 12 层书架。关于某个数学定理的这个新事实属于第 8 层书架。”
工作原理： LOKI 使用一种叫做 HSIC（可以理解为“相关性检测器”）的数学工具，来测量对于该特定事实而言，信息流经管理员大脑中不同部分的程度。它会挑选出对该特定信息最重要的层（书架）。这种灵活性防止了管理员产生混乱。

2. “幽灵之手”（零空间投影）

在更新管理员时，最大的恐惧是灾难性遗忘（Catastrophic Forgetting）——在教给他们新知识的同时，不小心抹去了旧知识。

旧方法： 为了防止遗忘，之前的方法需要一个巨大的“备份库”（获取旧数据的权限）来计算一条安全的路径供新信息使用。他们必须查看旧书，才知道在哪里不应该书写。
LOKI 的方式： LOKK 意识到，管理员的大脑（模型权重）本身就已经包含了他们所知的一切的“记忆”。它不需要查看旧书，也不需要保留备份库。
类比： 想象管理员的大脑是一个巨大的、复杂的迷宫。管理员已经走过的路径（过去的知识）是坚固的墙壁。LOKI 计算了“幽灵路径”——即管理员从未走过的迷宫中的空白区域。然后，它引导新信息仅通过这些空闲的、未使用的路径。
结果： 新事实被完美地插入，而不会撞击或抹除任何旧路径。因为它直接从管理员当前的大脑结构中计算出这些“幽灵路径”，所以它不需要访问旧数据，也不需要花费数小时来预计算统计数据。

3. “挤压”（信息瓶颈）

在插入新事实时，LOKI 同时扮演着过滤器的角色。它确保新信息被高效压缩，剔除任何可能干扰管理员现有知识的“噪声”或不必要的细节。这让管理员的思想保持干净且有序。

结果：为什么这很重要

论文通过各种模型（如 Llama-3 和 Mistral）测试了 LOKI 对抗其他顶尖方法（如 ROME、MEMIT 和 AlphaEdit）的表现。

性能： LOKI 是明显的赢家。与现有的最佳方法相比，它的平均准确率提高了高达 14%。
可扩展性： 虽然其他方法在进行 100 或 1,000 次更新后就开始失效并出现遗忘现象，但 LOKI 在连续进行 1,000 次编辑后依然保持稳定和准确。
效率： 它不需要庞大的旧数据“备份库”。它跳过了其他方法所需的数小时预处理时间。它更快，且不需要额外的内存或参数。

总结

LOKI 是一种更新 AI 模型的新方式，它将每一个新事实视为独特的个体。它不再将所有新事实强行塞进相同的僵化槽位中，而是为每一个事实找到最完美的归宿。并且，它不需要庞大的旧事实档案来抵御遗忘，而是利用模型自身的结构来寻找“安全区”，从而在不干扰旧知识的情况下添加新知识。

作者声称，这使得 AI 更新变得更快、更准确，并且大大降低了模型忘记已有知识的可能性。他们已经发布了代码，供他人尝试。

技术摘要：LOKI —— 无需记忆的零空间约束终身知识编辑

1. 问题陈述

大型语言模型（LLMs）在保持长期准确性和相关性方面面临重大挑战。一旦部署，它们往往会出现事实错误、幻觉和偏见，且其知识是静态的，受限于预训练数据。为每一个新事实都对 LLM 进行重新训练在计算上是极其昂贵且不可持续的。因此，终身知识编辑（lifelong knowledge editing） 已成为一个新兴领域，旨在高效地顺序更新模型知识，同时保留对过去知识的表现。

现有的终身知识编辑方法通常存在三个关键局限性：

静态层选择： 大多数方法（如 MEMIT、AlphaEdit）预先确定一组用于修改所有新知识样本的固定层。这种缺乏灵活性会导致编辑效果不佳，并增加对现有知识的干扰。
对历史数据的依赖： 为了防止“灾难性遗忘”（即新编辑导致旧事实性能下降），当前的方法通常需要访问大量过去知识的数据集，或进行广泛的预处理以计算特征统计量（例如，过去嵌入的协方差矩阵或零空间）。这是内存密集型且计算成本高的。
参数开销： 一些方法依赖于外部存储器、辅助网络或额外的参数，这与高效、内在的模型编辑目标相悖。

2. 方法论：LOKI

作者提出了 LOKI (Layer-Adaptive Orthogonal Knowledge Insertion，层自适应正交知识插入)，这是一个全新的框架，旨在无需访问先前知识样本或添加外部参数的情况下，顺序编辑 LLMs。该方法通过三个不同的阶段运行：

A. 动态层选择（基于 HSIC 的信息瓶颈）

不同于以往在预处理阶段固定编辑层的做法，LOKI 基于每个样本进行层选择。

机制： 该方法利用 希尔伯特-施密特独立性判据 (HSIC) 来衡量输入嵌入与层输出之间的统计依赖关系。
判据： 对于给定的输入样本 $X_t$ ，为每个层 $l$ 计算信息瓶颈得分 $HIB(X_t, l)$ ：
$HIB(X_t, l) = \lambda_y HSIC(\hat{Z}^{(l)}, Z^{(L)}) - \lambda_x HSIC(X_t, \hat{Z}^{(l)})$
其中 $\hat{Z}^{(l)}$ 代表隐藏 FFN 嵌入， $Z^{(L)}$ 是最终输出， $\lambda$ 为超参数。
逻辑： 优先选择那些与输出具有高依赖性（任务关键型）且与输入具有低依赖性（丢弃噪声）的层。针对每次编辑，动态选择前 $m$ 个层。

B. 通过权重零空间投影进行知识巩固

为了在不访问过去数据的情况下防止灾难性遗忘，LOKI 将梯度更新投影到模型权重矩阵本身的零空间中。

机制： LOKI 不是计算过去特征嵌入的零空间（这需要历史数据），而是计算所选层当前权重矩阵 $W^{(l)}_{out}$ 的奇异值分解 (SVD)。
理论基础： 作者提供了一个定理（定理 4.1），表明通过梯度下降学习到的权重矩阵的零空间包含了训练特征的零空间。因此，将更新投影到权重零空间（ $P^{(l)} = \bar{V}^{(l)}\bar{V}^{(l)\top}$ ）可以隐式地保留先前学习到的知识子空间。
优势： 这消除了存储或重新处理过去知识样本的需求，显著降低了内存消耗和预处理时间。

C. 知识插入

通过优化目标预测的负对数似然并在满足约束条件下进行新知识的插入：

目标： 在最小化新任务损失的同时，最大化 HSIC 瓶颈项（以压缩信息并减少干扰）。
约束：
1. 零空间约束： 梯度被投影到预计算的权重零空间上（ $W^{(l)}_{out} \Delta^{(l)\top} = 0$ ）。
2. 范数约束： 限制权重更新的大小（ $\|\Delta^{(l)}\|_F \leq \eta$ ）以确保稳定性。
优化： 使用投影梯度下降法求解该问题。

3. 核心贡献

逐样本动态层选择： LOKI 是首个探索使用基于 HSIC 的信息瓶颈进行动态层选择以进行知识编辑的工作，摆脱了静态、预定层的模式。
无记忆零空间投影： 本文提出了一种通过将更新投影到权重矩阵本身的零空间来保留过去知识的方法，绕过了对历史数据访问或广泛预处理统计量的需求。
经验优越性： 广泛的实验证明，LOKI 在多个数据集和模型架构上均达到了最先进的性能，在可靠性、泛化性和局部性之间取得了比现有方法更好的平衡。

4. 实验结果

作者在三个数据集（ZsRE, SelfCheckGPT, Temporal）和三个模型（Llama-3-8B-Instruct, Mistral-7B, GPT-J-6B）上评估了 LOKI。

性能： LOKI 在各项指标上一致优于基准方法（包括 MEMIT, AlphaEdit, ROME, WISE, 和 GRACE）。
- 在包含 1,000 次顺序编辑的 ZsRE 数据集上，LOKI 的平均准确率比第二好的方法（AlphaEdit）高出达 14%。
- 它能同时保持高 可靠性（学习新事实）和 局部性（不遗忘旧事实），而其他方法随着编辑次数的增加，往往会在两者之间顾此失彼。
效率：
- 运行时间： LOKI 在编辑阶段比 WISE 和 AlphaEdit 更快。至关重要的是，它避免了 AlphaEdit 所需的大规模预处理开销（AlphaEdit 在 A100 GPU 上计算 Llama-3-8B 的统计量需耗时约 56 小时）。
- 可扩展性： 当编辑次数 ( $\tau$ ) 增加到 1,000 时，与其他竞争对手相比，LOKI 的性能下降最少。
消融研究： 移除三个核心组件中的任何一个（动态层选择、零空间投影或 HSIC 正则化）都会导致性能下降，验证了各组件的必要性。
特征保留： TSNE 可视化证实，LOKK 有效防止了标准微调中出现的模型嵌入显著偏移现象，有效地在没有显式特征存储的情况下保留了模型的原始知识结构。

5. 重要性与主张

论文声称 LOKI 解决了终身知识编辑中的基本权衡问题：效率、内存使用和灵活性。

重要性： 通过将编辑过程与对历史数据的需求以及固定层选择解耦，LOKI 为在动态环境中维护 LLMs 提供了一个更具实用性和可扩展性的解决方案。它证明了无需承担大规模语料库预处理或存储辅助存储器的计算负担，即可实现高质量的知识编辑。
谦逊之处： 作者承认了局限性，指出为大型权重矩阵计算 SVD 仍会产生计算开销，且当前方法选择的是整个层而非单个神经元。他们将 LOKI 定位为迈向“无记忆”终身编辑的基础性一步，并建议未来的工作可以进一步细化到参数级的层选择。

总之，LOKI 提出了一种稳健且具有理论依据的方法来更新 LLMs，该方法优先考虑可持续性和适应性，通过动态针对关键层并利用权重矩阵的内在几何结构来保留过去知识，从而实现了卓越的性能。