💻 computer science

Output Vector Editing for Memorization Mitigation in Large Language Models

本文提出了“输出向量编辑”（output vector editing），这是一种约束优化技术，通过对特定 MLP 神经元的输出向量进行最小化修改，以抑制大型语言模型中记忆的序列，在实现比传统零消融（zero-ablation）方法显著更高的缓解率的同时，识别出注意力机制是针对一类无法触达的情况所必需的补充手段。

原作者： Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

问题所在：模型的“坏记忆”

想象一下，大型语言模型（LLM）就像一个读遍了整个互联网的学生。有时，这个学生不仅学习了“概念”，还逐字逐句地背诵了教科书（训练数据）中的特定句子。

这是很危险的。如果你要求这个学生完成一个句子，他们可能会不小心背诵出一段私密邮件、一本受版权保护的书籍，或者一个他们意外“学到”的秘密密码。这被称为记忆（Memorization）。

旧的解决方案：“暴力破解”法

以前，研究人员试图通过找到模型中负责这段记忆句子的特定“脑细胞”（神经元），然后直接把它们关掉来修复这个问题。

类比： 想象模型的脑子是一个繁忙的厨房。如果某位特定的厨师（神经元）总是大声喊出一个私人电话号码，旧的方法就是把这位厨师的双手绑在背后，让他们无法进行烹饪。
缺陷： 那位厨师可能也很擅长做其他事情（比如做汤或切菜）。绑住他们的手虽然阻止了电话号码的喊叫，但也毁掉了那锅汤。模型为了阻止一个坏记忆，失去了有用的知识。

新的解决方案：“输出向量编辑”

作者提出了一种更聪明的方法：输出向量编辑（Output Vector Editing）。与其绑住厨师的双手，不如给厨师一张新的食谱卡，改变他们“喊出什么”，而不是停止他们的工作。

它是如何工作的：
1. 寻找罪魁祸首： 他们定位到即将吐出那段记忆文本的特定神经元。
2. “干扰项”技巧： 他们不是让神经元沉默，而是微调神经元的“输出向量”（即在模型大脑中指向的具体方向）。他们轻轻推动它，使其不再指向那个记忆中的词，而是指向一个干扰项（Distractor）。
3. 结果： 神经元仍然在放电（仍然处于活跃状态），但它现在建议的是另一个无害的词。记忆中的句子被打破了，但神经元仍然可以自由地去做它的其他工作（比如做汤）。

四种“编辑模式”

研究人员测试了四种选择“干扰项”单词的不同方式，创造了一个从温和到激进的光谱：

遮蔽（Redact，即“审查者”）： 神经元被推动输出一串星号（****）。这就像是在敏感文本上涂了一层黑条。这种方式对模型的通用智能非常安全，但只能阻止约 32% 的记忆句子。
次优选择（Next-Best，即“智能替换”）： 神经元被推动去说那个比记忆中的词更可能的“第二个词”。这感觉自然且流畅。它能阻止约 81.5% 的记忆句子，且很少破坏模型回答其他问题的能力。
终止符（EOS，即“停止标志”）： 神经元被推动立即停止句子（序列结束）。这是最激进的方式，能阻止 87.9% 的记忆句子，但偶尔会导致模型在其他任务上变得异常（就像汽车刹车过猛导致打滑）。
抑制（Suppress，即“静音”）： 神经元被推动主动降低坏词出现的概率，而不建议具体的替代词。

核心发现

关键在于“方向”，而非“音量”： 论文证明了问题不在于神经元是否“声音太大”（激活强度），而在于它们指向了“错误的方向”（输出向量）。改变方向比降低音量效果要好得多。
“甜点区”： “次优选择（Next-Best）”模式是赢家。它阻止了大部分坏记忆（81.5%），同时又不会导致“灾难性失败”（即模型完全丧失说英语的能力）。
规模很重要： 更大的模型（如 70 亿参数的模型）比小模型更容易修复。模型越大，它吸收这些微小编辑而不崩溃的“空间”就越多。
局限性： 大约 14% 的记忆序列对于这种方法来说过于复杂。它们依赖于大脑的不同部分（“注意力机制”），而不是作者所编辑的神经元。对于这些情况，作者建议可能需要一种混合方法。

总结

这篇论文介绍了一种手术刀式的工具，它编辑的是模型的“记忆内容”，而不是删除承载记忆的“硬件”。它让我们能够在不误伤 AI 通用智能的前提下，清除模型中的私密或受版权保护的文本。

技术摘要：用于大型语言模型记忆缓解的输出向量编辑

1. 问题陈述

大型语言模型（LLMs）会记忆并复现其训练数据中的序列，从而产生显著的隐私、版权和安全风险。现有的缓解策略面临局限性：训练时预防需要全量重训；事后遗忘（post-hoc unlearning）通常无法消除底层的编码，导致可以通过良性再学习进行恢复；而解码器层面的过滤则在不修改权重的情况下增加了推理开销。

在“定位后编辑”（locate-then-edit）范式中，先前关于记忆的研究主要将“编辑”阶段简化为将识别出的神经元激活值清零。作者认为这种做法过于破坏性。由于神经元通过叠加（superposition）参与表示多种特征，清零激活值会使该神经元编码的所有信息发生坍缩，而不仅仅是记忆的内容。此外，现有方法通常依赖于结构化模板（例如 <主体, 关系, 客体>），而这些模板在自由形式的序列记忆中并不存在。

2. 方法论：输出向量编辑

本文提出了输出向量编辑，这是一种受约束优化的权重编辑方法，它修改负责记忆续接的 MLP 神经元的输出向量，而不是将其激活值清零。

核心机制

MLP 层的输出是每个神经元贡献之和： $MLP(x) = \sum a_i \cdot v_i$ ，其中 $a_i$ 是标量激活值， $v_i$ 是输出向量。

激活值 vs. 向量： 激活值 $a_i$ 控制神经元是否参与，而输出向量 $v_i$ 决定了向残差流写入什么内容。
编辑操作： 该方法不是设置 $a_i = 0$ ，而是保持 $a_i > 0$ 但将 $v_i$ 修改为 $v'_i$ 。这是通过沿着选定的“干扰”标记 $s$ 的解嵌入方向进行秩一更新（rank-one update）实现的。
优化： 编辑过程在最小化原始向量与新向量之间距离的同时，将新向量投影到干扰标记的 Logit 方向上，目标值为 $\Delta_i$ 。其闭式解为：
$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$
其中 $u_s$ 是标记 $s$ 的解嵌入向量。该过程无需梯度计算，直接应用于权重。

流水线步骤

记忆序列挖掘： 通过对预训练语料库进行教师强制预测（teacher-forced prediction），作者识别出模型输出与地面真值匹配（BLEU > 0.5）的序列。
两步定位：
- 层选择： 使用“Logit Lens”识别目标标记获得最强 Logit 提升的前 5 个 MLP 层。
- 神经元选择： 在选定的层内，根据神经元相对于残差流的 L1 接近度进行评分，并筛选出那些直接促进或抑制目标标记的神经元（将其排在词表的前 50 或后 50 名）。
编辑模式： 根据干扰标记 $s$ $s$ 定义了四种模式：
- EOS： 重定向至序列结束标记（激进终止）。
- Redact（遮蔽）： 重定向至遮蔽标记（****）。
- Next-best（次优）： 重定向至模型的第二排名标记（合理的替代品）。
- Suppress（抑制）： 直接削弱目标标记的 Logit，而不注入干扰项。

3. 核心贡献

解耦激活与输出： 本文证明了 MLP 神经元的激活值和输出向量扮演着可分离的角色。修改输出向量以引入干扰项是一种不同于清零激活值的、破坏性较小的干预手段。
秩一输出编辑： 将秩一更新机制（此前用于 ROME 等事实编辑任务）适配到用于记忆缓解的单神经元输出重定向中。
全面评估： 在四个模型（SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B）和四种编辑模式下进行评估，并与零消融（zero ablation）、随机神经元以及激活转向（activation steering）基准进行了对比。
机制边界： 确定了约 14% 的“硬极限”，在此极限下仅靠 MLP 编辑会失效，这表明注意力机制在这些特定案例中具有补充作用。

4. 结果

主要针对 OLMo-7B（6,831 个记忆序列）进行评估：

优于零消融： 在匹配定位（ $k=5$ ）的情况下，EOS 实现了 85.7% 的抑制率，而针对相同神经元的零消融抑制率为 31.3%。这 2.7 倍的差距证实了成功源于输出向量编辑，而非仅仅是定位。
成功率与局部性的权衡：
- 激进型 (EOS, k=10)： 抑制率为 87.9%，但会带来“尾部风险”，即在约 1.8% 的编辑中出现灾难性的局部性失败（困惑度激增 > 100）。
- 实用型 (Next-best, k=5)： 实现了 81.5% 的抑制率，且零灾难性编辑，中值困惑度偏移极小（+0.13）。这被认为是最佳运行点。
- 保守型 (Redact, k=5)： 抑制率为 31.7%，且几乎没有局部性损伤。
模式互补性： 四种模式并非冗余。所有模式的集成覆盖了 96.5% 的记忆序列。“Next-best”模式独特地抑制了其他模式无法触及的 161 个序列。
跨模型泛化： 成功率随模型规模而非架构家族变化。较小的模型（360M）成功率较低（34.9%），主要是由于定位过滤器中的跳过率较高。
与激活转向的对比： 所提方法达到了与激活转向（73.3%）相当的成功率，但在局部性方面表现显著更好（中值 $\Delta$ PPL 为 +0.13，而后者为 +0.90）且具备针对特定序列的目标性。

局限性与失败案例

MLP 极限： 约 14% 的序列无法通过任何 MLP 配置进行处理。分析表明，这些序列并非主要由注意力驱动，但消融顶层注意力头可以恢复 60–64% 的此类失败，从而将注意力机制定位为一种补充手段。
累积风险： 虽然单次编辑是安全的，但如果不进行权重恢复而进行批量编辑，会导致灾难性坍缩（例如，EOS 模式在累计 10 次编辑后就会发生坍缩）。

5. 重要性与主张

本文声称提供了一种基于机制的、权重层面的干预手段，该手段可以在不产生神经元消融等破坏性副作用或运行时过滤开销的情况下缓解记忆问题。

精准度： 通过编辑输出向量而非激活值，该方法可以外科手术式地重定向特定的记忆续接，同时保留神经元的其他编码特征。
实用性： “Next-best”模式提供了一种高成功率、低风险的配置，避免了激进模式中出现的灾难性异常值。
可扩展性： 该方法可在不同模型家族和规模间迁移，成功率与模型规模呈正相关。
补救措施 vs. 防御手段： 作者将其定位为针对已知记忆的补救措施（需要访问预训练语料库来挖掘序列），而非针对对抗性提取的运行时防御。他们承认，编辑操作是重定向贡献而非移除底层表示，这意味着被抑制的内容仍有可能通过良性再学习被恢复。

这项工作确立了有效的记忆缓解不仅需要简单的激活抑制，更需要通过输出向量编辑对残差流贡献进行精确操纵。