💬 NLP

Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

该论文提出了一种名为熵引导令牌加权（ETW）的新方法，通过利用预测分布的熵值作为令牌信息量的代理指标，在实现大语言模型选择性遗忘的同时，有效避免了因均匀应用遗忘损失而导致的模型效用不必要的下降。

原作者： Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大型语言模型（LLM）“选择性遗忘”的新方法，叫做ETW（熵引导的令牌加权）。

为了让你轻松理解，我们可以把训练好的大模型想象成一个博学的图书管理员，而“遗忘”就是让他把书架上某些特定的书（比如某位虚构作家的所有作品）彻底忘掉，同时还要保证他记得住其他所有知识，并且说话依然通顺自然。

1. 以前的方法有什么问题？（“一刀切”的遗忘）

以前的遗忘技术，就像是一个有点笨拙的图书管理员。当老板让他忘掉“某位作家的书”时，他会拿着大扫把，把书架上所有和这位作家名字相关的词，不管是核心内容还是无关紧要的虚词，统统用力扫掉。

问题所在：这种“大扫除”太粗暴了。
- 结构词（虚词）：比如“的”、“是”、“在”。这些词就像书架的螺丝钉，虽然不重要，但没了它们，句子就散架了。以前的方法不小心把螺丝钉也扫坏了，导致模型说话变得结结巴巴，甚至逻辑混乱（这就是论文说的“模型效用下降”）。
- 信息词（实词）：比如作家的名字、具体的职业、独特的故事细节。这些才是书里的精华。以前的方法有时候扫得太轻，没扫干净；有时候又扫得太重，把不该忘的也忘了。

2. 这篇论文的新发现：看“犹豫程度”

作者发现了一个很有趣的现象：模型在回答不同词的时候，心里的“犹豫程度”是不一样的。

结构词（如“的”）：模型非常确定。看到“我”，它几乎 100% 确定下一个词是“的”。这种确定性很高，犹豫（熵）很低。
信息词（如“卡门”）：模型很犹豫。看到“出生于智利的作家”，下一个词可能是“卡门”，也可能是“加西亚”，甚至可能是“马尔克斯”。这种不确定性很高，犹豫（熵）很高。

核心直觉：

越犹豫的地方，越可能是关键信息；越确定的地方，越只是语法结构。

3. ETW 是怎么工作的？（“精准手术”）

基于这个发现，作者发明了ETW（熵引导的令牌加权）。这就好比给图书管理员配了一副**“犹豫度眼镜”**：

戴上眼镜：当模型在“遗忘”特定数据时，ETW 会实时监测每个词。
精准打击：
- 如果模型对某个词很犹豫（高熵），说明这是关键信息（比如作家的名字）。ETW 会加大惩罚力度，用力把这个词从记忆里抹去。
- 如果模型对某个词很确定（低熵），说明这只是语法结构（比如“的”）。ETW 会减轻惩罚，甚至保护它，让它保留下来。

比喻：
以前的遗忘像是在拆房子，不管承重墙还是装饰画，统统砸掉。
ETW 则像是在做微创手术，只切除长了肿瘤的细胞（关键信息），而完美保留血管和神经（语法结构）。

4. 效果怎么样？

实验证明，ETW 比以前的方法（比如只看置信度，或者用外部工具分析词性）都要好：

忘得更干净：它成功地把特定作家的名字和故事细节“忘”掉了，模型再也不会泄露这些秘密。
记得更牢：因为它没乱动那些“螺丝钉”（结构词），模型说话依然流畅，逻辑依然清晰，没有变傻。
更智能：它不需要外部工具（比如不需要请一个语言学家来告诉它哪个是名词），完全靠模型自己“犹豫”的程度来判断，所以更灵活，能理解上下文。

总结

简单来说，这篇论文教大模型如何**“聪明地遗忘”：
不要盲目地删除所有相关词汇，而是要盯着那些让模型感到“拿不准”的关键信息下手**，同时小心翼翼地保护那些让句子通顺的“废话”。

这就好比你要从一篇长文中删掉某个人的故事，最好的办法不是把整段文字涂黑，而是精准地擦掉那个人的名字和事迹，同时保留**“他”、“是”、“了”**这些连接词，这样文章读起来依然通顺，只是那个人的故事彻底消失了。

这是一篇关于大语言模型（LLM）机器遗忘（Machine Unlearning）的学术论文总结。论文提出了一种名为**熵引导的 Token 加权（Entropy-guided Token Weighting, ETW）**的新方法，旨在解决现有遗忘方法在保留模型效用与有效遗忘特定知识之间难以平衡的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：随着大语言模型的普及，机器遗忘技术变得至关重要，用于应对成员推断攻击、越狱攻击（Jailbreak）和红队测试（Red-teaming），即从模型中移除特定的训练数据（如敏感信息或错误知识），同时保留模型的其他通用能力。
核心痛点：
- 现有的遗忘方法通常对所有 Token 应用统一的遗忘损失（如梯度上升，Gradient Ascent），这会导致模型效用（Utility）不必要的下降。
- 近期的研究尝试基于 Token 级别进行损失重加权，但主要依赖真实标签的置信度（Ground-truth Confidence）或外部语言解析器（如 spaCy 提取名词/实体）。
- 局限性：
  - 仅依赖置信度无法区分“高置信度的结构性词”（如 "the"）和“高置信度的信息性词”。
  - 依赖外部解析器忽略了上下文信息，且无法捕捉模型整体的预测状态。
- 直觉：信息性 Token（如专有名词 "Carmen"）通常具有多个合理的替代选项，因此预测分布的不确定性（熵）较高；而结构性 Token（如功能词 "the"）通常高度可预测，熵较低。

2. 方法论 (Methodology)

论文提出了 ETW (Entropy-guided Token Weighting)，一种利用预测分布熵作为 Token 信息量代理的 Token 级正则化器。

核心思想

信息性 Token vs. 结构性 Token：
- 信息性 Token：承载核心语义，模型对其预测存在较大不确定性（高熵），因为存在多个合理的候选词。
- 结构性 Token：主要起句法作用，模型预测非常确定（低熵）。
权重策略：在遗忘过程中，对高熵 Token（信息性）施加更强的惩罚，而对低熵 Token（结构性）降低惩罚权重，从而在移除特定知识的同时，最大限度地保留模型的通用语言能力。

具体公式

Token 级熵计算：
对于序列中的第 $i$ 个 Token $y_i$ ，其条件熵定义为：
$H(y_i|y_{<i}, x; \theta) = -\sum_{v \in V} p(v|y_{<i}, x; \theta) \log p(v|y_{<i}, x; \theta)$
其中 $V$ 是词汇表， $p$ 是模型预测的概率分布。
权重归一化：
为了保持遗忘损失的总体规模不变，将熵值归一化，使得权重之和等于序列长度 $n$ ：
$\omega_i^{ETW} = \frac{n \cdot H(y_i|y_{<i}, x; \hat{\theta})}{\sum_{j=1}^n H(y_j|y_{<j}, x; \hat{\theta})}$
注： $\hat{\theta}$ 是模型参数的停止梯度（stop-gradient）副本，确保熵的计算不影响梯度更新。
最终目标函数：
将计算出的权重 $\omega_i^{ETW}$ 应用于梯度上升（Gradient Ascent）的遗忘损失项中，实现对高熵 Token 的定向强化遗忘。

3. 主要贡献 (Key Contributions)

提出 ETW 框架：首次提出利用整体预测分布的熵而非单纯的真实标签置信度来指导 Token 级遗忘，能够更准确地识别信息性 Token。
理论分析与验证：证明了熵是区分信息性 Token 和结构性 Token 的有效信号。即使真实标签置信度相同，信息性 Token 的熵也显著高于结构性 Token。
性能提升：在多个基准测试中，ETW 实现了比现有 Token 级正则化方法（如 WGA, SatImp, FUNDIAL 等）更优的遗忘质量（Forget Quality）与模型效用（Model Utility）的平衡。

4. 实验结果 (Results)

实验在 TOFU（虚构作者遗忘基准）和 WMDP（生物/网络安全知识遗忘基准）上进行，使用了 LLaMA-3.2 (1B, 3B) 和 LLaMA-2 (7B) 等模型。

Token 区分能力：
- 在区分信息性 Token 和结构性 Token 的 ROC-AUC 指标上，ETW 比所有基线方法高出至少 0.06。
- 直方图显示，ETW 能清晰地将信息性 Token（高权重/高熵）与结构性 Token（低权重/低熵）分离开，而基于置信度的方法（如 Imp, SatImp）往往无法区分高置信度的信息性词。
遗忘质量与效用平衡：
- TOFU 基准：在 10%、5% 和 1% 的遗忘比例下，ETW 在保持模型效用（ $\Delta MU$ ）的同时，实现了最低的聚合得分（Agg. Score，综合衡量遗忘质量和效用）。特别是在 10% 高难度遗忘设置下，ETW 表现最为稳健，而其他方法往往导致效用严重下降或遗忘不彻底。
- WMDP 基准：ETW 在 Cyber 和 Bio 子集上展现了优秀的遗忘效果，同时保持了与重训练模型（Retrain）相近的保留集准确率。
概率分布分析：
- 遗忘后的模型在信息性 Token 上的预测概率分布与完全重训练的模型（Retrain）最为接近（相对变化 $|\Delta RT|$ 最小），表明 ETW 成功移除了特定知识而未破坏模型的语言建模能力。
温度敏感性：
- 实验发现 Softmax 温度（Temperature）影响熵的分布。较大的遗忘集适合较高的温度（较平滑的分布），而较小的遗忘集适合较低的温度（更强的惩罚）。

5. 意义与结论 (Significance)

无需外部依赖：ETW 完全基于模型自身的预测分布，不需要外部语言解析器（如 spaCy）或额外的参考模型，具有更好的通用性和上下文感知能力。
解决“遗忘 - 效用”权衡难题：通过精准定位并惩罚真正承载知识的 Token，ETW 避免了“误伤”功能性 Token，从而在移除特定知识的同时，最大程度地保留了模型的通用能力。
未来方向：该方法为 LLM 的可控遗忘提供了新的视角，即利用**不确定性（熵）**作为信息量的度量，而非仅仅依赖置信度。

总结：这篇论文通过引入熵引导的 Token 加权机制，解决了现有 LLM 遗忘方法中“一刀切”导致的效用损失问题，提供了一种更智能、更精准的遗忘策略，显著提升了机器遗忘的实用性和安全性。