LLM Unlearning with LLM Beliefs

这是一篇发表于 ICLR 2026 的论文《LLM UNLEARNING WITH LLM BELIEFS》（基于大模型信念的 LLM 遗忘），由澳门大学、香港浸会大学等机构的研究人员共同完成。该论文深入探讨了大语言模型（LLM）在“机器遗忘”（Machine Unlearning）任务中存在的“虚假遗忘”问题，并提出了一种基于模型信念（Model Beliefs）的自举（Bootstrapping）框架来解决这一问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

背景：
大语言模型在海量语料上训练，不可避免地会记忆敏感、有害或隐私信息。为了合规和安全，需要将这些信息从模型中“遗忘”。现有的遗忘方法主要基于**梯度上升（Gradient Ascent, GA）**及其变体（如 NPO, WGA 等），旨在通过最大化特定目标响应的负对数似然（NLL）来降低其生成概率。

核心问题：虚假遗忘（Spurious Unlearning）与挤压效应（Squeezing Effect）
作者发现，现有的基于梯度上升的方法存在一个严重的副作用，即虚假遗忘。

• 现象： 虽然传统指标（如 ROUGE、Truth Ratio）显示目标响应被成功遗忘（概率降低），但模型实际上只是将概率质量（Probability Mass）重新分配到了语义相关的区域。模型不再输出原始的目标句子，而是输出了语义高度相似的改写版本（Rephrasings）。
• 机制（挤压效应）： 由于 Softmax 归一化的约束，当强制降低目标 token 或序列的概率时，概率质量必须流向其他 token。由于 LLM 的预训练泛化能力，这些“其他 token"往往集中在高概率的语义邻域内（即模型原本就倾向于生成的内容）。因此，模型只是“挤压”了概率分布，将有害知识转移到了语义相近的改写中，而非真正消除。
• 评估缺陷： 现有的自动化评估指标（如 ROUGE）主要关注表面相似度，无法检测这种语义层面的知识保留，导致评估结果虚高。

2. 方法论：基于信念的自举框架 (Bootstrapping Framework)

为了解决挤压效应，作者提出了一种**自举（Bootstrapping, BS）**框架。其核心思想是：利用模型自身的高置信度生成（即“模型信念”）作为额外的遗忘信号。既然概率质量会流向模型认为“最可能”的区域，那么直接惩罚这些区域就能防止知识转移。

该框架包含两个具体实现：

A. 基于 Token 的自举 (BS-T, Bootstrapping-Token)

• 原理： 在训练过程中，不仅惩罚原始的目标 Token（One-hot label），还惩罚模型当前预测的高概率 Token 集合（Top-k 高置信度邻域）。
• 实现： 构建一个软目标（Soft Target），它是原始目标标签与模型当前 Top-k 预测分布的插值。
  • 公式：$t_u^i = \lambda_{BST} \cdot \text{sg}[\pi_\theta(\cdot | x_u, y_{<i}^u)|_{H_k^{(i)}}] + (1 - \lambda_{BST}) \cdot e_{y_u^i}$
  • 其中，$H_k^{(i)}$ 是位置 $i$ 处的高概率 Token 集合，$\text{sg}$ 表示停止梯度操作。
• 作用： 直接在 Token 层面抑制高概率的语义邻域，防止概率质量向这些区域“逃逸”。

B. 基于序列的自举 (BS-S, Bootstrapping-Sequence)

• 原理： 仅处理 Token 可能不足以消除长序列中的有害延续。BS-S 将自举扩展到序列级别，针对模型的“全局信念”。
• 实现：
  1. 对于每个遗忘提示（Forget Prompt），使用当前模型采样生成 $N$ 条高置信度的完整响应序列（$\hat{y}_u$）。
  2. 将这些生成的序列作为额外的遗忘数据（Augmented Unlearning Data）加入训练集。
  3. 优化目标同时包含原始遗忘数据和这些采样的高置信度序列。
• 作用： 确保整个有害的生成轨迹（Trajectory）都被抑制，而不仅仅是孤立的单词，从而实现更彻底的遗忘。

3. 理论分析

作者利用 AKG (Approximate Kernel Gradient) 学习动力学框架进行了理论分析：

• 残差重塑（Residual Reshaping）： 理论证明，BS-T 通过修改梯度更新中的残差项（Residual Term），将“遗忘压力”从单一的目标 Token 分散到了其局部信念邻域（Top-k 集合）。
• 动力学视角： 相比于传统 GA 仅推动目标 Token 向下，BS-T 的残差项在目标及其高概率邻居上同时产生排斥力，从而在数学上解释了为何 BS-T 能有效缓解挤压效应，避免概率质量在语义邻域内重新聚集。
• 序列级扩展： 对于 BS-S，理论表明其更新等价于对一组固定的信念对齐序列应用加权后的 BS-T 残差，从而在更广泛的序列空间上平滑了遗忘过程。

4. 实验结果

作者在多个基准测试（TOFU, MUSE, WMDP）和不同规模的模型（Llama 3 系列，Zephyr 等）上进行了广泛实验。

• 评估指标： 除了传统指标，论文引入了LLM-as-a-Judge (LaaJ) 评估，从“自然度（Naturalness）”和“相似度（Similarity）”两个维度判断是否真正遗忘。
• 主要发现：
  • 消除虚假遗忘： 传统方法（如 NPO, GradDiff）在 LaaJ 评估中得分较低，因为它们生成的回答虽然改变了措辞，但保留了核心敏感信息（高相似度）。BS-T 和 BS-S 显著降低了这种语义相似度，实现了真正的知识移除。
  • 性能表现：
    • BS-S 在大多数情况下表现最佳，实现了遗忘（Memorization）与保留（Utility）的最佳平衡。例如在 TOFU 10% 设置下，BS-S 的综合得分（Agg.）优于 NPO 和 RMU。
    • BS-T 效率更高，作为强力次优方案，在保持竞争力的同时显著优于基线。
  • 跨基准验证： 在 MUSE（版权/敏感文本）和 WMDP（生物/网络安全知识）上，BS 方法均显示出更强的遗忘能力和更好的通用知识保留。
  • 概率动态： 实验显示，BS 方法能够单调地降低目标及其高概率邻居的对数概率，而传统方法则会出现概率向高概率邻域转移的现象。

5. 主要贡献与意义

1. 揭示新现象： 首次系统性地揭示了 LLM 遗忘中的“虚假遗忘”问题，并归因于概率分布的“挤压效应”，指出了现有评估指标的局限性。
2. 提出新框架： 提出了基于“模型信念”的自举框架（BS-T 和 BS-S），创新性地将模型自身的高置信度预测作为遗忘目标，从机制上对抗概率质量的重新分配。
3. 理论支撑： 提供了基于学习动力学的理论分析，证明了该方法如何重塑梯度动态以缓解挤压效应。
4. 实践价值： 实验证明该方法在多种场景下均优于 SOTA 基线，且代码已开源至 OpenUnlearning，为构建更安全、可信赖的 LLM 提供了有效工具。

总结：
这篇论文通过深入分析 LLM 遗忘的失败模式，指出单纯降低目标响应概率是不够的，必须同时抑制模型倾向于生成的语义相似内容。提出的自举框架巧妙地利用模型自身的“信念”作为对抗信号，实现了更彻底、更可靠的遗忘，解决了当前 LLM 安全领域的一个关键痛点。