💬 NLP

Deep Contrastive Unlearning for Language Models

本文提出了 DeepCUT，这是一个通过深度对比学习来优化语言模型潜在空间的机器遗忘框架，旨在有效移除特定训练数据并保持预测质量，从而解决现有方法忽略样本几何分布的局限性。

原作者： Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，我们的生活越来越多地以文本形式被记录下来：社交媒体帖子、医疗记录、法律文件和私人电子邮件。大型语言模型——那些能够写作、翻译和回答问题的强大计算机程序——是在这些海量的、由人类生成的数据之上进行训练的。它们通过阅读数百万个此类示例进行学习，吸收语言和知识的模式，从而成为极其有用的工具。然而，这种对现实世界数据的依赖产生了一个重大问题。如果一个人决定不再让其私人信息被使用，或者某条数据被发现是不准确或敏感的，目前删除该数据的唯一方法就是删除数据并从头开始整个训练过程。对于那些已经花费数周时间在数十亿词汇上进行训练的模型来说，这就像为了移除一本书而烧掉整座图书馆一样。这种方式太慢、太昂谱，而且在人们行使“被遗忘权”时，往往无法快速完成。

为了解决这个问题，研究人员一直在开发一个被称为“机器遗忘”（machine unlearning）的领域。其目标是教会模型忘记特定信息，而无需对其进行整体重训。想象一位背诵了教科书的学生；机器遗忘旨在让这位学生忘记其中的某一特定章节，同时仍记住其他所有内容，且无需让他重新回学校读一年的书。虽然目前已存在一些针对图像或简单数据实现此目的的方法，但将其应用于复杂且细微的语言世界已被证明非常困难。大多数现有的尝试仅关注模型给出的最终答案，试图通过微调输出，使其不再提及被遗忘的主题。但这种方法通常会让数据的底层记忆依然完整地保留在模型的内部计算之中，随时准备重新浮现。

来自皇家墨尔本理工大学（RMIT University）的一个研究小组提出了一种名为 DeepCUT 的新方法，它采取了不同的路径，直接观察模型在其自身“思维”中如何组织信息。DeepCUT 不仅仅是微调最终答案，而是重新组织模型存储知识的内部地图。研究人员在四个不同的现实世界数据集上训练了一个语言模型，这些数据集涵盖了从嘈杂的社交媒体帖子到精确的生物医学文献。随后，他们要求模型忘记这些数据中的特定部分，比例从总训练集的 1% 到 10% 不等。为了测试遗忘效果，他们测量了模型在回答关于应被遗忘数据的问题时的表现，以及它在处理应保留数据时的能力保持程度。

结果显示，以往的方法往往效率低下或不完整。仅仅在剩余数据上继续训练模型（一种被称为“灾难性遗忘”的技术），无法抹除特定文本的记忆；模型对被移除数据的记忆准确率依然很高。另一种常见的策略是将数据分成较小的块，并仅对受影响的部分进行重训，这种方法在成功移除数据的同时，显著损害了模型的整体智能，使其在通用任务上的准确性下降。相比之下，DeepCUT 方法在成功擦除特定记忆的同时，保持了模型的通用性能。在针对其应当遗忘的数据进行测试时，DeepCUT 模型的准确率大幅下降，表明它确实已经遗忘了该信息。与此同时，它在应当记住的数据上保持了高准确率，表现得与从头开始完全重训的模型一样出色。

这种成功的秘诀在于该方法如何操纵模型的内部空间。研究人员将数据点视为地图上的位置。为了让模型忘记特定信息，他们将该部分数据从其自身的群体中推开，并拉向不同的群体，从而有效地扰乱了该数据在模型记忆中的独特身份。这个过程确保了模型不再能识别出使该数据具有独特性的特定特征，同时保持其余部分的地图不受干扰。实验证明，这种方法不仅在移除数据方面非常有效，而且比重训整个模型要快得多。通过专注于模型内部信息的几何排列，研究人员找到了一种手术式移除不需要的记忆的方法，为人工智能时代的隐私保护提供了一条切实可行的路径。

技术摘要：面向语言模型的深度对比解学习 (DeepCUT)

问题陈述

大型语言模型 (LLMs) 的快速发展依赖于利用海量网络数据进行训练，其中包括可能包含敏感个人信息或版权材料的用户生成内容。尽管 LLMs 展示了强大的能力，但它们也带来了显著的用户隐私和数据保护风险，特别是在执行 GDPR 等强调“被遗忘权”的法规背景下。

核心挑战在于机器解学习 (Machine Unlearning)：即在不从头开始重新训练整个模型的情况下，移除特定训练样本对模型影响的过程。由于 LLMs 的规模巨大且训练轮次耗时，重新训练在计算上是极其昂贵的。现有的 LLM 解学习方法主要侧重于减轻被遗忘样本对模型输出分布（例如分类概率）的影响。然而，这些方法往往未能明确考虑或优化样本在模型潜空间 (Latent Space) 中的几何分布。因此，它们可能无法有效地消除待遗忘数据的判别性特征，从而留下残余的记忆痕迹。

方法论：DeepCUT

为了解决这些局限性，作者提出了 DeepCUT (Deep Contrastive Unlearning for fine-Tuning) 框架。该框架通过直接优化微调语言模型的潜空间，来促进特定样本的遗忘，同时保留模型在剩余数据上的性能。

该方法由三个部分组成：

输入编码与增强：
- 该框架利用预训练的 LLM 编码器将输入句子映射到潜嵌入空间。
- 为了便于在小批量 (Mini-batch) 内进行对比学习，作者通过标准 Dropout 采用了数据增强技术。通过使用不同的掩码对同一个样本进行两次 Dropout 处理，生成同一锚点样本的多个视图。这确保了即使在批量大小较小或特定类别代表性不足的情况下，也能在批次内获得正样本（同类）。
对比解学习目标：
- 与将正样本拉近、将负样本推开的传统对比学习不同，DeepCUT 对待遗忘数据 ( $D_f$ ) 反转了这一逻辑。
- 对于遗忘集中的锚点样本 $x_f$ ，模型被训练为将该样本的潜嵌入推离其自身类别的实例 ( $D_y$ )，并将其拉近至不同类别的实例 ( $D_{\neg y}$ )。
- 这是通过一种改进的对比损失（受 FoCL 损失启发）实现的，公式如下：
  $L_f = -\sum_{x_f \in D_f} \frac{1}{|D_{\neg y}|} \sum_{x_i \in D_{\neg y}} \log \frac{\exp(z_i^\top z_f / \tau)}{\exp(z_i^\top z_f / \tau) + \sum_{z_j \in D_y} \exp(z_j^\top z_f / \tau)}$
- 这一过程改变了已学习到的遗忘数据的表示，有效地消除了其独特的判别性特征，并将其移向其他类别的决策边界。
组合优化：
- 为了防止对剩余数据 ( $D_r$ ) 产生灾难性遗忘，将解学习损失 ( $L_f$ ) 与针对保留样本的标准交叉熵损失 ( $L_{CE}$ ) 相结合。
- 最终的目标函数为：
  $L = -\sum_{x_r \in D_r} \log \frac{\exp(\theta_{y_r}^\top z_r)}{\sum_c \exp(\theta_c^\top z_r)} + \gamma L_f$
- 此处， $\gamma$ 是一个平衡有用知识保留与特定数据移除的超参数。

核心贡献

本文概述了三项主要贡献：

框架引入： 提出了 DeepCUT，这是一个有效的解学习框架，旨在通过直接作用于潜空间，实现对已训练模型中特定样本的选择性遗忘。
潜空间优化： 一种受对比学习启发的创新方法，通过优化潜空间内的样本分布，确保消除特定于待遗忘样本的判别性特征，而非仅仅调整输出概率。
实验验证： 在真实世界数据集上的广泛实验表明，DeepCUT 能够高效地遗忘指定样本，且不会降低模型对剩余数据的预测性能。

实验结果

作者在涵盖两个领域（社交媒体：WNUT16, WNUT17；生物化学：NCBI-Disease, ChEMU）的四个基准数据集上对 DeepCUT 进行了评估。该模型与以下几种基线方法进行了比较：

Retrain (重训)： 通过全量重训实现的精确解学习（基准真值）。
Fine-tune (微调)： 仅在剩余数据上进行标准微调（依赖于灾难性遗忘）。
Reverse Gradient (反向梯度)： 反转遗忘集的梯度。
SISA： 分片、隔离、切片与聚合技术。

主要发现：

解学习有效性： 在所有数据集和配置（1% 和 10% 的移除率）下，DeepCUT 的“遗忘集”准确率始终最低，显著优于 Reverse Gradient 等基线方法。例如，在 WNUT16 移除率为 1% 的情况下，DeepCUT 将遗忘集准确率降至 32.25%，这比重训模型 (54.55%) 和标准微调法 (99.14%) 表现出的准确率更低（意味着更有效的解学习）。
性能保持： DeepCUT 在“保留集”和“测试集”上保持了高准确率，其表现与重训模型相当，且优于 SISA（SISA 因数据分片导致了准确率下降）。
效率： 在运行时间方面，DeepCUT 明显快于“Retrain”基线，并且比需要大量 Epoch 才能实现部分遗忘的“Fine-tune”方法更高效。虽然 SISA 速度很快，但它损害了模型的整体准确性。

意义与主张

论文声称，DeepCUT 通过将关注点从输出层面的缓解转向潜空间中的几何优化，代表了 LLM 机器解学习领域的重要进步。作者认为，现有方法未能明确处理潜空间中的样本分布，导致解学习不彻底。通过直接操纵潜嵌入以消除判别性特征，DeepCUT 提供了一个更具原则性、精确且高效的解决方案。结果表明，对比式潜空间操作是确保大规模语言模型符合隐私合规要求的一种可行且优越的方法，且无需承担全量重训的高昂成本。