💻 computer science

What to Forget in Unlearning? Forget Set Curation for Language Models

本文介绍了 CleanSlate，这是一个基准测试，它证明了遗忘集（forget sets）的策划是机器遗忘中一个关键的上游挑战，其中简单的选择方法无法抑制目标内容，而过于激进的策略则会对模型能力造成显著的附带损害。

原作者： Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：人类知识的浩瀚图书馆被压缩进了一个单一且极其聪明的计算机程序中。这个被称为语言模型的程序，通过阅读来自书籍、网站和歌曲的数万亿个词汇来进行学习。它变得如此精通，以至于可以模仿诗人的风格，或者完成名著中的句子。但有时，这些程序的拥有者需要删除特定的信息。也许是某首歌在未经许可的情况下被使用了，或者是某个私密的故事被意外记住了。目标是让计算机“遗忘”那部分特定的内容，而不必删除其全部记忆并重新开始。这个过程被称为机器遗忘（machine unlearning）。多年来，研究人员一直专注于一旦确定了要针对哪些词汇时，如何进行删除的技术细节。他们将需要遗忘的词汇列表视为一个简单的起点，假设如果你告诉计算机忘记一个特定的句子，它就会照做。

然而，斯坦福大学的一项新研究表明，这种假设忽略了一个至关重要且困难的步骤。研究人员意识到，在现实世界中，一个遗忘请求很少会附带一份精确的词汇表。用户可能会要求模型停止演唱一首特定的歌，但那首歌在计算机的记忆中是以多种不同的形式存在的。它可能出现在官方歌词中，但也可能出现在引用了一行歌词的新闻文章中、讨论该旋律的粉丝论坛中、存储该文本的代码文件中，或是提到副歌部分的评论中。计算机并不只是通过一个完美的副本了解这首歌；它是通过这些各种提及构成的零散云团来了解它的。这项新研究提出了一个根本性的问题：如何在海量的文本库中找到那首歌或那本书的所有这些零散碎片，以便你可以告诉计算机去遗忘它们？研究团队将这个缺失的步骤称为“遗忘集策展”（forget set curation），他们发现，如果这一步做错了，会导致计算机失去远不止那首不想要的歌曲之多的东西。

为了调查这个问题，研究人员建立了一个名为 CLEANSLATE 的测试场。他们收集了从 1970 年到 2025 年的数千首公告牌百强单曲（Billboard Hot 100）以及五十本书籍。然后，他们测试了不同方法识别需要移除的特定文本片段的效果。他们比较了两种主要方法。第一种方法依赖于标准的搜索工具，类似于一个人使用搜索引擎来查找一本书。这些工具寻找的是单词或短语的精确匹配。第二种方法更为激进：它直接观察计算机最有可能用来生成内容的特定文本部分，并选择这些部分进行移除，本质上是绕过了搜索步骤，直接针对问题的核心区域。

结果揭示了一种令人惊讶的复杂性。当研究人员使用标准搜索工具来寻找文本时，结果往往很微弱。即使搜索工具已经删除了那些明显的副本，计算机仍然会继续演唱那首歌或背诵那本书。这是因为计算机是从许多细小且分散的来源中学习这首歌的，而搜索工具错过了这些来源。一首歌的“足迹”不仅仅是官方歌词；它是分布在互联网上的引用、参考和片段构成的弥散网络。当研究人员试图更加彻底地定位计算机用于生成该歌曲的精确文本窗口时，他们遇到了另一种问题。他们成功地阻止了计算机演唱那首歌，但这样做却损害了计算机记忆其他事物的能力。模型在回答有关该歌曲的事实问题时表现变差，并且也失去了一些通用技能，例如其推理或解决数学问题的能力。

这项研究表明，选择要移除哪些文本不仅仅是一个技术细节，它本身就是解决方案的重要组成部分。研究人员发现，同样的待遗忘文本列表，根据所使用的删除算法不同，会导致截然不同的结果。在某些情况下，对一个计算机模型非常有效的方法，会对另一个模型造成重大破坏。这意味着你不能仅仅挑选一个词汇表，然后假设删除过程是干净利落的。选择数据的过程与删除数据的过程是深度关联的。如果你选择得太少，不想要的现象依然存在；如果你选择得太多，或者选择了错误的文本类型，你就有可能抹除有价值的知识并损害计算机的通用智能。

最终，这项研究表明，认为存在一个简单、完美的遗忘清单的想法是一种幻觉。在这些模型学习的混乱现实中，一首歌或一本书是由一个庞大且无形的文本网络支撑着的。为了在不伤害模型其余部分的前提下真正遗忘一段内容，必须极其谨慎地进行数据选择，并考虑到特定计算机模型究竟是如何学习该内容的。研究结论是，实际的遗忘问题不能仅靠改进删除工具来解决；它需要一种看待我们如何寻找和选择数据的新方式。未来的路径在于设计一个系统，使选择遗忘的内容与遗忘的方法能够协同规划，从而确保计算机在放下特定请求的同时，不会失去理解世界的能力。

技术摘要：不要忽视语言模型的集合策展（Forget Set Curation）

问题陈述

机器遗忘（Machine unlearning）旨在从已训练的模型中移除特定的数据或行为，而无需从头开始重新训练。然而，现有的基准测试和方法通常假设“遗忘集”（forget set）——即用于驱动遗忘更新的具体示例——是已知且已提供的。在现实的部署场景中，请求者可能会要求模型停止复现某首特定的歌曲、书籍或受保护的作品，但请求者并不知道在万亿级 token 的语料库中，哪些具体的文本跨度（spans）、文档或近重复项支撑了这种行为。

本文识别了一个缺失的上游问题：遗忘集策展（forget set curation）。这是指将高层级的抑制请求（例如“停止复现《Never Gonna Give You Up》”）映射到应当传递给遗忘算法的具体数据跨度的过程。挑战在于，支持模型逐字复现的证据很少局限于目标作品的规范副本。相反，它形成了一个分布式的“语料库足迹”（corpus footprint），散布在歌词聚合网站、粉丝论坛、代码片段、新闻文章以及偶然的讨论之中。策达者必须恢复足够的足迹，以抑制目标行为，同时避免对非请求内容或通用模型能力造成附带损害。

方法论：CLEANSLATE 基准测试

为了研究这一问题，作者引入了 CLEANSLATE，这是一个旨在评估从抑制请求到策展遗忘集，再到编辑后模型的完整流水线的基准测试和评估协议。

数据集与范围

内容： CLEANSLATE 涵盖了 4,616 首 Billboard 百强单曲（1970–2025）和 50 本书籍（主要来自 Project Gutenberg）。
模型： 评估涵盖了六个参数量从 7B 到 32B 的模型（包括 LLaMA-3.1, OLMo, Gemma, Nemotron, 和 Qwen）。
提取特征（Extraction Profiles）： 该基准测试使用概率提取来衡量“可提取性”。如果模型在给定前缀的情况下，对目标后缀分配了高概率（ $p \geq 0.001$ ），则认为该作品是可提取的。每个模型都会生成独立的特征文件，以解释不同的记忆水平。
基于内容的问答（Content-Grounded QA）： 为了区分抑制逐字复现与擦除事实知识，作者构建了 12,088 个问答对。这些测试旨在检查模型在遗忘后是否仍能回答关于作品的事实性问题（例如情节细节、作者、年份），即使它已无法背诵原文。

评估流水线

策达者 ( $A$ )： 接收抑制请求 ( $W_f$ ) 和语料库 ( $C$ )，然后输出遗忘集 ( $D_f$ )，并可选输出保留集 ( $D_r$ )。
遗忘器 ( $U$ )： 一个固定的遗忘算法使用 $D_f$ 和 $D_r$ 更新模型 $\theta$ 为 $\theta'$ 。
评估： 得到的模型根据以下指标评分：
- 目标抑制 ( $F$ )： 遗忘集中可提取窗口的减少量。
- 附带抑制 ( $R$ )： 保留集中非预期的可提取性降低。
- 能力保留： 在内容问答和通用基准测试（GSM8K, BBH, WinoGrande, CoQA, HumanEval+, LAMBADA）上的表现。

测试的策达者类型

研究对比了三种类型的策达者：

BM25-pre / BM25-mid： 使用针对预训练和中间训练语料库的 BM25 索引进行词法检索。
Infini-gram-mid： 使用 Infini-gram-mini 索引进行精确子串检索，以寻找最大字符跨度。
评估感知型（EA）： 一个理论基准，它绕过检索，直接选择已知可提取的具体评估窗口，作为对评估协议的鲁棒性测试，而非一种实际的解决方案。

关键结果

1. 分布式的语料库足迹

研究证实了文化作品具有“分布式的语料库足迹”。较旧的作品通过引用和讨论向外扩散，而较新的作品则经常通过习语和固定短语向内扩散（inward diffusion）。

向外扩散（Outward Diffusion）： 一首如《Smile》（2024）的歌曲在 Common Crawl 快照中的 5-gram 层级达到了 100% 的覆盖率，其跨度出现在代码、评论和论坛中，而不只是歌词网站。
向内扩散（Inward Diffusion）： 新歌通常包含早于歌曲本身出现的短语（例如引用 1910 年的一首诗），这意味着支持证据的外观可能看起来完全不像目标作品的副本。

2. 基于检索的策达者的失败模式

天然的词法和精确子串策达者（BM25, Infini-gram）生成的遗忘集会导致弱抑制。

模型依赖性： 检索衍生遗忘集的有效性高度依赖于模型。较大的模型（如 Gemma-3-12B）显示出了一些变化，而较小的模型（如 OLMo-3-7B）几乎没有变化。
缺乏选择性： 即便发生了抑制，也极少具有选择性。例如，LLaMA-3.1-8B 在获得最多 29% 的遗忘池抑制的同时，损失了其保留池中 51% 至 55% 的可提取性。

3. 评估感知型策达中的选择性差距

当策达者绕过检索并直接选择用于评估的精确窗口时（EA 策达者）：

高抑制： 所有模型的目标抑制率均接近 100%。
严重的附带损害： 这种方法导致了实质性的附带抑制（保留池可提取性降低 80–100%）以及显著的能力退化。
算法交互： 能力损失的程度因遗忘算法而异。例如，使用 EA 输入配合 SimNPO 会导致平均 5.1 个百分点的能力下降，而使用 UNDIAL 在达到类似抑制水平的同时，基本保留了能力（仅下降 0.1 个百分点）。

4. 策达与遗忘的相互依赖性

研究表明，遗忘集与遗忘算法之间存在强烈的相互作用。相同的遗忘集在不同的遗忘器（例如 SimNPO 与 RMU, UNDIAL）作用下会产生截然不同的结果。

不存在通用解决方案： 在测试的网格中，无论是基于检索的还是评估感知的策达，都未能实现选择性遗忘（即高目标抑制与低附带损害并存）。
流水线属性： 实际的遗忘不能被视为一个将策达作为固定前提的模块化过程。所选的数据既决定了什么被遗忘，也决定了什么被破坏。

意义与主张

本文认为，遗忘集策达应该被视为机器遗忘的一个评估对象，而不仅仅是一个预处理步骤。

重构问题： 作者声称，实际的遗忘不仅仅是在给定遗忘集后的优化问题；所选用于遗忘的数据从根本上决定了抑制与效用之间的权衡。
现有基准测试的局限性： 现有假设遗忘集已知的基准测试掩盖了将现实世界的请求映射到数据的关键上游挑战。
未来方向： 本文建议，未来的策达者必须是“算法感知”的，可能需要结合语料库足迹信号、特定模型的提取特征以及影响估计，以构建能够实现局部效应的遗忘集。

作者总结道，虽然 CLEANSLATE 研究的是一个狭窄的场景（歌曲和书籍的逐字抑制），但其核心洞察具有广泛的适用性：从请求到数据的映射是遗忘流水线中一个关键且非平凡的组成部分，需要与遗忘算法进行联合评估。