🤖 machine learning

Leak@ $k$ : Unlearning Does Not Make LLMs Forget Under Probabilistic Decoding

本文揭示了现有的大语言模型遗忘方法在概率解码下无法实现真正的遗忘，引入了\texttt{leak@ $k$ }指标来量化这一漏洞，并提出了\texttt{RULE}算法以在多个基准测试中有效缓解知识泄露。

原作者： Hadi Reisizadeh, Jiajun Ruan, Yiwei Chen, Soumyadeep Pal, Sijia Liu, Mingyi Hong

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Hadi Reisizadeh, Jiajun Ruan, Yiwei Chen, Soumyadeep Pal, Sijia Liu, Mingyi Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《Leak@k：在概率解码下，遗忘并未使大语言模型真正遗忘》的解释。

核心理念：“失忆”的幻觉

想象你雇佣了一位图书管理员（即人工智能），并要求他从馆藏中移除一本特定的、令人尴尬的书。你希望他彻底忘记这本书的故事，从此不再提及。

这篇论文的研究人员发现了一个令人震惊的事实：这位图书管理员实际上并没有忘记这个故事。

当你向图书管理员提问时，他通常会给出一个标准、安全的回答（就像机器人照着剧本念）。这被称为贪婪解码（Greedy Decoding）。在这种条件下，图书管理员看起来似乎成功忘记了那本书。

然而，如果你要求图书管理员“即兴发挥”或“展现创意”（这正是现实世界中人工智能的实际工作方式，称为概率解码（Probabilistic Decoding）），这位图书管理员会突然记起这个故事，并常常一字不差地讲给你听。所谓的“遗忘”只是我们测试方式造成的幻觉。

问题所在：“魔法八号球”与“水晶球”

要理解这篇论文，我们需要了解人工智能是如何做决策的：

贪婪解码（水晶球）： 想象人工智能总是选择下一个最明显、最安全的词。这就像一颗水晶球，只向你展示最可能发生的未来。在这种模式下，人工智能成功隐藏了秘密。
概率解码（魔法八号球）： 在现实世界中，人工智能并不只选择最可能的词；它会从一系列优质选项中挑选，有时会为了更具创意或更像人类而选择风险更高的路径。这就像摇晃一个魔法八号球。
- 发现： 论文发现，虽然人工智能透过水晶球看时能隐藏秘密，但当你摇晃魔法八号球足够多次时，秘密就会泄露。如果你用不同的“摇晃”（随机性）问同一个问题 64 次，秘密最终会暴露出来。

新工具："Leak@k"

作者们意识到，当前的测试就像只在河流平静时检查大坝。他们需要在暴风雨中测试大坝的方法。

他们发明了一种新的衡量标准，称为Leak@k。

类比： 想象你试图检查一个筛子是否有漏洞。
- 旧方法： 你往筛子里倒一杯水。如果没有水漏出来？太好了，没有漏洞！（这就是旧的“贪婪”测试）。
- Leak@k 方法： 你往筛子里倒k杯水。即使第一杯水没有漏出，第 10 杯或第 50 杯也可能发现一个微小的漏洞并滴漏出来。
它衡量什么： 它计算的是，在多次尝试中，至少有一次会泄露秘密信息的概率。论文表明，对于几乎所有当前的“遗忘”方法，随着你增加杯子的数量（k），水（秘密）最终都会漏出来。

证据：“通往地狱的巴士”示例

论文提供了一个既有趣又严肃的例子，使用了关于新闻文章的数据集（MUSE）。

秘密： 一条公交线路的编号从 666（地狱）改为了 669。
测试：
- 贪婪模式： 人工智能说：“我不知道那条线路。”（成功！）
- 概率模式（64 次尝试）： 人工智能最终说：“新的线路编号是 669。”（失败！）

这一现象在三个不同的主要测试（TOFU、MUSE 和 WMDP）中均发生了。无论秘密是虚构的作者姓名、新闻事实，还是危险的生物知识，一旦允许人工智能展现创意，“遗忘”就会失效。

解决方案：RULE（鲁棒遗忘）

既然旧方法就像试图用湿纸巾擦除纹身（看起来没了，但墨水还在），作者们创建了一种名为RULE的新方法。

工作原理： RULE 不再只是告诉人工智能“忘记这个特定的句子”，而是玩起了“打地鼠”游戏。
1. 它多次向人工智能提问，观察它如何试图泄露秘密。
2. 它在人工智能差点说漏嘴时将其抓住。
3. 然后它教导人工智能也要忘记这些特定的失误。
4. 它重复这个过程，每次变得更加严格。
结果： 使用 RULE，即使你摇晃魔法八号球 128 次，秘密也会保持隐藏。人工智能真正遗忘了，不仅是在它小心翼翼时，即使是在它展现创意时也是如此。

总结

问题： 当前的人工智能“遗忘”方法是虚假的。它们仅在人工智能被迫变得枯燥和可预测时才有效。
现实： 当允许人工智能展现创意时（这正是我们使用它的方式），它会记住我们让它忘记的事情。
修正： 作者们构建了一个新测试（Leak@k）来捕捉这种作弊行为，并构建了一种新训练方法（RULE）来真正让人工智能遗忘，即使在压力下也是如此。

论文得出结论：在我们用这种新的、更严格的"Leak@k"标准测试之前，我们不能信任当前的人工智能安全措施。

技术摘要：Leak@k：在概率解码下，遗忘学习并不能使大语言模型真正遗忘

问题陈述

大语言模型（LLMs）是在包含隐私、有害、非法或受版权保护内容的庞大网络数据集上训练的。机器遗忘旨在移除这些特定知识，同时保留模型的通用效用。然而，当前的遗忘评估协议几乎完全依赖确定性（贪婪）解码（温度 $T=0$ ，top- $p=0$ ）。在这种设置下，模型在每一步选择概率最高的单个 token。

作者指出了一个关键差距：虽然遗忘方法在贪婪解码下往往显得成功，但在概率解码（例如 $T > 0$ 或 top- $p > 0$ ）下，它们未能实现“真正的遗忘”，而后者是对话代理和代码生成等现实部署中的标准做法。在概率采样下，在贪婪路径中被抑制的敏感信息可能会重新浮现。一旦采样到初始的敏感 token，模型的条件分布往往会发生偏移，导致后续敏感 token 以高置信度被生成。这造成了一个安全盲区，即“已遗忘”的模型在多次查询或使用随机参数时，仍可能泄露私有或有害知识。

方法论

1. Leak@k 元指标

为了严格量化这一漏洞，本文引入了 leak@k，一种分布型元指标。与以往衡量单次生成泄露量或在多次生成间取平均的评估不同，leak@k 量化了在概率解码下，从同一提示词生成的 $k$ 个独立样本中，至少出现一个敏感响应的可能性。

定义：对于提示词 $q$ ，设 $S_j$ 为第 $j$ 个生成响应 $f(q; \theta)$ 相对于真实值的正确性得分（例如 ROUGE-L、蕴含得分、准确率）。该指标定义为 $k$ 个样本上的期望最大得分：
$\text{leak@k} := \mathbb{E}\left[\max_{1 \le j \le k} S_j\right]$
估计：作者提出了一种无偏估计量 $\widehat{\text{leak@k}}$ ，它生成 $n \ge k$ 个样本，并计算所有大小为 $k$ 的子集的最大得分，从而相比简单的“最差 $k$ 个”方法降低方差。
衰减分析：为了刻画随着采样预算增加泄露如何演变，作者拟合了一个对数 - 对数模型： $L_k = 1 - (1 - L_1)k^{-\gamma}$ 。其中， $L_1$ 代表早期阶段的泄露， $\gamma$ 代表剩余未泄露质量的衰减率。一个成功的遗忘方法应表现出较小的 $L_1$ 和较小的 $\gamma$ 。

2. RULE 算法

为了解决静态遗忘集在概率解码下的失效问题，作者提出了 基于 Leak@k 指标的鲁棒遗忘（Robust Unlearning under LEak@k metric, RULE）。这是一种迭代式元算法，动态地扩充遗忘集：

多样本生成：使用当前模型和概率解码，为遗忘集中的查询生成多个候选响应。
泄露检测：使用核心指标（例如蕴含得分）过滤这些响应。成功揭示敏感信息（超过阈值）的响应被识别出来。
数据集增强：将这些“泄露”响应添加到遗忘集中，实际上教会模型不仅要遗忘原始的真实值，还要遗忘其在随机条件下倾向于生成的特定变体和改写。
优化：模型在该增强后的遗忘集上重新训练。此过程重复多个迭代。

主要贡献

引入 Leak@k：一种新的元指标，将评估范式从确定性的单次响应检查转变为跨多次生成的概率最坏情况分析。
系统性实证研究：首次利用各种解码策略（ $T, p$ ）和采样预算（ $k$ ），在三个主要基准（TOFU、MUSE-News 和 WMDP）上对遗忘可靠性进行了大规模评估。
揭示失效：研究表明，最先进（SOTA）的方法（包括 GradDiff、NPO、SimNPO、RMU 和 BLUR-NPO）仅提供了一种“遗忘的幻觉”。随着 $k$ 的增加，所有现有方法的 leak@k 急剧上升，表明敏感知识在现实采样下会可靠地重新浮现。
提出 RULE：一种动态训练算法，显著减少了信息泄露。在 TOFU 基准上，即使对于 $k=128$ ，RULE 也能实现接近零的 leak@k，优于所有基线。在 MUSE-News 上，它在大多数采样预算下优于 SOTA 方法。

结果

TOFU 基准：使用 LLaMA-3.2-1B，作者表明，虽然贪婪解码（ $T=0, p=0$ ）表明 NPO 和 BLUR-NPO 等方法成功实现了遗忘，但概率解码（ $T=1.0, p=1.0$ ）导致随着 $k$ 增加，leak@k（通过蕴含得分衡量）趋近于 1.0。研究发现 top- $p$ 参数是泄露的主要驱动因素，其影响大于温度。
MUSE-News 基准：使用 LLaMA2-7B 观察到了类似的趋势。随着 $p$ 增加或 $k$ 增长，现有方法从安全输出转变为泄露输出。RULE-NPO 在抑制泄露增长率（ $\gamma$ ）方面表现出更优越的性能。
WMDP 基准：使用 Zephyr-7B-beta，研究强调基于准确率的指标可能会产生误导。虽然某些方法（如 NPO）在多项选择题上实现了低准确率，但它们经常生成乱码或“过度遗忘”（选择拒绝选项），而其他方法（如 RMU）在通过 LLM-as-Judge 评估自由形式生成时，在高随机性下显示出明显的泄露趋势。
效用保留：在所有基准上，所提出的方法（包括 RULE）在保留集上保持了稳定的性能，表明鲁棒的遗忘并不一定以牺牲通用模型效用为代价。

意义与主张

本文声称，当前的遗忘评估存在根本缺陷，因为它们忽略了大语言模型的概率性质，从而制造了一种虚假的安全感。作者认为，遗忘必须在与部署相同的概率条件下进行评估，以确保安全性。

这项工作的意义在于：

揭示关键差距：证明在贪婪解码下的“成功”遗忘不足以符合监管要求和道德人工智能标准，因为敏感数据可以通过重复采样被恢复。
提供鲁棒的评估框架：Leak@k 提供了一种标准化的分布型指标，用于根据最坏情况泄露潜力而非平均情况性能来比较遗忘方法。
提供解决方案：RULE 表明，通过根据模型自身的概率失败迭代地优化遗忘集，可以实现鲁棒的遗忘，从而超越静态训练集。

作者总结道，如果没有这种鲁棒的评估和训练方法，在高风险环境中部署已遗忘的大语言模型仍然充满风险，因为对抗性用户可以利用概率解码来提取“被遗忘”的信息。