🤖 machine learning

LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

本文介绍了 LoTUS，一种新颖且高效的机器遗忘方法，它通过将预测概率平滑至信息论边界，消除了预训练模型中训练样本的影响，从而在无需重新训练的情况下，在标准数据集和大规模数据集上均优于最先进的基准方法。

原作者： Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的学生，他背诵了一本厚厚的教科书。这个学生非常厉害，以至于他能背诵关于每一页的具体事实。但现在，想象一下这样一个情况：这本书中的几页是由想要保持匿名的人编写的，或者这些页面包含需要被抹除的敏感信息。

你想让这个学生完全“忘记”这些特定的页面，就像他从未见过它们一样，而不需要让他回到学校从头开始重读整本书。这就是**机器学习遗忘（Machine Unlearning）**的问题。

这篇论文介绍了一种名为 LoTUS（Logits Tempering Unlearning Strategy，即 Logits 温度调节遗忘策略）的新方法来解决这个问题。以下是它的工作原理，使用简单的类比：

问题所在：“过度自信”的学生

深度学习模型（如这个学生）往往会“记住”训练数据中的特定细节。如果给他们看一张带有独特伤疤的猫的照片，他们不仅学会了“猫”，还学会了“带有那个特定伤疤的猫”。

由于这种记忆，模型会变得过度自信。它会说：“我有 99.9% 的把握确定这就是那只特定的猫！”这是很危险的，因为这泄露了该特定图像曾出现在其训练数据中的事实。黑客可以利用这种过度自信来推断出某个人的照片是否在训练数据中（这是一种隐私攻击）。

解决方案：LoTUS（“降温”策略）

与其重新训练整个模型（这就像让学生重新阅读整个图书馆），LoTUS 会温和地“冷却”模型对特定图像的信心。

把模型的输出想象成一束炽热、锐利的激光束。LoTUS 将这束激光变成了一个柔和、弥散的聚光灯。

平滑概率： 该方法会对“遗忘”图像的模型预测进行处理，使其不再那么确定。它将信心扩散开来，使得模型不再对这些特定细节如此笃定。
“金标准”目标： 目标是让模型在处理这些“遗 forget”图像时的表现，恰好就像它从未见过这些图像时那样。如果模型从未见过“带伤疤的猫”，它对它的确定度会降低。LoTUS 强制模型降低确定度，从而模拟这种“从未见过”的状态。
温度旋钮： 该方法使用了一个“温度”设置（类似于恒温器）。
- 如果模型仍然过于自信（太热），系统就会调高温度，使预测变得更加随机和不确定。
- 如果模型变得过于困惑（太冷），系统就会调低温度，以重新聚焦。
- 它不断调整这个旋钮，直到模型在“遗忘”图像上的行为与一个从未见过这些图像的模型行为相匹配。

新工具：“无需重测”的评分卡

通常，为了证明你成功让学生忘记了某些内容，你必须让学生回到学校，在不读那些坏页面的情况下重新学习所有内容，并将两个版本进行比较。这既昂贵又缓慢。

作者发明了一种称为 RF-JSD（Retrain-Free Jensen-Shannon Divergence，即无需重训的 Jensen-Shannon 散度）的新方法来检查工作成果。

类比： 与其重新教导学生并比较两个版本，你只需要观察学生当前的答案，并将其与一个包含全新、未见问题的“神秘盒子”进行比较。
如果学生对“遗忘”问题的回答看起来与他们对“新”问题的回答相似（即在没有记忆的情况下），你就知道他们已经成功忘记了。
这使得你可以检查是否存在隐私泄露，而无需重新训练模型，这对于像 ImageNet 这样巨大的数据集来说至关重要，因为重新训练几乎是不可能的。

他们的发现

研究人员在各种模型（如 Vision Transformers 和 ResNet）以及数据集（从较小的 CIFAR 到庞大的 ImageNet）上测试了 LoTUS。

优于同类方法： LoTUS 比他们对比的所有其他方法都更快、更有效。
适用于大数据： 他们成功地将其应用于 ImageNet（超过 100 万张图像），在这种场景下，重新训练在实际操作中几乎是不可能的。
避免了“史翠珊效应”： 有时，当你试图隐藏某样东西时，反而会让它更加显眼。LoTUS 避免了这种情况；它不仅仅是让模型猜错（这会显得很明显），而是让模型真正变得不确定，而这正是“不知情”的自然状态。

总结

LoTUS 是一个聪明的 AI“橡皮擦”。它不会删除整本书，而只是轻轻地模糊掉需要被遗忘的特定页面，确保 AI 不会对它们过度自信，同时节省了大量的时间和计算能力。他们还制造了一个新的“尺子”（RF-JSD），用于在无需重建整个机器的情况下衡量遗忘的效果。

技术摘要：LoTUS —— 带有不确定性色彩的大规模机器学习遗忘

1. 问题陈述

机器学习遗忘（Machine Unlearning, MU）旨在从预训练模型中移除特定训练样本（即“遗忘集”）的影响，而无需从头开始重新训练模型。这对于隐私保护、版权合规和偏差缓解至关重要。然而，现有方法面临三个主要挑战：

效率： 从头开始重新训练（“金标准”）在计算上是极其昂贵的，特别是对于像 ImageNet1k 这样的大规模数据集。
数据可访问性： 在现实场景中，由于隐私政策或存储限制，通常无法获取完整的原始训练数据，这使得重新训练变得不再可能。
有效性与保留的平衡： 方法必须有效地消除遗忘样本的影响，同时保留模型在剩余数据上的效用。现有方法往往难以平衡这些相互竞争的目标，或者无法准确逼近金标准的性能。

目前的遗忘技术通常分为精确遗忘（在统计上与重新训练不可区分，但通常难以实现）或近似遗福（使用各种指标来衡量与金标准的接近程度）。在如何高效处理大规模模型，并在满足现实数据约束的同时，提供不需要重新训练的金标准模型的稳健评估指标方面，存在显著的技术空白。

2. 方法论：LoTUS

作者提出了 LoTUS（Logits 温控遗忘策略），这是一种直接在模型的输出空间中运行的新颖方法，采用了信息论框架。

核心概念：熵与不确定性

LoTUS 解决了深度神经网络（DNN）倾向于记忆样本特定特征（导致对训练数据产生过度自信预测）的问题。这种过度自信是成员推理攻击（MIA）所利用的漏洞。LoTUS 旨在平滑遗忘样本的预测概率以增加其熵，使模型对这些样本的响应类似于其对未见数据的响应。

理论框架

该方法基于全局信息（跨类别共享的特征，例如通用的猫的形状）与子集特定信息（特定样本的独特特征，例如独特的毛发纹理）的分离。

目标： 消除子集特定信息 ( $I(f_{orig}(X_f); X_f | X)$ )，同时保留全局信息 ( $I(f_{orig}(X_f); X)$ )。
近似： 由于直接估计互信息在计算上非常密集，LoTUS 通过将遗忘集 ( $D_f$ ) 上的遗忘模型准确率等同于原始预训练模型在未见集 ( $D_u$ ) 上的准确率来近似遗忘目标：
$Acc(f_{un}, D_f) = Acc(f_{orig}, D_u)$
这里， $D_u$ 可以是验证集或合成数据。这确保了遗忘后的模型不会保留其在 $D_f$ 上所具有的“记忆化”置信度。

实现：动态温度与 Gumbel 噪声

LoTUS 采用知识蒸馏框架，其中学生模型 ( $f_{un}$ ) 向教师模型 ( $f_{orig}$ ) 学习。

Gumbel-Softmax 扰动： 教师模型的 Logits 通过 Gumbel 噪声 ( $g \sim \text{Gumbel}(0,1)$ ) 和温度参数 ( $\tau$ ) 通过 Gumbel-Softmax 函数进行扰动。这引入了随机性并允许可微采样。
动态温度调整： 温度 $\tau_d$ $τ_{d}$ 在每个 epoch 中根据学生模型在遗忘集上的准确率与教师模型在未见集上的准确率之间的差距进行动态调整：
$\tau_d = \exp(\alpha \cdot (Acc(f_{un}, D_f) - Acc(f_{orig}, D_u)))$
- 如果学生在 $D_f$ 上过于准确（表明存在记忆化），则 $\tau_d > 1$ ，通过平滑概率来增加熵。
- 如果学生过于不准确（过度遗忘），则 $\tau_d < 1$ ，通过锐化概率来恢复效用。
损失函数： 损失函数结合了一个“遗忘”项（使用带动态 $\tau_d$ 的扰动教师输出）和一个“保留”项（使用 $\tau \to 0$ 的教师输出以锐化预测并保持对保留集的效用）。

3. 核心贡献

LoTUS 算法： 首个直接在输出空间中运行并使用信息论边界进行操作的遗忘方法。它通过动态温度参数控制不确定性，避免了无差别的熵最大化。
RF-JSD 指标： 引入了无需重训的 Jensen-Shannon 散度（RF-JSD）。该指标通过比较遗忘集上的遗忘模型输出与原始模型在未见集上的输出来评估遗忘效果。它消除了对重新训练的金标准模型的需求，使其适用于现实世界的大规模场景。RF-JSD 与已建立的 JSD 分数具有很强的皮尔逊相关性 ( $0.92 \pm 0.04$ )。
大规模实验设置： 使用 ImageNet1k 数据集（120 万样本）构建的新型评估框架，模拟了重新训练不可行的受限数据访问条件。

4. 实验结果

作者在五种数据集（CIFAR-10, CIFAR-100, MUFAC, TinyImageNet, ImageNet1k）上，针对 Vision Transformer (ViT) 和 ResNet18 架构对 LoTUS 进行了评估。

有效性： 在 Avg Gap 指标（平衡遗忘与保留）和 JSD（衡量与金标准分布的相似性及对“斯特里斯现象/Streisand effect”的抵御能力）方面，LoTUS 始终优于八种最先进的基准方法（包括 Finetuning, NegGrad+, SalUn 和 SCRUB）。
效率： LoTUS 展示了卓越的计算效率，通常比基准方法耗时更短。这归功于它仅需使用极小比例的保留样本（30%）以及辅助计算的线性复杂度。
大规模性能： 在无法进行重新训练的 ImageNet1k 上，LoTUS 实现了最低的 RF-JSD 分数（1.11 对比原始模型的 1.22，且高于其他基准方法），表明了有效的遗忘。它还独特地在显著降低成员推理攻击（MIA）准确率的同时，保留了保留集准确率（Retain Accuracy）。
鲁棒性： 即使当未见集由合成 AI 生成的数据（CIFAKE）组成时，该方法依然有效，验证了对分布相似性假设的放宽。

5. 重要性与主张

本文声称 LoTUS 代表了机器学习遗忘领域的重大进展，其理由如下：

弥补差距： 提供了一种既有效又高效的方法，适用于重新训练不切实际的大规模模型。
现实应用价值： 引入 RF-JSD 指标，使得在金标准模型不可用的情况下（这在隐私敏感型行业中很常见）进行严格评估成为可能。
理论严谨性： 通过将遗忘过程植根于信息论（特别是针对移除子集特定信息并保留全局效用），超越了启发式方法。
优越性： 证明了 LoTUS 在平衡“遗忘特定数据”与“维持模型性能”之间的权衡方面，优于现有的最先进方法，同时减轻了“斯特里斯现象”（即遗忘过程无意中使数据变得更容易被识别）。

作者指出，虽然该框架可以扩展到类别级遗忘，但其主要的实验验证侧重于实例级遗忘。这项工作被视为迈向受限环境下可扩展、隐私保护型机器学习的重要一步。