🤖 machine learning

On the importance of multiple training seeds for evaluating machine unlearning

本文认为，仅使用单个训练种子来评估机器遗忘算法可能会因对训练初始化的敏感性而导致结果不具代表性，并证明了增加遗忘种子无法补偿这一局限性，从而有必要使用多个训练种子来进行稳健的实证评估。

原作者： Jamie Lanyon, Axel Finke, Petros Andreou, Georgina Cosma

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jamie Lanyon, Axel Finke, Petros Andreou, Georgina Cosma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

大局观：被“遗忘”的食谱

想象你有一位大师级厨师（机器学习模型），他通过一本厚重的食谱（训练数据）学会了烹饪一道复杂的菜肴。突然，一位顾客要求从食谱中删掉一种特定的食材（一个特定的数据点），因为这种食材过期了或者具有冒犯性。

**机器卸载（Machine Unlearning）**的目标是让厨师“忘记”这种食材，从而无法再使用它，但又不需要把整本食谱扔掉并从头开始学起（因为那样太昂贵且太慢）。

问题在于？大多数“卸载”技巧都只是近似值。它们试图微调食谱以移除不好的食材，但我们并不百分之百确定它们是否真的奏效，或者仅仅是厨师运气好。为了确保万无一失，科学家们会多次运行这些技巧，以观察它们是否能稳定发挥作用。

错误之处：只掷一次骰子

论文指出，科学家们在测试这些“遗忘”技巧的方式上犯了一个关键错误。

旧方法（有缺陷的测试）：
想象你想测试一种新的“遗忘”技术是否有效。

你使用一组特定的随机食材和特定的烤箱温度（这是训练种子/Training Seed）烤制了一个蛋糕。
然后，你尝试使用十种不同的随机魔杖（这些是卸载种子/Unlearning Seeds）来“反向烘焙”或移除蛋糕中的某种特定口味。
你对这十种魔杖的结果取平均值，然后说：“看，这个技术奏效了！”

论文的发现：
作者认为，这就像是通过在同一天用相同的幸运数字购买十张彩票来评判一张彩票是否中奖。如果那一天的开奖结果纯属巧合，那么你的十张彩票看起来都会很棒，但它们并不能告诉你彩票规则是否公平。

论文表明，起点（你首先烤出的那个蛋糕）比你用来移除口味的工具重要得多。

如果你用稍微不同的烤箱温度或不同的面粉批次（不同的训练种子）来烤蛋糕，这种“遗忘”技巧可能会完全失效，即使它在第一个蛋糕上表现完美。
由于你只在一个起始蛋糕上进行测试，研究人员得到的是一个“非代表性”的结果。他们可能认为某种方法很棒，但实际上它只是运气好。

类比：园丁与土壤

把训练种子想象成土壤，把卸载种子想象成园丁的工具。

旧做法： 一位园丁在一个特定的土块上测试一种新的“除草”工具。他在同一个土块上使用了该工具 10 次。如果杂草被拔掉了，他就宣布该工具成功了。
现实情况： 万一那个特定的土块特别松软呢？如果换成一块硬粘土，这个工具可能会彻底失败。
论文的建议： 要知道一个工具是否真的有效，你必须在许多不同的土块（许多训练种子）上进行测试。即使你在每个土块上只使用一次工具，你也比在同一个土块上使用 100 次能得到更真实的表现情况。

为什么我们不能只使用更多的“魔杖”？

你可能会问：“如果我不能烤 75 个不同的蛋糕，那我能不能在现有的一个蛋糕上使用 75 种不同的魔杖呢？”

论文说：不行。

使用不同魔杖（卸载种子）产生的“抖动”或变化通常是非常微小的。
而使用不同起始蛋糕（训练种子）产生的“抖动”却是巨大的。
如果你只有一个蛋糕，无论你用多少种不同的魔杖进行“抖动”，都无法解决蛋糕本身可能是一个偶然巧合的问题。你需要更多的蛋糕（训练种子）才能得到真正的答案。

解决方法：如何明智地分配你的时间

作者提供了一份关于如何明智地分配计算时间（预算）的指南：

不要把所有时间都花在一个模型上运行 10 次卸载技巧。
应该花时间训练 10 个不同的模型（使用不同的起始种子），并在每个模型上仅运行一次或两次卸载技巧。

这种方法能提供一个更加诚实且可靠的答案，告诉你在机器学习模型是否真正“忘记”了数据。

这适用于所有领域吗？

论文在三个不同的世界中测试了这个想法：

图像分类： 识别图片（比如猫 vs 狗）。
联邦学习排序（Federated Learning-to-Rank）： 根据用户点击进行搜索结果排序。
大语言模型（LLMs）： 生成文本的聊天机器人。

在所有这三种情况下，结果都是一样的：起始种子比卸载种子更重要。无论你是教机器人看东西、对搜索结果进行排序，还是写故事，如果你只在单个起始模型上进行测试，你就无法信任你的结果。

总结

要了解机器学习模型是否真正“忘记”了某些内容，你不能仅仅测试特定版本的模型。你必须测试许多不同版本的模型。否则，你可能是在为一个仅仅是运气使然的成功而欢呼。

技术摘要：论在评估机器遗忘中采用多种训练种子（Training Seeds）的重要性

问题陈述

机器遗忘旨在从已训练的模型中移除特定数据点的影响，而无需承担重新进行完整训练的高昂成本。虽然精确遗忘（从头开始重新训练）是“金标准”，但通常是不可行的。因此，研究人员依赖于近似遗忘算法（例如：Random Labels, UNSIR, Bad Teacher, SSD, LFSSD）。由于这些算法往往难以进行数学分析，其性能必须通过经验评估。

文献中的一种普遍做法是通过使用多个“遗忘种子”（unlearning seeds）从单个预训练模型（仅使用一个“训练种子” training seed）出发，多次独立运行遗忘算法来评估这些遗忘方法。本文认为这种评估策略是有缺陷的。具体而言，遗忘性能对初始训练种子具有高度敏感性。依赖单一训练种子可能会导致结果不具代表性，从而导致对算法有效性或鲁棒性的结论不可靠。对于确定性遗忘方法，这一问题尤为突出，因为这类方法在从相同模型启动时会产生完全相同的结果，使得多个遗忘种子变得多余。

方法论

作者提出了一个严谨的经验评估框架，该框架同时考虑了训练阶段和遗忘阶段的变异性。

1. 通用评估程序

论文形式化了一个涉及以下内容的评估程序（算法 1）：

$I$ 个训练种子： 使用不同的随机种子从头开始训练 $I$ 个独立的模型。
$J$ 个遗忘种子： 对于每个训练好的模型，使用不同的遗忘种子运行 $J$ 次遗忘算法。
指标聚合： 计算所有 $I \times J$ 个生成模型的遗忘指标（如：遗忘准确率、保留准确率）的平均值。

2. 方差分解分析

其核心理论贡献是对遗忘指标 $Z$ 进行方差分解：
$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$
其中：

$\sigma^2_{\text{train}}$ 是归因于训练种子选择的方差。
$\sigma^2_{\text{unlearn}}$ 是归因于遗忘种子选择的方差。
$ICC $（组内相关系数）定义为$ \sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$。

分析表明，如果 $\sigma^2_{\text{train}} > 0$ （即 $ICC > 0 $），增加遗忘种子数量 ($ J $) 并不能一致地估计遗忘性能；必须增加训练种子数量 ($ I $)。论文推导出了最优的计算预算分配策略，以最小化方差或达到目标置信区间宽度，证明了当训练方差显著时，优先考虑$ I $通常比优先考虑$ J$ 更有效。

3. 实现修正

作者识别并修正了 SSD 和 LFSSD 参考代码中的一个实现问题。原始实现是在平方之前进行批次级平均，这导致了参数重要性得分的偏差，并引入了跨遗忘种子的非确定性。作者引入了一个“确定性”（det.）版本，该版本使用无偏的样本级重要性计算，确保这些方法在固定的训练种子下产生相同的结果。

实验结果

作者在三个领域进行了广泛实验：图像分类、联邦在线学习排序（FOLTR）以及大语言模型（LLMs）。

图像分类 (CIFAR-100, CIFAR-20)

方差分析： 使用 75 个训练种子和 10 个遗忘种子，研究发现对于大多数方法（包括 SSD, LFSSD, Bad Teacher 和 UNSIR），归因于训练种子的方差 ( $\sigma^2_{\text{train}}$ ）明显大于归因于遗忘种子的方差 ( $\sigma^2_{\text{unlearn}}$ ）。
确定性方法： 对于修正后的 SSD (det.) 和 LFSSD (det.) 实现， $\sigma^2_{\text{unlearn}}$ 实际上为零，证实了如果固定训练种子，多个遗忘种子无法提供额外的洞察。
置信区间： 基于公式 2 的计算表明，要实现窄置信区间（例如宽度 $W=1$ ），通常需要数百甚至数千个训练种子，而增加遗olia遗忘种子带来的收益递减。

联邦学习排序 (FOLTR)

在包含 10 个客户端的 MQ2007 数据集上的实验表明，使用单一训练种子进行评估（ $I=1, J=10$ ）所产生的轨迹无法代表真实的跨种子变异性。
通过多个训练种子进行评估（ $I=10, J=1$ ）揭示了遗忘后性能存在显著更大的方差，证实了该问题延伸到了联邦排序任务中。

大语言模型 (LLMs)

使用 Llama-3.2-1B-Instruct 在 TOFU 数据集上的研究观察到，对于 GradAscent 和 Runlearning 等方法，其模型效用（Model Utility）和遗忘质量（Forget Quality）都存在显著的跨种子方差。
单个训练种子涵盖了几乎所有可能的输出范围，这进一步强化了单种子评估不足以刻画 LLM 遗忘行为的观点。

核心贡献

训练种子敏感性的经验证明： 论文通过数值证明了在图像分类中，单训练种子评估可能产生不具代表性的结果，这一发现也适用于 FOLTR 和 LLMs。
理论依据： 提供了一个方差分解分析，证明了当 $\sigma^2_{\text{train}} > 0$ 时，增加遗忘种子无法补偿缺乏训练种子的问题。
实践指导： 作者提供了公式和表格（表 1 和表 2），用于指导研究人员如何在训练和遗忘重复之间分配计算资源，以达到所需的统计置信度。
实现修复： 论文修正了 SSD 和 LFSSD 参考实现中的非确定性行为，区分了原始版本（“orig.”）和更新后的确定性版本（“det.”）。

意义与主张

本文声称，使用单一训练种子配合多个遗忘种子的常见做法会导致对机器遗忘方法的不可靠评估。作者断言：

可靠性： 准确的评估需要对多个训练种子进行平均，因为由训练初始化引入的变异性通常比由遗忘过程引入的变异性更占主导地位。
泛化性： 这种局限性并非图像分类特有，而是评估框架的一个普遍属性，在联邦学习和 LLMs 中均有观察到。
可行性： 尽管训练成本很高，但使用多个训练种子对于 LLM 而言仍然是可行的（例如，训练一个 Llama-3.2-1B 模型大约只需十分钟），这使得所提出的严谨评估具有实际操作性。

这项工作通过增加使用的训练种子规模（从 10 个增加到 75 个），明确解释了为什么多个遗忘种子无法补偿单个训练种子的不足，并提供了具体的实验设计指南，从而扩展了前人的研究成果（如 Cadet 等人、Triantafillou 等人）。