🤖 machine learning

A Unified Framework for Diffusion Model Unlearning with f-Divergence

本文提出了一种用于文本到图像扩散模型中概念遗忘的统一框架，该框架将标准的基于均方误差的目标泛化为任意 $f$ -散度，既为包括Hellinger散度在内的特定散度提供了高效的闭式解，又为其他散度提供了一种变分极小极大方法，从而更好地平衡遗忘效果与生成保真度。

原作者： Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位极具天赋的艺术家（即“扩散模型”），他通过在互联网上海量且未经筛选的图像库中进行训练，学会了从世界名画到露骨内容的一切。有时，你希望这位艺术家“忘记”某些特定事物——也许是某位特定艺术家的风格、像 R2D2 这样的特定角色，或不适宜的内容——而无需从头重新训练（那将耗时极长且成本高昂）。

本文提出了一种更聪明的新方法，让艺术家能够忘记这些事物。作者将其方法称为f-DMU。

以下是他们想法的通俗类比解析：

1. 旧方法：“平均”策略

此前，研究人员试图通过告诉艺术家：“当你被要求绘制 [目标概念] 时，请绘制出与 [锚定概念] 平均值完全一致的画面”，来让艺术家忘记某个概念。

问题所在：他们使用一种名为“均方误差”（MSE）的标准数学标尺来衡量新画作与锚定概念的接近程度。这就像一位只关心最终成绩是否达到平均水平的严厉老师。如果学生在某道难题上犯了大错，老师会给予严厉惩罚；但如果学生犯了许多小错，老师可能反而察觉不到。这种“惩罚”（梯度）可能过于严厉或过于微弱，导致艺术家要么崩溃（生成怪异、破碎的图像），要么遗忘速度过慢。

2. 新方法：“灵活标尺”（f-散度）

作者提出：“为何只使用一把标尺？让我们使用一整套不同的标尺工具箱。”

在数学中，这些标尺被称为f-散度。论文表明，通过选择不同类型的 f-散度，你可以改变艺术家“学习遗忘”的方式。这就像根据你要修复的问题，在测量距离、测量时间或测量重量的标尺之间进行选择。

他们发现有两种主要的“标尺”类型效果最佳：

A. “温柔之手”（平方海林格距离）

工作原理：这把标尺非常谨慎。如果艺术家犯了大错（目标与锚定之间存在巨大差异），这把标尺会说：“好吧，差距确实很大，但别惊慌。让我们迈出一小步，稳步修正它。”
结果：艺术家平稳地学习。他们不会被大错误“吓到”，因此不会开始胡乱涂鸦。
适用场景：当你希望移除某个概念，同时仍保留艺术家绘制其他事物的优美能力时。这是一种“安全”的选择，能保持剩余艺术作品的质量。

B. “重锤”（卡方散度）

工作原理：这把标尺极具攻击性。如果艺术家犯错，这把标尺会大喊：“立刻修正！”错误越大，惩罚越重。
结果：艺术家会非常迅速地忘记该概念。
适用场景：当你需要彻底抹除某些内容，且不介意艺术家在此过程中变得有些“不稳定”或损失一些细节时。

C. “拔河赛”（变分方法）

对于某些没有简单公式的复杂标尺，作者设计了一场游戏。他们创建一个“判别器”（批评者）和一位“艺术家”（模型）。

批评者试图找出旧作与新作之间的差异。
艺术家则试图欺骗批评者。
他们进行一场拔河比赛，直到艺术家再也无法与“被遗忘”的版本区分开来。这种方法威力强大，但更难控制。

3. 他们的发现

作者在多种场景下测试了这些方法：

抹除风格：让艺术家忘记“梵高”或“毕加索”。
抹除物体：让艺术家忘记"R2D2"或“瓦力”。
抹除不适宜内容：让艺术家忘记裸露内容。

核心要点：
“温柔之手”（平方海林格）始终优于旧的“平均”方法（MSE）。

原因：旧方法经常导致艺术家在训练中途陷入混乱，在最终稳定之前生成丑陋、破碎的图像。而新方法在整个过程中都保持了艺术家的稳定性。
权衡：如果你希望极度激进地彻底移除某个概念（即使艺术作品变得有些粗糙），你可以使用“重锤”或“拔河赛”方法。但如果你想要干净、高质量的成果，且希望艺术家完美记住其他所有内容，那么“温柔之手”是获胜者。

总结

可以将这篇论文视为为 AI 艺术家提供了一套新的训练工具。与其使用单一、钝拙的工具来让 AI 忘记某事，他们为我们提供了选择：

使用“温柔之手”：实现平滑、高质量的遗忘，同时保持 AI 其余技能的完整性。
使用“重锤”：如果你需要迅速将某个概念彻底抹除。
使用“拔河赛”：如果你需要一种适用于任何类型概念的灵活解决方案。

这使得开发者能够根据具体任务挑选确切的工具，确保当 AI“忘记”某事时，不会意外地同时忘记如何成为一名优秀的艺术家。

技术摘要：基于 f-散度的扩散模型遗忘统一框架

1. 问题陈述

文本到图像（T2I）扩散模型（DMs）在大规模网络爬取数据集（如 LAION-5B）上训练，展现出卓越的生成能力，但也继承了不良属性，包括生成不适合工作场所（NSFW）内容、受版权保护的艺术风格以及个人信息的能力。虽然使用精心策划的数据集重新训练模型是从理论上消除特定概念的方案，但由于数据删除或资源限制，重新训练在计算上代价高昂且往往不切实际。

现有的遗忘算法通常依赖于一种范式，即将模型针对“目标”概念（待消除）的生成与“锚点”概念（例如空概念、超类或语义相关概念）的生成对齐。这种对齐几乎完全通过最小化目标与锚点的去噪器输出之间的均方误差（MSE）来实现。理论上，这种 MSE 最小化对应于最小化两个分别以相应概念为条件的 Gaussian 分布之间的 Kullback-Leibler（KL）散度。然而，这种方法将优化范围限制在单一散度度量上，可能在平衡遗忘效果与非目标概念生成保真度方面并非最优。

2. 方法论

作者提出了 f-DMU，这是一个将遗忘目标从标准 KL 散度推广到任意 f-散度 的统一框架。该框架基于以下观察：遗忘问题可以表述为在扩散过程的特定时间步上，最小化原始模型 $\Phi$ （以锚点概念 $c$ 为条件）与遗忘模型 $\hat{\Phi}$ （以目标概念 $c^*$ 为条件）的概率分布之间的散度。

核心目标定义为：
$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$

该框架根据所选 f-散度的性质，提供了两种解决该目标的不同方法：

A. 闭式损失

对于部分存在高斯分布闭式表达式的 f-散度（具体而言，当方差固定时，这是扩散模型中的标准做法），作者推导出了特定的损失函数。关键实例包括：

平方 Hellinger 距离 ( $H^2$ )： 产生一个涉及 MSE 指数衰减的损失函数： $J_{H^2} \propto -\exp(-\text{MSE})$ 。这导致有界梯度，随着 MSE 增加而减小，从而减轻异常值的影响并防止模型发生突变。
Pearson $\chi^2$ 散度： 产生一个涉及 MSE 指数增长的损失函数： $J_{\chi^2} \propto \exp(\text{MSE})$ 。这导致对于大误差具有无界且快速增长的梯度，从而引发更激进的更新。
Jeffreys 散度： 在特定假设下简化为标准的 MSE 公式。

B. 变分损失

对于缺乏闭式表达式的 f-散度（例如总变差，或者当需要更通用的公式时），作者利用 f-散度的变分表示。这将问题转化为一个极小 - 极大优化博弈：
$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$
在此， $T$ 充当判别器（由神经网络参数化）以估计散度，而 $\hat{\Phi}$ 充当试图最小化该散度的生成器。这种方法允许框架将任意f-散度应用于遗忘任务。

3. 理论分析

本文对所提出的框架提供了严格的理论分析：

梯度动力学： 作者分析了闭式损失的梯度幅度。他们证明， $H^2$ 和 $\chi^2$ 表现出与标准 KL/MSE 相反的行为。 $H^2$ 抑制大误差（异常值）的梯度，而 $\chi^2$ 则放大它们。这种逐样本加权是 f-散度选择的固有属性，不同于标准的学习率调度器。
收敛性质： 利用非线性动力系统理论，作者证明了变分公式在平衡点附近的局部指数稳定性。他们基于雅可比矩阵的特征值推导了收敛速率的界限。至关重要的是，他们表明 f-散度的选择会影响收敛速度；具体而言，在平衡点处其 Fenchel 共轭具有较大二阶导数的散度（例如 $H^2$ 和 Jensen-Shannon），理论上比 KL 或 $\chi^2$ 等其他散度收敛得更快。
模式寻求 vs. 模式覆盖： 本文讨论了不同散度如何影响生成图像的分布。 $H^2$ 和 Jensen-Shannon 表现出“中等”的模式寻求特性，而 KL 和 $\chi^2$ 则是“模式覆盖”的，可能会在模式之间的区域分配更高的概率。

4. 实验结果

该框架在 Stable Diffusion 模型（v1.4, v1.5, v2.1, XL 和 3）以及 FLUX 上进行了评估，目标是消除物体（如 R2D2）、艺术风格（如梵高、莫奈）和裸露内容。

梯度稳定性： 实证验证证实， $H$ -DMU（使用 $H^2$ ）在整个训练过程中保持有界梯度，避免了基于 MSE 的方法在中间微调阶段观察到的突然退化图像生成。
遗忘效果与保留能力的权衡：
- 闭式方法： $H$ -DMU 在保留非目标概念方面（通过核初始距离 KID 衡量）始终优于标准 MSE，同时实现了相当或更好的目标概念消除。相反， $\chi^2$ -DMU 实现了更强的消除效果，但往往以生成质量和先验保留为代价。
- 变分方法： 变分方法（例如 $H_v$ -DMU）往往更为“激进”，在更少的迭代中实现快速消除，但由于在小批量上对散度的粗略估计，通常导致更高的 KID 分数（即图像质量较低）。
鲁棒性： 在消除裸露内容的背景下，与 CAbl、DoCo 和 SLD 等最先进方法相比， $H$ -DMU 展现出对对抗性提示（如 Ring-A-Bell、MMA-Diffusion）的优越鲁棒性，在攻击下生成的 NSFW 图像显著更少。
多概念消除： 该框架成功处理了 10 种艺术风格的顺序消除，其中 $H$ -DMU 在消除与保留之间的权衡上优于 MSE。

5. 意义与主张

本文声称提出了首个基于 f-散度的扩散模型遗忘统一框架。其主要贡献包括：

泛化性： 超越隐含的 KL/MSE 假设，转向灵活的散度族，允许从业者根据具体应用目标（例如激进消除 vs. 高保真保留）选择最佳目标。
理论基础： 提供了对梯度缩放和收敛性质的理论分析，将散度的选择与算法稳定性和速度联系起来。
实用价值： 证明了特定实例，特别是闭式平方 Hellinger 距离（ $H$ -DMU），通过平衡有效的概念移除与模型生成能力的保留，为大多数遗忘任务提供了更优的默认选择。

作者强调，他们的框架是模型无关的（同样适用于基于流的模型），并且不需要从头重新训练，为现有的概念消除技术提供了一种计算高效且理论可靠的替代方案。