Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

技术摘要：扩散模型遗忘学习中并非所有时刻与频率都需要被遗忘

问题陈述
扩散模型中的数据遗忘（Data unlearning）旨在从预训练模型中移除特定训练样本（“遗忘集”）的影响，同时保留剩余数据（“保留集”）的效用。目前的微调方法，如梯度上升（Gradient Ascent, GA）或负偏好优化（Negative Preference Optimization, NPO），通常依赖于对遗忘集的损失最大化。然而，这些方法通常存在两个关键问题：

1. 遗忘不彻底： 模型可能无法完全擦除特定的实例。
2. 质量退化： 激进的遗忘过程往往会导致保留集的生成结果出现噪声、美学质量低下或失真现象。

现有方法通常在遗忘过程中对所有扩散时间步和频率分量进行统一处理。本文认为，这种统一处理忽略了扩散模型的内在动力学特性，即反向过程的不同阶段（从噪声到数据）以及不同的频率分量对语义身份、实例级记忆和细粒度细节的贡献是不等的。

方法论
作者提出了一个**时间与频率选择性遗忘（Time- and Frequency-Selective Unlearning）**框架，该框架针对扩散过程的特定区域而非应用统一更新。

1. 时间选择性遗忘：

   • 分析： 本文利用对扩散动力学的理论理解，识别了两个关键的转换点：物种形成时间（Speciation Time, $t_S$）和坍缩时间（Collapse Time, $t_C$）。
     • 第一阶段（$t > t_S$）： 捕捉粗粒度语义和类别身份。
     • 第二阶段（$t_C < t < t_S$）： 涉及实例级吸引力和特定细节的形成。
     • 第三阶段（$t < t_C$）： 精炼细粒度细节和纹理。
   • 策略：
     • 对于无条件遗忘（Unconditional Unlearning），该方法侧重于第二阶段（中间时间步），此时实例级吸引力最强，从而避免了第三阶段细粒度细节的退化。
     • 对于有条件遗忘（Conditional Unlearning，即文本生成图像），该方法针对第一阶段（$t > t_S$），即在物种形成发生之前，条件引导占据主导地位的阶段。
   • 实现： 应用时间权重函数 $P(t)$ 到损失函数中，为特定区间（例如 $[t_C, t_S]$ 或 $[t_S, T]$）分配更高的概率，同时抑制其他区间的更新。此外，还提出了一种自适应方法，通过基于引导强度的幅度来搜索最优转换点 $\tau$（类似于 $t_S$）。

2. 频率选择性遗忘：

   • 分析： 实证频谱分析表明，遗忘过程经常会引入不必要的高频噪声，从而导致样本质量下降。保留集的高频分布应当保持基本不变。
   • 策略： 在遗忘过程中对损失残差应用低通滤波器。梯度信号被投影以移除遗忘集的高频分量，而去噪器的输入仍保持为自然的噪声样本。
   • 实现： 使用快速傅里叶变换（FFT），将损失残差进行掩码处理，以排除截止半径 $r_t$ 以上的频率。这确保了遗忘过程不会扰动对图像质量至关重要的高频细节。

3. 理论证明：

   • 作者基于原始路径测度与遗忘后路径测度之间的 KL 散度，构建了一个**遗忘-保留效用（forgetting–preservation utility）**函数 $J_\beta(m)$。
   • 他们证明，如果选择性更新能够放大目标区域的变化（$\mu \ge 1$）并抑制非目标区域的变化（$\eta \le 1$），那么选择性遗忘（仅在区域 $S$ 中更新）与完全遗忘相比，会产生严格正的效用差距。

4. 评估指标：

   • 本文引入了 $SSCD_{norm}$，这是一种改进的指标，用于对扰动距离进行归一化。不同于标准的 SSCD（其数值在图像模糊或退化时可能人为偏低），$SSCD_{norm}$ 考虑了生成图像的质量，确保不会以牺牲美学质量为代价来实现低差异性。

关键结果
所提方法在 CelebA-HQ（无条件）和 Stable Diffusion v1.4（有条件文本生成图像）上针对多种基线模型（GA, SISS, DPO, KTO）进行了评估。

• 无条件遗忘： 应用时间选择（聚焦于 $t \in [250, 750]$）和频率选择（使用 $r_t=0.15$ 的低通滤波器），与基线相比，显著提升了 $SSCD_{norm}$ 和 美学评分（Aesthetic Scores）。例如，在使用 SISS 时，在 $t=250$ 时美学评分提升了约 34.8%，在 $t=500$ 时提升了约 25.8%，同时保持或提高了遗忘指标。
• 有条件遗忘： 在 Stable Diffusion 上，选择性方法比 SISS 基线实现了更高的遗忘成功率和更快的收敛速度。它成功移除了被记忆的提示词，同时保持了更高的 CLIP-IQA 质量得分。
• 成员推理攻击（MIA）： 现有方法表现出极高的 MIA 脆弱性（相对误差高达 $\times 10^7$），这表明存在过度遗忘现象。所提方法显著减轻了这种附带损伤（将误差降低至 $\times 5.76$ 和 $\times 53.20$），表明其能更好地保留数据流形。
• 泛化性： 该方法在不同骨干网络（U-Net 和 Diffusion Transformer）以及概念遗忘场景（如裸露检测）中均展示了有效性。

意义与主张
本文声称通过证明遗忘并非一个均匀的过程，为理解和改进扩散模型中的数据遗忘提供了实践性的见解。主要贡献包括：

1. 系统性研究： 详细分析了时间步和频谱域如何分别对记忆和效用做出不同贡献。
2. 简洁的框架： 这种选择性遗忘方法与现有目标（GA, SISS, DPO, KTO）兼容，且仅需极小的架构改动。
3. 质量保留： 能够在实现高遗忘成功率的同时，避免通常与基于梯度的遗忘相关的严重质量退化。
4. 改进的评估： 引入了 $SSCD_{norm}$，以防止评估遗忘方法时依赖图像退化作为遗忘的代理指标。

作者谦虚地指出，虽然他们的方法能基于现有理论界限有效识别最优区域，但目前尚未提供一种完全自动化的方法，能在没有先验知识或自适应搜索开销的情况下，为每个特定数据集发现这些最优区域。尽管如此，这项工作强调了在特定的时间窗口和频率窗口进行针对性遗忘，对于平衡隐私（遗忘）与效用（生成质量）之间的权衡至关重要。