技术摘要：TILDE（基于 TILt 的分布式擦除概念消除法）

问题陈述

在文本生成图像扩散模型中，概念消除（Concept Unlearning）对于解决隐私、版权和安全问题至关重要，其要求模型在训练后抑制特定的不需要的概念（例如特定的艺术家、角色或物体）。然而，现有方法面临一个关键的权衡：有效的遗忘往往会导致“保留失败”（retention failure），即模型在生成良性、语义相关或通用的提示词时性能下降。

目前的方法通常依赖于：

• 直接抑制（Direct suppression）： 对概念得分进行惩罚，这往往会损害相邻的良性概念（附带损伤）。
• 基于锚点的编辑（Anchor-based editing）： 将要遗忘的概念映射到目标概念，这会引入不稳定性，尤其是在处理连续的删除请求时，会引入偏差。
• 基于奖励的优化（Reward-based optimization）： 最大化标量遗忘奖励，这往往会通过将生成集中在极少数安全输出上，导致多样性坍缩。

根本问题在于，这些方法并未明确定义期望的后遗忘分布（post-unlearning distribution）。因此，保留（retention）被视为更新规则的一个隐性结果，而非一个受控的目标，导致其相对于一个在没有不需要数据的情况下从头训练的“仅保留”模型的分布保真度较低。

方法论：TILDE

作者提出了 TILDE（TILt-based Distributional Erasure，基于 TILt 的分布式擦除），它将概念消除重新定义为一个受约束的分布对齐问题。TILDE 不采用局部抑制或锚点替换，而是寻求一个在满足遗忘约束的同时，使与预训练模型偏差最小化的条件分布。

1. 理论公式化

目标定义为受约束 KL 投影的解：
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
受限于：
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

其中：

• $p_{pre}$ 是预训练的条件分布。
• $E_C(x)$ 是衡量图像 $x$ 中存在概念 $C$ 的证据的“遗忘能量”（forget energy）。
• 该解呈现为一种**能量倾斜的吉布斯分布（energy-tilted Gibbs distribution）**形式：
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

这种公式化确保了表达概念的图像被降低权重，而良性图像则保留其相对预训练似然值（无锚点）。

2. 实际代理：阈值化 CLIP 能量

为了实例化抽象的能量 $E_C$，TILDE 使用了一个基于阈值的 CLIP 代理：

• 概念探测器（Concept Probes）： 使用一组文本描述符 $Q_C$（例如“皮卡丘”、“一张皮卡丘的照片”）来计算平均 CLIP 相似度得分 $s_C(x)$。
• 阈值化（Thresholding）： 定义遗忘能量 $eE_C(x)$，如果 $s_C(x) \le \tau$（良性区域），则该能量为 零；如果 $s_C(x) > \tau$，则呈指数级增加。
• 意义： 阈值 $\tau$ 创建了一个“无惩罚”区域，防止梯度影响具有微弱概念相似性的良性图像，从而保护了局部保留。

3. 通过残差 $\nabla$-GFlowNet 进行优化

为了在扩散模型中实现这种倾斜分布，TILDE 采用了残差 $\nabla$-GFlowNet 训练：

• 目标： 学习所需的得分修正（score correction），以将预训练采样器转换为能量倾斜的目标。
• 机制： TILDE 并非从头训练完整的采样器，而是学习一个残差连续得分 $h_\phi$，用于调整去噪轨迹。
• 损失函数： 训练过程最小化前向和后向损失（$L_{fwd}, L_{rev}$），以强制要求适配后的去噪器与预训练去噪器之间保持局部一致性，并受终端遗忘能量引导。
• 实现： 更新被限制在注意力层上的 LoRA 适配器上，确保了参数效率和极小的更新偏差。

核心贡献

1. 分布式公式化： 论文将概念消除表述为一个受约束的分布对齐问题，推导出了一个显式的、无锚点的、最小偏差的吉布斯目标。
2. TILDE 算法： 引入了使用阈值化 CLIP 能量和残差 $\nabla$-GFFlowNet 训练的实际实例化方法，并在扩散潜空间中运行。
3. 实验验证： 该方法在物体、艺术风格和角色上进行了评估，证明了其在提高遗忘有效性的同时，相比于之前的基准方法，能更好地维持保留能力和分布保真度。

实验结果

作者在 Stable Diffusion v1.5 上对约 60 个概念（物体、角色、风格、裸露）进行了评估。

• 性能： TILDE 实现了近乎完全的遗忘（例如，角色的遗忘准确率达到 0.99），同时在相关保留（Related Retention）（保留语义相邻的概念）和**通用保留（General Retention）**方面显著优于基准方法。
• 对比：
  • 硬擦除（如 MACE）： 实现了高遗忘度，但破坏了保留能力（相关保留降至约 0.17）。
  • 软抑制（如 ESD）： 保留了部分保留能力，但往往无法实现足够的遗忘。
  • 基于锚点的方法（如 CA, UCE）： 提高了质量，但依赖于显式的保留集，且仍会留下残留的概念证据。
  • TILDE： 处于帕累托前沿（Pareto frontier），在无需显式保留监督或锚点概念的情况下实现了高遗忘度。
• 消融实验：
  • 去除 $\nabla$-形式（使用绝对流目标）会导致遗忘性能崩溃。
  • 去除 残差（residual） 组件会迫使完整的得分场吸收更新，从而降低通用保留能力。
  • 去除 能量阈值 会导致灾难性的保留坍缩，证实了“无惩罚”区域的必要性。
• 分布指标： 与基准方法相比，TILDE 显示出更低的 FADE（功能对齐距离）和 FID 分数，表明其更接近理想的“仅保留”分布。

重要性与主张

论文声称 TILDE 解决了当前遗忘方法中固有的“保留失败”问题，因为它明确定义了后遗忘分布。通过将遗忘建模为最小偏差的分布对齐，TILDE 避免了以下陷阱：

• 直接抑制导致的附带损伤。
• 奖励最大化导致的多样性坍缩。
• 固定锚点映射导致的不稳定性。

作者认为，TILDE 代表了预训练模型在满足遗忘约束下的“自然最小修改”。使用阈值化能量确保了良性概念不会受到惩罚，而残差 $\nabla$-GFlowNet 框架则提供了一种高效的机制，在高度复杂的潜空间中实现这一分布目标。这项工作表明，未来的遗忘研究应当在选择更新规则之前，优先考虑定义目标分布。