SUGAR: A Sweeter Spot for Generative Unlearning of Many Identities

1. 研究背景与问题定义 (Problem)

随着 3D 感知生成模型（如 EG3D）在人类身份图像合成方面取得的高保真进展，随之而来的是严重的隐私和知识产权风险。生成模型可能会无意中记忆并复现训练数据中的特定人脸，导致“被遗忘权”（Right to be Forgotten）的需求日益迫切。

现有挑战：

• 重训练成本高昂： 从训练集中移除数据后重新训练整个模型在计算上是不切实际的，尤其是当有多个删除请求时。
• 现有方法的局限性： 当前的生成式遗忘（Generative Unlearning）方法（如 GUIDE 和 Selective Amnesia）存在以下缺陷：
  1. 无法处理多身份： 难以同时或按顺序移除多个身份。
  2. 输出质量下降： 现有方法通常将被遗忘的身份映射到“噪声”或“平均脸（Median Face）”。这会导致保留的身份（Retained Identities）发生语义漂移，图像质量下降，多样性减少（例如，保留的人脸逐渐趋同于平均脸）。
  3. 隐私泄露风险： 将被遗忘的身份映射到固定的噪声或平均脸，可能留下可被检测的“签名”，从而面临成员推断攻击（Membership Inference Attacks）。

核心问题： 如何在不重新训练整个模型的前提下，从预训练的生成模型中同时或顺序移除多个特定身份，同时保持模型对其他保留身份的高质量生成能力，并确保遗忘过程的安全性？

2. 方法论 (Methodology: SUGAR)

SUGAR (Scalable Unlearning of Generative And Retaining) 是一个旨在解决上述问题的框架。其核心思想是为每个被遗忘的身份学习一个个性化的“代理潜在向量”（Personalized Surrogate Latent），将其重定向到视觉上连贯但不可识别的替代身份，而不是简单地映射到噪声或平均脸。

SUGAR 的架构包含两个主要阶段：

2.1 身份特异性去识别 (ID-specific De-Identification)

不同于预设目标（如平均脸），SUGAR 学习一个可训练的映射函数 $\Phi$（或 $T_\Theta$），为每个被遗忘的潜在向量 $w_u$ 生成一个特定的目标潜在向量 $w_t$。

• 机制： 定义身份潜在向量为 $w_{id} = w_u - \bar{w}$（其中 $\bar{w}$ 是平均潜在向量）。通过训练一个变换函数，将 $w_{id}$ 映射为一个新的身份向量，然后从平均向量 $\bar{w}$ 中减去该变换后的向量（缩放系数为 $d$），得到目标向量 $w_t$。
• 目标： 确保生成的替代身份 $w_t$ 在结构上保持合理（保留大致面部特征），但在识别指标（如 ID 相似度、LPIPS）上与原始身份显著不同。
• 损失函数： 结合均方误差（保持特征空间相似性）和感知/身份损失（确保图像空间的不相似性）。

2.2 持续学习式的遗忘 (Forgetting in a Continual Learning Fashion)

为了在移除身份的同时保护模型的整体效用，SUGAR 采用了双重策略：

1. 强制遗忘 (Enforcing Forgetting)：

   • 不仅针对原始的被遗忘代码 $w_u$，还针对其邻域样本（Vicinity Sampling）。
   • 通过在潜在空间中采样扰动邻居 $w_{u,a}$，并应用去识别算子 $\Theta$，确保遗忘过程在局部邻域内也是鲁棒的，防止残留的身份特征。
   • 引入邻居重映射损失 ($L_{nei}$) 来强化这一过程。

2. 效用保持 (Utility Preservation)：

   • 邻域采样 (Vicinity Sampling)： 识别那些潜在表示靠近被遗忘集合的样本，这些样本最容易受到“连带损害”。
   • 弹性权重巩固 (EWC)： 使用 EWC 正则化项 ($L_{ewc}$)。通过计算 Fisher 信息矩阵（FIM），识别对保留样本生成至关重要的参数，并限制这些参数在遗忘过程中的漂移。
   • 优势： 避免了为每个保留样本计算显式的重建损失，从而在大规模场景下保持计算可行性。

最终目标函数：
$$\mathcal{L}_{unlearn} = \mathbb{E}_{w_u \sim W_u} [\mathcal{L}_{forget}(w_u; \theta)] + \lambda_{ewc} \mathcal{L}_{ewc}(\theta; \theta^*)$$
其中 $\mathcal{L}_{forget}$ 包含原始映射损失和邻居损失，$\mathcal{L}_{ewc}$ 用于保护保留样本的生成质量。

3. 主要贡献 (Key Contributions)

1. 首个多身份/顺序遗忘框架： SUGAR 是首个在生成式 AI 背景下，能够同时处理多身份（批量）和顺序（随时间累积）遗忘任务的通用身份遗忘（GUI）方法。
2. 个性化代理替代方案： 摒弃了将遗忘身份映射到噪声或平均脸的旧范式，提出学习个性化的代理潜在向量。这既消除了可识别性，又避免了破坏生成多样性和视觉质量。
3. 显著的性能提升：
   • 在移除多达 200 个身份的情况下，SUGAR 在保持模型效用（保留身份的质量）方面，比现有最先进基线（GUIDE）提升了高达 700%。
   • 在身份相似度（ID）和 Fréchet Inception Distance (FID) 指标上均表现优异。
4. 可控制的遗忘程度： 引入了控制系数 $d$，允许模型所有者根据需求平衡“遗忘彻底性”与“保留身份的特征保留度”。
5. 增强的隐私安全性： 通过将遗忘身份映射到数据流形上的多样化替代身份，消除了固定的“平均脸”签名，有效抵御了基于模板匹配和成员推断的攻击。

4. 实验结果 (Results)

实验在 FFHQ（域内）、CelebA-HQ（域外）和随机采样三种场景下进行，对比基线为 GUIDE。

• 定量指标：
  • 保留身份效用 (Retained Utility)： 随着遗忘身份数量 $N$ 的增加（从 1 到 50），GUIDE 的保留身份 ID 分数急剧下降（例如 $N=50$ 时降至 0.01），而 SUGAR 保持了较高的 ID 分数（约 0.35-0.46）。在 CelebA-HQ 数据集上，SUGAR 的保留效用提升平均达 732%。
  • 遗忘效果 (Forgetting Ability)： SUGAR 能有效降低被遗忘身份的 ID 分数，且 FID 分数（图像质量）优于 GUIDE，说明其在遗忘的同时未引入过多伪影。
• 定性分析：
  • 可视化结果显示，GUIDE 移除身份后，保留的人脸往往变得模糊或趋同于平均脸；而 SUGAR 生成的保留人脸保持了清晰的面部结构、表情和纹理。
• 人类评估 (Human Judgment)：
  • 遗忘测试： 参与者无法区分 GUIDE 和 SUGAR 生成的被遗忘图像（均无法识别出原身份）。
  • 保留测试： 参与者正确识别 SUGAR 生成的保留身份的比例高达 86%，而 GUIDE 仅为 1.9%。这证明了 SUGAR 在消除特定身份的同时，极好地保留了模型对其他人物的生成能力。
• 顺序遗忘 (Sequential Unlearning)： 在分阶段移除身份的场景中，GUIDE 的性能随阶段累积而严重退化，SUGAR 则能持续保持高质量。

5. 意义与影响 (Significance)

• 解决规模化隐私问题： SUGAR 为生成式 AI 模型提供了一种可扩展的解决方案，使其能够响应大规模、动态的“被遗忘权”请求，而无需昂贵的重训练成本。
• 平衡隐私与效用： 该研究证明了在移除敏感数据的同时，可以最大限度地减少对模型整体能力的损害，解决了以往方法中“遗忘即破坏”的困境。
• 提升安全性： 通过消除固定的遗忘模式（如平均脸），SUGAR 提高了模型对抗成员推断攻击的鲁棒性，为生成式模型的隐私保护设立了新的安全标准。
• 未来方向： 该工作为自适应目标确定和持续学习在生成式模型中的应用奠定了基础，推动了更负责任、更安全的生成式 AI 发展。

总结： SUGAR 通过引入个性化的代理潜在空间映射和持续学习正则化，成功实现了高效、安全且高质量的生成式多身份遗忘，是目前该领域性能最先进的方法之一。