🤖 machine learning

GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning

本文提出了 GUDA，一种利用机器遗忘（machine unlearning）来高效近似扩散模型中反事实分组训练数据归因的方法，实现了对具有影响力的数据组的可靠识别，且相比于传统的重训练方法实现了显著的加速。

原作者： Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在欣赏一幅由人工智能创作的精美且复杂的画作。你可能会好奇：“究竟是哪一组特定的训练图片，教会了这款 AI 这种独特的绘画风格？”是“印象派”照片组？“素描”照片组？还是“水彩”照片组？

这篇题为 GUDA 的论文介绍了一种全新的方法，可以为 AI 图像生成器（称为扩散模型，Diffusion Models）回答上述问题。以下是使用简单类比进行的详细解读。

问题所在：“厨师太多”的困境

AI 模型是在包含数百万张图像的海量数据集上进行训练的，这些图像通常按风格或类别进行分组（例如“狗”、“汽车”或“梵高风格”）。

为了找出哪一组对特定的 AI 生成图像产生了影响，目前的“金标准”方法被称为 LOGO（留一组法，Leave-One-Group-Out）。

类比： 想象一支合唱团正在演唱一首歌。为了找出哪个声部（女高音、女中音、男高音、男低音）对某个特定音符贡献最大，你需要先录下合唱团的声音，然后分别在不包含女高音的情况下录一次，再在不包含女中音的情况下录一次，以此类推。
问题： 如果有 100 个声部，你就必须重新录制 100 次歌曲。对于 AI 来说，这意味着要从头开始重新训练模型 100 次。这需要耗费数年的计算时间，在现实中几乎是不可能的。

解决方案：“记忆擦除器”（遗忘）

作者提出了 GUDA（基于组遗忘的数据归因，Group Unlearning-based Data Attribution）。他们并没有每次都从头开始重新训练 AI，而是使用了一种叫做**机器遗忘（Machine Unlearning）**的技术。

类比： 与其解散整个合唱团并重新雇佣一个没有女高音的新合唱团，不如直接对原有的合唱团进行“教导”，让他们“忘记”女高音的部分。你保持其余部分的合唱团完全不变，但微调他们的记忆，使他们不再记得如何唱出女高音的音符。
运作方式：
1. 从训练好的完整 AI（“全量模型”）开始。
2. 应用一种特殊的“遗忘”过程，以移除某一特定组的影响（例如“印象派”）。
3. 这会产生一个“反事实模型”（Counterfactual Model）——一个表现得好像从未见过印象派照片的 AI 版本。
4. 将原始 AI 的输出与这个“被遗忘”后的 AI 输出进行对比。如果“被遗忘”后的 AI 无法再生成该图像，你就知道印象派就是那个关键成分。

核心秘诀：如何正确地“遗忘”

仅仅删除数据是不够的；AI 需要被引导，明确应该用什么来替换被遗忘的数据，以免产生混乱。论文描述了两种实现方式：

针对通用图像（无条件）： 他们使用了一种名为 ReTrack 的方法。
- 类比： 如果你告诉 AI “忘记”一张红色的汽车照片，ReTrack 不仅仅是留下一个空白空间。它会查看数据库中所有其他汽车，并说：“好吧，既然你记不起那辆红车了，那就想象一辆蓝车或一辆卡车，并根据它们之间的相似度进行加权。”它将 AI 的注意力重新引导至剩余的数据上。
针对文生图（有条件）： 这更为复杂，因为 AI 还在听从文本提示词（例如“梵高风格的狗”）。如果你移除了“梵高”，文本提示词本身就会变得很奇怪。
- 类比： 作者使用了锚点（Anchors）。如果提示词是“狗，梵高风格”，而你想忘记梵高，他们会在提示词中将“梵高”替换为另一种风格（如“素描”），同时保持“狗”这一部分不变。这教会了 AI 在不破坏文本指令的前提下，处理“狗”的概念而不受“梵高”的影响。

结果：快速且准确

论文在两个方面测试了该方法：

CIFAR-10： 一个包含 10 个物体类别（如猫、飞机、卡车）的简单数据集。
艺术风格： 使用 Stable Diffusion 生成不同艺术风格的图像。

研究发现：

速度： GUDA 比从头开始重新训练的“金标准”方法快了大约 100 倍。这就像是在 2 小时内跑完了一场原本需要 200 小时才能完成的马拉松。
准确性： 它在识别“最重要”的组别方面比其他仅通过寻找“视觉相似性”（例如询问“这张图看起来像梵高的画吗？”）的方法要好得多。GUDA 问的是：“如果我们从 AI 的大脑中移除梵高，这张图像还会存在吗？”
对比： 它击败了其他试图通过观察梯度（数学上的斜率）或逐一遗忘单张图片来猜测影响力的流行方法。

总结

GUDA 是一种捷径。它允许研究人员通过轻轻地从 AI 的记忆中“擦除”一组数据并观察变化，而不是每次都痛苦地重新构建 AI 的大脑，从而回答“哪部分训练数据造就了这张 AI 图像？”的问题。它让理解 AI 生成过程变得更加快速且具有实用价值。

技术摘要：GUDA —— 通过遗忘实现扩散模型的反事实分组式数据归因

1. 问题定义

视觉生成模型的训练数据归因旨在识别哪些训练数据影响了特定的输出。虽然现有方法侧重于实例级归因（识别特定的训练样本），但从业者通常需要分组级归因（例如，识别哪些艺术风格或物体类别对生成过程贡献最大）。

核心挑战在于，分组影响是非加性且非线性的；简单地对实例级得分求和无法捕捉共享表示中的相互作用。理论上的“金标准”是**留一组法（Leave-One-Group-Out, LOGO）**反事实：衡量如果特定组 $k$ 完全从训练数据中移除，模型在生成样本上的行为会发生怎样的变化。然而，实现这种反事实需要重新训练 $N+1$ 个模型（一个完整模型加上 $N$ 个分别移除每个组后的模型），这对于大规模扩散模型来说在计算上是难以承受的。

2. 方法论：GUDA 框架

作者提出了 GUDA（基于机器遗忘的分组数据归因），这是一个通过**机器遗忘（Machine Unlearning）**而非从头开始重新训练来近似高昂的 LOGO 反事实模型的框架。

核心概念：
与其从头训练 $\theta_{logo}^{-k}$ （移除组 $k$ 后训练的模型），GUDA 从全量数据模型 $\theta_{full}$ 出发，应用机器遗忘算子来选择性地移除组 $k$ 的影响，从而得到近似的反事实模型 $\theta_{ul}^{-k}$ 。

归因评分（LOGOA）：
归因得分定义为基于似然的评分规则（具体为证据下界，ELBO）在全量模型与遗忘后的反事实模型之间的差异：
$\text{GUDA}_k(x_0, c) = \text{ELBO}(x_0|c; \theta_{full}) - \text{ELBO}(x_0|c; \theta_{ul}^{-k})$
正得分表示组 $k$ 对该样本 $(x_0, c)$ 的生成有显著贡献。

遗忘实现：
遗忘目标由两部分组成：

保持项（ $L_{preserve}$ ）： 一个分数匹配损失，确保遗忘后的模型能够维持在保留集（ $D_{-k}$ ）上的性能，防止灾难性遗忘。
遗忘项（ $L_{forget}$ ）： 根据生成设置而有所不同：
- GUDA-U（无条件生成）： 利用基于 ReTrack 的重定向。它训练模型将来自遗忘集（ $D_k$ ）的样本向基于保留集（ $D_{-k}$ ）的权重重要性目标进行去噪，从而有效地近似仅保留集分布的后验均值。
- GUDA-C（条件文本生成图像）： 解决了移除风格组会导致图像和提示词分布同时偏移的问题。它采用了加权风格选择锚点（Weighted Style-Selection Anchors）。对于一个“遗忘对”（图像，提示词），该方法通过保留内容描述但将风格描述符替换为来自保留集的风格（通过 CLIP 加权相似度采样）来构建“锚点”提示词。随后，模型被训练以匹配在当前锚点条件下的全量模型预测，从而解决条件分布不匹配的问题。

3. 主要贡献

形式化分组归因： 本文将分组归因形式化为一个基于全量模型与移除组模型之间 ELBO 差异的反事实估计量（LOGOA），并将 LOGO 重新训练确立为 Oracle（基准真值）。
基于遗忘的近似： 引入了一个实用的框架，通过机器遗忘来近似这些反事实模型，在 CIFAR-10 上实现了比 LOGO 重新训练约 $100\times$ 的加速。
两种具体的实例化：
- GUDA-U： 用于无条件扩散，使用基于 ReTrack 的重要性加权重定向。
- GUDA-C： 用于条件文本生成图像，使用 CLIP 加权风格选择锚点来处理提示词分布偏移。
实验验证： 证明了通过遗忘实现的 GUDA 在识别主要贡献组方面，优于语义相似性基准（CLIPA）和实例级聚合方法（DAS、TRAK、D-TRAK）。

4. 实验结果

作者在两个基准测试上评估了 GUDA：

CIFAR-10（无条件）： 在 10 个类别和 2,048 个查询的情况下，GUDA 实现了 72.7% 的 Top-1 一致性，超过了 CLIPA (66.2%) 和基于梯度的方法 (DAS: 71.6%，但速度显著更慢)。GUDA 实现了比 LOGO 重新训练约 $100\times$ 的实际耗时加速（2 小时 vs. 207 小时）。
UnlearnCanvas（条件文本生成图像）： 使用 Stable Diffusion 1.5 和 16 种艺术风格，GUDA 实现了 45.6% 的 Top-1 一致性，显著优于 CLIPA (33.8%) 以及之前的基于遗忘的归因方法（Wang et al., 2024，其得分仅为 4.7%）。GUDA 在 NDCG@3 和 RBO 指标上也表现出更优的性能，表明其与最具影响力的风格对齐得更好。

关键观察：

遗忘质量至关重要： 使用 ReTrack 遗忘的 GUDA 显著优于使用 ESD (Erasing Stable Diffusion) 遗忘的 GUDA，这验证了 ReTrack 与 LOGO 重新训练之间的理论联系。
替代方法的局限性： 语义相似性（CLIPA）未能捕捉到反事实的分组效应，而实例级方法在扩展到分组级归因时表现挣扎，在头部识别指标上往往接近随机水平。

5. 意义与主张

本文声称 GUDA 为理解生成模型输出的数据来源提供了一个可扩展且实用的解决方案。通过弥合反事实重新训练的理论理想与大规模模型计算现实之间的差距，GUDA 实现了：

公平补偿： 更准确地识别哪些数据组（如艺术家）对输出做出了贡献。
调试： 识别对生成产生负面影响的问题数据源或风格。
透明度： 提供一种无需承担高昂重新训练成本即可审计生成模型的方法。

作者强调，GUDA 不是一种经过认证的删除机制，而是一种计算近似。他们指出，随着更多与 LOGO 一致的遗忘方法出现，可以将它们集成到 GUDA 框架中，以进一步提高归因质量。这项工作被定位为迈向大规模、分组级理解生成模型的一步，超越了无法捕捉非线性分组相互作用的实例级近似。