🤖 AI

I-CARE: Analysis of interference-related phenomena in a controllable, diverse and representative unlearning setting for text-to-image models

本文介绍了 I-CARE，这是一种全面的方法论，它为分析文本生成图像模型遗忘过程中的干扰相关现象提供了形式化定义和标准化工具，从而能够在多种不同设置下实现对非预期知识退化的系统化且可复现的评估。

原作者： Leonardo Santiago Benitez Pereira, Marcos Escudero Viñolo, Luis Herranz Arribas

发布于 2026-09-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonardo Santiago Benitez Pereira, Marcos Escudero Viñolo, Luis Herranz Arribas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在过去的几年里，人工智能已经学会了根据文字来绘画。你可以输入像“戴着帽子的猫”这样的句子，计算机程序就会生成一张符合该描述的独特图像。这些被称为生成式模型的系统，是通过海量的图像和文本集合进行训练的，学习将词汇与视觉模式联系起来。但随着这些工具变得越来越强大，一个新的问题出现了：当你想要让它们“忘记”时，该怎么办？

想象一下，一个模型学会了绘制某位特定的名人，但随后那个人要求将其图像从系统中移除，可能是出于隐私考量或希望控制自己的数字足迹。这个过程被称为“机器遗忘”（machine unlearning），即尝试让一个人工智能系统“忘掉”某个特定的概念，而不破坏其绘制其他所有事物的能力。这是一个精细的操作。如果你试图过于激进地抹除某样东西，模型可能会意外地损坏它对其他无关事物的认知。一个试图忘记某种特定犬种的模型，可能会开始把所有的狗都画得很糟糕；或者一个试图移除某位政治家的模型，可能会开始生成其他公众人物的扭曲图像。这种对相关概念造成的意外损害被称为“干扰”（interference），直到现在，科学家们还没有可靠的方法来衡量这种干扰有多严重，以及它是如何发生的。

一组研究人员引入了一个名为 I-CARE 的新框架来研究这个问题。他们并没有发明一种新的擦除数据的方法或一种新的 AI 模型，而是建立了一套标准化的方法，用于测试不同的擦除技术如何影响系统的其余部分。可以将它想象成一把测量损伤的新尺子。在这项工作之前，关于遗忘的研究往往是不一致的：一个团队可能在测试忘记一个人，而另一个团队可能在测试忘记一处风景，这使得公平比较结果变得不可能。I-CARE 框架提供了一种通用的语言和一套严格的实验规则。它明确定义了什么是“忘记”某物，如何衡量剩余图像的质量，以及如何追踪哪些无关的概念在过程中受到了损害。研究人员还开发了一个名为 Forgety 的免费开源软件工具，让任何人无需编写代码或理解复杂的数学知识即可探索这些结果。

为了证明他们的方法有效，研究人员进行了一项大规模实验。他们选择了三个截然不同的类别进行测试：名人、特定的犬种以及各种场景（如森林或体育场）。对于每个类别，他们选择了一百个特定的实体，例如一位特定的演员、一种特定的梗犬或一种特定类型的桥梁。然后，他们采用了一种最先进的图像生成器，并应用了三种不同的遗忘技术来逐一移除一个实体。总计，他们必须擦除 900 个不同的概念，并生成 36 万张新图像，以观察会发生什么。他们这样做不仅是为了看目标是否消失，也是为了观察模型绘制该类别中其他 99 个实体的能力是否发生了变化。

结果表明，干扰比科学家之前认为的要复杂得多。一个常见的假设是，模型只会伤害与被擦除对象非常相似的概念。例如，如果你擦除了金毛寻回犬，你可能会预期拉布拉多也会受到影响，但贵宾犬则会保持完好。研究发现，情况并不总是如此。有时，擦除一个实体会导致看似完全无关的实体遭受重大损害，同时却让非常相似的实体保持不受影响。在某些情况下，这种损害是如此难以预测，以至于研究人员无法找到一个简单的规则来解释它。他们发现，造成的伤害程度很大程度上取决于所使用的特定擦除方法。一种依赖于博弈论方法的方法，比测试的其他两种方法造成了显著更多的附带损伤。另一种不需要额外数据即可运行的方法，虽然造成的整体损伤较小，但更难预测。

研究人员还观察了用于保护剩余概念的数据如何影响结果。他们发现，如果在模型“忘记”目标的过程中向其展示相似事物的例子，它在保护这些相似事物方面表现得更好。例如，在尝试擦除一个足球场时，只有当模型在擦除过程中主动看到其他运动场所的图片时，它才能保护好其他的运动场馆。如果缺少这些例子，模型会意外地降低所有运动场馆的图像质量。这表明，模型在“忘记”的同时如何被训练去“记住”，与擦除技术本身一样重要。

或许最令人惊讶的发现是，干扰并不总是具有破坏性的。在大约 2.7% 的案例中，研究人员观察到，擦除一个概念实际上使相似概念的图像变得稍微更好了一些。例如，当他们擦除一位著名的赛车手图像时，模型绘制一位著名游泳运动员的能力略有提升。研究人员称之为“建设性干扰”（constructive interference）。虽然这种情况很少见，但它证明了 AI 模型中概念之间的关系并非简单的单行道——即擦除一件事情并不总是会伤害另一件。有时，移除一个特定的模式可以让模型优化其对相关模式的理解。

研究还强调了预测这些结果的难度。研究人员试图建立一个系统，根据人类感知的相似度来预测哪些概念会相互干扰。他们发现，这些预测经常出错。两个在人类看来非常相似的实体，在模型中可能不会产生干扰；而两个看起来不同的实体，可能会造成巨大的破坏。这表明，这些 AI 模型的内部逻辑在很大程度上仍是一个谜。我们可以看到损伤，但我们还无法在擦除发生之前可靠地预测它会在哪里发生。

为了让这些发现变得易于获取，团队创建了一个名为 Forgety 的 Web 界面。该工具允许用户浏览实验结果，可视化哪些概念相互干扰，并在无需编程的情况下探索数据。它将数以千计的复杂数据点转化为任何人都能理解的简单图表和列表。这种透明度是他们工作的重要组成部分，因为它允许政策制定者、伦理学家和公众看到尝试让 AI 系统忘记数据的现实后果。

论文总结道，尽管我们在理解机器遗忘方面取得了进展，但目前还没有一种单一的“最佳”方法。擦除方法的有效性完全取决于特定的任务和使用的数据。研究人员强调，他们的框架旨在不断演进。随着新 AI 模型的诞生和新数据擦除方法的发明，I-CARE 方法可以被用来测试它们，从而确保该领域能够以清晰、可比且可重复的结果向前发展。最终的目标不仅是让 AI 忘记，而且是在不破坏其思维完整性的前提下实现这一点，从而确保这些强大的工具对每个人来说都是安全且可靠的。

技术摘要：I-CARE —— 对文本生成图像去学习中干扰相关现象的分析

问题陈述

机器去学习（Machine Unlearning, MU）旨在从 AI 模型中移除特定知识（概念或数据点），以符合诸如 GDPR 等法规或减轻偏见。然而，一个关键挑战仍然存在：即对语义相关的概念造成非预期的性能退化，这种现象在本文中被称为干扰（interference，也称为附带遗忘或概念邻近性）。

虽然现有文献承认 MU 会损害无关能力，但本文认为，干扰从未被系统地调查或精确量化。目前的基准测试往往缺乏区分随机噪声与结构化干扰模式的粒度，并且频繁依赖于阻碍可复现性和跨研究比较的临时评估设置。此外，该领域正面临复现性危机，由于缺少代码、数据或配置细节，已报告的结果无法被恢复。

方法论：I-CARE

本文介绍了 I-CARE（概念适配与生成擦除中的干扰，Interference in Concept Adaptation and geneRative Erasure），这是一种旨在将干扰视为首要研究对象的正式方法论。I-CARE 并非提出一种新的去学习算法或单一的静态基准，而是提供了一个概念方案、形式化定义和标准化的报告模板。

核心形式化定义

I-CARE 为干扰研究建立了一套严谨的本体论：

实体 ( $e$ )： 一个独特的语义概念（例如，“乔治·W·布什”）。
属性 ( $a$ )： 实体的标注属性（例如，职业、知名度）。
任务 ( $t$ )： 一组具有相同属性的相关实体集合。
实体对间干扰度量 ( $m_p$ )： 衡量当 $e_1$ 被去学习时， $e_2$ 的生成质量退化程度的函数。
单实体间干扰度量 ( $m_e$ )： 单个实体的聚合干扰度量（例如，接收到的平均干扰或发出的平均干扰）。
实体间相似度 ( $s$ )： 衡量实体间接近程度的函数（例如，CLIP 余弦相似度、DINO 嵌入）。

实验设计约束

为确保结果具有意义，I-CARE 对任务选择施加了特定约束：

细粒度实体： 概念必须足够相似，以最大化观察到干扰。
可命名性： 实体必须能通过自然语言被基础模型识别。
数据平衡： 数据集必须在感兴趣的属性（如性别、职业）上保持平衡，以防止外部偏差干扰结果。
全对全策略（All-vs-All Strategy）： 任务中的每个实体都被去学习，并针对任务中的所有其他实体测量其影响。在缺乏预测干扰对的理论的情况下，这种详尽的方法被认为是必要的。

结果模板 (RTs)

I-CARE 定义了标准化的结果模板来聚合和报告数据。这些模板包括：

度量相似性对齐（MetricSimilarityAlignment）： 将相似度度量与干扰度量进行关联，以测试相似度是否能预测干扰。
显著关系（SignificantRelationship）： 测试属性与干扰模式之间的统计相关性。
最小割干扰（MinimumCutInterference）： 将任务建模为有向图，以识别实体间干扰的“传输路径”。
内隐联想测试（ImplicitAssociationTest）： 测量去学习后属性对之间自动联想的变化。

可行性演示

为了验证该方法论，作者使用以下内容进行了大规模可行性演示：

基础模型： Stable Diffusion v1.4。
去学习方法： 三种代表不同家族的尖端算法：
- UCE： 统一概念编辑（无数据驱动）。
- SPARE： 用于参数高效移除的自蒸馏（基于蒸馏）。
- MUNBa： 通过纳什议价进行的机器去学习（博弈论驱动）。
任务： 三个多样化的任务，每个任务包含 100 个实体：
- 人物： LFW（Labeled Faces in the Wild）数据集。
- 犬种： AtharvaTaras 犬种数据集。
- 场景： SUN 属性数据集。
度量指标： 49 个干扰度量，源自 5 种图像质量评估指标（如 $\Delta$ Clip, $\Delta$ Brisque, $\Delta$ Dino, RMSE, SSIM）和 4 种相似度度量。

该研究涉及对 900 个模型进行去学习，并生成了 360,000 张图像。整个流水线，包括预计算的结果，均作为开源软件并通过名为 Forgety 的 Web 端图形用户界面提供。

关键结果

可行性演示揭示了一些非随机的干扰模式，但也凸显了该现象的复杂性：

属性驱动的干扰： 干扰并不完全由成对相似度决定。特定属性充当了“传输导线”。例如，在犬种任务中，某些群体（如牧羊犬、牛犬）引起的干扰明显高于其他群体。在人物任务中，更著名的实体（具有更高的历史知名度指数）往往会接收到更多的干扰。
方法对比：
- MUNBa 在所有任务中一致导致了最高水平的附带损害（干扰）。
- UCE 和 SPARE 表现较好，其中 UCE 造成的干扰通常比 SPARE 少。
- SPARE 的干扰模式相比 UCE 和 MUNBa 更容易被相似度指标所预测。
预测极限： 没有单一的相似度指标能够可靠地预测所有任务和方法的干扰。虽然存在一些相关性（例如，对于场景任务中的 SPARE， $\Delta$ Dino 与 CLIP 相似度之间存在相关性），但整体预测能力较低，这表明干扰并非简单的语义相似度函数。
建设性干扰： 在 2.7% 的案例中，去学习一个概念反而导致相似实体的生成质量有了统计学意义上的提升，这挑战了“干扰总是破坏性的”这一假设。
图论解释： 最小割分析显示，干扰经常通过涉及共享属性的中间实体的间接“两跳（2-hop）”路径传播，而非仅仅通过直接相似度。
保留数据集的敏感性： 实验表明，保留集的构成至关重要；从保留集中移除相关的实体会显著增加相关概念的干扰。

意义与主张

本文将 I-CARE 定位为标准化生成式去学习中干扰研究的基础性步骤。其主要贡献在于：

形式化： 它提供了第一个关于干扰的形式化定义和结构化本体，超越了临时性的评估，转向系统性的框架。
可复现性： 通过将方法论与特定模型和算法解耦，并提供开源工具（Vision-Unlisting 库和 Forgety UI），旨在降低未来研究的门槛并确保结果具有可比性。
经验洞察： 可行性演示证明了干扰遵循受属性和去学习方法影响的非随机模式，但也表明预测这些模式仍然是一个开放性挑战。
伦理框架： 该方法论使研究人员能够识别“传输导线”（传播干扰的属性），从而有助于进行伦理判断，确定特定类型的干扰是否可以接受或需要缓解。

作者对研究发现保持了谦逊的态度：他们并不声称已经解决了预测干扰的问题，也没有声称找到了普遍规律。相反，他们断言 I-CARE 提供了必要的“语法”和工具，允许社区系统地调查这些现象，将现有的基准测试映射到一个共同的框架中，并最终推导出干扰缓解的规则。论文结论指出，虽然随着模型的发展，具体的实验结果可能会过时，但 I-CARE 方法论的设计初衷是保持有效并适用于未来的去学习算法和基础模型。