💻 computer science

TEA: Text Encoder Alignment for Robust Concept Erasure in Text-to-Image Models

本文提出了 TEA，这是一个轻量级且与模型无关的框架，通过微调文本编码器以将包含特定概念的提示词与安全锚点对齐，从而在实现文本生成图像模型鲁棒概念擦除的同时，既消除了对抗性漏洞，又不会带来推理时的额外开销或降低良性生成的质量。

原作者： Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：计算机可以仅凭一句话就画出图像。你输入“一只坐在月光屋顶上的猫”，一台经过数百万张图像和说明文字训练的机器，便能在几秒钟内创造出一个令人惊叹、逼真的场景。这项被称为“文本生成图像模型”的技术，为艺术家和设计师打开了大门，将想象力转化为视觉现实。然而，这种力量本身也带有风险。正如一名熟练的伪造者可以模仿某种风格一样，一个聪明的用户可以通过使用巧妙的、重新表述过的指令来欺骗这些计算机，从而绕过系统中内置的安全过滤器，生成有害或不当的图像。计算机看到了文字，却忽略了意图，从而生成了那些从未被允许出现的图像内容。

多年来，科学家们一直试图通过教计算机忘记特定的不良概念来解决这个问题，这个过程被称为“概念擦除”。一些方法试图在计算机学习之前清除不良数据，而另一些方法则试图在生成不良图像的瞬间阻止其出现。但这些解决方案往往都有一个代价：它们要么规模太大、难以在大范围内应用；要么会让计算机画不出好的图像；或者要求每次用户请求图像时都需要持续且沉重的计算能力。目标始终是找到一种方法，既能永久移除生成有害内容的能力，又不会减慢机器的速度或破坏其艺术天赋。

一支研究团队现在提出了一种新方法来应对这一问题，该方法通过改变计算机理解语言的方式，而非改变其绘画方式。他们将这种方法称为 TEA，即“文本编码器对齐”（Text Encoder Alignment）。在这些图像生成系统中，有两个主要部分在协同工作。第一部分是文本编码器，它充当翻译官的角色，将你写的句子转化为计算机可以理解的一组数字。第二部分是生成骨干网络（generative backbone），它接收这些数字并实际绘制出图像。以往试图阻止不良图像的方法通常涉及调整绘画部分，这就像是通过粉刷墙壁来试图修复房子里的漏水点；这种做法既混乱又往往无效，因为问题在于指令最初是如何被翻译的。

研究人员意识到，阻止有害图像的关键在于翻译官。他们发现，计算机识别特定不良概念（例如裸露）的能力集中在文本编码器中。为了解决这个问题，他们创建了一个仅调整这个翻译官、而不触动绘画部分的训练过程。他们从一对句子开始：一个包含有害概念的句子，如“森林中的裸体女性”，以及另一个几乎相同但安全的句子，如“森林中的女性”。然后，他们教导翻译官让这两个句子的数字看起来完全一致。

为了实现这一点，他们使用了一场巧妙的“猫鼠游戏”。他们设置了一个小型计算机程序——判别器（discriminator），其任务是分辨来自坏句子的数字与来自好句子的数字之间的差异。主翻译官试图通过改变自己的设置来欺骗这个判别器，使两个句子产生完全相同的数字。与此同时，研究人员确保翻译官不会忘记如何处理正常的、安全的句子。他们通过检查安全句子是否仍然保持着修改前的样子来确保这一点。这保证了计算机仍然能够绘制出美丽的、无害的森林和女性图像，只是失去了绘制特定有害版本的能力。

该方法的测试结果令人瞩目。在针对各种旨在绕过安全系统的复杂尝试（包括由专家设计的尝试）进行测试时，这种新方法几乎完全阻止了有害图像的生成。在其他方法无法阻止不良内容或导致计算机绘图质量下降的测试中，该方法在两方面都取得了成功。它不仅适用于旧版本的技术，也适用于最新、最先进的系统，证明了这一理念在不同类型的图像生成器上都是通用的。或许最重要的一点是，由于计算机的绘画部分从未被改变，因此系统并没有变慢。它创建图像所需的时间与之前完全相同，在用户请求图像时不需要额外的计算能力。

研究人员还测试了该方法是否可以移除其他类型的非预期概念，例如特定的艺术风格。他们发现，当被要求模仿特定艺术家（包括梵高和凯利·麦克南）的风格时，该方法可以成功阻止计算机进行复制，同时仍允许它以其他风格进行绘画。这表明该方法不仅仅是一个专门用于移除裸露内容的单一工具，而是一个灵活的工具，可以用来移除任何用户不希望计算机生成的特定想法。通过专注于翻译步骤并使用简单高效的训练过程，团队展示了在不牺牲速度或艺术创作能力的前提下，使这些强大的工具变得更安全的可能性。

这项工作代表了使人工智能更安全、更可靠的重要一步。它不再仅仅依赖于不断监控和拦截输出，而是直接将安全性构建在计算机理解语言的方式之中。该方法非常轻量化，仅需短时间的训练，并且让系统的其余部分保持原样。对于任何依赖这些工具进行内容创作的人来说，这意味着未来计算机可以被信任去遵循指令，而不会意外跨越有害领域的界限，同时保留其创作灵感。研究人员已经公开了他们的代码，允许他人测试并基于此进行开发，确保了通往更安全图像生成之路的探索得以持续进行。

技术摘要：TEA（用于鲁棒概念擦除的文本编码器对齐）

问题陈述

文本生成图像扩散模型容易受到滥用，即对抗性或改写后的提示词可能会绕过内置的安全机制，从而生成有害内容（例如：深度伪造、NSFW 图像）。现有的概念擦除方法面临显著的权衡：

无需训练的方法（例如：推理时投影）避免了前期的成本，但会引入持续性的单次查询计算开销，且缺乏针对强对抗攻击的鲁棒性。
基于训练的方法通过微调生成骨干网络（例如：U-Net）来工作，但这会导致计算成本高昂，存在降低良性提示词生成质量的风险，并且由于与概念相关的参数广泛分布在网络各层中，难以实现选择性擦除。
现有的文本编码器方法通常需要大规模数据集、码本（codebook）内存或计算沉重的对抗训练，这会损害生成质量。

核心挑战在于如何在保持良性提示词生成质量并维持零推理时间开销的同时，实现针对黑盒和白盒攻击的鲁棒概念擦除。

方法论：文本编码器对齐 (TEA)

作者将概念擦除表述为文本表示空间内的领域对齐问题。该方法依赖于将文本生成图像模型分解为一个文本编码器 ( $\tau$ ) 和一个冻结的生成骨干网络 ( $G$ )。

1. 理论公式化
论文提出，抑制目标概念 $c$ 等同于将携带概念的输入分布 ( $P_c$ ) 与无概念的“锚点”输入分布 ( $P_{\neg c}$ ) 的表示分布进行对齐。

风险界限： 基于 H-divergence 理论，在携带概念的输入上的概念风险，受限于无概念输入上的概念风险以及两者之间表示分布的散度。
目标： 通过最小化散度（使表示变得不可区分），同时保持在无概念输入上的风险（效用保持），模型将无法区分安全提示词与不安全提示词，从而实现对概念的抑制。

2. 框架架构
TEA 仅微调文本编码器，同时保持生成骨干网络（U-Net 或 DiT）完全冻结。该过程包括：

提示词对构建： 对于每个概念提示词 $p_c$ （包含目标概念），生成一个锚点提示词 $p_a$ （例如通过 LLM），该提示词保留了周围的语义但移除了目标概念。
Token 级对齐： 不同于使用池化序列表示的方法，TEA 在 token 级别进行操作。这使得模型能够对齐 $p_c$ 和 $p_a$ 之间的特定语义差异，而不会导致无关语义的坍缩。
对抗训练：
- 训练一个轻量级的判别器 ( $D$ )，用于区分概念提示词的 token 级表示 ( $h^c_t$ ) 和锚点提示词的 token 级表示 ( $h^a_t$ )。
- 文本编码器 ( $\tau_\theta$ ) 被更新以欺骗判别器，使 $h^c_t$ 与 $h^a_t$ 变得不可区分。
- 动态锚定： 在训练期间，概念提示词和锚点提示词都会通过当前的编码器进行处理。这防止了编码器坍缩到一个固定的参考点，并鼓励追踪一个持续演变的安全性分布。
损失函数：
- 对抗损失 ( $L_{adv}$ )： 最小化判别器正确分类概念 token 的能力。
- 保持损失 ( $L_{pres}$ )： 一种余弦相似度损失，旨在使锚点提示词的表示 ( $h^{a, new}_t$ ) 与原始冻结编码器产生的表示 ( $h^{a, orig}_t$ ) 保持接近。这确保了良性语义不会被降级。
- 总目标： $L_{enc} = \lambda_{adv} L_{adv} + \lambda_{pres} L_{pres}$ 。

核心贡献

公式化： 作者提供了一个将概念擦除作为表示空间领域对齐问题的原则性公式，推导出了一个由对齐项和效用保持项控制的擦除理论界限。
TEA 框架： 他们提出了一个轻量级的对抗性文本编码器微调框架，实现了鲁棒的抑制，且具有零推理时间开销，并且仅需少量的微调步骤。
模型无关性与新颖架构： 该方法具有模型无关性，并成功迁移到了现代架构，特别是带有 T5 条件化的整流流变换器 (Rectified Flow Transformers)（如 Stable Diffusion v3.5），而先前的概念擦除方法在这些架构上基本尚未被探索。
鲁棒性： 与现有基线相比，该方法在黑盒（提示词工程）和白盒（基于优化的）对抗攻击中均表现出卓越的鲁棒性。

实验结果

该方法在 Stable Diffusion v1.4 和 Stable Diffusion v3.5-large 上进行了评估，用于擦除显式内容（裸露）和艺术风格（梵高、Kelly McKernan）。

显式内容擦除：
- 黑盒： TEA 在各项基准测试（MMA, Ring-A-Bell, P4D）中实现了最低的平均攻击成功率 (ASR)，优于 AdvUnlearn 和 DES 等方法。
- 白盒： TEA 在 UnlearnDiff, MMA 和 Ring-A-Bell 白盒攻击中始终实现了最低的 ASR。
- 质量保持： TEA 在良性提示词（COCO 数据集）上保持了高质量的生成，显示出与基线相比具有竞争性或更优的 FID 和 CLIP 分数。值得注意的是，它避免了对抗训练方法中常见的质量下降问题。
艺术风格擦除： TEA 对目标艺术家实现了较高的感知距离 (LPIPSs)，同时对其他艺术家保持了较低的距离 (LPIPSu)，表明其实现了有效的擦除而没有过度擦除无关风格。
表示分析： 代理 A-距离 (Proxy A-Distance, PAD) 的经验测量证实，TEA 显著降低了编码器各层中概念表示与锚点表示之间的可分性，同时保持了概念提示词与无关（COCO）提示词之间的可分性。

意义与主张

论文声称 TEA 通过提供一种计算高效、持久且鲁棒的解决方案，解决了当前概念擦除方法的关键局限性。

效率： 通过冻结生成骨干网络并仅微调文本编码器，TEA 不会引入推理时间开销，使其适用于大规模部署。
鲁棒性： 表示空间中的对抗性对齐提供了比无需训练方法或修改生成骨干网络的方法更强的防御对抗性提示词的能力。
可扩展性： 该方法适应整流流变换器 (SD v3.5) 的能力，扩展了概念擦除在下一代扩散架构中的适用性。
伦理立场： 作者强调，这项工作的动机是减少伤害。虽然评估需要显式提示词和图像来验证有效性，但这些内容受到严格控制，在图表中进行了遮蔽，并仅用于防御目的以减轻不安全生成。