💻 computer science

Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers

本文提出了一种名为语义转向（Semantic Steering）的免微调方法，该方法通过构建并注入一个源自模型中间层中不安全表示与安全表示之间差异的转向向量，在多模态扩散 Transformer 中擦除不需要的概念，从而在不修改模型参数的情况下，实现有效、鲁棒且低开销的概念控制。

原作者： Qiao Li, Xiaomeng Fu, Yuanshu Zhao, Qipeng Wang, Jiao Dai, Jizhong Han

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qiao Li, Xiaomeng Fu, Yuanshu Zhao, Qipeng Wang, Jiao Dai, Jizhong Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的数字艺术家，它可以根据你的描述画出任何东西，从穿着宇航服的猫到火星上的日落。这个艺术家并不是人类，它是一个被称为“多模态扩散 Transformer”（简称 MM-DiT）的计算机程序。你可以把它想象成一个巨大的、混乱的厨房，厨师（AI）已经品尝过来自互联网的数百万种食谱。它极其出色，但因为它学习了整个互联网的内容，所以有时会不小心尝试做出一些我们不想要的东西，比如不当的图像、受版权保护的艺术风格，或者未经许可的真实名人的照片。

长期以来，如果你想阻止这个数字厨师做出某种特定的菜肴，你必须要么重写厨师的整本食谱（这既困难又昂贵），要么就大声喊叫“不要做那个！”（但这通常不起作用，因为厨师太固执了）。这篇新论文讲述了一个巧妙的、“无需训练”的小技巧，可以轻轻地引导厨师的手，让他们停止制作不想要的菜肴，同时仍保持美食的美味。研究人员发现，厨师的大脑是分层的：早期层决定食物的总体形状，中间层决定主要的食材和风味，晚期层则添加精致的装饰。他们发现，如果你想改变食物的“内容”（比如把一张裸体照片变成一张穿着衣服的照片），你需要向中间层——即“意义”所在的地方——低声传递一条秘密指令。

问题所在：固执的数字艺术家

论文首先探讨了这些强大的新 AI 模型（如 Stable Diffusion 3 和 FLUX）。这些模型在将文本转化为图片方面非常出色，但它们有一个安全问题。由于它们是在网络上的海量数据上训练的，它们有时会生成一些不安全的、比如裸体，或者是不合法的、比如著名人物或受版权保护的艺术风格的照片。

以前，人们尝试通过两种方式来解决这个问题：

重写大脑： 他们试图重新训练模型以让其“忘记”这些不良概念。但这就像是在重新教育一个天才；它既耗时、耗钱，而且往往会让模型在绘制好的事物方面变得更差。
喊叫提示词： 他们尝试使用“负面提示词”（告诉 AI“不要裸体”）或其他文本技巧。但对于这些超智能的模型来说，坏的想法被埋藏在模型知识的极深处，简单的文本命令只是从它们身上弹开。AI 会忽略“不”字，并照样画出“是”的内容。

解决方案：“转向向量”

作者提出了一个不同的想法。他们没有尝试重新训练模型或对着它大喊大叫，而是决定在它绘画的过程中轻轻地推动它向正确的方向移动。他们称之为“语义转向”（Semantic Steering）方法。

以下是它是如何工作的，使用一个简单的类比：

想象 AI 正在建造一座房子。

早期模块： 这些是地基和框架。它们决定了房子是一座摩天大楼还是一间小屋。
中间模块： 这是决定房间、家具和房屋主要用途的地方。这是“概念”居住的地方。
晚期模块： 这些是油漆、窗帘和门把手。

研究人员发现，如果你想改变“概念”（比如把“裸体的人”变成“穿着衣服的人”），你不需要去折腾地基或油漆。你只需要调整中间房间里的家具。

神奇的技巧：

寻找差异： 研究人员提取两张图片：一张包含他们想要抹除的东西（例如“泰勒·斯威夫特的照片”）和一张包含安全替代品（例如“一个普通女性的照片”）。
中间层： 他们观察 AI 在思考这两张图片时的“中间模块”。他们找到了“泰勒·斯威夫特”的概念与“普通女性”概念之间的精确数学差异。
转向向量： 他们将这种差异转化为一个单一的“转向向量”。把它想象成一个微小的、看不见的箭头。
推动： 当 AI 绘制图片时，研究人员将这个箭头注入到 AI 大脑的中间模块（以及一些早期模块）中。这个箭头轻轻地将 AI 的思想从“泰勒·斯威夫特”推向“普通女性”，而不会改变图片的其余部分。

他们的发现

论文显示这种方法效果极佳。他们在两个主要 AI 模型（Stable Diffusion 3.5 和 FLUX.1）上进行了测试，并尝试抹除三种类型的东西：

名人： 让 AI 忘记画泰勒·斯威夫特或莱昂纳多·迪卡普里奥。
艺术风格： 让 AI 停止以梵高或莫奈的风格绘画。
裸体： 让 AI 画出穿着衣服的人而不是裸体的人。

结果：

有效： 该方法成功地比之前的技巧更好地抹除了这些概念。例如，当被要求画泰勒·斯威夫特时，AI 画了一个普通的女性，且图片看起来依然完美。
无需训练： 最棒的部分是，他们不需要重新训练模型。他们只是在模型运行时使用了这个“转向向量”技巧。这就像是给厨师一个轻推，而不是重写整本食谱。
质量保持高水平： 图片并没有变得模糊或奇怪。其“美学评分”（图片有多漂亮）保持在高位，这意味着 AI 仍然能创作出美丽的艺术品，只是没有了那些不想要的部分。
很强健： 即使人们尝试使用“对抗性”提示词（旨在破坏安全过滤器的特殊文本）来欺骗 AI，这种转向方法仍然有效并保持了图像的安全。

为什么这很重要

论文表明，通过了解图像的“意义”究竟存在于 AI 大脑的哪个位置（中间模块），我们可以更精确地控制它。我们不需要通过暴力手段让 AI 忘记事物，而是可以温柔地将其转向安全且理想的结果。

作者发现这种“转向向量”是非常稳健的。无论他们是用它来抹除名人、特定艺术风格还是裸体，该方法都经受住了考验。他们还展示了你可以利用此功能有目的地“改变”风格——比如通过使用不同的转向向量，将一幅梵高的画变成卡通画。

简而言之，这篇论文提供了一种轻量级、有效的方法，可以在不需要从头重建的情况下，让强大的 AI 艺术生成器变得更安全、更可控。这有点像找到了转向盘上的完美位置，通过轻点转向盘来引导汽车精准地走向你想要的方向，而无需更换引擎。

技术摘要：用于可控生成的语义转向 (Semantic Steering)

问题陈述

多模态扩散 Transformer (MM-DiTs)，如 Stable Diffusion 3 系列和 FLUX 系列，在文本生成图像领域建立了新的基准，在质量和分辨率上超越了传统的 U-Net 模型。然而，其强大的生成能力也引入了显著的安全风险，包括合成非安全内容 (NSFW)、版权作品以及真实人物图像的可能性。

现有的概念擦除方法在应用于 MM-DiTs 时面临关键局限性：

参数修改： 大多数方法需要微调或修改模型权重。这些方法通常具有架构特定性，计算成本高昂，且对于大规模部署的模型而言并不实际。
免微调方法的局限性： 当前依赖于基于提示词干预（例如负向提示词）的免微调方法在 MM-DiTs 上表现不佳。由于经过广泛的预训练，MM-DiTs 将概念深度嵌入其内部表示中，使其对表层提示工程具有抵抗力。此外，MM-DiTs 扩展的语义空间和上下文相关的文本编码器（如 T5-XXL）使得负向提示词在捕捉隐式关联和概念变体方面显得力不从心。
架构不匹配： 为大语言模型 (LLMs) 或小型 U-Net 架构设计的算法无法很好地转化到 MM-DiTs 的连续、迭代去噪过程及双模态架构中。

方法论

作者提出了一种免微调的语义转向方法，该方法在推理过程中直接操纵模型的内部表示。该方法基于对 MM-DiT 架构及其生成机制的深入分析。

1. 针对分块角色与时间步的分析

通过经验性分析（注入噪声并可视化注意力图），作者识别出了 MM-DiTs 中的层次化结构：

早期模块 (Early Blocks)： 编码全局图像结构。
后期模块 (Late Blocks)： 精炼细粒度细节。
中间模块 (Middle Blocks)： 主要编码目标概念的核心语义表示。
中间时间步 (Intermediate Timesteps)： 提供对目标语义最忠实的表示，平衡了结构连贯性与视觉细节。

2. 转向向量构建

该方法并非操作冗余的图像 token（例如 4096 个 token），而是利用了文本分支的稀疏性（154–333 个 token）。

数据准备： 创建一个配对提示词数据集，其中一个提示词包含不想要的成分 ( $C^-$ )，而另一个包含理想的安全成分 ( $C^+$ )，且两者具有相同的上下文。
提取： 模型通过中间模块 ( $b$ ) 处理这些配对。从文本分支中提取特定差异化文本 token 的输出向量。
向量推导： 通过计算安全概念与不想要概念表示之间的平均差异来构建转向向量 ( $v_{steer}$ ):
$v_{steer} = l \cdot \frac{v_b}{||v_b||}, \quad \text{其中 } v_b = \frac{1}{n} \sum_{i=1}^{n} (x^+_{b,i} - x^-_{b,i})$
这里， $l$ 是通过经验确定的转向强度参数。

3. 转向向量注入

为了确保在不扭曲图像的情况下实现连贯引导，向量被策略性地注入：

空间策略： 向量被注入到连续的早期和中间模块中。仅注入中间/后期模块会导致已建立的结构失效，而仅注入早期模块则会导致结构扭曲。跨多个模块的累积效应确保了语义的统一偏移。
时间策略： 利用 MM-DiTs 的整流流 (rectified flow) 采样轨迹（该轨迹遵循直线、确定性的路径），将中间时间步计算出的同一个转向向量一致地应用于所有去噪步骤。这确保了时间上的连贯性，并避免了逐时间步构建向量的需求。

核心贡献

轻量化语义转向： 一种专为大规模 MM-DiT 架构定制的免微调框架，可在推理阶段实现可控的概念擦除，而无需修改模型参数。
架构洞察： 该设计利用了 MM-DiTs 的特定属性，包括生成角色的分块划分（语义集中在中间模块）、模态间的信息差异（使用稀疏文本 token）以及整流流的直线采样轨迹。
单向量高效性： 该方法通过注入关键模块中的单个转向向量实现有效的擦除，产生的计算开销微乎其微。
全面评估： 广泛的实验证明，该方法在擦除多种概念（名人、艺术风格、裸露）的同时，能够保持图像质量和鲁棒性，达到了最先进的性能。

实验结果

该方法在 Stable Diffusion-v3.5-medium 和 FLUX.1 上针对名人 (Celebrity)、艺术风格 (Art Style) 和裸露 (Nudity) 三个类别进行了评估。

擦除有效性： 在擦除指标（GIPHY, LLaVA, Gram matrix, NudeNet）上，该方法优于基准方法（包括 Safe Latent Diffusion, TraSCE, 负向提示词以及模型修改方法如 UCE 和 ESD）。例如，在 FLUX.1 上，针对名人擦除，其 GIPHY 得分为 0.014，而 UCE 为 0.117，SLD 为 0.433。
图像质量： 该方法保留了美学质量和整体图像保真度，实现了较低的 FID 分数（表明对无关图像生成的影响极小）和具有竞争力的 CLIP 分数。
鲁棒性： 该方法针对针对裸露内容的四种对抗攻击（Ring-A-Bell, MMA-Diffusion, I2P, P4D）表现出卓越的鲁棒性，在所有测试方法中取得了最低的 NudeNet 分数。
可控性： 不同于仅进行抑制概念的方法，该方法允许进行多风格转向，从而能够将擦除的概念转化为特定的、用户定义的安全风格（例如，将“梵高风格”转化为“卡通”或“水彩”）。

意义与主张

论文声称，这项工作填补了下一代文本生成图像模型在安全性与可控性方面的关键空白。通过将范式从外部提示工程转向直接的内部表示干预，该方法解决了当前免微调方法在 MM-DiTs 上的局限性。

作者强调，其方法：

避免了与微调大型模型相关的计算成本和部署障碍。
为绕过提示词过滤器的对抗攻击提供了强有力的防御。
为未来研究可控生成奠定了基础，证明了通过理解模型的内在生成机制，仅需极小的干预（单个向量）即可实现精确的语义控制。

研究结论认为，语义转向是一种可行且有效的策略，可以在不损害 MM-DiTs 强大生成能力的前提下，确保其安全部署。