💻 computer science

Introspective Attention Modulation for Safe Text-to-Image Generation

本文介绍了内省式注意力调制（Introspective Attention Modulation），这是一种在推理阶段增强文本生成图像模型安全性的方法，通过动态调节注意力激活以抑制不安全概念，同时保持语义对齐和图像质量，为现有的概念擦除技术提供了一种更稳健的替代方案。

原作者： Basim Azam, Hossein Rahmani, Naveed Akhtar

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Basim Azam, Hossein Rahmani, Naveed Akhtar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：你只需在电脑上输入一句话，眨眼之间，它就能绘出一幅逼真的画作，真实到让你觉得触手可及。这就是“文本生成图像”AI的魔力——这项技术正经历着爆发式的普及，它能将“穿着宇航服的猫”这样的文字转化为令人惊叹、具有照片级写实感的艺术品。但问题在于：这些AI艺术家是通过吞噬整个互联网来训练的，这意味着它们也学到了一些非常坏的习惯。就像一个看了太多新闻的孩子一样，这些模型可能会在无意中（甚至是故意地）生成暴力、恐怖或不当的图像，即便你要求的只是些无害的内容。

为了阻止这种情况，科学家们尝试了几种方法。有些人扮演着俱乐部的“保镖”，在AI开始绘画之前，就拦截掉任何听起来可疑的请求。另一些人则试图“教导”AI彻底忘掉那些坏念头，就像从大脑中抹除一段特定的记忆。但问题是：这些方法往往很脆弱。聪明的用户可以用暗号来欺骗保镖，或者“遗忘”的过程可能会让AI连正常的绘画能力也一起忘掉。这是一场持续不断的“打地鼠”游戏，AI总能找到新的缝隙溜出来。

现在，一个研究团队提出了另一种处理方式。他们建议不要扮演保镖或记忆擦除器，而是教导AI成为它自己的“良知”。他们将这种新方法称为“内省式注意力调制”（Introspective Attention Modulation）。把它想象成给AI一面镜子，让它在绘画时观察自己的思维过程。如果AI开始过度关注某个危险的想法，这种方法会温柔地将它的注意力引导开，将其引回安全的领域，而不会抹杀其创作美丽艺术的能力。这有点像父母在孩子画画时引导其手部动作，在实时纠正一个颤抖的线条，而不是直接撕掉整张纸。

论文的故事：教导AI自我修正

这篇题为《用于安全文本生成图像的内省式注意力调制》的论文介绍了一种巧妙的技巧，可以在无需重新训练或更改核心代码的情况下，使这些强大的图像生成器变得更安全。作者 Basim Azam、Hossein Rahmani 和 Naveed Akhtar 认为，安全的秘诀就在于AI自身的“注意力”机制内部。

要理解这一点，可以将AI想象成一位正在拍摄电影的导演。它有一份剧本（你的文本提示词）和一群演员（图像组成部分）。“注意力”就是导演的焦点：它决定了导演要注视哪位演员，以及要倾听剧本中的哪些内容。当AI准备绘制某些不安全的内容时，它的“导演”就会开始过度盯着错误的演员，或者过度倾听剧本中错误的台词。

作者的方法通过实时观察这位“导演”的焦点来发挥作用。他们构建了一个系统，监控AI在生成图像时的注意力图。如果系统发现AI对某个不安全的概念（如特定的身体部位或暴力场景）表现得过于兴奋，它并不会关闭整个生成过程。相反，它会使用一种数学上的“轻推”来重新平衡注意力。它会告诉AI：“嘿，你太关注那个了，让我们把目光转向背景或衣服吧。”

这个过程发生在实际绘画的过程中，是循序渐进的。研究人员称之为“内省”，因为AI本质上是在检查自己的工作，并在最终图像完成之前进行自我修正。他们在一个非常严苛的场景下测试了这一点：他们拿了一个顶尖的AI模型（FLUX.1-dev），并利用一种称为 LoRA（低秩自适应）的技术对其进行了“越狱”，使其能够生成不安全的内容。这创造了一个非常危险的版本，该模型经过专门调整，旨在忽略安全规则。

结果出人意料地有效。当应用这种内省式注意力调制时，AI停止了生成不安全的内容。事实上，在包含数千个旨在触发不安全图像的提示词的标准测试 I2P 上，该方法将裸露检测率从 56.3% 降低到了 39.6%。这代表了比基准线高出 30% 的相对提升。更令人印象深刻的是，在针对旨在欺骗安全过滤器、具有误导性的“隐蔽提示词”（SneakyPrompts）进行测试时，该方法将裸露率保持在 70.5%，而基准线的裸露率为 81.5%。

但最令人兴奋的部分在于：图像质量并未受损。在以往许多尝试修复AI安全性的方法中，生成的图像往往会变得模糊、怪异，或者失去与原始文本的联系。作者发现，通过仅仅重定向AI的注意力，他们实际上提高了文本与图像之间的对齐度。他们的法测得的“CLIP Score”（衡量图像与文本匹配程度的指标）在所有测试的方法中最高，甚至超过了被LoRA调整过的那个不安全基准模型。

论文明确反对“我们需要从AI大脑中‘抹除’概念”或“重新训练整个模型来使其安全”的观点。他们表明，传统的“概念擦除”（试图从模型的记忆中删除坏念头）在这些更新、更先进的模型上往往会失效。在测试中，其中一些旧方法实际上让安全状况变得更糟，或者产生了带有黑块和缺失肢体的丑陋、扭曲图像。作者认为，试图手术式地移除概念是处理现代AI的错误路径；相反，在当下调节AI如何分配注意力才是更有前景的路径。

研究人员还测试了该方法在应对不同类型攻击时的表现。他们发现该方法是“模型无关的”（model-agnostic），这意味着它可以在不同的AI架构版本上运行，而无需为每个版本重新训练。他们甚至展示了它在像 SDXL 这样的旧模型上也同样有效。然而，他们也承认该方法并非完美。由于它依赖于预先学习到的对“不安全”特征的理解，非常高明的对抗性提示词（如在 SneakyPrompts 测试中所见的）有时仍能钻空子。作者指出，虽然该方法是一个巨大的进步，但它并不是一个能阻挡所有攻击的“魔法盾牌”，未来的工作需要使其在应对复杂的、逆向工程式的技巧时更加稳健。

最后，这篇论文表明，实现AI安全的关键不在于建造更高的围墙或抹除记忆，而是教导AI审视自己的思想并引导自己远离危险。通过赋予模型一种在工作时进行内省并调整焦点的能力，作者找到了一种既能保持创意流动，又能确保输出安全的方法，证明了有时最好的护栏就是一次温柔的内在引导。

技术摘要：用于安全文本生成图像的内省式注意力调节

1. 问题陈述

基于扩散 Transformer (DiT) 和整流流 (rectified flows)（例如 FLUX.1-dev）的先进流式文本生成图像 (T2I) 模型展现出了卓越的生成能力，但仍易受到生成不安全内容（暴力、露骨图像、性内容）的影响。当模型使用 LoRA 或 DreamBooth 等参数高效适配技术进行微调时，这些漏洞会更加显著，因为这些技术可以轻易绕过部署前的安全护栏。

现有的安全机制可分为三类，每类都有明显的局限性：

外部过滤： 依赖于提示词黑名单或 CLIP 分类器。这些机制在对抗性提示、改写和越狱攻击面前非常脆弱。
基于训练的抑制： 涉及概念擦除或安全微调。这些方法计算成本高昂，通常局限于特定的早期扩散架构，并且可能导致“附带语义擦除”（即降低良性概念的生成质量）。
推理时引导： 如 Safe Latent Diffusion (SLD) 或 Latent Guard 等方法需要重新训练，或者会导致语义擦除。此外，权重编辑的修复可能会被新的适配器所抵消。

核心问题在于缺乏一种机制性的、无需训练的方法，能够在不损害输出的语义对齐或感知质量的情况下，在生成过程中进行干预以抑制不安全概念，特别是在现代基于 Transformer 的架构中。

2. 方法论：内省式注意力调节

作者提出了一种原则性的、推理时的干预方法，通过“内省”来调节模型的注意力动力学。该方法无需修改基础模型权重或进行重新训练。

核心概念

该方法利用了观察到的扩散 Transformer 中的注意力机制编码了丰富的内部结构这一事实。不安全概念的形成反映在特定的注意力模式中（例如，不安全标记对身体区域图像标记的高交叉注意力）。该方法涉及实时分析这些注意力激活情况，并对其进行重新平衡，从而引导生成过程远离不安全概念，同时保持语义连贯性。

技术工作流

双路径注意力提取： 在每个去噪时间步 $t$ ，该方法从双流和单流 Transformer 块中提取注意力状态 ( $\Phi_t$ )。这些状态包括自注意力（空间连贯性）和交叉注意力（文本-图像对应关系）。
安全约束优化： 该方法将安全性表述为一个约束优化问题，以寻找受调节的注意力集 $\varphi^*_t$ $φ_{t}^{*}$ 。目标函数 $\mathcal{L}_{int}$ $L_{in t}$ 平衡了三个项：
- 连贯性能量 ( $E_{coh}$ )： 惩罚偏离安全参考注意力 ( $\Phi^{safe}_t$ ) 的行为，以维持文本-图像对齐。
- 安全正则项 ( $R_{safe}$ ）： 使用在标记样本上训练的预计算稀疏逻辑回归器 ( $W_{unsafe}$ ) 来量化不安全注意力质量。该项惩罚与有害内容相关的注意力模式。
- 邻近散度 ( $D$ )： 使用 KL 散度将调节后的注意力约束在原始 $\Phi_t$ 附近，防止分布外扰动。
优化过程： 通过投影梯度下降 (PGD) 在原始注意力基础上进行求解，得到最优的 $\varphi^*_t$ 。这允许进行细粒度的逐头抑制，即对具有高不安全模式的注意力头进行修正，而使良性注意力头受到的扰动最小。
内省比例控制： 参数 $\alpha_{intro}$ 控制安全干预与输出保真度之间的权衡，允许在运行时调节安全强度。
修正速度与采样： 将调节后的注意力 $\varphi^*_t$ 注入回 Transformer 以重新评估速度场 ( $\hat{v}_\theta$ )。生成步骤使用这种受安全约束的速度进行，从而将潜在样本引导至安全的结果。

3. 主要贡献

首创机制： 引入了一种基于注意力的内省式安全机制，专门设计用于高质量现代扩散 Transformer 模型中的推理时安全。
无需训练的干预： 该方法不需要重新训练基础模型或适配器。它完全通过在推理过程中调节注意力动力学来运行。
用于不安全检测的稀疏逻辑回归： 开发了一种利用预学习的概念表示来识别和提取不安全注意力模式的机制，从而实现针对性抑制。
原则性的权衡控制： 实现了带有内省比例控制的优化过程，为安全-质量权衡提供了调节手段。
全面的评估： 在标准基准测试（I2P, SneakyPrompts, MMA-Diffusion, UnlearnDiffAtk）上进行了广泛评估，并证明了其优于现有的概念擦除方法（UCE, ESD, EraseAnything, FlowEdit, MCE）。

4. 实验结果

该方法在经过 LoRA 适配以生成不安全内容的 FLUX.1-dev 以及 SDXL 上进行了评估。

安全性能：
- 在 I2P 基准测试中，该方法实现的裸露率 (NR) 为 39.6%，相比基线 (56.3%) 实现了 30% 的相对提升。
- 在 SneakyPrompts（对抗性越狱）中，它保持了 70.5% 的稳健裸露率，而基线为 81.5%。
- 视觉语言模型 (VLM) 验证： 使用 Qwen-VL，该方法仅将 1.7% 的图像标记为不安全（16 张），相对于基线减少了 79%。值得注意的是，概念擦除基线（如 UCE, ESD）由于语义不连贯，往往会增加 VLM 检测到的违规情况。
质量与对齐：
- 与现有导致质量下降的方法不同，该方法在所有基准测试中都提高了 CLIP 分数（文本-图像对齐）。例如，在 I2P 上，CLIP 分数从基线的 30.52 提升到了 30.82。
- 该方法实现了帕累托支配 (Pareto dominance)，即同时提高了安全性和质量，而其他方法则面临着安全收益导致质量下降的权衡。
泛化能力：
- 该方法具有模型无关性，成功应用于多种 FLUX 变体（Dev, Kontext, Schnell, Krea）和 SDXL，且无需重新训练。
- 它有效地抑制了各种不安全类别，包括裸露、暴力、非法活动和自残。

5. 意义与主张

论文声称，注意力空间调节为更安全的扩散 Transformer 式图像生成提供了一条比现有概念擦除机制更具前景的路径。

主要主张包括：

内在鲁棒性： 通过直接调节注意力动力学，该方法表现出对参数高效适配（如 LoRA）的内在鲁棒性，这类适配通常可以绕过静态安全过滤器。
机制性理解： 该方法超越了事后补丁，通过干预生成过程本身，解决了不安全内容产生的根源（注意力模式），而非仅仅处理输出。
优于擦除： 结果表明，传统的概念擦除在现代架构上可能是无效甚至适得其反的，有时会恶化安全性或导致严重的视觉伪影。相比之下，内省式注意力调节保留了视觉连贯性和语义保真度。
实际部署： 该方法支持在运行时调节安全强度的单一模型部署，消除了维护多个不同安全等级模型版本的需求。

作者承认存在局限性，指出该方法依赖于学习到的安全概念表示，这可能在面对高度对抗性提示（如 SneakyPrompts）时存在覆盖范围不足的问题，并且假设了一个受信任的安全操作环境。然而，他们将这项工作定位为实现政策执行机制的基础性一步，旨在实现创意表达而不跨越伦理界限。