💻 computer science

SHIFT: Steering Hidden Intermediates in Flow Transformers

本文提出了 SHIFT，一种受大语言模型激活引导启发的轻量级框架，通过在推理阶段动态操纵 DiT 扩散模型的中间激活向量，实现了对生成图像中特定概念的抑制、风格迁移或对象增改，而无需进行耗时的重新训练。

原作者： Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SHIFT 的新工具，它就像给现代 AI 绘画模型（特别是像 FLUX 这样的大模型）装上了一个"智能导航方向盘"。

为了让你更容易理解，我们可以把 AI 绘画的过程想象成在迷雾中驾驶一艘巨大的飞船，而 SHIFT 就是那个能帮你精准控制航向的装置。

1. 背景：为什么我们需要 SHIFT？

现在的 AI 绘画模型非常强大，能画出惊人的图片。但它们也有个麻烦：有时候会画出我们不想要的内容（比如不雅画面、受版权保护的艺术风格，或者你不想画的一顶帽子）。

旧方法（笨重的重造）：以前的解决办法像是“推倒重建”。如果你想让 AI 不再画“裸体”或“梵高风格”，科学家就得给整个模型“做手术”，重新训练它。这就像为了不让飞船飞进某个区域，你不得不把整个飞船拆了重装引擎。这不仅慢，而且贵，对于像 FLUX 这样拥有 120 亿参数的大模型来说，简直是天文数字。
新方法（SHIFT）：SHIFT 不需要动模型的“大脑”（权重），它只需要在飞船飞行过程中，轻轻推一下“方向盘”（中间层的激活值）。

2. SHIFT 是怎么工作的？（核心比喻）

想象 AI 在画画时，脑子里会闪过很多“念头”（这些念头在技术上叫中间激活值）。

传统 AI：一旦它决定画“裸体”，这个念头就会贯穿始终，直到画完。
SHIFT 的作用：它像一个敏锐的副驾驶。当它发现 AI 的“念头”开始偏向“裸体”或“梵高”时，它会立刻插入一个反向的力（称为** steering vector / 转向向量**），把这个念头强行拉回正轨，或者拉向你想要的方向（比如“穿着衣服”或“赛博朋克风格”）。

这个“力”是怎么来的？
SHIFT 会先让 AI 看两组对比图：

一组包含你不想要的东西（比如“裸体”）。
一组不包含这些东西（比如“穿着衣服”）。
它通过计算这两组图中 AI 大脑活动的差异，提炼出一个**“消除向量”**。这就好比它记住了“裸体”和“非裸体”在 AI 脑电波上的区别，然后生成一个专门的“消除指令”。

3. SHIFT 的三大超能力

A. 瞬间“擦除”不想要的内容（概念消除）

场景：你想让 AI 画一个人，但绝对不要出现“裸体”或“受版权保护的艺术家风格”。
SHIFT 操作：在 AI 生成图片的每一帧（时间步），SHIFT 都会悄悄地把“裸体”的脑电波抹去。
结果：图片依然高质量，人物依然生动，但“裸体”这个概念被彻底过滤掉了，而且不需要重新训练模型。

B. 风格大变身（风格迁移）

场景：你想让 AI 画的任何东西都变成“赛博朋克”风格，或者“素描”风格。
SHIFT 操作：它不再“消除”某个概念，而是“推”向某个风格。它把 AI 的注意力强行拉向“赛博朋克”的脑电波区域。
结果：原本普通的图片瞬间变成了赛博朋克大片。

C. 添加或替换物体（概念切换）

场景：你画了一只猫，但想把它变成狗；或者想给一个人加上“眼镜”。
SHIFT 操作：它利用同样的原理，把“猫”的脑电波推成“狗”，或者把“无眼镜”推成“有眼镜”。
有趣发现：研究发现，在生成的早期阶段（飞船刚起飞时）进行这种“推”的操作效果最好。一旦飞船飞得太远（生成后期），再想改方向就难了。

4. 为什么 SHIFT 很厉害？

不用“动手术”：它不修改模型原本的参数，只是推理时（画图时）临时加个指令。这意味着你可以随时开启或关闭这个功能，就像给车装个临时导航一样灵活。
通用性强：它不仅能处理“裸体”这种抽象概念，还能处理“梵高风格”、“史努比”这种具体物体，甚至能处理“戴眼镜”这种小细节。
跨模型通用：论文发现，用一个小模型（Flux.1[schnell]）算出来的“方向盘”，竟然也能直接用在更大的模型（Flux.1[dev]）上！这就像用一辆小车的导航数据，也能指挥一辆大卡车，非常神奇。
速度快：不需要几天几夜的训练，几秒钟就能算出新的“方向盘”，立刻就能用。

总结

SHIFT 就像是给 AI 绘画模型装上了一个**“实时语义过滤器”**。

以前，如果你想让 AI 改掉坏习惯，你得把它关起来“重新教育”（重新训练）。现在，有了 SHIFT，你只需要在它画画的时候，轻轻推一下它的“思维方向盘”，它就能立刻明白：“哦，我不该画这个，我要画那个。”

这是一种轻量、快速且极其灵活的方法，让普通用户也能在不具备超级算力的情况下，精准控制 AI 生成想要的内容，同时避开不想要的内容。

SHIFT: 基于流 Transformer 的隐藏中间态转向技术 (SHIFT) 技术总结

1. 研究背景与问题 (Problem)

随着扩散模型（Diffusion Models）在图像生成领域的统治地位确立，特别是基于 Diffusion Transformer (DiT) 的架构（如 FLUX.1, SD3.5）成为新的 State-of-the-Art，模型生成有害、受版权保护或禁止内容的风险也随之增加。

现有的概念擦除 (Concept Erasure, CE) 方法主要面临以下挑战：

计算成本高昂：传统方法（如 ESD, CA, EAP）通常依赖基于梯度的微调（Fine-tuning）来优化模型权重。对于参数量巨大的现代 DiT 模型（如 FLUX.1 拥有 120 亿参数），这种重训练过程在计算上是不可行的。
蒸馏模型的适配困难：许多优化方法依赖负向引导（Negative Guidance）来调整分布，但像 Flux.1[schnell] 这样的蒸馏模型被设计为在固定的引导尺度下运行，导致依赖引导的方法失效。
架构差异：现有的非优化方法（如 UCE）多针对 UNet 架构设计，依赖交叉注意力机制。而 DiT 架构采用了统一的多模态注意力机制（Multimodal Diffusion Transformer, MM-DiT），文本和图像 Token 在共享的潜在空间中处理，使得传统的干预点（如交叉注意力层）不再适用。

核心问题：如何在不重新训练 DiT 模型权重的情况下，实现高效、鲁棒的概念移除（或风格/对象转向），同时保持生成图像的高质量？

2. 方法论 (Methodology)

作者提出了 SHIFT (Steering Hidden Intermediates in Flow Transformers)，一种受大语言模型（LLM）激活转向（Activation Steering）启发的轻量级框架。SHIFT 通过在推理时动态操纵中间激活值来实现控制，无需修改模型参数。

2.1 核心机制

SHIFT 的核心思想是学习一个转向向量 (Steering Vector)，将其添加到模型特定层的激活值中，从而将生成轨迹从“不需要的概念”推向“中性”或“目标概念”区域。

干预位置 (Where to steer)：
针对 DiT 架构（特别是 Flux），SHIFT 选择两个关键位置进行干预：
1. 文本编码器池化嵌入 (Text Encoder Pooled Embedding)：例如 Flux 中的 CLIP 池化向量。
2. DiT 骨干中的文本 Token 激活：在双流块（Double-stream blocks）的共享注意力层之后，针对文本 Token 的输出激活 $Y_t$ 进行干预。
  公式： $Y_{text\_steered} = Y_t + \alpha \times v_{steering}$
转向向量的构建 (Vector Construction)：
利用成对的提示词（Prompt Pairs）构建数据集：
- $p^+$ ：包含目标概念（如“裸体”或“梵高风格”）。
- $p^-$ ：不包含该概念的对比提示。
  收集模型在这些提示下的激活值，计算转向向量：
1. 均值差异法 (Mean Difference)：直接计算正负样本激活的均值差。
2. SVM 法 (SVM-based)：训练一个线性 SVM 区分正负样本，取分类超平面的法向量作为转向方向。实验表明 SVM 方法通常更鲁棒。
推理时的动态强度控制 (Dynamic Strength Control)：
转向强度 $\alpha$ 并非固定，而是根据生成过程动态调整：
- 文本编码器：基于初始提示与目标概念提示的余弦相似度进行缩放。
- DiT 激活：引入一个轻量级分类器（SVM）实时监测当前激活中目标概念的存在概率 $p_{cls}$ 。如果概念仍明显存在，则放大转向强度；如果已消除，则减弱强度，防止“过度转向”破坏图像质量。

2.2 关键发现

时间不变性 (Temporal Invariance)：研究发现，DiT 的语义概念在潜在空间中编码为全局且稳定的方向。这意味着单个、与时间步无关的转向向量可以应用于所有扩散时间步，无需为每个时间步单独计算向量，极大地简化了流程。
跨蒸馏迁移 (Cross-Distillation Transfer)：从蒸馏模型（Flux.1[schnell]）学习到的转向向量可以直接应用于非蒸馏模型（Flux.1[dev]），反之亦然，证明了潜在空间语义方向的一致性。

3. 主要贡献 (Key Contributions)

统一的转向框架：提出了 SHIFT，这是首个针对原始及蒸馏版 DiT 模型（如 Flux.1[dev/schnell]）的全面转向框架。它实现了无需重训练的高效概念操纵。
时空动态分析：通过广泛的消融研究，揭示了 DiT 激活空间中的时间一致性。证明了单一的时间无关向量即可有效覆盖所有时间步，表明语义概念在 DiT 潜在流形中是全局编码的。
跨蒸馏向量迁移：验证了转向向量在不同蒸馏程度模型间的可迁移性，为资源受限场景下的概念控制提供了新方案。
多功能性：除了概念擦除，SHIFT 还能用于风格迁移（Style Steering）、对象添加（Object Addition）和概念切换（Concept Switching）。

4. 实验结果 (Results)

作者在 FLUX.1[dev] 和 FLUX.1[schnell] 上进行了广泛评估，对比了 ESD, CA, UCE, EAP 等基线方法。

抽象概念擦除 (安全/NSFW)：
- 在 I2P 基准测试（检测裸体）中，SHIFT 的表现显著优于所有基线。
- 在 Flux.1[schnell] 上，SHIFT 将检测到的裸体数量减少了 3-4 倍（例如从 612 降至 97），同时 CLIP 分数（提示对齐度）几乎保持不变，FID 分数仅有轻微下降。
- 在 Flux.1[dev] 上，即使使用从 schnell 迁移来的向量，SHIFT 依然保持了极高的擦除效率（检测数量降至 152），优于 ESD 和 CA。
具体概念擦除：
- 针对具体对象（如"Snoopy"）的擦除，SHIFT 在保留相关概念（如 Mickey, Pikachu）的同时，显著降低了目标概念的 CLIP 相似度，且 FID 表现优于基线。
风格与对象控制：
- 风格移除：成功移除了特定艺术家（如梵高）的风格，同时保留了其他艺术家（如毕加索）的风格特征。
- 对象添加/切换：能够成功在图像中添加小物体（如帽子、眼镜）或切换概念（如猫变狗、苹果变香蕉），尽管这属于流形偏移而非图像编辑，背景一致性会有所变化。
消融实验：
- 证实了分类器正则化对于防止过度擦除（Over-erasure）至关重要。
- 证实了早期时间步（Early timesteps）和特定层块（Blocks）的干预最为有效，但使用单一向量覆盖所有时间步和层块在保持性能的同时更简单。

5. 意义与影响 (Significance)

计算效率：SHIFT 将概念控制从“昂贵的重训练”转变为“轻量级的推理时干预”，使得在超大参数量的 DiT 模型上进行安全对齐和定制成为可能。
架构适应性：解决了 DiT 架构（统一注意力机制）下概念干预的难题，为未来基于 Transformer 的生成模型控制提供了通用范式。
安全性与可控性：提供了一种即插即用的机制，用于快速移除有害内容或调整生成风格，无需重新训练模型，对于内容安全过滤和个性化生成具有重要意义。
理论洞察：揭示了 DiT 潜在空间中语义概念编码的稳定性（时间不变性），加深了对扩散 Transformer 内部工作机制的理解。

总结：SHIFT 通过借鉴 LLM 的激活转向技术，成功地将这一范式迁移到 DiT 图像生成模型中，提供了一种无需重训练、高效且灵活的概念控制解决方案，在保持高图像质量的同时实现了强大的语义操控能力。