技术摘要：通过大规模激活调制唤醒扩散 Transformer

1. 问题陈述

扩散 Transformer (DiTs) 已成为高质量视觉生成（如 SD3, Flux, Wan）的主流架构，并正越来越多地被重新用于密集视觉理解任务（如语义对应、分割）的特征提取。然而，控制这些双重能力的内部激活组件仍未得到充分理解。

在 DiTs 中存在一个特定的、尚未被充分探索的现象，即大规模激活 (Massive Activations, MAs)：这些隐藏激活的量级显著高于其他部分，集中在极小比例的特征维度中。虽然 MAs 在大语言模型（上下文知识）和视觉 Transformer（全局语义/背景 Token）中已有研究，但其在 DiTs 中的作用是独特的。DiTs 在空间网格上执行迭代去噪，其中每个 Token 都参与局部重建。本文认为，在这一密集的生成语境下，MAs 的结构和功能角色尚未得到充分表征，从而导致了两个具体问题：

1. 生成： 目前尚不清楚 MAs 如何影响细粒度细节与全局语义的合成。
2. 理解： 当用作特征提取器时，跨空间 Token 共享的高量级 MA 方向可能会使表示产生偏差，导致局部描述符变得过于相似，从而削弱密集感知任务中的空间判别力。

2. 方法论：诱导大规模激活 (EMA)

作者提出了 EMA，一个统一的、无需训练的框架，通过调制 MAs 来提升生成和表示能力。该框架由两个特定任务模块组成：

A. 大规模激活分析

在提出解决方案之前，本文确立了 DiTs 中 MAs 的结构特性：

• 空间分布与通道集中性： MAs 分布在所有空间图像 Token 上，但集中在极少数固定的特征维度中（例如 SD3 中的维度 810）。
• AdaLN 对齐： 承载 MAs 的维度与自适应层归一化 (AdaLN) 产生的残差缩放因子 ($\alpha_k$) 高度对齐。
• 时间步调制： MA 的量级主要受去噪时间步（噪声水平）而非文本条件的塑造。随着过程从高噪声向低噪声时间步推进，MA 的量级会增加。
• 功能双重性：
  • 生成： 打断 MAs 会严重破坏细粒度细节（纹理、眼睛、头发），但能保留全局语义（布局、物体身份）。
  • 理解： MAs 共享的高量级方向使得原始 DiT 特征在余弦相似度下缺乏空间判别性，阻碍了密集匹配。

B. 模块 1：用于生成的 MA 驱动细节引导 (DG)

为了增强视觉生成，EMA 引入了 细节引导 (Detail Guidance, DG)，这是一种通过构建“细节缺失”的反事实分支来引导采样的自引导策略。

• 机制： DG 通过自适应地抑制中间 DiT 块隐藏状态中的识别出的 MA 维度来实现。
• 自适应抑制： 由于细节主要在去噪后期形成，因此通过依赖时间步的保留系数 ($\rho_t$) 进行抑制。在早期阶段保留 MAs（用于全局结构），并在后期阶段强烈衰减 MAs（以移除细节合成）。
• 引导公式： 最终预测被引导远离细节缺失的分支：
  $$\hat{D}_\theta(z_t, c) = D_\theta(z_t, c) + w (D_\theta(z_t, c) - D_\theta(\hat{z}_t, c))$$
  其中 $\hat{z}_t$ 是带有抑制 MAs 的状态。
• 效率与灵活性：
  • 部分前向推理： 由于反事实分支在干预块之前与原始分支共享计算，因此 DG 仅需重新计算网络的后缀部分，从而降低了与标准 CFG 相比的延迟。
  • 局部 DG： 抑制可以仅应用于特定的空间 Token（例如，边界框），从而实现针对性的区域精细化。
  • 兼容性： DG 与分类器自由引导 (CFG) 是互补的。CFG 强化语义对齐，而 DG 则增强局部细节保真度。

C. 模块 2：用于理解的 MA 调制表示提取 (MREP)

为了提高密集视觉理解能力，EMA 引入了 MREP，旨在减轻 MA 的方向主导地位，同时保留其有用的空间结构。

• AdaLN 调制： MREP 复用预训练的 AdaLN 通道权重 ($\gamma_k, \beta_k$) 来调制隐藏状态。这在不丢弃 MA 的情况下减少了其主导地位。
• 空间归一化： 由于 MA 空间图仍编码着有意义的响应模式，MREP 提取这些图，对其进行空间归一化以消除量级偏差，并将其与调制后的特征进行拼接。
• 结果： 这产生了受全局 MA 方向主导程度较低、但保留了丰富信息性空间线索的表示，从而提高了密集任务的判别力。

3. 核心贡献

1. 系统性分析： 本文首次对 DiTs 中的 MAs 进行了系统研究，将其表征为空间分布、通道集中、与 AdaLN 相关且受时间步调制的组件。
2. 揭示双重角色： 揭示了 MAs 的双重性质：在生成中对于细粒度细节合成至关重要，但在表示学习中由于共享高量级方向，会对空间判别力产生负面影响。
   रूप
3. EMA 框架： 引入了一个包含两个模块的无需训练的框架：
   • DG： 增强图像/视频生成的细节并实现局部精细化。
   • MREP： 通过调制特征提取，提升密集视觉理解（对应、分割、深度估计）的能力。
4. 统一工具： 证明了 MA 调制是一个统一的机制，可以从预训练 DiTs 中激发更强的生成与判别能力。

4. 实验结果

作者在多种模型（SD3, SD3.5, Flux1/2, Wan1.3B/14B, DiT-XL/2）和任务上评估了 EMA：

• 图像生成：
  • DG 在所有模型上均一致地提升了细粒度细节质量（美学评分、HPSv2.1），同时保持了提示词对齐。
  • 在 SD3.5 上，DG 将美学评分从 5.94 提升至 6.16 (Cond) 以及从 6.01 提升至 6.18 (CFG)。
  • DG 在细节质量指标上优于其他引导方法 (CFG++, APG, S2-Guidance)。
  • DG 与 CFG 结合实现了最佳的整体性能，验证了它们的互补性。
• 视频生成：
  • 应用于 Wan 模型，DG 提升了整体得分、质量和外观保真度。DG+CFG 在 Wan14B 上达到了最高总分。
• 类条件生成：
  • 在 ImageNet (DiT-XL/2) 上，在类条件设置下，DG 将 FID 从 9.52 降至 5.77，并将 IS 从 122.79 提升至 179.26。
• 视觉理解：
  • 语义对应： 与原始 DiTF 特征相比，MREP 在 SPair-71k、AP-10K 和 PF-Pascal 上显著提高了 PCK 分数。
  • 语义分割： 在 ADE20K 上，MREP 实现了 54.9 mIoU（单尺度），优于原始 DiTF (53.6)，并与强基准模型持平。
  • 深度估计： 在 NYUv2 上，MREP 将 RMSE 降至 0.220，将 REL 降至 0.060，优于原始特征和其他基于扩散模型的基准。
• 效率：
  • 部分前向 DG 与完整的 CFG 重新评估相比，在提升质量的同时降低了推理延迟（例如，在 SD3.5 上从 15.7s 降至 10.6s）。
• 泛化性：
  • DG 在非标准 DiT 架构（PixArt-$\alpha$, SANA）以及类条件设置下同样有效，表明它捕捉的是一种通用机制而非特定架构的伪影。

5. 意义与主张

本文主张，大规模激活并非偶然的数值异常值，而是构成了塑造 DiTs 处理视觉信息方式的基础性、具有阶段性的结构化组件。通过将 MAs 作为统一的调制信号，作者证明了：

• 对于生成： 抑制 MAs 会创造出一个自然的“细节缺失”分支，从而允许提取出专门针对细粒度合成的引导信号，且不会破坏全局语义。
• 对于理解： 可以通过基于 AdaLN 的调制和空间归一化来减轻 MAs 在密集感知中引入的“噪声”，从而将生成式骨干网络转化为更具判别力的特征提取器。

这项工作确立了 MA 调制作为一个通用的、无需训练的工具，能够释放预训练 DiTs 的潜在能力，既提升了生成内容的保真度，也提升了其内部表示在下游感知任务中的效用。作者总结道，这种方法鼓励了对内部激活结构作为大型视觉生成模型中可控信号的进一步探索。