💻 computer science

Steering Video Diffusion Transformers with Massive Activations

本文提出了一种名为 STAS 的训练-free 方法，通过识别并引导视频扩散 Transformer 中特定位置（如首帧和潜空间边界）出现的“大规模激活”现象，以极低的计算开销显著提升了生成视频的质量与时间连贯性。

原作者： Xianhang Cheng, Yujian Zheng, Zhenyu Xie, Tingting Liao, Hao Li

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Xianhang Cheng, Yujian Zheng, Zhenyu Xie, Tingting Liao, Hao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 STAS 的新方法，它能让现在的 AI 视频生成模型（比如 Wan2.1、CogVideoX）变得更聪明、更流畅，而且不需要重新训练模型，也不需要额外的计算成本。

为了让你轻松理解，我们可以把 AI 生成视频的过程想象成指挥一支庞大的交响乐团演奏一首宏大的交响曲。

1. 背景：AI 视频生成的“痛点”

现在的 AI 视频模型（就像乐团）虽然能画出很美的画面，但在生成视频时经常有两个问题：

第一帧不够稳：视频刚开始的画面（第一帧）有时候会模糊或变形。
中间有“接缝”：因为视频太长，AI 是分段（像切蛋糕一样）生成的。在每一段的连接处，画面经常会出现突兀的跳变，比如一个人的衣服颜色突然变了，或者物体突然“瞬移”了。这就像乐团在换乐章时，指挥没给好信号，导致乐器突然走调。

2. 核心发现：寻找“超级信号” (Massive Activations)

研究人员在检查 AI 模型内部的大脑活动（激活值）时，发现了一个有趣的现象：“超级信号” (Massive Activations, MAs)。

什么是超级信号？
想象乐团里有几千个乐手。大部分时候，大家的声音都很平稳。但偶尔，会有极少数几个乐手突然发出极其响亮、巨大的声音（比平均水平高出 50 倍！）。这就是“超级信号”。
它们藏在哪里？
研究人员发现，这些“超级信号”不是随机乱叫的，它们有严格的纪律：
1. 第一乐章（第一帧）最响：视频第一帧对应的乐手，声音最大。这说明模型潜意识里知道“开头最重要，要定好基调”。
2. 段落交界处有“哨音”：在每一段视频（Latent Frame）的开头和结尾，这些信号会再次出现一个高峰。这就像乐团在换段落时，指挥会敲一下鼓，提醒大家“注意，要换下一段了，要衔接好”。

之前的研究只把这些信号当作噪音或用来加速计算，而这篇论文发现：这些信号其实是模型自己用来“自我导航”的宝贵路标！

3. 解决方案：STAS (结构化激活引导)

既然模型自己知道哪里重要（第一帧和段落交界处），那我们就顺着它的意，帮它一把。

STAS 就像是一个“智能扩音器”：

它做什么？ 在视频生成的早期阶段，当模型正在“思考”时，STAS 会悄悄地把那些第一帧和段落交界处的“超级信号”音量再调大一点。
它怎么做？ 它不需要重新训练模型，也不需要多跑一遍程序。它只是在模型输出的那一瞬间，像调音师一样，轻轻推大几个特定旋钮。
效果如何？
- 开头更稳：第一帧的画面更清晰、更准确。
- 衔接更顺：段落之间的“接缝”消失了，画面过渡像丝绸一样顺滑，不再有突兀的跳变。

4. 打个比方：修路

想象 AI 生成视频是在修一条长长的公路：

普通 AI：修路时，起点（第一帧）可能有点歪，而且每修一段路（Latent Frame）停下来休息再开工时，两段路的接口处经常对不齐，导致车子开过去会颠簸。
STAS 方法：就像给修路队发了一张**“重点标记图”**。
- 告诉工人：“起点（第一帧）一定要修得特别直、特别结实！”
- 告诉工人：“每段路的接口处（边界），要特别用力把沥青压实，确保无缝连接！”
- 结果：路修得又快又好，车子开上去平稳顺滑。

5. 为什么这个方法很厉害？

免费且快速：它不需要你花几天几夜去训练新模型，也不需要你买更贵的显卡。它只是给现有的模型加了一个“小插件”，计算量几乎可以忽略不计（不到 0.1% 的额外时间）。
通用性强：不管是大模型还是小模型，不管是什么架构，只要用了这个“扩音器”，视频质量都会提升。
兼容性好：它可以和其他现有的优化方法一起用，效果叠加。

总结

这篇论文的核心思想就是：不要试图去教 AI 重新学习，而是去“读懂”它大脑里那些被忽略的“超级信号”，并顺势推它一把。

通过放大这些关键的“路标信号”，STAS 让 AI 生成的视频在开头更清晰、过程更连贯，就像给视频加了一层隐形的“防抖滤镜”，让画面看起来更加专业和自然。

1. 研究背景与问题 (Problem)

随着视频生成模型从 U-Net 架构向 扩散 Transformer (DiT) 架构的演进，模型的生成能力和扩展性得到了显著提升。然而，现有的视频生成方法在提升视频质量和时间一致性（Temporal Coherence）方面仍面临挑战：

现有方法的局限性：目前提升视频质量的方法通常分为三类：(i) 训练时的目标函数优化或归纳偏置；(ii) 训练后的对齐或偏好优化；(iii) 推理时的启发式方法。
成本与性能的权衡：大多数现有方法要么需要额外的训练数据和优化成本，要么在推理阶段引入辅助模型或额外的前向传播（Forward Pass），导致计算开销显著增加。
未探索的领域：如何利用模型在采样过程中内部的信号（Internal Signals），在不增加额外训练或显著计算开销的前提下提升生成质量，目前尚属空白。

2. 核心发现：视频 DiT 中的大规模激活 (Massive Activations, MAs)

作者深入分析了视频 DiT 的内部激活状态，发现了一种被称为 大规模激活 (Massive Activations, MAs) 的现象。MAs 是指在隐藏状态中，少数特征维度出现异常巨大的数值尖峰（通常超过平均激活值的 50 倍）。

在视频 DiT 中，MAs 表现出独特的结构化位置模式，这是图像 DiT 中所没有的：

首帧优先 (First-Frame Priority)：第一帧（First Frame）对应的 Token 在所有 Token 中拥有最大的 MA 幅度。这表明模型隐式地将首帧作为全局时间锚点。
周期性边界尖峰 (Periodic Boundary Spikes)：MA 幅度在潜在帧（Latent Frame）的边界 Token（即每个时间压缩块的头尾部分）处出现周期性的高峰。
- 这种模式与 VAE 的时间压缩结构（Temporal Chunking）紧密相关。
- 边界 Token 的 MA 幅度高于内部 Token，但低于首帧 Token。
随去噪过程衰减：MAs 的幅度随着去噪步数的推进而单调递减，且边界与内部 Token 的 MA 差异在去噪早期最为显著，后期逐渐消失。

实验验证：

破坏首帧的 MA 会显著降低首帧的视觉质量。
破坏所有 Token 的 MA 会导致更严重的质量下降。
仅放大首帧 Token 的 MA 能提升首帧质量，而均匀放大所有 Token 则效果不佳。
放大潜在帧边界的 MA 能显著减少跨块（Cross-chunk）的时间不连续性，提升时间一致性。

3. 方法论：结构化激活引导 (Structured Activation Steering, STAS)

基于上述发现，作者提出了 STAS，一种无需训练 (Training-free) 的自引导方法。其核心思想是在特定的 Token 位置和特定的去噪阶段，有选择地引导 MA 值。

STAS 的关键设计要素：

引导什么 (What)：仅针对被识别为 MA 的特征维度（Massive Activation Dimensions）。
引导哪里 (Where)：仅针对两类关键 Token：
1. 首帧 Token ( $\mathcal{F}_0$ )：负责全局视觉质量。
2. 潜在帧边界 Token ( $\mathcal{B}(p)$ )：每个潜在时间块的头尾 $p\%$ 的 Token，负责跨块的时间连贯性。
何时引导 (When)：仅在去噪过程的早期阶段（前 $K$ 步，即 $t \geq t_K$ ）进行，因为此时 MA 的结构化差异最明显。
如何引导 (How)：使用全局最大参考放大规则。
- 对于选定的 Token 和 MA 维度，将其激活值引导至当前层输出的全局最大幅度的缩放版本（保留符号）。
- 公式： $\hat{D}_{\theta,m,i,d} = D_{\theta,m,i,d} + \mathbb{1}[\dots] \cdot (g(i,d) - D_{\theta,m,i,d})$ ，其中 $g(i,d) = \alpha \cdot \max_j |D_{\theta,m,j,d}| \cdot \text{sign}(D_{\theta,m,i,d})$ 。

计算效率：
STAS 仅在单次前向传播中，对激活张量进行轻量级的“掩码与替换”操作。它不需要额外的模型运行或辅助分支，计算开销极低（< 0.1%）。

4. 实验结果 (Results)

作者在三个主流的视频生成模型上进行了评估：Wan2.1-1.3B, Wan2.2-5B, 和 CogVideoX-5B。

定量指标提升：
- VBench 评分：在所有模型上，STAS 均带来了总评分（Total Score）的提升。例如，Wan2.1-1.3B 的总分从 81.39 提升至 81.76。
- 时间一致性：在跨块（Cross-chunk）和块内（Within-chunk）的帧间相似度（DINO 和 CLIP）上均有提升，特别是在跨块边界处，显著减少了时间不连续现象。
- 对象 - 属性绑定：在 T2V-CompBench 上，对象属性的稳定性（Consistent-Attr）和动态演变（Dynamic-Attr）均有改善。
定性效果：
- 生成的视频在场景布局、物体身份一致性（如熊猫、汽车）和运动平滑度上表现更好。
- 有效减少了基线模型中出现的突兀物体出现（如突然出现的泰迪熊）或结构突变。
兼容性：
- STAS 可以与其他无需训练的方法（如 FlowMo, CFG-Zero）结合使用，进一步叠加性能提升。
开销：
- 推理时间几乎无增加（例如从 234.47s 增加到 234.53s）。
消融实验：
- 验证了必须针对 MA 维度而非普通维度进行引导。
- 验证了同时引导首帧和边界 Token 效果最佳。
- 验证了在去噪早期（K=20）进行引导效果最好。

5. 主要贡献 (Key Contributions)

首次系统性分析：揭示了视频 DiT 中 MAs 的结构化位置层级（首帧峰值 + 潜在帧边界尖峰），这是图像 DiT 中不存在的特性。
提出 STAS 方法：设计了一种无需训练、基于 MA 结构的引导方法，通过选择性放大关键位置的激活值，在不增加计算成本的情况下提升了视频质量。
广泛的验证：证明了 STAS 在不同架构和规模的模型上均能带来一致的提升，且可与现有方法正交互补。

6. 意义与局限性 (Significance & Limitations)

意义：

低成本高效益：STAS 提供了一种极其高效的“即插即用”方案，无需重新训练模型即可显著提升视频生成的时间连贯性和视觉质量。
理论洞察：揭示了视频生成模型内部信号（MAs）与时间结构（Temporal Structure）之间的深层联系，为理解 Diffusion Transformer 的隐式机制提供了新视角。
通用性：该方法适用于多种主流视频生成模型，具有广泛的实际应用价值。

局限性：

动态度评分下降：由于 STAS 增强了时间一致性，减少了帧间的剧烈突变，可能导致基于光流阈值的“动态度 (Dynamic Degree)"指标略有下降（尽管这在视觉上通常意味着更平滑，而非更差）。
依赖基座模型：作为一种推理时的引导方法，STAS 无法完全修复基座模型生成的严重缺陷，其上限受限于基座模型的生成能力。

总结：
这篇论文通过敏锐地观察视频 DiT 内部激活的“大规模激活”现象，发现其与时间结构的内在联系，并据此提出了一种极简但高效的引导策略 STAS。该方法以极小的计算代价，显著解决了视频生成中常见的时序不一致问题，是视频生成领域的一项重要进展。