💻 computer science

SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer

该论文提出了 SALAD 方法，通过引入轻量级线性注意力分支并采用多级静态 - 动态缩放策略，在仅需极少训练资源的情况下实现了高达 90% 的稀疏度和 1.52-2.03 倍的推理加速，同时保持了与全注意力基线相当的生成质量。

原作者： Tongcheng Fang, Hanling Zhang, Ruiqi Xie, Zhuo Han, Xin Tao, Tianchen Zhao, Pengfei Wan, Wenbo Ding, Wanli Ouyang, Xuefei Ning, Yu Wang

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tongcheng Fang, Hanling Zhang, Ruiqi Xie, Zhuo Han, Xin Tao, Tianchen Zhao, Pengfei Wan, Wenbo Ding, Wanli Ouyang, Xuefei Ning, Yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SALAD（听起来像“沙拉”）的新方法，旨在解决视频生成 AI 模型（特别是 Diffusion Transformer）在生成长视频或高清视频时遇到的“算不动、太慢”的问题。

为了让你轻松理解，我们可以把生成视频的过程想象成指挥一个庞大的交响乐团演奏一首复杂的交响曲。

1. 核心难题：乐团太大了，指挥累垮了

背景：现在的视频生成 AI 非常强大，能画出很逼真的视频。但是，视频是由成千上万个“画面帧”组成的，每一个画面又由很多“像素点”组成。在 AI 眼里，这就变成了超长的序列（比如 3 万个音符）。
问题：传统的 AI 模型（Full Attention）在生成视频时，要求每一个音符都要和所有其他音符“打招呼”并互相交流，才能决定下一个音符怎么响。
- 比喻：想象一个 1 万人的合唱团，每个人都要和另外 9999 个人同时对话。这不仅累死人，而且计算量是平方级增长的（ $N^2$ ）。随着视频变长，这种“全员交流”会让电脑瞬间卡死，生成速度极慢。

2. 现有的笨办法：只让邻居说话（稀疏注意力）

为了解决这个问题，以前的方法（Sparse Attention）想出了一个招：“只让邻居说话”。

比喻：指挥告诉乐手：“你只需要和你左右两边的 10 个人交流，不用管全团。”
效果：速度确实快了，因为交流的人少了。
副作用：视频质量下降了。因为有些重要的信息（比如视频开头出现的“一只金毛犬”，在视频结尾时还需要记得它）距离太远，邻居之间传话传不到，导致 AI 忘了上下文。结果就是：视频里狗突然变成了两只，或者背景乱变，文字描述和画面对不上。

3. 之前的尝试：给乐团加个“低配版”指挥（LoRA 微调）

有人尝试用一种叫 LoRA 的技术，试图在“只让邻居说话”的基础上，通过微调让 AI 自己学会怎么补全丢失的信息。

比喻：这就像给乐团加了一个“低配版”的副指挥，试图通过微调来弥补信息缺失。
结果：效果一般。虽然比不微调好，但视频里还是会出现“两只狗”或者“画面崩坏”的怪事。因为光靠微调，很难在极度简化的交流规则下，完美找回那些丢失的“全局信息”。

4. SALAD 的绝招：主副双轨制 + 智能音量调节

SALAD 提出了一套全新的方案，它的核心思想是：“既要快，又要记得住”。它做了两件事：

A. 引入“全局广播”通道（线性注意力分支）

SALAD 在“只让邻居说话”的主通道旁边，并联了一个轻量级的“全局广播”通道。

比喻：
- 主通道（稀疏注意力）：乐手们依然只和邻居小声交流，保证速度极快（省算力）。
- 副通道（线性注意力）：有一个低成本的扩音器，负责把全团的关键信息（比如“那是只狗”）简单、快速地广播给所有人。
- 关键点：这个副通道计算量很小（线性复杂度），不会拖慢整体速度。

B. 智能音量调节器（多级静态 - 动态缩放策略）

这是 SALAD 最聪明的地方。作者发现，如果那个“全局广播”声音太大，会盖过“邻居交流”的声音，导致视频乱套；如果声音太小，又起不到作用。

比喻：SALAD 设计了一个智能调音台：
- 静态调节：在不同的乐器组（模型的不同层），预先设定好广播的音量大小。
- 动态调节：根据当前演奏到了哪个小节（视频生成的哪个时间点），实时调整音量。
- 效果：在需要记住全局信息的时候（比如画面刚开始），广播声音大一点；在只需要细节的时候，广播声音小一点。它确保副通道永远只是“辅助”，不会喧宾夺主。

5. 最终成果：既快又美

速度：SALAD 能让视频生成速度提升 1.5 到 2 倍，同时减少了 90% 的计算量（就像把 1 万人的对话减少到只和邻居聊，但关键信息没丢）。
质量：生成的视频质量几乎和“全员交流”的慢速模型一样好，没有“两只狗”或“画面崩坏”的问题。
省钱：训练这个模型非常高效，只需要 2000 个视频样本 和 不到 30 小时的 GPU 时间（相比之下，其他方法可能需要几十万视频和几百小时）。

总结

SALAD 就像是一个聪明的乐团指挥：
它让乐手们主要只和邻居交流（为了快），但同时安排了一个聪明的扩音器（线性分支）在关键时刻广播全局信息（为了准）。而且，它有一个智能调音台，确保扩音器的声音恰到好处，既不会盖过乐手，也不会被忽略。

最终，它用极低的成本，实现了**“又快又好”**的视频生成，让 AI 画长视频不再卡顿。

SALAD 论文技术总结

1. 研究背景与问题 (Problem)

背景：
Diffusion Transformers (DiT) 在视频生成领域展现了卓越的性能。然而，随着视频序列长度（分辨率和时长）的增加，标准的全注意力机制 (Full Attention) 因其 $O(N^2)$ 的计算复杂度，导致了巨大的推理延迟和显存开销。

现有挑战：
为了解决这一问题，研究者提出了多种稀疏注意力 (Sparse Attention) 机制。然而，现有方法面临两难困境：

免训练 (Training-free) 方法： 虽然无需额外训练，但通常只能实现中等程度的稀疏度（如 40%-60%），加速效果有限，且难以在极高稀疏度下保持生成质量。
基于训练 (Training-based) 方法： 虽然能达到更高的稀疏度（80%-95%），但通常需要海量的数据（如 Koala-36M 数据集）和巨大的计算资源进行从头训练或微调，成本高昂。
LoRA 微调的局限性： 尝试使用 LoRA 对稀疏注意力模型进行微调以恢复性能时，发现即使在中等稀疏度下，生成的视频仍会出现明显的伪影（如物体重复、文本与画面不一致、时序不连贯）。这是因为稀疏注意力限制了跨 Token 的交互，导致长程依赖信息丢失，而单纯的 LoRA 难以在极端稀疏下完全补偿这种信息损失。

2. 核心方法论 (Methodology)

作者提出了 SALAD (High-Sparsity Attention paralleling with Linear Attention for Diffusion Transformer)，一种高效的注意力架构。其核心思想是在稀疏注意力分支旁，并行引入一个轻量级的线性注意力 (Linear Attention) 分支，并通过多级缩放策略平衡两者。

2.1 架构设计

并行双分支结构：
- 稀疏分支 (Sparse Branch)： 负责序列的主要建模，承担大部分计算任务，保持高稀疏度以获取效率。
- 线性分支 (Linear Branch)： 采用基于 ReLU 的线性注意力机制（ $O(N)$ 复杂度），负责捕捉全局 Token 交互，补偿稀疏分支丢失的关键跨 Token 信息。
- 参数共享： 两个分支共享 Query (Q), Key (K), Value (V) 的投影矩阵，仅线性分支引入少量额外参数（约 4.99%）。

2.2 关键创新：多级静态 - 动态缩放策略 (Multi-level Static-Dynamic Scaling Strategy)

研究发现，直接相加稀疏和线性分支的输出会导致秩不平衡 (Rank Imbalance)：线性分支输出秩较低，若不加控制，会抑制稀疏分支的高秩信息，导致整体性能下降。为此，SALAD 设计了精细的缩放机制：

层间静态缩放 (Layer-wise Static Scaling, LWSS)：
- 在稀疏分支输出后，引入一个零初始化 (Zero-initialized) 的可学习投影层，对线性分支的输出进行初步降权。
- 零初始化确保训练初期模型主要依赖稀疏分支，随着训练进行，线性分支逐渐融入，保证训练稳定性。
输入 - 时间步感知动态缩放 (Input-Timestep-Aware Dynamic Scaling, ITADS)：
- 设计了一个轻量级模块，根据当前的去噪时间步 ( $t$ ) 和隐藏状态，动态生成全局缩放因子 $s$ 。
- 使用 Sigmoid 激活函数将 $s$ 限制在 $(0, 1)$ 之间，确保线性分支始终作为辅助角色，仅在需要时注入全局信息。
- 该机制使得模型能自适应不同输入和去噪阶段的需求。

2.3 后训练分支剪枝 (Post-tuning Branch Dropping)

基于动态缩放因子，作者提出在推理阶段可以动态丢弃缩放值极低的线性分支。
实验表明，丢弃部分贡献极小的分支不仅能进一步减少计算量，甚至能轻微提升生成质量（因为某些层在特定时间步可能更适合纯稀疏注意力）。

3. 主要贡献 (Key Contributions)

提出 SALAD 架构： 一种专为视频扩散 Transformer 设计的高效注意力模块，通过并行线性分支解决超稀疏注意力下的信息丢失问题。
多级缩放策略： 首次提出结合静态投影和动态感知的缩放策略，有效解决了稀疏与线性分支间的秩不平衡问题，使线性分支成为互补而非干扰。
极高的微调效率：
- 仅需 2,000 个视频样本（Mixkit 数据集）。
- 训练步数少于 1,600 步。
- 总训练成本不超过 30 GPU 小时 (Batch Size 8)。
- 相比其他需要大规模数据集和数百 GPU 小时的方法，成本极低。
性能突破： 在保持生成质量与全注意力模型相当甚至更优的情况下，实现了 90% 的稀疏度。

4. 实验结果 (Results)

在 Wan2.1-1.3B 和 Wan2.1-14B 模型上进行了广泛实验：

效率提升：
- 在 30k Token 序列长度下，实现 1.72× 的端到端推理加速。
- 在 100k Token 序列长度下，实现 2.03× 的加速。
- 在 Wan2.1-14B 上，结合分支剪枝可实现 1.59× 加速。
生成质量 (VBench 指标)：
- 在 90% 稀疏度 下，SALAD 在主体一致性 (SC)、背景一致性 (BC)、图像质量 (IQ) 和文本一致性 (TC) 上均超越或持平全注意力基线。
- 相比之下，仅使用 LoRA 微调的稀疏模型在 90% 稀疏度下质量显著下降，且无法解决物体重复等伪影问题。
参数效率：
- SALAD 的可训练参数量（约 165M）少于 LoRA (r=256, 189M)，但性能更优，证明了其设计的有效性而非单纯依赖参数量增加。

5. 意义与价值 (Significance)

打破效率与质量的权衡： SALAD 证明了通过巧妙的架构设计（稀疏 + 线性混合）和高效的微调策略，可以在大幅降低计算成本（高稀疏度）的同时，不牺牲甚至提升视频生成质量。
降低应用门槛： 极低的训练成本（仅需 2k 样本和 30 GPU 小时）使得在大规模视频生成模型上部署高效注意力机制变得可行，无需依赖昂贵的海量数据预训练。
通用性： 该方法不仅适用于滑动窗口等静态稀疏注意力，也适用于 Top-K 等动态稀疏注意力，具有广泛的适用性。
理论洞察： 论文深入分析了稀疏与线性分支间的秩不平衡和子空间重叠问题，提出的缩放策略为未来混合注意力机制的设计提供了重要的理论指导。

总结： SALAD 通过引入轻量级线性分支辅助超稀疏注意力，并配合创新的动态缩放机制，成功解决了视频扩散模型在长序列生成中的效率瓶颈，为高效、高质量的视频生成提供了一条极具潜力的技术路径。