QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification

本文提出了 QuantSparse 框架，通过多尺度显著注意力蒸馏和基于二阶残差重参数化的稀疏注意力机制，有效解决了视频扩散 Transformer 在联合应用模型量化与注意力稀疏化时的性能退化问题，在显著降低存储与推理成本的同时大幅提升了生成质量。

要点

这篇论文介绍了一个名为 QuantSparse 的新方法，它的目标是让现在的“视频生成 AI"（比如能根据文字画视频的模型）变得更快、更省内存，同时还能保持画得好看。

为了让你更容易理解，我们可以把生成视频的过程想象成指挥一个庞大的交响乐团演奏一首复杂的交响乐。

1. 现在的困境：乐团太庞大，指挥累垮了

目前的顶级视频生成模型（比如 HunyuanVideo 或 Wan2.1）就像是一个拥有14000 名乐手的超级乐团。

• 问题：要指挥这个乐团，你需要巨大的排练厅（显存/内存）和极长的排练时间（推理延迟）。普通人的电脑根本带不动，甚至很多专业显卡也吃不消。
• 现状：为了省钱省时间，人们尝试过两种办法：
  1. 量化（Quantization）：让乐手们把乐器换成“简化版”（比如把高精度的钢琴换成电子琴），这样乐器变小了，但声音可能会走调（画质下降）。
  2. 稀疏化（Sparsification）：让乐团里大部分乐手闭嘴，只留少数几个关键乐手演奏（只计算重要的注意力），这样速度快了，但音乐可能变得断断续续，缺乏连贯性（画面崩坏）。

最大的痛点：如果你把这两种方法简单粗暴地混在一起用（既换简化乐器，又让大部分人闭嘴），乐团就会彻底乱套，音乐变得完全无法听（视频质量严重下降）。这就好比让一个已经换了电子琴的乐手，还被要求只弹几个音符，他根本没法还原原本的旋律。

2. QuantSparse 的解决方案：聪明的“双管齐下”

QuantSparse 就像是一位天才指挥家，它发现单纯混用不行，于是设计了一套组合拳，把“换乐器”和“减人手”完美融合，甚至让乐团在变小后，声音比原来还稳。

它主要用了两个“独门秘籍”：

秘籍一：多尺度“重点关照”蒸馏 (Multi-Scale Salient Attention Distillation)

• 比喻：想象你在教一个学生（量化后的模型）模仿大师（原始模型）的演奏。
  • 传统做法：让学生盯着整张乐谱（所有数据）看，但这太费脑子了，而且学生记不住。
  • QuantSparse 的做法：
    1. 全局视角：先给学生看一张缩略图（下采样），让他掌握整首曲子的大结构（哪里是高潮，哪里是铺垫）。
    2. 局部特写：然后，只挑出乐谱里最关键的几个小节（那些最响亮的音符，即“显著 Token"），让学生死记硬背，确保细节不丢。
• 效果：学生既懂了大局，又抓住了重点，即使乐器简化了、人手减少了，他也能完美还原大师的演奏风格，不会走调。

秘籍二：二阶“记忆修正”重参数化 (Second-Order Sparse Attention Reparameterization)

• 比喻：视频生成是一个连续的过程，就像乐手们要连续演奏几十秒。
  • 问题：因为减了人手（稀疏化），乐手们偶尔会漏掉几个音符。如果只记“上一秒漏了什么”（一阶残差），在简化乐器（量化）的干扰下，这个记忆会很快出错，导致后面的演奏越来越乱。
  • QuantSparse 的做法：它发现，虽然“漏掉的音符”在变，但“漏音符的规律"（二阶残差）是非常稳定的。就像乐手们虽然偶尔手滑，但他们手滑的节奏和模式是固定的。
  • 操作：它把这个稳定的规律提取出来（就像用数学工具 SVD 把噪音过滤掉，只留核心旋律），存进一个小本本（缓存）里。在演奏过程中，它一边演奏简化版，一边偷偷把这个“稳定规律”加回去。
• 效果：就像给乐团装了一个智能纠错耳机，实时修补因为减人手和换乐器带来的小瑕疵，让最终的音乐听起来和原版几乎一模一样。

3. 成果：小身材，大能量

通过这套方法，QuantSparse 取得了惊人的效果（以 140 亿参数的模型为例）：

• 体积：模型占用的存储空间缩小了 3.8 倍（相当于把 100GB 的电影压缩到 26GB）。
• 速度：生成视频的速度提升了 1.74 倍（以前要跑 1 小时，现在只要 30 多分钟）。
• 画质：最关键的是，画质几乎没有损失！甚至在某些指标上，比原来的“完整版”还要好一点点（因为它去掉了噪音，只保留了精华）。

总结

这就好比：
以前你想看一部 4K 高清大片，必须用昂贵的家庭影院（大显存、长时间）。
现在，QuantSparse 就像是一个超级智能的流媒体压缩技术，它把电影文件压缩得极小，播放速度极快，但当你用普通电视看时，画面依然清晰流畅，甚至因为去掉了多余的噪点，看起来更舒服。

这项技术让普通人也能在自己的电脑上运行顶级的视频生成 AI，让“视频生成”从实验室的奢侈品变成了大家都能用的日常工具。

技术摘要

这是一篇关于QuantSparse的论文详细技术总结，该论文发表于 ICLR 2026。QuantSparse 是一个统一的框架，旨在通过结合模型量化（Model Quantization）和注意力稀疏化（Attention Sparsification），在大幅降低视频扩散 Transformer（Video Diffusion Transformer, DiT）的计算和存储成本的同时，保持极高的生成质量。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：基于扩散 Transformer（DiT）的视频生成模型（如 Wan2.1-14B, HunyuanVideo-13B）展现出卓越的生成能力，但其巨大的计算和内存需求严重阻碍了实际部署。生成一个高分辨率视频片段往往需要超过 20GB 的显存和近一小时的时间。
• 现有挑战：
  • 单一压缩技术的局限性：模型量化（Quantization）和注意力稀疏化（Sparsification）是两种主流的压缩加速方向。然而，单独使用其中一种技术时，若进行激进的压缩（如低比特量化或高稀疏度），会导致严重的性能下降。
  • ** naive 结合的失效**：将量化和稀疏化简单结合（Naive Integration）会导致性能急剧恶化。
  • 核心痛点：放大的注意力偏移（Amplified Attention Shift）。论文指出，稀疏化移除了低权重的注意力连接，而量化会在剩余的注意力计算中引入系统性噪声（扰动）。这两种效应相互叠加，导致注意力分布发生剧烈偏移，破坏了视频生成中细粒度的依赖关系建模，从而造成视频质量崩塌。

2. 方法论 (Methodology)

为了解决上述“放大的注意力偏移”问题，QuantSparse 提出了两个核心技术模块，形成一个统一的校准与推理流程：

A. 多尺度显著注意力蒸馏 (Multi-Scale Salient Attention Distillation, MSAD)

目标：在校准阶段（Calibration），通过蒸馏技术对齐量化模型与原始全精度（FP）模型的注意力分布，缓解量化引入的偏差。

• 全局引导 (Global Guidance)：利用视频数据的时空连续性，对 Token 序列进行下采样（平均池化），计算低分辨率的注意力图。这以极低的计算成本（$O(\tilde{L}^2)$）捕捉了全局的结构拓扑信息。
• 局部引导 (Local Guidance)：观察到视频模型中的注意力具有显著的长尾分布（即少数 Token 占据了大部分注意力权重）。MSAD 仅针对这些**显著 Token（Salient Tokens）**进行高分辨率的注意力蒸馏，保留关键的细节信息。
• 优化目标：结合量化重建误差、全局蒸馏损失和局部蒸馏损失，优化量化参数，使量化后的注意力分布尽可能接近全精度模型。

B. 二阶稀疏注意力重参数化 (Second-Order Sparse Attention Reparameterization, SSAR)

目标：在推理阶段（Inference），利用时间稳定性来恢复因稀疏化丢弃的信息，并修正量化噪声。

• 一阶残差的局限性：传统的稀疏化方法假设残差（全精度注意力 - 稀疏注意力）在时间步上是恒定的。但论文证明，在量化存在的情况下，量化噪声 $\epsilon(t)$ 会破坏这种恒定性，导致一阶残差缓存失效。
• 二阶残差的稳定性：论文发现，虽然一阶残差随时间波动，但二阶残差（即相邻时间步残差的变化量，$\Delta(t) - \Delta(t-1)$）表现出极高的时间稳定性。这是因为量化噪声在扩散过程中是一个缓慢变化的随机过程。
• SVD 投影：为了进一步降低计算开销并提取最稳定的特征，SSAR 对二阶残差进行奇异值分解（SVD），仅保留前 $r$ 个主成分进行投影。
• 推理机制：在推理时，利用缓存的二阶残差（经过 SVD 压缩）对稀疏注意力输出进行修正，从而以极小的额外开销（仅增加矩阵加法）实现接近全精度的注意力近似。

3. 主要贡献 (Key Contributions)

1. 理论分析：首次形式化分析了量化与稀疏化结合时的“放大注意力偏移”问题，揭示了两者误差叠加导致视频生成质量下降的机理。
2. 统一框架：提出了 QuantSparse，首个能无缝结合模型量化与注意力稀疏化的框架，打破了效率与性能之间的传统权衡。
3. 创新技术：
   • MSAD：通过多尺度（全局结构 + 局部显著）蒸馏，高效且鲁棒地解决了量化引起的注意力偏差。
   • SSAR：利用二阶残差的时间稳定性及 SVD 投影，实现了在稀疏化条件下对全注意力输出的高精度近似。
4. 广泛验证：在从 1.3B 到 14B 参数量的多个大规模视频生成模型（HunyuanVideo, Wan2.1）上进行了验证，证明了方法的通用性和优越性。

4. 实验结果 (Results)

实验在 HunyuanVideo-13B 和 Wan2.1-14B 等模型上进行，主要设置包括 W4A8（权重 4-bit，激活 8-bit）和 15% 的注意力密度。

• 性能表现：
  • HunyuanVideo-13B：在 W4A8 和 15% 稀疏度下，QuantSparse 达到了 20.88 PSNR，显著优于最先进的量化基线 Q-VDiT (16.85 PSNR)。其 VQA 分数达到 81.19，几乎与全精度模型（81.23）持平，甚至超过了部分全精度基线。
  • Wan2.1-14B：在相同设置下，VQA 分数达到 90.73，PSNR 达到 18.22，同样实现了“无损”甚至“超无损”的生成质量。
• 效率提升：
  • 存储压缩：模型存储减少了 3.68 倍 (Hunyuan) 和 3.80 倍 (Wan2.1)。
  • 推理加速：端到端推理速度提升了 1.88 倍 (Hunyuan) 和 1.74 倍 (Wan2.1)。
  • 显存节省：显存占用减少了约 1.3-1.5 倍。
• 对比优势：QuantSparse 在保持高质量的同时，显著优于仅量化（Quantization-only）或仅稀疏化（Sparsification-only）的方法，也优于简单结合两者的基线（如 Q-VDiT+SVG）。

5. 意义与影响 (Significance)

• 推动实际部署：QuantSparse 使得在资源受限的设备（如单张消费级或边缘端 GPU）上运行超大规模视频生成模型成为可能，大幅降低了存储和推理成本。
• 方法论突破：解决了量化与稀疏化协同工作中的核心矛盾（注意力偏移），为未来高效 Transformer 模型的压缩提供了新的范式，即“联合优化”而非“简单叠加”。
• 通用性：该方法不仅适用于视频生成，论文还展示了其在图像生成模型（Hunyuan-DiT）上的有效性，表明其作为通用 DiT 压缩框架的潜力。

总结：QuantSparse 通过巧妙的“多尺度蒸馏”和“二阶残差重参数化”设计，成功克服了激进压缩带来的质量损失，实现了视频扩散模型在存储、速度和画质上的三重突破，是视频生成领域高效推理的重要进展。