Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization

本文提出了无需训练的 Quant VideoGen 框架，通过语义感知平滑和渐进式残差量化技术，将自回归视频生成模型的 KV 缓存显存占用降低高达 7 倍，在几乎不增加延迟的情况下显著提升了长视频生成的质量与一致性。

要点

这篇论文介绍了一个名为 Quant VideoGen (QVG) 的新技术，它的核心目标是解决一个让 AI 视频生成“长不大”的难题：显存不够用。

我们可以把生成视频的过程想象成拍一部超长的电影。

1. 遇到的难题：大脑记不住那么多事

现在的 AI 视频模型（比如 LongCat-Video）在生成视频时，就像是一个正在写小说的作家。

• 以前的模式（双向注意力）： 作家写完一章，要回头把前面所有写过的章节都重新读一遍，才能写下一章。这太慢了，而且如果电影要拍一小时，作家得把几千页的草稿全背在脑子里，脑子（显存）直接爆炸。
• 现在的模式（自回归）： 作家写完一章，只保留“记忆”（KV Cache），然后基于这个记忆接着写下一章。这快多了，也能写更长的故事。
• 新问题： 随着故事越来越长，作家脑子里的“记忆”（KV Cache）也越来越大。
  • 生成 5 秒钟的视频，这个“记忆库”可能就要占用 34GB 的显存。
  • 这比很多顶级显卡（如 RTX 5090）的总内存还大！
  • 后果： 要么你的显卡根本跑不动（显存溢出），要么为了省内存，你被迫只让 AI 记住最近几秒的事。结果就是，AI 生成的视频时间一长，主角的脸就变了，场景就乱了，动作也接不上了（这就是“长程一致性”差）。

2. 解决方案：给记忆库做“压缩”

QVG 的核心思想就是：既然记不住那么多，那就把记忆“压缩”一下，用更小的空间存更多的信息。

这就好比你要把一屋子杂乱无章的旧衣服（原始数据）塞进一个小行李箱（显存）。

• 普通压缩（直接量化）： 就像把衣服胡乱塞进去。因为衣服大小不一、形状各异（数据分布不均匀），硬塞进去会压坏衣服（视频画质变差），或者根本塞不进去。
• QVG 的聪明压缩法： 它用了两个绝招。

绝招一：语义感知平滑（Semantic-Aware Smoothing）—— “先分类，再打包”

视频里的画面是有规律的。比如，一个人走路，第 1 秒和第 2 秒的脸长得差不多；左边的树和右边的树纹理也相似。

• 做法： QVG 先把这些“长得像”或“位置相邻”的记忆碎片（Token）找出来，把它们归类（就像把衣服按“上衣”、“裤子”分类）。
• 去重： 对于每一类，它只记一个“平均样貌”（质心），然后只记录每一块衣服和这个“平均样貌”的微小差别（残差）。
• 效果： 这些“微小差别”通常很小，很容易用很少的位数（比如 2 比特）来描述。这就好比把“一件红色 T 恤”记成“红色 T 恤（基准）+ 稍微偏橙一点（残差）”，后者只需要很少的空间就能存下。

绝招二：渐进式残差量化（Progressive Residual Quantization）—— “先画轮廓，再填细节”

这就好比画画。

• 第一步（粗）： 先画个大概的轮廓（粗粒度），这时候可能有点模糊，但大方向对了。
• 第二步（细）： 在轮廓的基础上，把刚才没画清楚的地方补上（细粒度残差）。
• 第三步（更细）： 继续补更细微的纹理。
• 效果： 通过这种“由粗到细”的多层打包，QVG 能把数据压缩得极小（最高压缩 7 倍），同时还能把细节一点点还原回来，保证画质几乎不损失。

3. 成果：小显卡也能跑大电影

这项技术带来了惊人的效果：

• 省空间： 把原本需要 34GB 显存的“记忆库”，压缩到了 5GB 左右。这意味着你甚至可以用一张消费级的 RTX 4090 显卡，流畅运行以前只能在顶级数据中心运行的 8B 大模型。
• 画质好： 压缩后的视频，清晰度（PSNR）依然很高，主角的脸不会变，场景不会乱。
• 速度快： 压缩和解压的过程非常快，只增加了不到 4% 的时间开销，几乎感觉不到变慢。

总结

Quant VideoGen (QVG) 就像是一个超级高效的记忆整理师。它发现视频里的记忆有很多重复和规律，于是通过“先分类去重”和“分层打包”的方法，把庞大的记忆库压缩得极小。

这让 AI 视频生成从“只能拍 5 秒短片”的瓶颈中解放出来，让在普通电脑上生成几分钟甚至更长的、高质量、剧情连贯的视频成为了可能。

技术摘要

Quant VideoGen (QVG) 技术总结

1. 研究背景与核心问题

背景：
自回归（Auto-Regressive）视频扩散模型正在成为生成高质量、长时长视频的主流范式。与双向注意力机制相比，自回归模型支持流式生成和实时交互，能够逐步输出帧，从而在直播、交互式内容控制和长程世界模型构建等场景中具有巨大潜力。

核心痛点：
尽管自回归模型在算法上具有优势，但其部署受到KV-Cache（键值缓存）显存瓶颈的严重制约：

1. 显存爆炸： 在自回归推理中，KV-Cache 随历史帧数线性增长。对于长视频生成（如 5 秒 480p 视频），KV-Cache 可能占用 30GB+ 显存，远超单张消费级显卡（如 RTX 4090/5090）的容量，导致无法部署。
2. 能力受限： 为了适应有限的显存，现有系统往往被迫截断上下文窗口（例如仅保留 20-30 帧）。这种短上下文导致模型缺乏“长期记忆”，引发长程漂移（Long-horizon Drift），表现为身份不一致、场景布局混乱和运动语义丢失。
3. 现有量化方案失效： 虽然大语言模型（LLM）中已有成熟的 KV-Cache 量化技术（如 KIVI, QuaRot），但直接迁移到视频模型会导致质量严重下降。这是因为视频模型的激活值在 Token 和通道维度上具有高度异质性（Heterogeneity）和动态范围，且存在独特的时空冗余性，而 LLM 的量化假设无法处理这些特性。

2. 方法论：Quant VideoGen (QVG)

QVG 是一个**无需训练（Training-free）**的 KV-Cache 量化框架，旨在通过利用视频特有的时空冗余性，在极低比特（如 2-bit）下实现高质量的长视频生成。其核心包含两个关键模块：

2.1 语义感知平滑 (Semantic-Aware Smoothing, SAS)

针对视频 KV-Cache 数值分布不均匀、存在离群值导致量化误差大的问题，QVG 提出：

• 基于语义的分组： 利用 K-means 聚类算法，根据 Token 在潜在空间（Latent Space）的表示相似性，将时空相邻的 Token 分组。视频内容在时间和空间上具有高度冗余，相邻帧或相邻区域的 Token 往往数值相似。
• 质心减法（Centroid Subtraction）： 计算每个组的质心（均值），并从组内原始 KV 值中减去该质心。
• 效果： 这一操作将原始分布转化为残差分布。残差值的幅度显著减小且分布更加集中（围绕 0），极大地降低了量化所需的动态范围，使得低比特量化成为可能且误差更小。

2.2 渐进式残差量化 (Progressive Residual Quantization, PRQ)

为了进一步压缩量化误差，QVG 借鉴视频编解码中的渐进式思想，提出多阶段压缩方案：

• 粗到细（Coarse-to-Fine）策略： 将量化过程分为多个阶段（Stages）。
  • 第一阶段： 对原始 KV-Cache 进行 SAS 处理并量化，保留主要结构信息。
  • 后续阶段： 对前一阶段量化后产生的残差再次进行 SAS 分组和量化。
• 迭代优化： 通过多轮迭代，逐步捕捉从全局布局到细微纹理的残差信息。
• 重建过程： 解码时，从量化后的残差开始，逐层加上对应的质心，最终重建出高精度的 KV-Cache。

2.3 算法 - 系统协同设计

• 流式质心缓存： 利用视频帧间的连续性，使用上一块的聚类结果初始化下一块的 K-means，减少 3 倍的计算开销。
• 融合内核： 在 GPU 上实现融合的反量化内核，将去量化、质心加回等操作合并，避免频繁读写全局显存，降低延迟。

3. 主要贡献

1. 首个针对视频扩散模型的 KV-Cache 量化框架： 揭示了视频模型与 LLM 在激活统计特性上的本质差异，并提出了针对性的解决方案。
2. 提出语义感知平滑与渐进式残差量化： 有效解决了视频 KV-Cache 分布异质性强、量化难的问题，实现了 2-bit 下的近无损量化。
3. 打破显存瓶颈，释放长视频生成能力： 使得在单张消费级显卡（如 RTX 4090）上运行 8B 参数量的世界模型（HY-WorldPlay）成为可能，并显著提升了长视频生成的连贯性。

4. 实验结果

QVG 在 LongCat-Video、HY-WorldPlay 和 Self-Forcing 等多个自回归视频模型上进行了评估：

• 显存压缩率： 实现了高达 7.04 倍 的 KV-Cache 压缩（例如将 34GB 压缩至约 5GB），使得 2-bit 量化成为现实。
• 生成质量：
  • 在 LongCat-Video 上，2-bit 量化（QVG）实现了 28.7 PSNR，远优于基线（KIVI 为 21.6，RTN 为 20.8）。
  • 在 HY-WorldPlay 上，2-bit 量化实现了 29.1 PSNR。
  • 在 VBench 评估指标（背景一致性、主体一致性、美学质量等）上，QVG 表现接近无损（BF16 基准），而传统量化方法在 2-bit 下质量严重崩塌。
• 长程一致性： 在长达 700 帧的生成任务中，QVG 有效抑制了长程漂移，保持了身份和场景的一致性，而基线方法在 100 帧左右即出现严重退化。
• 效率开销： 端到端推理延迟增加极低（< 4%），在 H100 上仅增加约 1.5% - 4.3% 的时间开销，证明了其实用性。

5. 意义与影响

• 部署可行性： QVG 使得在单张消费级显卡（如 RTX 4090）上运行大型视频生成模型成为可能，极大地降低了长视频生成的硬件门槛。
• 长视频生成能力： 通过允许保留更长的历史上下文（更大的 KV-Cache），解决了自回归视频生成中的“记忆短视”问题，显著提升了长视频在身份、布局和运动上的连贯性。
• 范式转变： 该工作证明了利用视频特有的时空冗余性进行系统级优化是解决视频生成瓶颈的关键路径，为未来实时、长程、交互式的视频生成应用（如世界模型、直播生成）奠定了坚实基础。

总结： Quant VideoGen 通过创新的“语义感知平滑”和“渐进式残差量化”技术，成功攻克了自回归视频生成中的显存瓶颈，在大幅降低显存占用（最高 7 倍）的同时，保持了极高的视频生成质量，是视频生成领域系统 - 算法协同优化的重要突破。