💬 NLP

Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs

本文介绍了无需微调、即插即用的解码策略稀疏到密集（StD），该策略利用快速稀疏模型推测性解码令牌并由慢速密集模型并行验证的协同机制，在无损性能的前提下将大语言模型的视频理解速度提升高达 1.94 倍。

原作者： Xuan Zhang, Cunxiao Du, Sicheng Yu, Jiawei Wu, Fengzhuo Zhang, Wei Gao, Qian Liu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuan Zhang, Cunxiao Du, Sicheng Yu, Jiawei Wu, Fengzhuo Zhang, Wei Gao, Qian Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图观看一部非常长的电影（视频），并利用一位超级智能的 AI 助手来回答关于它的问题。问题在于，这位助手虽然极其详尽，但也极其缓慢。每当它想说出一个新词时，都必须从头开始重读整部电影剧本，以确保没有遗漏任何内容。如果电影长达一小时，剧本就会非常庞大，导致助手陷入困境，让你等待许久才能得到答案。

本文介绍了一种名为**稀疏到密集（Sparse-to-Dense, STD）**的巧妙技巧，旨在让这位助手变得更快，同时不降低其智能水平。以下是其工作原理，借助几个日常类比来说明：

问题：过度准备的“学生”

将 AI 想象成一名正在参加考试的学生。目前，每写一个字，他们都会拿出整本教科书（视频数据），并阅读每一页来决定接下来写什么。这很准确，但既令人疲惫又缓慢。

洞察：“大部分书此刻并不重要”

研究人员发现了一个有趣的现象：当 AI 写作时，它实际上并不需要每次都阅读整本书。它主要关注与当前思路相关的少数特定页面或句子。这就像你在写电子邮件时，不需要重读你整个人生故事来决定接下来说什么；你只需要记住最后写的那几句话即可。

解决方案：“起草与验证”团队

作者组建了一个两人团队来加速这一过程：

快速的起草者（稀疏模型）：
想象一位敏捷、充满活力的实习生。该实习生被允许只查看教科书中最重要的页面（即“前 K 页”）。由于他们忽略了枯燥且无关的部分，因此可以非常迅速地写出一整段猜测（推测性 token）。
- 潜在问题： 由于跳过了某些页面，他们可能会犯一些错误。
谨慎的编辑（密集模型）：
这是原本那位超级智能的 AI。它会阅读整本教科书。然而，它不再一次写一个字，而是充当事实核查员。它会一次性审视实习生写出的整段猜测。
- 如果实习生写对了，编辑会说：“很好，保留它们！”然后继续前进。
- 如果实习生犯了错，编辑会修正它，并在此处停止实习生的猜测。
- 关键在于，编辑在通常只检查一个字的时间里，能够检查许多个字。

结果：“免费午餐”

论文称此为“免费午餐”，因为他们获得了巨大的速度提升（最高达1.94 倍），却未损失任何准确性。

无需训练： 他们无需教 AI 任何新内容，也无需构建一个独立的、更小的 AI 模型。他们只是改变了现有 AI读取其记忆的方式。
即插即用： 这就像将标准发动机更换为直接适配同一辆车的涡轮增压发动机。你无需重建汽车；只需打开开关即可。

这对视频为何重要

视频体积巨大。一小时长的视频对 AI 来说可能转化为超过 140,000 个“词”（token）进行处理。

旧方法： AI 每生成一个新字，都要阅读全部 140,000 个字。
新方法（STD）： 实习生通过仅查看最重要的 1,000 个词，一次性起草 9 个词。随后，编辑会迅速将这 9 个词与完整的 140,000 个词进行核对。

由于实习生通常是对的（对于单个词而言，准确率约为 95%），团队处理视频的速度要快得多，但最终答案与由那位缓慢而谨慎的 AI 单独完成的结果完全一致。

局限性

论文指出了一个物理限制：“教科书”（视频数据）仍必须适应计算机的高速内存（GPU）。如果视频太长，内存可能会填满，就像背包变得太重而无法携带一样。作者建议，未来他们可能需要将部分“书本”存储在速度较慢但容量更大的硬盘（CPU 内存）上，以处理更长的视频。

简而言之： 他们找到了一种方法，让 AI 能够“略读”视频以猜测接下来的内容，然后瞬间“双重检查”这些猜测。这使得视频理解的速度几乎提高了一倍，而无需改变 AI 的智能水平。

技术摘要：用于视频大语言模型加速的稀疏到稠密（STD）方法

问题陈述
视频大语言模型（Video-LLMs）在处理长视频序列时面临显著的推理延迟。这主要是由于自回归解码机制，即每个新 token 必须关注所有 preceding tokens。由于视频序列被表示为极长的 token 流（例如，1 小时的视频可生成超过 140,000 个视觉 token），相关的键值（KV）缓存迅速增长，造成巨大的内存带宽需求并降低吞吐量。虽然现有的解决方案如 KV 缓存压缩或量化已经存在，但它们往往在训练和推理之间引入差异，从而降低模型性能。此外，标准的投机解码（speculative decoding）方法通常需要额外的“草稿”模型，这在计算上代价高昂，且对于大型 Video-LLM 而言并不切实际。

方法论：稀疏到稠密（STD）
作者提出了一种**稀疏到稠密（STD）**方法，这是一种即插即用、无需训练的解码策略，通过利用 Video-LLMs 固有的注意力稀疏性来实现无损加速。该方法无需架构变更或微调即可运行。

核心观察：作者观察到，Video-LLMs 在解码过程中的注意力分数高度稀疏。对 Qwen2-VL-7B 等模型的实证分析表明，仅保留前 $K$ 个 KV 缓存即可为约 95% 的 token 保持原始 token 预测精度。这表明大多数注意力头对最终输出的贡献极小，且并非每一步都严格需要完整的 KV 缓存。
双模块架构：STD 利用同一组模型参数的两种不同模式：
- 稀疏模型（ $M_s$ ）：充当草稿模型。它采用前 $K$ 注意力，仅根据文本 token 到视觉 token 的注意力权重选择最相关的 KV 缓存。这极大地减少了草稿阶段的 I/O 开销。
- 稠密模型（ $M$ ）：充当验证器。它使用完整 KV 缓存（标准注意力）来验证由稀疏模型提出的 token。
解码过程：
- 给定输入序列，稀疏模型 $M_s$ 自回归地生成 $\gamma$ 个投机 token。
- 稠密模型 $M$ 使用针对完整 KV 缓存的单一 I/O 操作并行验证这 $\gamma$ 个 token。
- 验证过程识别出与稠密模型预测匹配的最长 token 前缀（ $n$ 个 token），并额外接受一个“奖励”token。
- 被接受的序列被附加到上下文中，用于下一次迭代。
KV 缓存选择：为了优化效率，前 $K$ 个视觉 KV 缓存的选择是在预填充（prefilling）阶段基于从文本 token 指向视觉 token 的平均注意力分数执行的。这避免了在解码阶段进行动态且计算密集的选择。该选择是细粒度的，随层和注意力头的不同而变化。

主要贡献

无损加速：STD 提供了一种“免费午餐”，通过在不改变输出分布或无需模型重训练的情况下加速推理。
无需额外草稿模型：与传统的投机解码不同，STD 通过将注意力机制从稠密切换为稀疏，直接使用目标模型本身作为草稿器，消除了存储单独草稿模型所需的额外 GPU 显存。
即插即用实现：该方法仅需对代码进行微小修改（约 20 行），即可将标准 Video-LLM 转换为稀疏对应版本。
理论效率：作者提供了 I/O 复杂度分析，表明如果接受率（ $\alpha$ ）相对于保留的 KV 对比率足够高，则每个 token 的平均 I/O 显著低于原生解码。

实验结果
该方法在最先进的 Video-LLMs（LLaVA-OneVision-7B 和 Qwen2-VL-7B-Instruct）上进行了评估，使用了涵盖短、中、长视频的 MLVU 和 VideoMME 基准测试。

加速比：STD 在 Qwen2-VL-7B 上实现了高达1.94 倍的墙钟时间加速，在 LLaVA-OneVision-7B 上实现了 1.72 倍加速。
准确性：该方法是无损的，在所有基准测试中保持了与原始稠密模型完全相同的准确性。
对比：STD 优于LayerSkip（因分布偏移和较低的接受率而表现不佳）和Streaming（使用流式注意力）等基线方法。例如，在 Qwen2-VL 上，STD 实现了 1.94 倍的加速，而 Streaming 为 1.61 倍，且 STD 具有更高的接受率。
超参数：消融研究表明，增加草稿长度（ $\gamma$ ）可将加速比提升至一定点（约 $\gamma=9$ ），超过该点后连续正确预测的概率会下降。同样，最优的 $K$ 值在稀疏模型的速度与草稿的准确性之间取得了平衡。

意义与主张
该论文声称，STD 为 LLM 中的高效长视频处理提供了一种实用且立即可行的解决方案。通过利用注意力稀疏性的结构特性，它实现了将标准 Video-LLM 无缝转换为高效系统，而无需牺牲准确性。作者强调，这种方法解锁了此前受高推理延迟限制的长视频序列（例如 1 小时视频）的高效处理，同时无需额外的训练或架构修改。作者指出，虽然当前方法将所有 KV 缓存存储在 GPU 显存（HBM）中，但未来的工作可以探索将其卸载到 CPU 内存，以解决更大模型的容量瓶颈问题。