💻 computer science

V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models

本文提出了 V-CAST，一种无需训练且即插即用的视频大语言模型剪枝策略，通过基于曲率的时空分配机制解决长上下文推理中的冗余令牌问题，在显著降低显存与延迟的同时保持了接近原始模型的性能。

原作者： Xinying Lin, Xuyang Liu, Yiyu Wang, Teng Ma, Wenqi Ren

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinying Lin, Xuyang Liu, Yiyu Wang, Teng Ma, Wenqi Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 V-CAST 的新方法，旨在让大型视频人工智能模型（VideoLLMs）在处理超长视频时，既看得更准，又跑得更快、更省内存。

为了让你轻松理解，我们可以把视频理解模型想象成一个正在备考的“超级学霸”，而视频就是他的复习资料。

1. 现在的痛点：学霸被“题海战术”淹没了

问题：现在的视频很长，每一秒都有成千上万个“视觉碎片”（Token）。如果让学霸把视频里每一帧的每一个碎片都背下来，他的大脑（显存）会爆炸，复习时间（推理速度）也会慢到无法接受。
现有方法的缺陷：
- 均匀分配法：就像不管视频里是“静止的风景”还是“激烈的打斗”，都平均分配复习时间。结果：关键瞬间（如进球、爆炸）被稀释了，学霸记不住重点。
- 分段切割法：把视频切成几段，每段里平均分配。结果：在场景切换的“过渡地带”，学霸容易断片，导致故事线不连贯。
- 合并压缩法：把几个碎片强行捏成一个。结果：这就像把“时间、地点、人物”的坐标搞混了，学霸虽然记住了大概，但搞不清事情发生的顺序和位置（论文中提到的 MRoPE 坐标对齐问题）。

2. V-CAST 的解决方案：聪明的“剪辑师”

V-CAST 就像一位懂心理学的顶级剪辑师，它不盲目删减，而是根据视频的“剧情起伏”来分配精力。它主要做了两件事：

第一招：捕捉“剧情转折点”（曲率感知时间分配）

比喻：想象你在看一部电影。
- 当画面是静止的（比如主角在发呆），剧情没有变化，这叫“低曲率”。剪辑师会想：“这部分太无聊了，少给点复习时间，甚至直接跳过。”
- 当画面突然发生剧烈变化（比如主角突然转身、物体爆炸、场景切换），这叫“高曲率”（Curvature）。剪辑师会想：“这里很重要！必须多给点时间，把细节看清楚！”
做法：V-CAST 会计算视频语义的“转弯”程度。它把宝贵的“复习名额”（Token 预算）集中分配给那些剧情突变、事件发生的关键帧，而不是均匀地撒胡椒面。

第二招：只留“最精彩的特写”（双锚点空间选择）

比喻：在每一帧画面里，也有成千上万个像素点。
- 背景：比如蓝天、草地，这些通常很重复，不需要全记。
- 主角：比如主角的脸、手里的武器、地上的血迹。
做法：V-CAST 使用“双锚点”策略来挑选画面里的重点：
1. 多样性锚点：找那些和周围背景“格格不入”的物体（比如蓝天里的鸟）。
2. 活跃度锚点：找那些“能量最强”、最显眼的部分。
关键优势：它直接挑选现有的碎片，而不是把它们捏合在一起。这就像学霸直接圈出课本上的重点句子，而不是把整段话抄下来再缩写。这样，它完美保留了“时间、空间、位置”的对应关系，不会搞错坐标。

3. 效果如何？（学霸的逆袭）

更准：在四个长视频测试题中，V-CAST 比第二名多拿了 1.5 分。它保留了 98.2% 的原始理解能力，几乎没损失。
更快更省：
- 内存占用：只用了原来 86.7% 的内存（省下了不少“大脑空间”）。
- 速度：推理速度提升了，总耗时减少了。
兼容性：它不需要重新训练模型（Plug-and-play），就像给现有的学霸装了一个“智能复习插件”，直接就能用。

总结

V-CAST 的核心思想就是：不要试图记住视频里的每一粒灰尘，而是要记住故事转折的关键瞬间和画面中最核心的特写。

它通过智能分配时间（抓重点时刻）和精准挑选空间（抓核心物体），让 AI 在处理长视频时，既不会因为信息过载而“死机”，也不会因为删减过度而“变傻”。这就好比给 AI 配了一个最懂行的私人剪辑师，让它能高效地看完几百集电视剧，并精准回答关于剧情的问题。

这是一篇关于视频大语言模型（VideoLLM）高效推理的论文总结，标题为 V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models（V-CAST：面向高效视频大语言模型的曲率感知时空剪枝）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着视频大语言模型（VideoLLM）在处理长视频理解任务上的能力增强，长上下文推理成为了主要的计算和内存瓶颈。

核心痛点：视频包含大量连续的帧，导致视觉 Token 数量巨大。在预填充（Prefill）阶段，自注意力机制的二次方复杂度使得推理延迟和显存占用极高。
现有方法的局限性：
1. 时空信息覆盖不连续：现有的压缩方法（如基于场景分割或均匀分配预算）往往导致关键动作或事件边界的信息丢失。例如，均匀分配无法在关键瞬间增加 Token 预算；基于全局独特性的方法可能过度集中在少数帧，而忽略了过渡段。
2. 时空信息错位（Misalignment）：许多先进模型（如 Qwen3-VL）使用 MRoPE（多模态旋转位置编码）将视觉 Token 绑定到离散的 $(t, h, w)$ 坐标。现有的**Token 合并（Merging）**方法（如平均池化）会将多个 Token 合并为一个，导致合并后的 Token 偏离原始网格坐标，破坏了与 MRoPE 的位置对应关系，从而严重损害模型性能。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 V-CAST，一种无需训练（Training-free）、即插即用（Plug-and-play）的 Token 剪枝框架。其核心思想是将 Token 压缩视为视频时空轨迹的近似问题。

V-CAST 包含两个关键组件：

A. 曲率引导的时序分配 (Curvature-Guided Temporal Allocation)

目标：在固定的 Token 预算下，决定每一帧应该分配多少 Token。
原理：
1. 将每一帧的视觉特征聚合为一个语义向量，并归一化到超球面上。
2. 将时间序列上的这些向量连接成一条语义轨迹。
3. 计算轨迹的曲率（Curvature）：通过计算相邻帧向量方向的变化率（ $\kappa_t = 1 - \cos(\mathbf{v}_{in}, \mathbf{v}_{out})$ ）来衡量语义变化的剧烈程度。
4. 分配策略：高曲率意味着语义发生剧烈转变（如动作爆发、场景切换、关键事件），因此分配更多的 Token 预算；平滑段则分配较少预算。
5. 通过熵正则化优化问题，确保预算分配既集中在关键帧，又保持一定的平滑性，避免过度集中。

B. 双锚点空间 Token 选择 (Dual-Anchor Spatial Token Selection)

目标：在每一帧内部，根据分配的预算选择保留哪些空间 Token。
原理：为了保留多样化的视觉证据并维持位置对齐，提出了一种双锚点评分机制：
1. 上下文多样性锚点 (Contextual Diversity Anchor)：计算 Token 与帧平均语义向量的余弦距离。保留那些偏离全局背景、具有独特性的区域（如主体、交互区域）。
2. 特征激活锚点 (Feature Activation Anchor)：利用 Token 特征的 $L_2$ 范数作为显著性指标，保留激活强度高的区域。
3. 剪枝操作：综合上述两个分数，选取 Top- $k$ 个 Token。关键点：V-CAST 直接保留选中的原始 Token，不进行合并。这确保了所有保留的 Token 依然位于原始的 $(t, h, w)$ 网格上，完美适配 MRoPE 的位置编码。

3. 主要贡献 (Key Contributions)

重新审视时空覆盖：指出了现有 VideoLLM 压缩方法中“时空信息覆盖不连续”和“合并导致的坐标错位”是两个核心失败模式。
提出 V-CAST 框架：
- 首次将视频压缩建模为基于时空曲率的轨迹近似问题。
- 设计了曲率引导的时序分配，动态将预算分配给语义转折点和事件边界。
- 设计了双锚点空间选择，在保留多样性和显著性的同时，严格保持 Token 的原始坐标以适配 MRoPE。
SOTA 性能与效率：在多个 VideoLLM 架构（Qwen3-VL, LLaVA-OV, LLaVA-Video）和不同规模（8B, 32B, MoE 模型）上验证了有效性，实现了精度与效率的最佳平衡。

4. 实验结果 (Results)

实验在 MVBench, LongVideoBench, MLVU, VideoMME 等多个基准上进行：

长视频性能提升：
- 在 256 帧的长视频设置下，V-CAST 在四个基准上比第二名高出 +1.5 分。
- 在 128 帧设置下，平均比第二名高出 +1.9 分。
- 在 Qwen3-VL-8B 上，仅保留 25% Token 时，保留了 98.2% 的原始性能（比第二名高 1.9%）。
推理效率：
- 显存优化：峰值显存占用降至原始模型的 86.7%。
- 延迟优化：总推理延迟降至原始模型的 86.4%。
- 兼容性：由于采用剪枝而非合并，V-CAST 完全兼容 FlashAttention，而基于合并的方法（如 FlashVID）在长视频下常因显存溢出（OOM）或无法利用 FlashAttention 而失败。
通用性：
- 在 Qwen3-VL-32B 和 MoE 架构（Qwen3-VL-30B-A3B）上均表现优异，甚至在 64 帧输入下，其他模型（包括基线）出现 OOM 时，V-CAST 仍能稳定运行。
- 不仅适用于 MRoPE 模型，在标准 RoPE 的 LLaVA 系列上也取得了 SOTA 效果。

5. 意义与总结 (Significance)

V-CAST 解决了 VideoLLM 在长视频推理中的核心矛盾：如何在极度压缩 Token 数量的同时，不丢失关键的时空信息且不破坏位置编码的几何结构。

理论价值：揭示了 MRoPE 架构下 Token 合并的致命缺陷，证明了“剪枝优于合并”在特定位置编码下的必要性。
应用价值：提供了一种无需微调、即插即用的解决方案，显著降低了长视频理解的硬件门槛（显存和延迟），使得在消费级或中等规模 GPU 上部署长视频大模型成为可能。
未来方向：其“曲率引导的预算分配”思想具有通用性，实验表明将其集成到其他压缩方法（如 VisionZip, VidCom2）中也能显著提升性能，可作为通用的时序分配策略。

简而言之，V-CAST 通过**“看哪里变化大就分配更多资源（时序）”以及“保留原位置的高价值信息（空间）”**，实现了视频大模型的高效、精准推理。