Contribution-aware Token Compression for Efficient Video Understanding via Reinforcement Learning

本文提出了一种名为 CaCoVID 的基于强化学习的视频理解新框架，通过优化策略网络主动选择对预测贡献最大的视频令牌组合，从而有效解决现有注意力分数导向的压缩方法中令牌贡献度不明确的问题，显著提升了视频大语言模型的推理效率。

要点

这篇文章介绍了一种名为 CaCoVID 的新方法，旨在让 AI 看懂视频时变得更聪明、更快速。

想象一下，你正在看一部长达两小时的电影，但你的大脑（也就是 AI 模型）只能同时记住很少的画面。如果它试图把每一帧画面都塞进脑子里，不仅会累得喘不过气（计算量太大），而且因为信息太多，反而容易抓不住重点。

以前的方法就像是一个**“死板的图书管理员”**：

• 按“音量”选书： 以前的 AI 会看哪些画面在“大声喊叫”（注意力分数高），就保留哪些。
• 按“多样性”选书： 或者试图保留画面最丰富、最不一样的部分。
• 问题： 有时候，那些“大声喊叫”的画面（比如背景里的路人）其实对回答问题毫无帮助，而真正关键的细节（比如主角手里拿的苹果）却可能因为声音小而被忽略。这就好比为了回答“主角穿了什么颜色的衣服”，AI 却把主角的脸和衣服都删掉了，只保留了背景里的树。

CaCoVID 做了什么？
它引入了一个**“聪明的侦探”（基于强化学习），这个侦探不靠死板的规则，而是靠“实战演练”**来学习。

我们可以用三个生动的比喻来理解它的核心创新：

1. 从“被动筛选”到“主动寻宝”

• 旧方法： 就像在沙滩上捡贝壳，不管贝壳好不好看，只要海浪（注意力机制）把它推过来，就捡起来。
• CaCoVID： 就像是一个带着任务清单的寻宝猎人。
  • 如果问题是“那个男人穿了什么？”，寻宝猎人会直接忽略大海、天空和路人，只死死盯着那个男人的衣服。
  • 它通过不断尝试（强化学习），问自己：“如果我保留这一帧，能答对吗？如果保留那一帧，能答对吗？”最终，它学会了一套**“贡献度评分”**，只保留那些对回答问题最有用的画面碎片。

2. 解决“大海捞针”的难题：在线组合空间采样 (OCSS)

这是论文中最硬核的技术部分，但我们可以这样理解：

• 难题： 一部视频有几千个画面碎片（Token）。如果让 AI 随机尝试保留哪 100 个，组合的数量是天文数字（比宇宙中的沙子还多）。AI 如果盲目尝试，永远学不会，就像让你在一座巨大的迷宫里随机乱跑，想找到出口几乎不可能。
• CaCoVID 的妙招： 它把迷宫分成了**“小区块”**。
  • 它先给所有画面碎片打个分（贡献度）。
  • 然后，它不会把高分和低分的碎片混在一起随机试。相反，它把**“分数差不多”**的碎片归为一组。
  • 比喻： 想象你在选足球队。你不会把“世界级球星”和“刚学会踢球的小孩”混在一起随机选人。CaCoVID 会先选出“球星组”、“替补组”、“新手组”，然后重点在“球星组”里尝试不同的搭配。
  • 效果： 这大大缩小了搜索范围，让 AI 能迅速找到最佳组合，就像在迷宫里有了地图，不再盲目乱撞。

3. 动态调整策略：越难越努力

• 智能调节： 这个系统很“机灵”。
  • 如果它发现某个问题太简单（不看视频也能猜对），它就不浪费时间去研究这个视频了（过滤无效样本）。
  • 如果它发现某个问题很难，它会自动增加“尝试次数”或调整保留画面的比例，直到找到最佳方案。
  • 这就像学生做题，简单的题一眼扫过，难的题多花点时间反复琢磨。

总结：它带来了什么好处？

1. 更快（省资源）： 它把视频数据压缩了 75% 甚至更多（只保留 25% 的关键信息），但推理速度却快了很多。就像把一部 2 小时的电影压缩成 30 分钟的精华版，但核心剧情一点没丢。
2. 更准（效果好）： 在多个视频理解测试中，它的表现超过了目前最先进的其他方法。因为它保留的是**“真正有用”**的信息，而不是“看起来热闹”的信息。
3. 不伤原模型： 它不需要重新训练那个庞大的 AI 模型（就像不需要给大脑做手术），只是加了一个小小的“过滤器”插件，就能让旧模型焕发新生。

一句话总结：
CaCoVID 就像给 AI 装上了一副**“智能眼镜”**，让它在看视频时，能自动忽略无关的背景噪音，只把最关键的细节（比如衣服颜色、动作、物体）聚焦在视野中心，从而用更少的精力，更准确地回答问题。

技术摘要

1. 研究背景与问题 (Problem)

背景：
视频大语言模型（Video LLMs）在视频理解任务中表现卓越，但视频数据的高冗余性导致了巨大的计算开销。视频通常被编码为大量的 Token（例如，32 帧视频可能产生数千个 Token），而 Transformer 架构中的自注意力机制具有 $O(n^2)$ 的复杂度，导致推理成本极高，限制了实际部署。

现有方法的局限性：
现有的 Token 压缩方法主要分为两类：

1. 基于内容的压缩 (Content-based)： 旨在保留内容的多样性或时空结构（如 DivPrune, TopV）。这类方法通常是查询无关 (query-agnostic) 的，可能会剪除对回答特定问题至关重要的 Token。
2. 基于模型的压缩 (Model-based)： 旨在最小化推理扰动，通常根据注意力分数（Attention Scores）剪除低分 Token（如 FastV, PyramidDrop）。
   • 核心痛点： 论文通过实验（Figure 1）指出，注意力分数与 Token 对正确答案的实际贡献度之间缺乏明确的相关性。高注意力分数的 Token 未必是回答问题所需的关键信息（例如，视觉注意力下沉现象），而关键区域（如问题中提到的“衣服”）可能被忽略。这导致现有的被动剪除策略无法保证最优的压缩效果。

核心挑战：
如何主动探索并选择对正确预测贡献最大的 Token 组合？

• 主动选择难： 现有方法缺乏让 LLM 主动参与 Token 选择的过程。
• 搜索空间爆炸： 视频 Token 数量 $n$ 通常很大（>1000），Token 组合的搜索空间高达 $2^n$。传统的强化学习（RL）采样策略在这种巨大的组合空间中难以收敛，且极易发散。

---

2. 方法论 (Methodology)

作者提出了 CaCoVID (Contribution-aware token Compression algorithm for VIDeo understanding)，这是一个基于强化学习的框架，旨在通过主动探索 Token 组合来优化压缩策略。

2.1 核心组件：压缩策略网络 (Compression Policy Network)

• 架构： 包含一个自注意力机制（Self-Attention）和两个多层感知机（MLP）。
• 输入： 视频 Token ($X_{vid}$) 和问题 Token ($X_{qst}$)。
• 机制：
  1. 利用自注意力机制建立视频 Token 与问题 Token 之间的跨模态交互，生成“问题感知”的视频 Token。
  2. 通过 MLP 预测每个视频 Token 和每一帧的贡献分数（Contribution Scores）。
  3. 输出两个维度的 Logits，分别表示保留或丢弃该 Token/帧的可能性。
• 目标： 网络学习直接估计哪些 Token 对回答当前问题最有帮助，而不是依赖预训练的注意力分数。

2.2 核心算法：组合策略优化 (Combinatorial Policy Optimization, CPO)

为了解决 $2^n$ 的搜索空间问题，作者设计了一种在线组合空间采样 (Online Combinatorial Space Sampling, OCSS) 策略：

1. 子空间划分： 根据策略网络估计的贡献分数，将所有 Token 排序并划分为 $l$ 个组合子空间。每个子空间包含贡献分数相似的 Token。
2. 两阶段采样：
   • 阶段一（子空间选择）： 根据各子空间内 Token 的总贡献分数，使用分类分布（Categorical Distribution）选择一个子空间。这确保了采样集中在高潜力区域，而非盲目随机。
   • 阶段二（子空间内采样）： 在选定的子空间内，使用多项式分布（Multinomial Distribution）采样具体的 Token 组合。
3. 优势： 这种策略将巨大的组合搜索空间限制在具有相似贡献度的局部区域内，显著降低了无效探索，加速了策略收敛。

2.3 训练流程与数据探索效率

• 奖励机制： 使用 LLM 的预测结果与标准答案的匹配度作为奖励（Reward）。如果压缩后的 Token 组合能产生正确答案，则给予正向奖励。
• 组优势函数 (Group Advantage)： 采用类似 PPO 的算法，计算组内样本的相对优势来优化策略网络。
• 提升数据效率的三项策略：
  1. 无效样本过滤 (ISF)： 剔除那些即使不看视频也能猜对答案的简单样本（盲测过滤），避免策略网络学习错误信号。
  2. 经验回放 (Experience Replay)： 对每个训练样本进行多次迭代采样，增加探索机会。
  3. 动态采样率 (Dynamic Sample Ratio)： 根据上一轮的平均奖励动态调整采样比例。如果奖励过高（样本太简单），降低采样率以挖掘更难的组合；反之则增加采样率。

---

3. 主要贡献 (Key Contributions)

1. 首个基于 RL 的贡献感知压缩算法： 提出了 CaCoVID，这是第一个直接通过估计 Token 对正确预测的贡献度来排序和剪除视频 Token 的强化学习框架，而非依赖注意力分数或手工设计的指标。
2. 创新的组合策略优化算法 (CPO + OCSS)： 提出了带有在线组合空间采样 (OCSS) 的组合策略优化算法。该方法通过划分子空间，将指数级的搜索空间复杂度降低，解决了大规模视频 Token 组合探索中的收敛难题。
3. SOTA 性能与高效性： 在多个视频理解基准测试中，CaCoVID 在显著降低 Token 数量（保留率低至 10%-25%）的同时，实现了优于现有最先进方法（SOTA）的准确率，并大幅降低了压缩延迟。

---

4. 实验结果 (Results)

• 基准测试： 在 LongVideoBench, MLVU, VideoMME 等主流视频理解基准上进行了评估。
• 对比模型： 对比了 FastV, VisionZip, DivPrune, PruneVID, FrameFusion 等 SOTA 方法。
• 性能表现 (以 LLaVA-OneVision-7B 为例)：
  • 在 25% 保留率下，CaCoVID 的平均准确率 (Avg. Acc.) 达到 55.8%，优于 FastV (52.3%) 和 VisionZip (54.6%)。
  • 在 10% 保留率的极端压缩下，CaCoVID 仍能保持 54.2% 的准确率，远超其他方法（如 FastV 仅为 46.1%）。
  • 在 Qwen2.5-VL-3B 模型上同样取得了最佳性能。
• 效率分析：
  • 压缩时间： CaCoVID 的压缩时间仅为 11.2ms (LLaVA-OneVision)，远快于 DivPrune (134.3ms) 和 PruneVID (34.1ms)。
  • 原因： 策略网络可以并行估计所有 Token 的贡献，且无需像某些方法那样进行多轮迭代或复杂的聚类计算。

---

5. 意义与影响 (Significance)

1. 范式转变： 将视频 Token 压缩从“被动保留（基于注意力或内容多样性）”转变为“主动发现（基于对答案的贡献）”。这解决了注意力分数与任务相关性不一致的根本问题。
2. 框架无关性： CaCoVID 是一个即插即用的模块，不需要重新训练庞大的 LLM 主干网络，只需训练一个轻量级的策略网络，极大地降低了部署成本。
3. 解决组合爆炸难题： 提出的 OCSS 策略为处理高维组合优化问题（如 Token 选择、特征选择）提供了新的思路，证明了通过结构化采样可以有效解决强化学习中的探索空间过大问题。
4. 实际应用价值： 显著降低了视频推理的显存占用和计算延迟，使得在资源受限的设备上部署高性能视频大模型成为可能。

总结： CaCoVID 通过引入强化学习和创新的采样策略，成功实现了“少即是多”的视频理解压缩，在保证甚至提升模型精度的同时，大幅提升了推理效率，是视频大模型高效推理领域的重要突破。