🤖 machine learning

Towards Sparse Video Understanding and Reasoning

本文介绍了 \revise，一种用于视频问答的多轮智能体，它通过选择稀疏的信息帧、维护摘要状态以及采用提前停止机制来提高效率和准确性，并结合了用于强化微调的 EAGER 无标注奖励机制。

原作者： Chenwei Xu, Zhen Ye, Shang Wu, Weijian Li, Zihan Wang, Zhuofan Xia, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Han Liu

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenwei Xu, Zhen Ye, Shang Wu, Weijian Li, Zihan Wang, Zhuofan Xia, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Han Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图破解一个谜团，但你得到的不是单一的线索，而是一段 2 小时的监控录像。如果你看完整个过程，你的大脑会感到疲劳，你会因为无聊的部分（比如墙壁静止不动了 10 分钟）而感到不知所措，并且你可能会错过嫌疑人真正做出动作的那一秒钟。

这就是 REVISE 为计算机解决的问题。

问题所在：视频太多，脑力不足

目前的 AI 模型在观看视频时通常会采取两种方式之一：

“盲目扫描”： 它们均匀地抽取帧（图片），比如每隔 5 秒拍一张照片。这种方式效率很低，因为其中 90% 的照片可能都是完全一样的，这浪费了 AI 的时间和内存。
“信息过载”： 它们试图一次性处理整个视频，这会让 AI 感到困惑，并导致它错过重要的细节。

论文指出，视频具有“稀疏性”。这意味着只有极少数的帧才真正包含问题的答案，其余部分都只是噪音。

解决方案：REVISE（聪明的侦探）

作者创建了一个名为 REVISE（基于视频稀疏性的推理）的系统。你可以把 REVISE 不仅仅看作是一个视频播放器，而是一个被允许索要特定线索的聪明侦探。

它是这样工作的，这里使用了一个简单的类比：

1. “摘要即状态”（侦探的笔记本）

与其让 AI 尝试记住它见过的每一帧（这几乎是不可能的），REVISE 强制要求 AI 维护一个运行中的笔记本。

旧方法： AI 试图把整个视频都装进脑子里。
REVISE 的方法： 在看了几帧之后，AI 会在笔记本上写下一段简短的摘要：“我看到乔治正在看货架。他看起来很好奇。我仍然不知道他发现了什么。”
神奇之处： 在下一轮中，AI 不再重看之前的视频，它只是阅读自己的笔记本。这保持了“上下文”的精简和清晰，防止 AI 被信息淹没。

2. 多轮对话（索要线索）

REVISE 不会立即做出猜测。它在与视频玩一场“二十个问题”的游戏：

第一轮： 它观察 3 帧随机的画面。它在笔记本上写道：“乔治正在看货架。我不确定原因。”
第二轮： 根据这条笔记，它问道：“请给我看第 3、5 和 6 帧。” 它观察了这些新帧，并在笔记本上更新道：“啊，他拿起了一个罐子。他看起来很高兴。”
第三轮： 它可能会决定：“我已经有足够的证据了，” 然后停止。或者它可能会要求看一帧特定的画面。

这就像一个侦探，他只在需要特定时刻的时候才打电话给警察请求查看，而不是盯着整段录像一直看。

3. “提前停止”的超能力

大多数系统要么观看整个视频，要么观看固定数量的帧。REVISE 则足够自信，能够说出：“我现在知道答案了，” 并及时停止。这节省了大量的计算时间和计算机资源。

“EAGER” 奖励（训练侦探）

为了教会 AI 变得如此聪明，作者发明了一种新的训练方法，叫做 EAGER。你可以把它看作是一个奖励 AI 高效表现的视频游戏评分系统：

置信度提升： 如果 AI 观察了一个新帧后，突然对答案变得更加确定，它就会获得分数。
摘要充分性： 如果 AI 仅凭其笔记本（而不重新阅读原始视频）就能正确回答问题，它就会获得分数。
正确且提前停止： 如果 AI 能快速（在更少的轮次内）得到正确答案，它会获得额外奖励。

他们发现了什么？

论文在许多视频测试（例如“视频中发生了什么？”或“那个人为什么那样做？”）中测试了该系统。

即插即用： 他们可以将 REVISE 与现有的强大 AI 模型（如 GPT-4o）配合使用，而无需改变这些模型的“大脑”。它就像一个智能接口一样包裹在模型周围。
结果： REVISE 在使用更少帧数的情况下，取得了比其他方法更好的成绩。
- 其他方法可能会观察 50 帧以上。
- REVISE 通常只需不到 10 帧（有时甚至只需 3 或 4 帧）就能解决问题。
效率： 因为它观察的帧数更少且能提前停止，所以它更快，占用的计算机内存也更少。

核心结论

REVISE 教会了 AI 不要只是“观看”整个视频，而是要“调查”视频。通过保持一份精简、有序的总结，并只请求它需要来填补空白的特定帧，它解决了视频问答问题，比那些试图吞下整个视频的系统更快速、更便宜、也更准确。

论文中提到的局限性：

它仍然依赖于底层 AI 良好的“视觉”能力。如果基础 AI 的视觉能力很差，REVISE 也无法修复这一点。
由于它必须逐个询问帧（就像打电话一样）而不是一次性下载整个视频，因此运行时间会稍长一些。
它观察的是完整的帧，而不是帧内的特定微小区域（例如人的手部）。

技术摘要：REVISE（基于视频稀疏性的推理）

问题陈述

通过视觉语言模型（VLMs）进行视频理解面临着源于视频数据高维性和时间冗余性的两个主要挑战：

信息过载 (L1)： 从长视频中均匀采样帧会引入显著的时间冗余，从而使模型的上下文窗口不堪重负，阻碍了推理效率和准确性。
关键信息感知不足 (L2)： 如果无法识别不同尺度下的语义显著帧，模型往往会错过对于准确推理至关重要的线索，因为只有极小一部分帧与特定问题相关。

现有方法要么将帧转换为文本（丢失了细粒度的视觉细节），要么统一地整合视觉输入（未能过滤冗余）。本文认为，有效的视频推理需要语义稀疏性：即仅选择回答查询所必需的帧，同时保持已积累证据的连贯状态。

方法论：REVISE

作者提出了 REVISE（Reasoning with Video Sparsity，基于视频稀疏性的推理），这是一个旨在解决视频问答（VQA）问题的多轮智能体框架。REVISE 作为现有 VLM 的“即插即用”封装器运行，无需对专有模型进行参数更新，并支持对开源模型的强化微调。

核心架构

REVISE 将视频理解重新定义为一个迭代的、问题感知的帧选择问题。它在最多 $T$ 轮内运行，并设有严格的 Token 预算 $K$ 。该过程包含三个关键组件：

多轮控制器 (Multi-Round Controller)：
- 智能体在离散的轮次中与视频进行交互。
- 在每一轮 $t$ $t$ 中，给定当前的提示词 $p_t$ $p_{t}$ 、之前的摘要状态 $z_{t-1}$ $z_{t - 1}$ 以及当前可见的帧 $F_t$ $F_{t}$ ，智能体做出选择：
  - SELECT（选择）： 请求一小批新帧 ( $Q_t$ ) 以减少不确定性。
  - ANSWER（回答）： 终止过程并输出最终答案。
- 智能体在积累了足够证据后会提前停止，而不是处理固定数量的帧。
结构化“摘要即状态” (Structured Summary-as-State)：
- 智能体不是重新处理原始对话历史或所有先前看到的帧，而是维护一个跨轮次传递的紧凑、持久的状态 $z_t$ 。
- 该状态被明确划分为五个字段：
  - $P$ (Previously seen，已见内容)： 已检查帧的摘要。
  - $O$ (Observations，观察结果)： 当前轮次中观察到的证据。
  - $H$ (Hypothesis updates，假设更新)： 观察结果如何更新当前的信念（但不输出最终答案）。
  - $U$ (Uncertainties，不确定性)： 列举剩余的未知项。
  - $R$ (Reasons，理由)： 下一次帧选择或决定回答的理由。
- 这种设计模仿了循环神经网络（如 LSTM）中的隐藏状态，仅携带任务关键信息，以减少上下文过载并正则化推理过程。
即插即用与强化微调 (Plug-and-Play & Reinforcement Fine-Tuning)：
- 即插即用： 对于专有 VLM（如 GPT-4o），REVISE 通过 API 外部编排交互，无需修改模型权重。
- 强化微调 (RFT)： 对于开源 VLM，作者引入了 EAGER（用于高效推理的证据调整增益），这是一种无标注的奖励函数，通过组相对策略优化（GRPO）来优化策略。EAGER 由三个部分组成：
  - 置信度增益 (Confidence Gain)： 奖励在添加新帧后，正确答案与最强替代选项之间的对数几率（log-odds）边际值的增加。
  - 摘要充分性 (Summary Sufficiency)： 如果仅使用最终提交的摘要即可恢复正确答案，则奖励模型。
  - 正确且提前停止 (Correct-and-Early Stop)： 奖励在较小的轮次预算内给出正确答案。

核心贡献

方法论框架： 引入了 REVISE，这是一个通过交互式、问题感知的帧选择和结构化“摘要即状态”来解决信息过载和关键信息感知问题的创新框架。
高效的奖励设计： 提出了 EAGER，一种密集的、无标注的奖励信号，使 VLM 符合高效的、由摘要驱动的推理逻辑，从而实现开源模型有效的强化微调。
可扩展的稀疏推理： 证明了通过“稀疏”的帧集合（通常为个位数）而非密集采样，可以实现高质量的视频推理，从而显著降低 Token 使用量和计算成本。

实验结果

作者在多个基准测试（VideoEspresso, NExT-QA, EgoSchema）上评估了 REVISE，使用了专有（GPT-4o）和开源（Qwen2-VL, InternVL2）作为骨干网络。

即插即用性能：
- REVISE 在使用远少于帧的情况下，显著提高了相对于基线均匀采样或基于标题方法的准确率。
- 在 VideoEspresso 上，GPT-4o + REVISE 实现了 48.9% 的准确率（高于 26.4%），且每段视频平均仅使用 7.99 帧，在 14 个细粒度类别中有 13 个类优于先前的系统。
- 在 EgoSchema 上，GPT-4o + REVISE 以 9.8 帧实现了 60.6% 的准确率，处于与 VideoAgent 类似的低预算机制下，但无需依赖外部标题生成器。
- 在 NExT-QA 上，该方法以 8.4 帧实现了 63.8% 的准确率，在输入量减少 3–4 倍的情况下超越了 LVNet 并匹配了 SeViLA。
强化微调 (RFT)：
- 当应用于开源模型（Qwen2.5-VL-3B）时，结合 EAGER 的 RFT 进一步提升了性能。
- 在 VideoEspresso 上，RFT 实现了 27.8% 的准确率，仅需 4.1 帧和 1.37 轮，超过了即插即用推理（20.1%）和监督格式微调（21.3%）。
- 在 NExT-QA 上，RFT 达到了 51.3% 的准确率（比即插即用提升了约 20 个百分点），同时将帧数减少到 3.9 帧，轮次减少到 1.32 轮，相比即插即用基线有效地将推理时间减半。
消融实验：
- 移除状态传递（摘要即状态）导致准确率大幅下降（-18.34%）并使计算成本翻倍。
- 移除结构化字段（信念/不确定性/理由）会导致性能显著下降并增加运行时间。
- 准确率-帧数帕累托前沿（Pareto frontier）显示，允许更多轮次能在保持低帧预算的同时持续提高准确率，验证了提前停止机制的有效性。

重要性与主张

论文声称 REVISE 提供了实用且可扩展的稀疏视频推理。通过从均匀采样转向迭代式的、基于状态的筛选过程，REVISE 证明了：

效率： 高准确度的视频理解可以通过“稀疏”的帧集实现，从而大幅降低 Token 成本和延迟。
鲁棒性： “摘要即状态”机制有效地缓解了信息过载，并在不重新处理原始数据的情况下保持了跨轮次的推理连贯性。
泛化性： 该框架是模型无关的，既可以作为专有模型的即插即用解决方案，也可以作为开源模型的可训练智能体。

作者承认存在局限性，包括对骨干 VLM 视觉保真度的依赖、多轮 API 调用带来的交互延迟，以及目前侧重于全帧选择而非空间区域的选择。未来的工作建议探索自适应空间裁剪和开放式生成任务。