Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models
本文介绍了视频主动感知（VAP），这是一种无需训练的方法，它利用主动感知理论和轻量级文本条件视频生成模型来动态选择关键帧，从而在无需额外训练的情况下显著提升大型视觉语言模型在长视频问答任务中的效率与推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图通过观看一段 30 分钟的安全监控视频来解开一个谜团。你的目标是回答一个具体问题，例如“那个人偷了钱包吗？”
旧方法： exhaustive 观看
目前，最智能的 AI“侦探”（称为视觉 - 语言模型）试图通过以稳定的速度逐帧观看整个视频来解开谜团。这就像雇佣一名警卫去观看录像带的每一秒，即使什么也没发生。
- 问题所在： 这极其缓慢且昂贵。这就像为了找到某一句特定的话，而阅读一本 500 页的书中的每一个字。通常，AI 会被所有无聊的部分（人们走动、静态背景）压得喘不过气，并因为太疲惫或视频太长而错过关键瞬间。
新想法：视频主动感知 (VAP)
卡内基梅隆大学和麻省理工学院的研究人员提出了一种更聪明的策略，称为视频主动感知 (VAP)。他们并没有教 AI 观看更多的内容，而是教它不同地观看。
将 VAP 想象成一位拥有预期水晶球的侦探。
水晶球（“先验知识”）：
在观看完整视频之前，AI 利用一个“水晶球”（一个轻量级视频生成模型），仅根据几帧起始画面和问题，来预测接下来应该发生什么。- 类比： 想象你看到一个人拿着网球拍和球。你的“水晶球”预测他们很可能会击球、奔跑或发球。它构建了一部关于预期内容的心理电影。
“意外”检测器：
现在，AI 观看真实视频。它不断将真实画面与其“水晶球”预测进行比较。- 如果那个人只是站在那里什么都不做，真实画面就与预测相符。AI 会想：“无聊，我不需要保存这个。”
- 但如果那个人突然把球扔向窗户（这是水晶球未预测到的），AI 就会收到一个“意外！”信号。
- 神奇之处： AI 意识到：“这一刻与我预期的不同！这是我回答问题所需的关键信息。”
选择：
AI 不是保存整个视频，而是只抓取现实与预测产生分歧的特定帧。它跳过无聊的部分，完全专注于“意外”或“有信息量”的时刻。
为何这意义重大
该论文声称，这种方法之所以是一场变革，原因有二：
- 它快得多（效率）： 通过只查看“意外”帧，AI 可以使用比标准方法少 5.6 倍的帧数来回答问题。这就像通过只阅读书中最重要的 10 页而不是全部 500 页来解开谜团。
- 它更聪明（有效性）： 因为它专注于真正重要的时刻（即“意外”），所以它能更准确地回答问题，特别是对于那些需要理解因果关系或时间顺序的棘手问题。
结果
研究人员在几个视频测验（如 EgoSchema 和 NExT-QA）上测试了这种“意外检测器”。他们发现 VAP：
- 取得了比那些以旧方式观看视频的顶级 AI 模型（如 GPT-4o 和 Gemini）更好的分数。
- 在仅使用一小部分计算能力的情况下做到了这一点。
- 无需在新数据上重新训练即可工作；它只是在“思考”阶段使用了一个巧妙的技巧。
简而言之
与其盲目地观看整部电影，视频主动感知要求 AI 想象应该发生什么，然后只关注那些打破剧本的视频部分。这使得 AI 更快、更便宜，并且在解决视频谜题方面出奇地更出色。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。