🤖 machine learning

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

该论文提出了名为 DIG 的免训练框架，通过区分全局与局部查询类型，分别采用高效均匀采样和查询感知帧选择策略，在显著降低计算成本的同时提升了大模型对长视频的理解性能。

原作者： Jialuo Li, Bin Li, Jiahao Li, Yan Lu

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Jialuo Li, Bin Li, Jiahao Li, Yan Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 DIG 的新方法，旨在解决大模型（LMMs）在处理超长视频时遇到的“消化不良”问题。

为了让你轻松理解，我们可以把看视频比作吃一顿大餐，把AI 模型比作一位胃口有限但知识渊博的食客。

1. 核心难题：胃口有限，视频太长

现在的 AI 模型（食客）虽然很聪明，但它的“胃口”（上下文长度）是有限的。

现状：面对一个长达几小时的视频（比如一部电影或纪录片），如果把每一帧画面（每一道菜）都塞给 AI 吃，它根本吃不消，要么直接“撑死”（报错），要么因为吃太多垃圾信息而“消化不良”（答非所问）。
旧方法：以前的做法是“均匀采样”，就像不管视频讲什么，每隔 10 分钟就夹一口菜给 AI 吃。
- 问题：如果视频前 10 分钟在讲风景，后 10 分钟在讲关键剧情，而你的问题是“主角最后说了什么？”，均匀采样可能会漏掉关键剧情，或者塞给你一堆无关的风景菜。

2. 论文的重大发现：问题分两种，吃法也要分两种

作者发现，并不是所有问题都需要“精挑细选”。他们把问题分成了两类：

第一类：全局问题 (Global Query)
- 例子：“这部电影的主题是什么？”、“视频里主要讲了什么故事？”
- 比喻：这就像问食客“这顿饭整体是什么风味？”。这时候，均匀采样（每隔一段夹一口）反而最有效！因为你需要尝遍整桌菜，才能知道整体味道。这时候搞复杂的“挑菜”反而浪费时间和力气，效果还不好。
第二类：局部问题 (Localized Query)
- 例子：“那个穿红衣服的人在第几分钟摔倒了？”、“主角最后手里拿的是什么？”
- 比喻：这就像问食客“那道红烧肉在哪？”。这时候，如果你还均匀地乱夹，很可能夹了一堆青菜（无关画面），却漏掉了红烧肉（关键信息）。这种情况下，必须精准挑菜，只把关键的那几口给 AI 吃。

以前的误区：大家以前觉得，为了回答所有问题，都必须搞一套复杂的“智能挑菜”系统，结果导致计算成本极高，而且对“全局问题”来说纯属多余。

3. 解决方案：DIG (Divide, then Ground)

作者提出了 DIG 框架，它的核心思想是：先分类，再行动。

第一步：智能分类 (Divide)

在开始处理视频前，先让一个“大管家”（一个强大的语言模型）看一眼你的问题：

如果是“全局问题”，管家说：“别费劲了，直接均匀夹菜吧！”（高效、省钱）。
如果是“局部问题”，管家说：“好，启动‘精准挑菜’模式！”（虽然费点劲，但值得）。

第二步：精准挑菜 (Ground)

一旦确认为“局部问题”，DIG 会执行一套特殊的流程：

内容自适应筛选 (CAFS)：它不看时间，而是看画面内容。比如，画面从“森林”突然变成“城市”，或者“猫”变成了“狗”，它就知道这里有重要转折，把这种关键帧（r-frames）挑出来。这就像在长视频里快速扫描，只保留场景变化的节点。
AI 打分 (Reward Assignment)：挑出来的这些关键帧，再交给 AI 模型自己打分：“这张图对回答问题有帮助吗？”
- 如果有帮助，保留。
- 如果没帮助，扔掉。
视频精炼：把高分的关键帧及其周围的一小段视频（为了保留上下文连贯性）拼接起来，形成一个新的、精简版的“小视频”。
最终进食：最后，再从这个“小视频”里均匀采样，喂给 AI 模型。

4. 效果如何？

更聪明：在三个著名的长视频测试基准上，DIG 的表现都超过了现有的所有方法。
更稳健：即使把输入的视频帧数从 8 帧增加到 256 帧（相当于把菜量加倍），其他方法可能会因为“吃撑了”而表现下降，但 DIG 依然能保持甚至提升准确率。
更省钱：因为它对简单问题（全局问题）不瞎折腾，只在必要时才动用复杂算力，所以整体效率很高。

总结

这篇论文就像给 AI 配了一位聪明的点菜员：

如果你问的是整体感受，点菜员就按固定菜单上菜，简单快捷。
如果你问的是具体细节，点菜员就化身美食侦探，在几千道菜里精准找出你最爱的那几道，剔除所有干扰项。

这种方法让 AI 在处理长视频时，既不会“撑死”，也不会“漏掉关键信息”，真正实现了按需分配，物尽其用。

论文技术总结：DIvide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

1. 研究背景与问题 (Problem)

随着大型多模态模型（LMMs）在视觉理解领域的快速发展，将其应用于长视频理解（Long-Form Video Understanding）成为重要方向。然而，当前面临两大核心挑战：

上下文长度限制与计算成本：LMM 的上下文窗口有限，且视频包含海量 Token。直接输入所有帧在计算上是不可行的。
现有采样方法的局限性：
- 均匀采样（Uniform Sampling）：虽然计算高效且覆盖时间轴，但它是“查询无关”的。对于需要定位特定细节的查询，均匀采样会引入大量无关帧（噪声），导致性能下降；而对于全局理解类查询，增加帧数往往收益递减。
- 查询感知采样（Query-Aware Sampling）：现有方法尝试根据查询选择关键帧，但通常涉及复杂的搜索机制，计算开销巨大，且往往假设所有查询类型都需要这种复杂机制，缺乏针对性。

核心问题：是否所有类型的视频查询都需要复杂的查询感知帧选择机制？如何平衡长视频理解中的效率与性能？

2. 核心洞察与方法 (Methodology)

作者提出了 DIG (Divide, then Ground) 框架，这是一个**无需训练（Training-free）**的帧选择框架。其核心思想是：根据查询类型动态调整采样策略。

2.1 查询类型分类 (Query Typology)

通过实验分析，作者发现 LMM 在不同查询类型下的表现存在显著差异，并将查询分为两类：

全局查询 (Global Query, GQ)：需要理解视频的整体内容、主题或总结（例如：“视频的主题是什么？”）。此类查询受益于广泛的时间覆盖，均匀采样已能提供稳健且高效的性能。
局部查询 (Localized Query, LQ)：针对视频中特定的时间片段、事件或实体（例如：“海绵宝宝是怎么走路的？”）。此类查询对无关帧非常敏感，均匀采样会导致性能随帧数增加而下降，必须使用查询感知的选择机制。

2.2 DIG 框架流程

DIG 根据分类结果采取不同的处理路径：

查询识别 (Query Identification)：
- 利用一个强大的 LLM（如 Qwen3）自动将用户查询分类为“全局”或“局部”。
- 若为全局查询：直接对全视频进行均匀采样，输入 LMM 进行推理。
- 若为局部查询：进入多阶段精化管道。
局部查询处理管道：
- 内容自适应帧选择 (CAFS, Content-Adaptive Frame Selection)：
  - 利用 DINOv2 提取帧特征，计算相邻帧的余弦距离。
  - 检测距离序列中的显著峰值（代表场景切换或内容突变），以此作为分割点。
  - 在每个语义一致的片段中选取中间帧作为代表性帧 (r-frames)。这比固定速率采样更能捕捉关键语义内容。
- 奖励分配 (Reward Assignment)：
  - 利用 LMM 本身对选出的 r-frames 进行评分（0-100 分）。
  - 评分标准包括：(1) 该帧对回答问题的直接有用性；(2) 该帧是否暗示相邻帧包含补充信息。
  - 相比传统的 CLIPScore，LMM 能提供更深层的语义推理和上下文理解。
- 视频精化 (Video Refinement)：
  - 基于奖励分数，通过迭代阈值筛选出高相关性的 r-frames。
  - 将选中的 r-frames 对应的原始视频片段（考虑时间窗口 $w_{len}$ ）合并，构建一个精化后的视频 (Refined Video)。
  - 最后，从精化后的视频中均匀采样最终输入帧给 LMM。

3. 主要贡献 (Key Contributions)

提出了查询类型分类理论：首次系统性地验证了帧选择策略的有效性高度依赖于查询类型（全局 vs. 局部），打破了“所有查询都需要复杂搜索”的假设。
设计了 DIG 框架：提出了一种无需训练的自适应框架。对全局查询采用高效的均匀采样，对局部查询采用“内容自适应选择 + LMM 奖励评分 + 视频精化”的专用管道。
实现了性能与效率的双重突破：
- 在三个长视频基准（MLVU, LongVideoBench, VideoMME）上，DIG consistently 优于现有基线（如 AKS, Q-Frame, 均匀采样）。
- 即使在输入帧数扩展到 256 帧 甚至 768 帧 的极端情况下，DIG 仍能保持性能提升，而许多现有方法在帧数增加时性能会退化。
- 通过仅对局部查询进行复杂处理，显著降低了整体计算成本。

4. 实验结果 (Results)

基准测试表现：
- 在 MLVU、LongVideoBench 和 VideoMME 上，DIG 在 8 到 256 帧的广泛设置下均取得了最佳性能。
- 例如，在 Qwen2.5-VL-7B 模型上，使用 32 帧时，DIG 在 MLVU 上比均匀采样提升了 7.68%，在 LongVideoBench 上提升了 4.51%。
- 在扩展至 256 帧时，DIG 依然保持优势，而 AKS 和 Q-Frame 等基线方法在某些设置下甚至不如均匀采样。
查询类型分析：
- 实验证实，对于全局查询，均匀采样与 DIG 的复杂管道性能相当甚至更优（因为避免了搜索开销）。
- 对于局部查询，DIG 的管道显著优于均匀采样，证明了针对性选择的重要性。
效率分析：
- 通过查询识别模块，DIG 在混合查询类型的数据集（如 VideoMME）上节省了约 19.9% 的帧选择时间，同时保持了高精度。
- 与 AKS 相比，DIG 的计算开销降低了数量级，同时性能更优。

5. 意义与影响 (Significance)

重新定义长视频理解策略：该工作指出，解决长视频理解问题不应盲目追求更复杂的搜索机制，而应首先理解任务的本质（查询类型）。这种“分而治之”（Divide, then Ground）的思路为后续研究提供了新的范式。
高效且可扩展：DIG 无需训练，即插即用，且能随着输入帧数的增加（从 8 到 768）持续保持性能提升，解决了长视频理解中“信息过载”与“关键信息缺失”的矛盾。
推动 LMM 能力边界：通过提供高质量的查询相关上下文，DIG 充分释放了现有 LMM 的推理潜力，特别是在需要细粒度视觉感知和局部定位的任务上。

总结：DIG 通过识别查询类型并动态调整采样策略，巧妙地平衡了长视频理解中的计算效率与推理精度，证明了“合适的策略比复杂的策略更重要”，为构建高效、可扩展的多模态视频理解系统提供了强有力的解决方案。