💬 NLP

Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval

本文介绍了 ToolMerge，这是一种新颖的关键帧检索方法，它利用大语言模型将查询分解为具体的工具调用，并通过布尔运算符合并其结果，在 newly proposed Molmo-2 Moments 基准测试中展现了具有竞争力的性能。

原作者： Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一部长达 4 小时的电影，有人问你一个非常具体的问题，比如：“那个穿黄色夹克的人在过河之前正在做什么？”

如果你试图通过从头到尾观看整部电影来回答这个问题，那将耗费无穷无尽的时间。如果你只是随机挑选几帧画面（就像翻阅相册一样），你很可能会错过确切的那一刻。这正是该论文要解决的问题：如何在无需观看整段视频的情况下，精准定位长视频中包含答案的那几秒钟？

作者提出了一种名为 ToolMerge 的新系统。以下是通过简单类比对其工作原理的解释。

1. 旧方法的缺陷

以前的系统尝试通过两种方式解决这个问题，但两者都存在缺陷：

“一刀切”方法：它们将整个问题视为一个巨大的搜索词。这就像问图书管理员：“帮我找到那个穿黄色夹克的人过河的那一页。”图书管理员可能会找到有河的一页，或者有人的一页，但不一定能找到正确的组合。
“僵化清单”方法：它们试图将问题分解为固定的对象列表（例如，“找人”、“找夹克”、“找河”）。但现实生活是混乱的。有时你需要寻找一个动作，有时寻找一个物体，有时寻找一种特定的颜色。僵化的清单会忽略细微差别。

2. 解决方案：ToolMerge（聪明的侦探）

ToolMerge 就像一个聪明的侦探，懂得使用不同的工具来破案。它不是试图一步到位地找到答案，而是将任务分解。

步骤 1：规划者（大脑）
首先，“规划者”（一个 AI 大脑）阅读问题。它不是直接搜索整个句子，而是将问题分解为更小、更具体的任务。

类比：如果问题是“那个穿黄色夹克的人做了什么？”，规划者不会只是对着虚空大喊“黄夹克！”。它会说：“好的，我需要三样东西：1. 找到有河的场景。2. 找到穿黄色衣服的人。3. 找到有人正在涉水而过。”

步骤 2：工具（专家）
规划者将这些小任务发送给不同的“专家”工具。

工具 A (SigLIP)：这是场景专家。它观察整幅画面以寻找整体氛围（例如，“一条河”、“一个峡谷”）。
工具 B (T-REN)：这是物体专家。它放大画面以寻找具体的事物（例如，“一个人”、“一件黄色夹克”）。
工具 C (OCR)：这是文本阅读器。它读取视频中标志或屏幕上出现的任何文字。

步骤 3：合并（法官）
现在，每个工具都根据其特定任务对视频的每一帧进行了排名。“合并”步骤将这些排名结合起来。

“与”规则：如果问题要求同时有河和人，系统会寻找两个工具都给出高分的帧。这就像一个维恩图；答案必须位于圆圈重叠的中间部分。
“或”规则：如果问题问“他过河了还是过桥了？”，系统会寻找满足任一条件的帧。

最后，系统根据所有这些组合规则选出得分最高的 3 到 8 帧，并将其交给最终的“回答者”AI 以给出实际答案。

3. 新测试：Molmo-2 Moments (M2M)

为了证明他们的系统有效，作者意识到现有的测试是不公平的。旧测试中的问题可以通过猜测或查看视频的随机部分来回答。

他们建立了一个名为 Molmo-2 Moments (M2M) 的新测试。

类比：想象一位老师，他仅根据电影中一段特定的 10 秒片段来出题。老师确切知道这 10 秒内发生了什么。如果学生答对了，他们必须观看了那特定的 10 秒。他们不可能从电影的其他部分猜出答案。
这确保了如果系统答对了，它实际上确实找到了正确的帧。

4. 结果

当他们测试 ToolMerge 时：

在寻找正确帧方面，它比以前的方法更好，特别是对于涉及多个物体或动作的复杂问题。
它在字幕检索方面表现尤为出色。如果你给系统一段关于场景的长篇详细描述（如字幕），与旧方法相比，ToolMerge 能更好地找到与该描述完全匹配的确切视频片段。
他们还表明，如果使用特定的奖励系统（GRPO）对规划者进行一点“训练”，它在知道使用哪些工具方面会变得更好。

总结

ToolMerge 是一个不试图一次性猜出长视频问题答案的系统。相反，它像一个项目经理：它将问题分解为小的、具体的任务，将这些任务发送给不同的专业工具，然后结合结果，以找到包含真相的确切几秒钟视频。他们通过创建一个新的、更严格的测试证明了其有效性，在该测试中，答案被锁定在特定的时间点。

技术摘要：将查询分解为工具调用以进行长视频关键帧检索

问题定义

本文解决了可验证的长视频问答（QA）挑战。虽然现有系统能够生成答案，但提供视觉证据（关键帧）以验证这些答案对于建立可信的人机交互至关重要。核心难点在于关键帧选择：在长视频中寻找包含回答查询所需证据的特定帧。

现有方法存在两个主要局限性：

单查询评分：将每一帧与单个拼接查询（例如：问题 + 选项）进行评分的方法，往往无法捕捉需要多个不同视觉元素的复杂查询。
固定模式分解：将查询分解为固定模式（例如：特定的对象 - 关系元组）的方法缺乏灵活性，无法有效利用多样化的视觉工具。

此外，孤立地评估检索质量十分困难，因为标准基准测试（如 Video-MME 或 LongVideoBench）通常包含这样的问题：即使不看视频也能猜出答案，或者证据在多个时间区间内存在歧义。

方法论：ToolMerge

作者提出了ToolMerge，这是一个基于分解与合并的检索框架。ToolMerge 不是将帧与单一整体查询进行评分，而是将查询分解为独立的子查询，使用专门的轻量级视觉工具执行这些子查询，然后合并结果。

1. 基于规划器的分解

基于大语言模型（LLM）的规划器（零样本或经强化学习微调）分析输入问题和答案选项。它不直接回答问题，而是生成：

工具调用：一组针对特定视觉工具的独立查询。
布尔逻辑：关于如何组合这些调用结果（使用 AND 或 OR 运算符）的指令。

2. 视觉工具

该系统利用轻量级视觉模型，而非昂贵的逐帧字幕生成：

SigLIP-2：执行全帧图像 - 文本匹配，以捕捉场景级证据（动作、设置、空间布局）。
T-REN：执行文本对齐的区域特征匹配，以定位特定实体或对象。
OCR：在采样帧上自动运行以检测屏幕文本，其结果由轻量级 LLM 裁判根据相关性进行过滤。

3. 合并策略

由于不同工具产生的分数标度不同，ToolMerge 合并的是排名而非原始分数：

每一帧在每种工具的输出中被分配一个排名（1 = 最佳）。
AND 运算符：选择各工具中最差（最大）的排名。这确保了只有当所有所需元素同时出现时，该帧才会获得高排名。
OR 运算符：选择最佳（最小）的排名。当不同工具可能找到替代的有效证据时使用此运算符。
OCR 集成：包含相关文本的帧在验证后被插入到排名 1（最高优先级），因为与基于相似度的匹配相比，它们携带的歧义更少。

4. 最终选择

一种贪婪的非极大值抑制（NMS）算法根据合并后的排名选择前 $k$ 帧，并强制执行最小时间间隔（ $\tau$ ）以确保多样性。这些帧随后被传递给视觉 - 语言模型（VLM）“回答器”以生成最终响应。

基准构建：Molmo-2 Moments (M2M)

为了在不受推理失败干扰的情况下严格评估检索，作者引入了Molmo-2 Moments (M2M)。

构建：源自 Molmo-2 字幕数据集，其中标注者描述特定的 10–20 秒片段。
锚定：每个问题均从特定字幕生成，从而保证根据构建方式，真实答案锚定在特定的时间区间内。
过滤流程：一个包含 8 步的自动化与人工验证流程确保问题满足以下条件：
- 无法仅通过文本模型回答（盲测过滤）。
- 无法通过均匀采样回答（必要性过滤）。
- 难度足以需要针对性检索（难度过滤）。
- 不包含元语言或仅依赖音频。
评估模式：M2M 支持问题检索（HIT@K）、字幕检索（为源字幕检索帧）以及下游的QA 准确率。

主要贡献

ToolMerge：一种无需训练（或可通过 RL 改进）的方法，将查询分解为工具调用，并使用布尔运算符合并排名，从而允许灵活使用不同的视觉工具。
Molmo-2 Moments (M2M)：一个基准测试，其中每个问题都严格锚定到真实时间区间，将检索性能与推理能力隔离开来。
综合评估：一个涵盖长视频问答、直接问题检索和字幕检索的三部分评估框架，证明了分解方法对于复杂、多元素查询特别有效。

实验结果

作者在 LongVideoBench、Video-MME 和 M2M 上评估了 ToolMerge 与基线方法（均匀采样、SigLIP-Q）以及最先进的关键帧选择器（AKS、BOLT、LIF、WFS）。

长视频问答：ToolMerge 在 LongVideoBench 和 Video-MME 上，针对所有测试的帧预算（8 帧和 32 帧）及回答器模型（Qwen3-VL、GPT-4o）均取得了最高准确率。值得注意的是，简单的SigLIP-Q基线（单查询 top-k）表现出惊人的竞争力，经常优于更复杂的分解方法（如 LIF）。
M2M 检索：在 M2M 基准测试中，ToolMerge 和 SigLIP-Q 表现最佳。ToolMerge 在字幕检索方面显示出明显优势，在 HIT@32 上比 SigLIP-Q 高出5%。这表明，对于描述多个共现视觉元素（如字幕中所述）的查询，多工具分解方法能够捕捉到单查询方法遗漏的证据。
规划器改进：使用基于召回率的奖励（检查所选帧是否落在真实区间内）对规划器应用GRPO（强化学习），进一步提升了性能，特别是在检索指标上。
效率：该方法比基于字幕的方法显著更高效。使用 ToolMerge 处理 10 分钟视频所需的时间大约比生成整个视频的字幕少3.4 倍。

意义与主张

本文主张，分解与合并是一个稳健的关键帧检索框架，尤其适用于需要多个视觉元素同时存在的查询。

检索与推理：通过将问题锚定到特定区间，M2M 表明，当推理负担最小化时，检索质量与下游 QA 准确率高度相关。
工具多样性：结果表明，虽然简单的单查询相似度（SigLIP-Q）是一个强大的基线，但分解查询以利用专用工具（如用于对象的 T-REN 和用于场景的 SigLIP）为复杂、描述性查询（字幕）提供了可衡量的优势。
可验证性：该系统为可验证的 AI 提供了一条直接路径，允许用户检查支持答案的具体关键帧，而不是依赖不透明的文本摘要。

作者保持了谦逊，指出了局限性，例如固定的工具集（不包括音频理解）以及一旦找到正确帧后对回答器推理能力的依赖。他们并未声称解决了长视频理解的通用问题，而是为检索组件提供了一种具体、高效且可验证的机制。