🤖 AI

VideoThinker: Building Agentic VideoLLMs with LLM-Guided Tool Reasoning

本文提出了 VideoThinker，一种完全基于合成工具交互轨迹训练的代理式视频大语言模型，它通过将视频转化为丰富描述并利用强大的语言模型生成多步工具使用序列，成功解决了长视频理解中构建代理数据的循环依赖难题，实现了动态推理与自适应时空探索能力。

原作者： Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 VideoThinker 的新模型，它的核心任务是解决一个让现有 AI 头疼的难题：如何看懂并理解长达几十分钟甚至几小时的视频。

为了让你轻松理解，我们可以把现有的 AI 模型和 VideoThinker 想象成两种不同的“侦探”。

1. 现有的 AI 侦探：走马观花的“快照员”

目前的视频大模型（VideoLLM）就像是一个拿着相机快速扫视的实习生。

工作方式：面对一部 1 小时的电影，它不会从头到尾仔细看，而是每隔几分钟拍一张“快照”（均匀采样帧），然后把这些快照拼起来，试图猜出剧情。
缺点：
- 丢三落四：就像你只看了电影里的 10 张截图，却想猜出整部电影讲了什么，肯定会漏掉关键情节（比如主角在中间某秒偷偷换了一把钥匙）。
- 记不住时间：它很难精准定位“那个穿红衣服的人是在第几分钟出现的”，因为它没有“时间轴”的概念，只有模糊的印象。
- 死记硬背：它只能被动地看给它的画面，不会主动去“翻找”视频里的细节。

2. VideoThinker：手持放大镜的“资深侦探”

VideoThinker 则完全不同，它像是一个经验丰富、懂得使用工具的资深侦探。它不再试图一次性看完所有东西，而是学会了“思考”和“使用工具”。

它的核心绝招：

第一步：先读“剧本摘要”（字幕/描述）
当侦探接到一个案子（视频问题）时，它不会直接冲进现场乱看。它先快速浏览视频的“文字剧本”（字幕、语音转文字）。

比喻：就像侦探先看案卷里的文字记录，知道“案发时间大概在下午 3 点”，而不是盲目地看 24 小时的监控录像。

第二步：学会“使用工具”（LLM 引导）
这是 VideoThinker 最聪明的地方。它手里有两把神奇的“魔法工具”：

**时间检索器 **(Temporal Retrieval)：
- 作用：当问题问“那个穿红衣服的人什么时候出现？”，它直接调用工具，在几小时的视频里瞬间定位到“下午 3 点 15 分”这个时间段。
- 比喻：就像在图书馆里，不用一本本翻书，直接查目录找到那一页。
**时间放大镜 **(Temporal Zoom)：
- 作用：定位到时间段后，它不会只看一眼，而是把那个时间段“放大”，仔细查看每一帧画面，甚至把模糊的画面变清晰。
- 比喻：就像侦探拿着放大镜，仔细检查案发现场的指纹和脚印。

第三步：像人一样“边看边想”（思维链）
VideoThinker 会像人一样，分步骤思考：

“我先搜一下字幕，看看有没有提到‘红衣服’。” -> 工具返回时间
“好，现在我把那个时间段的视频‘拉近’看看。” -> 工具返回画面
“哦，我看到了，她穿的是红衣服，手里拿着花。” -> 得出结论

3. 最大的创新：如何“无中生有”地训练？

这里有一个有趣的逻辑悖论：要训练一个能“主动找线索”的 AI，通常需要另一个已经很强的 AI 来教它怎么做。但这就像“先有鸡还是先有蛋”的问题——如果没有懂长视频的 AI，怎么生成教它的数据呢？

VideoThinker 的解决方案：用“文字”模拟“视频”。

做法：研究人员先用一个强大的语言模型（LLM），把视频先变成详细的文字描述（就像把电影写成小说）。
训练过程：让语言模型在这个“文字小说”的世界里，练习如何使用“检索”和“放大”工具来回答问题。
关键一步：等语言模型学会了这套“找线索”的逻辑后，再把文字描述替换回真实的视频画面。
比喻：就像先让侦探在“文字剧本”里练习如何破案，等它学会了推理逻辑，再把它扔到真实的“案发现场”（视频）里，它就能立刻上手，知道该去哪里找线索了。

4. 它的表现如何？

实验证明，VideoThinker 在长视频理解任务上表现惊人：

它比那些只会“看快照”的旧模型强很多。
它甚至能和一些闭源的、昂贵的商业大模型（如 GPT-4o）掰手腕，而且它只需要一个 70 亿参数的小模型就能做到（更轻量、更便宜）。
它特别擅长处理长视频，视频越长，它的优势越明显。

总结

VideoThinker 就像是给 AI 装上了“主动思考的大脑”和“专业的工具箱”。它不再是一个只会被动接收画面的“摄像头”，而是一个懂得先查线索、再定点搜索、最后仔细观察的“智能侦探”。

它告诉我们：理解长视频，靠的不是“死记硬背”所有画面，而是学会如何聪明地寻找关键信息。

VideoThinker 技术总结

1. 研究背景与核心问题

长视频理解（Long-form Video Understanding） 是当前视频大语言模型（VideoLLMs）面临的主要挑战。现有的 VideoLLM 通常采用静态推理模式，即对均匀采样的帧进行一次性处理。这种方法存在以下显著缺陷：

信息丢失与定位困难：在长视频中，关键视觉证据往往稀疏且分散在时间轴上，均匀采样会导致大量关键帧被遗漏，且难以精确定位特定事件发生的时间段。
计算成本高：处理包含数百帧的长视频需要巨大的计算资源。
数据构建的循环依赖：构建具备“代理（Agentic）”能力的视频理解数据（即模型能主动调用工具检索和放大关键片段），通常需要一个已经具备强长视频理解能力的模型来生成，这形成了一个“鸡生蛋，蛋生鸡”的循环依赖。

2. 方法论：VideoThinker

为了解决上述问题，作者提出了 VideoThinker，这是一种完全基于合成工具交互轨迹训练的代理式 VideoLLM。其核心思想是将视频转化为丰富的文本描述，利用强大的代理式 LLM 在“描述空间”中生成多步工具使用序列，再将这些轨迹“落地”回视频帧，从而构建大规模的视频 - 工具推理数据集。

2.1 核心架构与工具设计

VideoThinker 引入了两种互补的代理工具，支持自适应的时间探索：

时间检索（Temporal Retrieval）：
- Clip Retrieval：基于语义相似度检索相关的视频片段（粗粒度）。
- Subtitle Retrieval：利用 Whisper 转录的音频字幕进行细粒度的文本检索，精确定位关键时间戳。
- Subtitle Summary：生成针对查询的摘要，提供全局语义指导。
时间放大（Temporal Zoom）：
- Frame Zoom：提取指定时间间隔内的原始视频帧，进行细粒度视觉检查。
- Subtitle Zoom：提取对应时间段的字幕文本。
- Caption Zoom：作为视觉与文本推理的桥梁，先提取帧再生成文本描述（在数据合成阶段使用，训练阶段被替换为真实帧）。

2.2 数据合成策略（解决循环依赖）

为了在不依赖现有强 VideoLLM 的情况下构建训练数据，作者设计了以下流程：

视频转文本：使用 VideoLLM 将长视频转换为详细的文本描述（Captions）。
LLM 代理推理：利用强大的开源代理式 LLM（如 Qwen3），在纯文本描述空间中模拟多步推理过程。LLM 调用上述工具（如 caption_zoom）来“查看”特定时间段的描述，生成包含工具调用、观察和推理的思维链（CoT）。
轨迹落地（Grounding）：将生成的推理轨迹中的文本描述（Caption）替换为真实的视频帧（通过 frame_zoom 工具），从而构建出“视频 - 工具 - 推理”的交错数据集。
训练：使用此合成数据对 VideoLLM 进行微调，使其学会主动检索关键片段并进行多步视觉推理。

2.3 自适应推理机制

VideoThinker 引入了置信度门控（Confidence-gated） 机制：

模型首先尝试直接推理（基于均匀采样帧）。
如果模型输出的置信度低于预设阈值（ $\tau$ ），则自动触发工具增强推理模式，利用检索和放大工具进行多轮深度分析。
这种机制在效率和准确性之间取得了平衡，避免了所有问题都进行昂贵的工具调用。

3. 主要贡献

高质量代理视频 - 工具推理数据集：构建了首个由 LLM 引导工具推理生成的合成数据集，捕捉了长视频理解所需的多步时间推理和工具使用行为，无需预先具备长视频理解能力的模型。
动态推理与自适应探索：提出了 VideoThinker 模型，集成了时间检索和时间放大工具，实现了从被动接受信息到主动探索关键帧的转变。
性能突破：证明了基于工具增强的合成数据和自适应检索 - 放大推理机制在长视频理解任务中的有效性。

4. 实验结果

在四个主流长视频基准测试（MLVU, LVBench, VideoMME, LongVideoBench）上，VideoThinker 表现优异：

超越基线：显著优于现有的开源 VideoLLM（如 Qwen2.5-VL-7B/72B）和基于 LLM 的代理方法（如 VideoAgent, VideoTree）。
具体提升：
- 在 MLVU 上比原生 VideoLLM 提升 +6.8%。
- 在 LVBench 上提升 +10.6%。
- 在 LongVideoBench 上达到 59.7%，接近闭源模型 GPT-4o 的水平。
长视频优势：随着视频时长增加（>15 分钟），VideoThinker 的优势愈发明显，证明了其在处理长时序依赖和信息稀疏问题上的有效性。
效率：作为一个单端对端 7B 模型，其性能超越了需要耦合大语言模型和外部 VideoLLM 的复杂代理架构（如 VideoExplorer）。

5. 意义与影响

打破循环依赖：提出了一种无需强先验知识即可构建代理式视频理解数据的新范式，解决了长视频智能体数据稀缺的难题。
从“看”到“思考”：推动了 VideoLLM 从简单的“视觉问答”向具备动态规划、主动检索和分步推理能力的“视频思考者”转变。
低成本高效能：利用开源 LLM 和合成数据，以较低的计算和标注成本实现了接近甚至超越闭源模型的长视频理解能力，为未来长视频智能体的发展提供了可扩展的解决方案。

总结：VideoThinker 通过巧妙的“文本空间推理 -> 视觉空间落地”策略，成功赋予了 VideoLLM 像人类一样“主动寻找关键信息”的能力，显著提升了长视频理解的准确性和鲁棒性。