💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

Video-o3 是一个用于长视频多跳推理的新颖框架，它通过任务解耦的注意力掩码和可验证的轨迹引导奖励，实现原生、迭代的线索搜索，从而克服了均匀采样的局限性，并在 MLVU 和 Video-Holmes 等基准测试中实现了最先进的性能。

原作者： Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解构一部 30 分钟电影中的谜团，但你只有几秒钟的时间来观看它。大多数当前的人工智能模型试图通过每隔几秒对整个电影拍一张快速、模糊的快照，然后立即猜测答案来解决这个问题。这就像试图通过扫视整个干草堆一次并希望看到它，来在干草堆中找到一根特定的针。你经常找不到那根针，因为它隐藏在“干草”（无聊的部分）中，或者你被过多的信息所淹没。

Video-o3 是一个改变游戏规则的新人工智能框架。它不像只是扫视一眼，而是像一位手持放大镜的侦探。以下是其工作原理，分解为简单的概念：

1. 侦探的方法（原生交错线索搜寻）

Video-o3 不是看完整部电影后再猜测，而是看一点，思考一下，然后决定：“我需要放大这个特定的 5 秒片段，看看发生了什么。”

工作原理：它要求系统对视频的特定片段进行“裁剪”（就像从胶卷中剪下一小段），以便仔细观察。
循环：它重复这个过程。看一点 $\rightarrow$ 思考 $\rightarrow$ 放大线索 $\rightarrow$ 再次思考 $\rightarrow$ 放大另一个线索。
结果：它一点一点地构建答案，只查看视频中真正重要的部分，忽略其余部分。

2. “注意力分裂”的问题（任务解耦注意力掩码）

想象一位侦探试图在撰写报告的同时观察犯罪现场。如果他们试图完全同时做这两件事，可能会感到困惑。他们可能会看着犯罪现场，却写下记忆中的内容，而不是他们实际看到的内容。这被称为“虚假思考”。

解决方案：Video-o3 使用一种特殊的“掩码”技术。
- 当人工智能寻找线索（扫描视频）时，它被迫忽略它可能正在编写的最终答案。它完全专注于发现证据。
- 当人工智能编写答案时，它被迫忽略原始视频画面，只专注于它刚刚找到的线索。
类比：这就像一名学生，只被允许在“学习”阶段查看教科书，只被允许在“考试”阶段查看笔记。这防止了他们作弊或感到困惑，确保他们的最终答案基于确凿的证据。

3. “停止标志”（可验证轨迹引导奖励）

从理论上讲，侦探可以无限地放大，查看每一帧，但这将花费太长时间并消耗太多资金（计算能力）。

解决方案：Video-o3 通过一种特殊的奖励系统进行训练。
- 如果人工智能快速且准确地找到答案，它会获得一颗巨大的“金星”（奖励）。
- 如果人工智能在已经获得答案后仍不必要地继续放大，它会受到“惩罚”（奖励变小）。
类比：这就像“热与冷”的游戏。人工智能学会在感觉“热”（拥有足够证据）的那一刻停止搜索。它学会变得高效，在刚好解决谜题时停止，而不是浪费时间查看空房间。

4. 训练场（Seeker-173K）

要教会人工智能成为侦探，你不能只给它一本教科书；你需要给它成千上万个它必须搜寻线索的练习案例。

数据集：研究人员创建了一个名为 Seeker-173K 的大型数据集。其中包含 173,000 个“视频谜团”示例，人工智能被迫练习“观察 $\rightarrow$ 放大 $\rightarrow$ 思考 $\rightarrow$ 再次观察 $\rightarrow$ 解决”的循环。
结果：因为它在这些特定的“线索搜寻”任务上进行了大量练习，所以在解决复杂的视频问题方面，它比之前的模型表现得更好。

核心结论

Video-o3 是计算机观看长视频的一种更聪明的方式。它不像试图一次性记住整部电影，而是像人类侦探一样行动：它扫描场景，放大重要细节，将点连成线，并在获得证据后立即停止。这使其速度更快、更准确，并且更擅长解决隐藏在长视频中的复杂谜题。

性能：在测试中，与那些只是“扫视”视频的旧方法相比，这种方法使人工智能解决视频谜题的准确率显著提高（例如，在一个主要基准测试中达到 72.1%）。

技术摘要：Video-o3

问题陈述

现有的用于长视频理解的多模态大语言模型（MLLM）主要依赖均匀帧采样 followed by 单轮推理。这种方法难以在大量冗余的背景内容中识别稀疏但关键的证据，导致显著的计算开销和推理精度下降。尽管早期存在“线索搜寻 + 答案推理”的原型，但它们通常依赖手工设计的启发式规则，缺乏端到端优化，并将线索搜寻与推理解耦，无法扩展到需要联合多跳推理的复杂长视频。此外，原生多轮工具调用引入了两个核心挑战：共享上下文中推理与工具调用任务的异质性导致的注意力分散，以及不受控的工具交互导致过度 token 消耗和冗余探索的上下文低效性。

方法论

作者提出了Video-o3，这是一个专为长视频中原生交错式线索搜寻与多跳推理设计的框架。该系统使模型能够迭代地发现显著视觉线索，通过 VideoCrop 工具对关键片段进行细粒度检查，并在获取足够证据后自适应地终止搜索。

1. 任务解耦注意力掩码（TDAM）

为了缓解由异质任务（线索发现 vs. 答案推理）引起的注意力分散，作者提出了 TDAM。该机制在监督微调（SFT）期间施加显式的可见性约束：

线索搜寻阶段：限制模型仅关注全局视频输入，迫使其基于全局上下文学习规划策略。
答案推理阶段：对全局概览进行掩码处理，迫使模型仅从高分辨率工具观测中推导答案。
该策略仅应用于 10% 的训练数据，以平衡解耦的专业能力与整体推理的需求，在保持共享全局上下文的同时，有效隔离了这两种模式的训练。

2. 可验证轨迹引导奖励（VTGR）

为了控制上下文长度增长并鼓励高效探索，引入了一种新颖的强化学习（RL）奖励函数。奖励 $R$ 由答案正确性、格式有效性以及轨迹引导乘数 $\beta$ 组成：
$R = r_a \cdot (1 + \beta) + r_f$

混合线索得分（ $S_{clue}$ ）：通过奖励与真实区间对齐的轨迹（使用 IoU、IoP、IoG）或鼓励“自由探索”样本的多样性，激励精确的定位。
轮次衰减因子（ $\gamma$ ）：惩罚超过参考轮次数的轨迹，促进敏捷终止并防止冗余循环。
模型使用 DAPO 算法（GRPO 的变体）进行优化，以最大化采样组内的相对优势。

3. 数据合成与 Seeker-173K

为了克服训练原生交错式工具调用所需的数据稀缺问题，作者开发了一个可扩展的自动化数据合成管道。该管道通过四个阶段处理“视频 - 问题 - 答案”三元组：线索定位、有效性验证、轨迹生成和逻辑一致性检查。该过程生成了Seeker-173K，这是一个包含 173,000 个工具交互轨迹的高质量语料库，专门设计用于培养强大的原生交错式工具调用能力。

主要贡献

任务解耦注意力掩码：一种将线索定位与答案推理解耦的机制，以防止注意力干扰，使端到端模型能够专注于特定的探索阶段，同时保留全局上下文。
可验证轨迹引导奖励：一种平衡全面探索与计算效率的奖励公式，鼓励模型准确定位线索，并在证据充分时精确终止推理。
Seeker-173K 数据集：一个大规模、高质量训练语料库，包含 17.3 万个工具交互轨迹，通过自动化合成管道构建，以支持长视频推理的监督学习和强化学习。

实验结果

在多种长视频理解和推理基准上的广泛评估表明，Video-o3 显著优于最先进的方法：

MLVU：实现了 72.1% 的准确率（SFT+RL），超越了之前的最佳成绩。
Video-Holmes：实现了 46.5% 的准确率，展示了强大的多跳证据搜寻能力。
LVBench：实现了 47.6% 的准确率。
时间定位：在 Charades-STA 基准上，Video-o3 实现了 60.7 的 mIoU，显著优于 LongVT (27.2) 和 Qwen2.5-VL (43.6) 等基线。
效率：与解耦的迭代推理方法相比，Video-o3 将推理时间减少了 32.9%（对比 LOVE-R1）和 46.0%（对比 VideoChat-R1.5），同时使用了更少的视觉 token，利用统一的共享上下文通过 KV 缓存消除冗余计算。

该框架还展示了对较小基础模型（Qwen3-VL-4B）的泛化能力，在所有测试基准上均取得了一致的提升。

意义与主张

该论文声称，Video-o3 通过验证原生工具调用在这些场景中的有效性，确立了长视频理解的新最先进水平。通过使模型能够通过迭代的多轮交互主动搜寻任务相关证据，而不是被动处理静态输入，Video-o3 解决了均匀采样和单轮推理的根本局限性。这项工作强调了原生工具使用范式在推进下一代代理型 MLLM 方面的变革潜力，特别突出了将复杂查询分解为可管理的子目标并通过稳健的多跳推理链解决歧义的能力。作者强调，他们的方法成功平衡了探索覆盖范围与推理效率之间的权衡，这是可扩展长视频分析的关键要求。