💻 computer science

Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA

该论文提出了 VideoTreeSearch (VTS)，一种自纠错智能体框架，它将基于视觉定位的长视频问答建模为在具有显式回溯操作的自适应时间树上的迭代搜索，通过实现从早期错误中恢复，显著优于以往的方法，并在多个基准测试中取得了最先进的结果。

原作者： Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一部长达数小时的电影中寻找一个特定的、微小的瞬间。也许你需要看到厨师在将碗送入烤箱之前，究竟往里面添加了什么，但这段视频是一个完整的烹饪教程。如果你只是快速扫描整部电影，你可能会错过那个转瞬即逝的动作。但如果你以正常速度观看每一帧，那将耗费大量时间。这就是“落地式长视频问答”（Grounded Long-Video Question Answering）所面临的挑战。这项任务要求计算机不仅要回答关于长视频的问题，还要指出答案隐藏在哪几个精确的秒数里。

有一段时间，科学家们尝试通过给计算机一个“剪刀”工具来解决这个问题。计算机会猜测一个时间范围，在那里剪切视频并查看结果。如果它猜错了，它会尝试再次剪切。但这种方法就像是通过只能将干草堆对半剪开的方式来寻找干草堆里的针；如果你剪错了那一半，你就无法轻易回到另一侧重新尝试。你只会不断地把错误的那个部分剪得越来越小，直到放弃为止。这篇论文介绍了一种更聪明的搜索方式，它将视频变成了一张地图，计算机可以在上面进行探索、回溯并纠正错误，就像侦探破解谜案一样。

侦探的地图：VTS 如何破解视频之谜

认识一下 VideoTreeSearch (VTS)，这是一个旨在帮助计算机成为专家级视频侦探的新型框架。该论文的研究人员意识到，旧的视频搜索方式过于笨拙。以前的方法就像是一个只能向前移动的人，通过不断裁剪视频片段来缩小范围。如果他们在早期犯了错——比如，他们认为答案在前十分钟，而实际上在最后十分钟——他们就会陷入困境。他们无法说：“等等，我走错方向了，”然后退回去尝试另一条路径。他们只会不断地在错误的坑里挖掘。

树的类比
为了解决这个问题，作者将视频转化成了一棵树。想象整个视频是巨大树木的树干。树干分裂成几根大树枝，代表主要的场景或章节。那些树枝再次分裂成更小的细枝，而细枝又分裂成微小的叶子。

树根： 整个视频。
树枝： 视频中发生场景变化的大块部分（例如从厨房移动到餐厅）。
叶子： 答案可能隐藏其中的微小、特定的瞬间。

至关重要的是，这棵树并不是由等大的切片组成的。相反，计算机观察视频，并在视觉故事发生变化的地方切割树木。如果一个场景持续五分钟，那么这个树枝就很长；如果一个场景只是一个快速闪过的瞬间，那么这个树枝就很短。这意味着树中的每个部分都作为一个有意义的故事单元，而不是随机的时间切片。

四种神奇的动作
一旦视频变成了一棵树，计算机代理就不再仅仅是“裁剪”了。它拥有四种特定的动作来导航这张地图：

放大 (Zoom In)： 向下进入一个树枝，以查看视频中更小、更详细的部分。
缩小 (Zoom Out)： 如果你意识到自己走得太深且方向错误，则回到父级树枝。
移动 (Shift)： 在同一层级移动到另一个侧向的树枝（例如检查下一个房间，而不是当前的房间）。
回答 (Answer)： 停止搜索，并给出带有精确时间戳的最终答案。

最令人兴奋的部分是 缩小 (Zoom Out) 和 移动 (Shift)。这些是“我做错了，让我们重来”的按钮。在旧的方法中，回退是不可能或非常困难的。在 VTS 中，回退是一个标准且内置的功能。代理可以深入一个错误的树枝，意识到这是一个死胡同，然后爬回上去，跳转到另一个树枝去寻找真相。

训练侦探
你不能只给计算机一棵树就指望它知道如何使用它。研究人员必须教导代理如何处理错误。他们创建了一个特殊的训练过程，其中他们故意引导代理走向错误的路径。

绕路 (The Detour)： 代理会被引导去选择一个错误的树枝。
恢复 (The Recovery)： 然后，它必须学会如何爬回来并找到正确的路径。

通过练习这些“绕路与恢复”的场景，代理学会了犯错并不是游戏的终点，而只是搜索过程的一部分。它学会了如果陷入困境，应该使用它的 缩小 (Zoom Out) 和 移动 (Shift) 工具来进行恢复。

结果
当他们在三个不同的视频问答挑战中测试这个新侦探时，结果令人印象深刻。

在 CG-Bench 测试中，与之前的最佳方法相比，VTS 将寻找正确时间间隔的能力提高了 12.5 个点。
在 Haystack-Ego4D 测试（使用极长视频）中，它提高了 7.4 个点。
甚至在不需要寻找精确时间的通用视频问题上，它的准确率也比其他方法高出多达 7.1 个点。

论文指出，这种“分层搜索”（按层搜索）是成功的秘诀。当他们移除 缩小 (Zoom Out) 或 移动 (Shift) 的能力时，性能显著下降。这证明了回溯的能力正是使该系统如此出色的原因。

为什么这很重要
作者发现 VTS 不仅仅是在猜测，它是在探索。平均而言，它需要大约 4.8 轮（步骤）来解决问题，而旧的方法通常在仅经过 1 或 2 轮后就会放弃。新的代理在大约 60% 的搜索中都会主动使用其回溯工具。它不仅仅是一个更快的计算器，更是一个聪明的探索者，它知道何时承认错误并尝试另一条路线。

简而言之，这篇论文表明，将长视频视为一个结构化的地图，而不是一个扁平的帧列表，可以让计算机以更高的准确度解决复杂问题。通过赋予它们回退和改变方向的工具，我们教会了它们如何更好地在干草堆中寻找那根针。

技术摘要：用于定位式长视频问答的 VideoTreeSearch (VTS)

1. 问题定义

本文探讨了定位式长视频问答 (Grounded Long Video QA, Grounded LVQA)，该任务要求模型在回答关于长视频问题的同时，能够定位出支持该答案的短时间间隔（证据）。

目前的智能体方法通常将此视为使用单一连续动作 crop_video(start, end) 的多轮探索过程。作者指出这些方法存在两个关键的结构性缺陷：

非对称动作空间： 虽然裁剪（cropping）自然地实现了由粗到精的缩小搜索范围，但它缺乏从细到粗的回溯（backtracking）原语。一旦智能体进入错误的区域，就无法轻易恢复，从而导致过早收敛。
扁平化搜索空间： 连续的时间戳回归迫使智能体在没有视频层次化分解的情况下，直接从原始像素中定位证据。这使得搜索空间缺乏组织，且缺乏关于连贯片段所在位置的语义先验。

因此，先前的方法往往无法从早期错误中恢复，并且在相关证据仅占总时长极小比例的长视频中，难以实现精确的定位。

2. 方法论：VideoTreeSearch (VTS)

作者提出了 VideoTreeSearch (VTS) 框架，将 Grounded LVQA 重新定义为在自适应时间树 (adaptive temporal tree) 上进行的迭代式、自我修正式搜索。

2.1 自适应时间树构建

VTS 并非采用均匀帧采样，而是构建了一个节点对应于语义连贯视频片段的非均匀树。

边界检测： 通过使用 CLIP 嵌入检测视觉场景变化来构建树。对于给定的片段，以 1 fps 进行帧采样，并计算连续嵌入之间的余弦距离。当视觉变化超过自适应阈值时，设置边界。
结构： 根节点代表整个视频。中间节点是粗粒度的片段，叶子节点是细粒度的候选片段。一个节点的子节点构成了其父区间内不重叠的分区。
延迟实例化 (Lazy Materialization)： 树在推理过程中延迟构建；仅实例化根节点和已访问节点的子节点，以保持导航空间的规模较小。

2.2 树形定位动作空间

智能体通过四个离散操作在树中进行导航，明确地将探索与自我修正分离：

zoom_in(c)： 进入第 $c$ 个子片段（由粗到精的缩小范围）。
zoom_out()： 回到父节点（由细到粗的回溯）。
shift(s)： 在同一父节点下横向移动到第 $s$ 个兄弟节点。
answer(ŷ, [ts, te])： 以最终答案和定位的证据区间结束搜索。

这种设计将回溯从一种隐性的、困难的行为转变为一种显性的、可学习的原语。

2.3 训练流水线

训练不仅需要针对正确路径的监督，还需要针对从错误中恢复的监督，而这在标准数据集中是缺失的。作者引入了一个轨迹合成流水线：

合成： 控制器生成包含刻意绕路（即进入错误分支后通过 zoom_out 和 shift 进行恢复）的轨迹。
监督微调 (SFT)： 智能体被训练去模仿这些轨迹。至关重要的是，损失函数是选择性应用的：模型观察完整的“绕路与恢复”序列作为上下文，但仅在理想的动作（正确的 zoom-in、恢复动作和 shift）上进行监督。轨迹中的故意错误作为上下文存在，但在损失计算中被掩蔽。
强化学习 (RL)： 在 SFT 之后，使用基于定位准确度 (Temporal IoU) 和答案正确性的奖励进行 GRPO 策略优化。

3. 核心贡献

框架： 引入了 VTS，将 Grounded LVQA 视为在语义树上的层次化搜索，而非连续回归。
动作原语： 提出了离散的 zoom_in、zoom_out 和 shift 动作，明确实现了回溯和自我修正，解决了以往裁剪方法的非对称性问题。
训练策略： 提出了一种新型的轨迹合成流水线，生成“绕路与恢复”路径，使智能体能够学习在真实数据中不存在的恢复模式。
实证验证： 证明了显式的层次化搜索和回溯是提高长视频任务性能的核心机制。

4. 实验结果

VTS 在三个 Grounded LVQA 基准测试（CG-Bench, Haystack-LVBench, Haystack-Ego4D）和三个通用长视频 QA 基准测试（Video-MME, MLVU, LVBench）上进行了评估。

Grounded LVQA 性能

CG-Bench： VTS 达到了 16.8 mIoU 和 36.4% 的准确率，相比最强的先前智能体基准 (LongVT) 分别提升了 +12.5 mIoU 和 +19.0 准确率。
Haystack-Ego4D： VTS 达到了 18.4 T-F1 和 66.1% 的准确率，超越了最佳基准 +7.4 T-F1。
效率： 尽管性能优异，但 VTS 平均处理的帧数（328 帧）少于均匀采样基准（384 帧）和 Captioner-LLM 智能体（450 帧）。

通用长视频 QA 迁移能力

学习到的导航策略在无需显式定位训练的情况下，成功迁移到了通用 QA 任务中：

VTS 在 Video-MME、MLVU 和 LVBench 上均超越了所有先前的智能体基准，在 LVBench 上提升高达 +7.1 个准确率点。

消融实验

回溯 (Backtracking)： 移除 zoom_out 和 shift（无回溯功能）会导致所有指标显著下降，证实了自我修正的重要性。
树形 vs. 扁平化 (Tree vs. Flat)： 用均匀分段的扁平树替换层次化树会导致 QA 准确率下降，证明了多尺度搜索的价值。
轨迹合成： 在“绕路与恢复”轨迹上进行训练，比仅在最优路径轨迹上进行训练的性能显著更高（+6.4 mIoU）。

5. 重要性与主张

本文声称，将长视频的搜索结构化为自适应树是一种有效的归纳偏置，有助于长程视频推理。其主要意义在于将范式从“连续回归”转向“离散导航”，这实现了：

解耦探索与修正： 使回溯成为一种显性的、可学习的行为，而非隐性的、不稳定的能力。
符合语义： 通过将搜索锚定在视觉场景边界，模型是在语义连贯的单元而非任意时间戳上进行推理。
实现恢复： 能够显式地“撤销”错误的深入搜索，使智能体能够处理长视频中高昂的错误代价，因为在长视频中，一次失误可能导致不可挽回的上下文丢失。

作者总结道，虽然 VTS 主要针对证据定位进行训练，但其树形定位搜索策略能有效地推广到更广泛的长视频理解任务，这表明层次化、自我修正的搜索机制对视频推理具有普遍益处。