💻 computer science

VideoSEAL: Mitigating Evidence Misalignment in Agentic Long Video Understanding by Decoupling Answer Authority

VideoSEAL 通过引入一个将长期规划与答案权威性解耦的规划器 - 检查器框架，解决了智能体长视频理解中的“证据错位”问题，该框架要求通过像素级验证来确保答案由检索到的证据支持，并在多个基准测试中实现了最先进的性能。

原作者： Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《VideoSEAL》论文的通俗化解读，辅以生动的类比。

核心难题：那个“自信却错误”的侦探

想象一下，你正在观看一部很长的电影（比如一部 2 小时的影片），有人问你一个关于影片进行到 45 分钟时某个微小细节的具体问题。

当前试图回答这些问题的 AI 系统，就像是一群过度劳累且压力巨大的侦探。他们必须扫描整部电影才能找到答案。

缺陷：这些侦探往往会被海量信息搞得疲惫不堪或困惑不已。他们可能会找到一些线索，但并非正确的线索。然而，由于他们承受着必须给出答案的压力，他们便开始猜测。
结果：他们有时会给出正确的答案，但实际上并没有找到能证明该答案的证据。他们只是根据“听起来合理”的内容或训练记忆进行了猜测。这被称为证据错位（Evidence Misalignment）。这就像是一个学生算出了正确的数学答案，却写下了错误的解题步骤。

论文将这种现象称为“证据错位”。即使最终答案碰巧是正确的，AI 实际上是在“幻觉”出证明过程。

为什么会发生这种情况？（两种压力）

作者发现，这些 AI 侦探犯下此类错误主要有两个原因：

提示压力（“长篇故事”问题）：
想象侦探在回答问题前，必须阅读一本长达 500 页的笔记。随着笔记变得越来越长、越来越杂乱，侦探会感到不知所措。他们不再寻找特定的线索，而是试图“把故事圆回来”以给出一个答案。他们停止了搜索，转而开始迎合手头已有的任何内容来凑出一个答案。
奖励压力（“只看分数”问题）：
想象一位老师只根据考试最终答案打分，而忽略学生是如何得出该答案的。如果学生不费力气地猜对了答案，他们依然能拿到"A"。AI 因此学到，与其费力去寻找确切视频帧，不如直接猜测来得更快、更省力。它学会了为了获得奖励而“作弊”。

解决方案：拆分工作（规划者 vs. 检查者）

论文指出，旧有的做法——让单个 AI 包揽所有任务（搜索、思考并回答）——是问题的根源。这就像要求一个人同时担任侦察兵、法官和警长。

VideoSEAL 引入了一种新的团队结构：

规划者（The Planner，即侦察兵）：
- 职责：这个 AI 的唯一工作就是浏览视频并找出候选片段。它暂时不关心最终答案。它只是说：“我找到了这 3 个可能相关的片段。”
- 类比：想象一位图书管理员，他的任务只是从书架上找出可能包含答案的书籍。他并不阅读这些书，只是把它们取出来。
检查者（The Inspector，即法官）：
- 职责：这是一个独立的、强大的 AI。它仅查看规划者找到的特定视频片段。它会问：“这些片段真的能证明答案吗？”
- 守门人：如果检查者看到了足够的证据，它会说：“是的，这是答案。”如果它没看到足够的证据，它会说：“继续搜索。”
- 类比：想象俱乐部门口一位严格的保安。侦察兵把人员（片段）带到门口。保安检查他们的身份证（证据）。如果身份证是伪造的或缺失的，保安就不让他们进入（不给答案）。保安拒绝猜测。

实际运作方式

旧方式：一个 AI 进行搜索，被过多的文本搞糊涂，然后猜测一个答案。
VideoSEAL 方式：
1. 规划者进行搜索并找到一个片段。
2. 检查者查看该片段。“这足够吗？”
3. 如果不：检查者将规划者送回，让其再次搜索。
4. 如果是：检查者给出最终答案。

这建立了一个“制衡”系统。规划者不能随意猜测；它必须找到检查者认可的证据。

结果：更高的准确率与更少的猜测

作者在四个不同的长视频基准测试中测试了这个新系统。结果如下：

更高的准确率：与旧的“全能型”系统相比，新系统获得了更高的分数（例如，在一个测试中为 55.1%，在另一个测试中为 62.0%）。
更可靠的证据：不仅答案更正确，该系统在真正找到能证明答案的正确视频片段方面也表现优异得多。
可扩展性：如果你给它更多的搜索时间（更多的“搜索预算”），系统会变得更聪明。而旧系统随着搜索时间延长，只会变得更加困惑并犯更多错误。
即插即用：由于“检查者”是独立的，你可以随时将其替换为更智能、更强大的 AI，而无需重新训练“规划者”。这就像在不重建整个底盘的情况下升级汽车的引擎。

总结

VideoSEAL 通过将工作拆分为两个角色来解决 AI 在长视频中猜测答案的问题：一个是负责搜寻线索的规划者，另一个是负责验证线索的检查者。通过强制系统在给出答案之前证明其答案，他们阻止了 AI 用猜测来“作弊”，从而实现了更可靠、更值得信赖的视频理解。

技术摘要：VideoSEAL

问题：代理长视频理解中的证据错位

长视频理解（LVU）面临一个独特的挑战：相关视觉证据往往稀疏且分散在高度冗余的内容中。虽然当前的多模态大语言模型（MLLM）在短视频推理方面表现出色，但将其扩展到长视频需要迭代式的代理交互，以导航时间线并检索证据。

作者指出了现有代理 LVU 系统中的一种关键失效模式，称为证据错位。在这种模式下，代理生成的答案虽然是正确的，但实际上并未得到所检索或检查证据的支持。该论文将这种情况形式化为“正确但无依据”状态，即代理实现了结果正确性（ $C=1$ ），但缺乏可追溯的依据性（ $G=0$ ）。这种现象由两种系统性压力驱动：

提示压力（推理时）： 随着交互轨迹变长且噪声增加，规划者被激励在无法可靠定位证据的情况下做出果断决策。这导致行为从“寻求证据”转变为“拟合证据”，即代理依赖参数化先验或合理的模板来解决不确定性，从而导致语义幻觉。
奖励压力（训练时）： 由于细粒度时间依据标签稀缺，LVU 的标准强化学习（RL）通常仅采用结果奖励（最终答案的正确性）。这促使代理通过推测性完成或捷径行为来最大化回报，而非进行严格的证据验证，从而扩大了准确性与依据性之间的差距。

作者认为，这些压力的根源在于耦合代理范式，即单个单体模型在同一共享上下文中同时负责长程规划（搜索）和答案生成（权威性）。

方法论：解耦规划者 - 检查者框架

为解决证据错位问题，VideoSEAL 提出了一种结构性补救措施：将长程规划与答案权威性解耦。该框架引入了两个不同的实体：

规划者（The Planner）： 一个仅负责寻求证据的语言模型策略。它利用工具（离线索引、检索和视觉检查）导航视频时间线、制定查询并检索候选时间片段。关键在于，规划者不生成最终答案；它维护一个稀疏的、结构化的搜索记忆，以避免上下文饱和。
检查者（The Inspector）： 一个冻结的 MLLM，拥有独占的答案权威性。它接收规划者提交的候选视频证据，并执行像素级验证。检查者输出一个二元充分性判定（ $z_t \in \{0, 1\}$ $z_{t} \in {0, 1}$ ）：
- 如果 $z_t=1$ ，则证据被视为充分，检查者生成最终答案。
- 如果 $z_t=0$ ，检查者返回“继续搜索”信号，并附带关于缺失证据的反馈，迫使规划者继续搜索。

关键技术组件：

工具接口： 系统利用 VisualRetrieve（基于预计算字幕/嵌入的语义搜索）和 VisualInspect（特定片段的像素级验证）。
训练： 规划者使用组相对策略优化（GRPO）进行优化，而检查者保持冻结。奖励设计包含一个证据门控终端奖励，其大小与访问片段与真实证据之间的时间重叠度成正比，从而在不重新训练视觉骨干网络的情况下促进对齐。
模块化： 该架构支持“即插即用”升级。在推理时，可以将检查者替换为更强的 MLLM 以提高验证保真度，而无需重新训练规划者。

主要贡献

证据错位诊断： 本文引入了两种互补的诊断方法来量化错位：
- 时间依据性（ $G_t$ ）： 衡量代理是否访问了相关的时间区域（使用时间 IoU）。
- 语义依据性（ $G_s$ ）： 使用 LLM 裁判来验证最终答案是否在逻辑上得到轨迹中工具输出的支持。
  这些诊断揭示了“正确但无依据”的状态，并量化了“时间幻觉率”（ $H_t$ ）和“语义幻觉率”（ $H_s$ ）。
解耦规划者 - 检查者框架： 一种将寻求证据与答案生成分离的新颖架构。通过在像素级验证的基础上门控最终答案，该框架防止了由未经验证的工具输出驱动的不支持答案。
实证收益与扩展性： 该框架在四个长视频基准测试（MLVU、LongVideoBench、LVBench、VideoMME）中表现出一致的改进。值得注意的是，它随着更大的搜索预算和更强的检查者模型呈单调扩展，而耦合基线往往因上下文饱和而达到平台期或性能下降。

结果

作者将 VideoSEAL 与专有模型、开源 MLLM 以及现有的代理框架（包括耦合和解耦的）进行了评估。

准确性： VideoSEAL 在 LVBench 上达到 55.1%，在 LongVideoBench 上达到 62.0%，显著优于耦合基线（例如，在 LVBench 上，相比同一骨干网络的耦合版本高出 +20.5%）。
依据性： 该框架显著减少了幻觉。在 LVBench 上，其语义依据性（ $G_s$ ）达到 0.808（基线约为 0.25–0.47），并将语义幻觉（ $H_s$ ）降低至 0.113。
扩展属性：
- 搜索扩展： 增加搜索预算（ $K$ ）提高了 VideoSEAL 的性能，而耦合代理由于上下文饱和，在达到某一点后性能反而下降。
- 感知扩展： 将检查者从 7B 模型升级到 72B 模型，在不重新训练规划者的情况下带来了显著的准确性提升，证明了该方法的可模块化性。
拒绝能力： 检查者有效地区分了充分与不充分的证据，在非目标片段上拒绝回答（输出 $z=0$ ）的频率显著高于真实目标片段，从而减少了猜测。

意义与主张

该论文主张，代理长视频问答性能的主要驱动因素不仅仅是更大的模型或更好的奖励函数，而是规划与答案权威性的架构分离。通过解耦这些角色，VideoSEAL 缓解了导致证据错位的“提示压力”和“奖励压力”。

作者将这项工作定位为范式的转变：从训练单个耦合代理进行搜索和决策，转向一个可验证的、模块化的系统，其中答案生成严格受视觉证据的门控。这种方法增强了可解释性（通过搜索轨迹）和可验证性，为解决当前长视频代理面临的“正确但无依据”问题提供了结构性方案。这项工作表明，只要规划逻辑是合理的，未来 LVU 的改进可能更多地取决于像素级检查（感知）的保真度，而非语言规划（推理）的复杂性。