MAVEN: A Multi-stage Agentic Annotation Pipeline for Video Reasoning Tasks
MAVEN 是一个多阶段智能体流水线，它通过分层细化和领域自适应，自动生成带有思维链轨迹的高质量结构化视频推理数据，显著提升了微调后的视觉语言模型在复杂事件推理基准上的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何理解复杂的电影场景，比如一场交通事故或仓库里的打斗。如果你只是把原始视频展示给机器人，然后问它“发生了什么？”，它可能会感到困惑、遗漏细节，或者胡编乱造（产生幻觉）。
这篇论文介绍了MAVEN，一个智能系统，旨在充当这些机器人的超级有条理的“编剧”和“教师”。MAVEN 不是直接把视频喂给机器人，而是先将视频分解为结构化的故事，然后再利用该故事生成训练问题。
以下是 MAVEN 的工作原理，通过简单的类比进行解释：
1. 三阶段“变焦”过程
大多数系统试图一次性描述整个视频，就像游客快速总结一次度假行程。它们往往遗漏那些微小但重要的细节。MAVEN 则采用不同的方法，使用三步“变焦”策略：
- 阶段 1：广角镜头（全局背景）： 首先，它观察整个场景。下雨了吗？是白天还是夜晚？街道看起来如何？这为后续分析奠定了基调。
- 阶段 2：时间线（密集事件）： 接下来，它创建主要事件的时间线，精确记录事情何时开始和结束。
- 阶段 3：特写镜头（细微细节）： 最后，它放大到微小的短片段，捕捉细微的细节，比如一个人环顾四周，或有人捡起一个小物体。
2. “主蓝图”（MSTED）
这是最重要的部分。MAVEN 不是直接跳到提问，而是将上述三种描述整合成一份单一、完美的**“主蓝图”，称为MSTED**。
这就像侦探在询问证人之前，先撰写一份完整的案件档案。
- 为何重要： 如果机器人试图直接从视频中猜测答案，它可能会编造事实。但如果强制机器人先阅读“主蓝图”，它就只能根据其中明确写出的内容来回答。由于蓝图是它被允许使用的唯一真实来源，它无法凭空捏造。
3. “智能编辑器”（代理驱动适应）
通常，如果你想教机器人一个新主题（例如从交通摄像头切换到仓库监控），你必须手动重写机器人的所有指令。这需要大量的人力时间。
MAVEN 内置了一个**“智能编辑器”**（一个 AI 代理）。
- 工作原理： 你只需向编辑器提供新环境的描述（例如“这是一个拥有高货架和叉车的仓库”）以及一些示例问题。
- 神奇之处： 编辑器会自动重写上述三个阶段的指令。它会分析出：“哦，在仓库里，我需要寻找藏在衣服下的物品，而不仅仅是闯红灯的汽车。”这一切无需人类触碰代码即可完成。
4. “质量控制循环”
如果人类审查答案并发现错误，MAVEN 不会只是说“哎呀”。它会像侦探调查自己的失败一样行动。
- 它会问：“我们是在视频描述中遗漏了细节？还是没能提出正确的问题？”
- 如果描述质量不佳，它会修正描述提示。
- 如果结构有误（例如视频片段太短，将一个事件切断了），它实际上会在流程中添加一个新步骤来解决结构性问题。
他们取得了什么成果？
该团队利用 MAVEN 标注了超过5,300 段交通视频（包括街道摄像头和汽车行车记录仪的视频）。随后，他们利用这些数据训练了一个名为Cosmos-Reason2的机器人模型。
- 结果： 训练后的机器人在推理方面表现出色。在私有测试中，它击败了顶级模型，如Gemini 2.5 Pro和Gemini 3.1 Flash。
- 意外发现： 尽管他们仅使用街道摄像头（CCTV）视频进行了训练，但它在行车记录仪测试中的表现与大型模型一样出色。这表明机器人学会了如何推理事件，而不仅仅是死记硬背汽车长什么样。
- 通用性： 他们展示了该系统在仓库视频和公共安全录像（如隧道中的打斗）上的应用，只需让“智能编辑器”调整指令即可，证明其无需人工重新设计就能适应不同的世界。
简而言之： MAVEN 是一个将杂乱视频转化为完美、结构化故事的系统，利用该故事教导机器人如何进行逻辑思考，并拥有一个能够自动适应新环境的自我修正编辑器。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。