VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning

本文提出了 VideoChat-M1，一种基于多智能体强化学习的视频理解框架，通过创新的协作策略规划（CPP）机制，使多个智能体能够动态生成、执行并相互沟通优化工具调用策略，从而在多个基准测试中实现了超越现有最先进模型（如 Gemini 2.5 Pro 和 GPT-4o）的卓越性能。

要点

这篇文章介绍了一个名为 VideoChat-M1 的新系统，它的核心任务是看懂视频，尤其是那些很长、很复杂、充满细节的视频。

为了让你更容易理解，我们可以把现有的视频理解技术比作"一个超级学霸独自解题"，而 VideoChat-M1 则像是一个"精英智囊团开会"。

1. 以前的方法：孤军奋战的“死板学霸”

想象一下，以前的人工智能（AI）在看视频回答问题时，就像一个被关在房间里、只有一条固定解题思路的学霸。

• 问题：如果视频很长（比如一部电影），或者画面很复杂（比如一群人同时在打架），这个学霸只能按部就班地看。如果它第一步看错了，或者没注意到某个关键细节，它就很难回头去修正，最后只能给出一个错误的答案。
• 比喻：就像你让一个人去图书馆找一本书，但他只被允许走一条固定的路线。如果书不在那个路线上，他就找不到了，哪怕书其实就在隔壁书架。

2. VideoChat-M1 的革新：精英智囊团（多智能体协作）

VideoChat-M1 改变了玩法。它不再派一个“学霸”，而是派出了一个由 4 个不同特长的 AI 组成的“智囊团”。

核心机制一：协作式策略规划 (CPP) —— “大家一起来想办法”

这个智囊团在开始看视频前，会先开一个“头脑风暴会”：

• 制定计划：每个成员根据自己的特长，提出不同的“寻宝路线”（比如：有人建议先看全景，有人建议直接搜索特定人物，有人建议关注时间线）。
• 分工执行：大家分头行动，利用不同的工具（比如“全局扫描工具”、“局部放大工具”、“时间定位工具”）去视频里找线索。
• 实时交流：这是最关键的一步！在执行过程中，大家会不断互通有无。
  • 场景模拟：成员 A 发现“那个穿红衣服的人好像没动”，成员 B 马上说“等等，我刚才在另一段视频里看到他动了，我们得重新调整计划！”
  • 结果：大家根据彼此的信息，动态修改自己的计划，不再死板地执行最初的指令。这就像侦探破案，一个人发现了新线索，整个团队立刻调整侦查方向。

核心机制二：多智能体强化学习 (MARL) —— “边做边学，互相打分”

光有团队还不够，还得让他们越配合越好。VideoChat-M1 引入了一种**“强化学习”机制，就像给这个团队请了一位“严厉又智慧的教练”**。

• 双重奖励：
  1. 结果奖励：最后答案对了，全员加分。
  2. 过程奖励：这是它的绝活。教练不仅看结果，还看大家合作的过程。如果某个成员提出的计划很糟糕，或者大家沟通不畅，教练会扣分；如果大家配合默契、互相补台，即使最后答案有点小瑕疵，过程分也会很高。
• 进化：通过这种“考试 + 复盘”的方式，这个团队在训练中学会了如何更聪明地分工、更有效地沟通，最终变成了一个配合天衣无缝的“特种部队”。

3. 它有多厉害？（战绩）

这个系统在 8 个不同的“考试”（视频理解测试）中都拿到了第一名（SOTA），甚至打败了目前世界上最强大的商业模型（如 GPT-4o 和 Gemini 2.5 Pro）。

• 长视频理解：在长达几十分钟的视频问答中，它比 GPT-4o 高出 15.6%。
• 空间推理：在判断物体位置关系（比如“杯子在桌子的左边还是右边”）时，它比 Gemini 1.5 Pro 高出 26.5%。
• 性价比：最神奇的是，它用的模型参数只有 370 亿（37B），而它打败的那些对手，参数往往是它的几倍甚至几十倍（比如 2350 亿）。
  • 比喻：这就像是一个由 4 个普通大学生组成的“特种小队”，通过完美的战术配合，打败了 4 个超级天才组成的“笨重舰队”。

总结

VideoChat-M1 的核心思想就是：不要指望一个全能的“超人”去解决所有复杂问题，而是组建一个“互补的团队”，让他们在动态交流中互相修正、互相学习。

它不再是一个冷冰冰的“看视频机器”，而是一个懂得**“商量”、“纠错”和“协作”**的智能团队。这让它在处理复杂、漫长的视频任务时，表现得更加聪明、灵活和准确。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
现有的视频理解框架（尤其是基于多智能体的方法）在处理长视频和时空结构复杂的视频时存在显著局限。主要问题包括：

• 静态且不可学习的策略： 大多数现有框架采用预定义的、固定的工具调用策略（Static and Non-learnable Tool Invocation）。它们遵循硬编码的规则来选择工具，缺乏根据具体查询动态调整的能力。
• 线索发现能力不足： 这种“一刀切”的策略无法在多样化的时间尺度和空间结构上有效地识别、追踪和总结关键视频线索，导致对复杂视频的感知和推理能力次优。
• 缺乏协同优化： 现有的多智能体系统通常缺乏训练机制，无法通过协同学习来优化整体表现，往往依赖零样本推理或简单的规则组合。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 VideoChat-M1，这是一个基于多智能体强化学习 (MARL) 的新型视频理解框架。其核心创新在于引入了协同策略规划 (Collaborative Policy Planning, CPP) 范式。

2.1 协同策略规划 (CPP) 范式

CPP 摒弃了单一或固定的策略，采用多个策略智能体（Policy Agents）协同工作，包含三个核心阶段：

1. 策略生成 (Policy Generation)： 每个智能体根据用户查询（Query）独立生成独特的工具调用策略（即初始计划），明确解决步骤。
2. 策略执行 (Policy Execution)： 智能体按顺序调用相关工具（如视频检索、图像检索、空间分析工具等）来执行策略，逐步探索视频内容并获取中间答案。
3. 策略通信 (Policy Communication)： 这是 CPP 的关键。在执行过程中，智能体之间通过共享内存缓冲区交换中间结果和上下文信息。基于同伴的反馈，每个智能体动态评估并更新/修正其后续的策略步骤。
   • 机制： 如果当前策略有效则继续；如果发现线索不足或逻辑错误，智能体可修改计划（例如增加新的工具调用）。
   • 最终决策： 对于选择题，采用多数投票；对于开放性问题或时间定位，由表现最佳的模型（Qwen3-8B）汇总生成最终答案。

2.2 多智能体强化学习 (MARL)

为了训练智能体群体实现高效协作，作者设计了一套 MARL 流程，这是首个针对视频理解任务的多智能体联合策略学习框架。

• 监督微调 (SFT) 预热： 首先利用高质量数据（通过 GPT-4o 和 DeepSeek-R1 自动标注生成的策略计划）对智能体进行 SFT，使其具备生成高质量初始策略的能力。
• 奖励机制设计： 设计了三种奖励信号来指导联合优化：
  1. 结果奖励 ($R_{res}$)： 基于最终答案的正确性（正确给正奖励，错误给负惩罚）。
  2. 格式奖励 ($R_{format}$)： 确保输出的工具调用和计划符合语法规范，可执行。
  3. 协作奖励 ($R_{col}$)： 利用 LLM（GPT-4o）作为奖励模型，评估中间协作过程的质量（如计划的可行性、工具调用的恰当性、步骤管理的合理性）。
• 优化算法： 采用 组相对策略优化 (GRPO)。通过计算组内所有输出相对于平均奖励的优势（Advantage），并引入 KL 散度惩罚项来约束策略更新，确保训练稳定性和收敛性。
• 正则化： 引入智能体 Dropout (Agent Dropout)，在训练时随机采样通信拓扑结构，防止智能体过度依赖特定队友，增强策略的泛化性和鲁棒性。

2.3 工具集 (Toolset)

框架集成了多种专用工具，包括：

• 全局采样、视频检索、时间戳检索、图像检索（用于粗粒度到细粒度的信息提取）。
• 粗略浏览 (Rough Browser) 与精细浏览 (Fine Browser)（用于不同粒度的视频内容分析）。
• 空间工具 (Spatial Tool) 和 定位工具 (Grounding Tool)（专门用于空间推理和时间定位任务）。

3. 主要贡献 (Key Contributions)

1. 首个多智能体视频理解框架： 提出了 VideoChat-M1，用协同策略规划 (CPP) 取代了传统的单一固定策略，使智能体能够通过多轮通信动态生成和适应工具使用策略。
2. 开创性的 MARL 训练方法： 首次将多智能体强化学习应用于视频理解，设计了混合奖励系统（结果 + 格式 + 协作过程），实现了智能体群体的联合优化。
3. 卓越的性能与效率： 在 8 个具有挑战性的基准测试中取得了 SOTA 性能，同时展示了极高的参数效率（37B 参数模型性能媲美 235B 甚至更大的闭源模型）。

4. 实验结果 (Results)

VideoChat-M1 在四个主要任务（长视频问答、视频推理、空间智能、时间定位）的 8 个基准测试中表现优异：

• 长视频问答 (LongVideoBench)：
  • 得分 82.3%，超越 GPT-4o (66.7%) 15.6%，超越 Gemini 2.5 Pro (78.7%) 3.6%。
• 视频推理 (VideoMMMU)：
  • 37B 参数组的智能体表现与 Qwen3-VL-235B 相当，但参数量仅为后者的 15%。
• 空间智能 (VSIBench)：
  • 得分 71.9%，超越 Gemini 1.5 Pro (45.4%) 26.5%。
• 时间定位 (Charades-STA)：
  • 相比 Seed 1.5VL 提升了 3.0%。
• 效率对比：
  • 平均推理时间仅为 19.8秒，是基线模型（如 GPT-4o, Gemini 1.5 Pro）的 8.7% ~ 21.9%。
  • 每视频采样帧数更少（69.9 帧），计算成本显著降低。

5. 意义与影响 (Significance)

• 范式转变： 从“静态规则驱动”转向“动态协同学习驱动”。证明了通过多智能体协作和强化学习，可以显著提升模型对复杂、长时序视频的理解能力。
• 解决长视频痛点： 有效解决了现有大模型在处理长视频时上下文丢失、关键线索遗漏的问题，通过动态策略调整实现了类似“人类专家”的逐步推理和纠错能力。
• 高效能比： 展示了通过架构创新（多智能体协作）和训练策略（MARL），中小规模模型（37B）可以超越甚至大幅超越超大参数量的闭源模型，为资源受限场景下的视频理解提供了新路径。
• 可解释性： 通过可视化策略生成、执行和通信过程，展示了模型是如何逐步发现线索、修正错误并最终得出结论的，增强了系统的可解释性。

总结： VideoChat-M1 通过引入动态的协同策略规划和多智能体强化学习，成功克服了现有视频理解框架在长视频和复杂推理任务中的局限性，在性能、效率和可解释性上均达到了新的行业标杆。