← 最新论文
💻 计算机科学

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

本文介绍了 VideoMemBench,这是一个包含 326 个视频和具有经过验证的跨轮次依赖关系的多轮对话的新型基准测试,旨在评估多模态大语言模型(MLLMs)的“上下文视频记忆”能力,并揭示了即使是表现最出色的模型在该任务上也面临显著困难,最高得分仅为 45.7%。

原作者: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

发布于 2026-11-04
📖 1 分钟阅读☕ 轻松阅读

原作者: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

技术摘要:VideoMemBench

问题陈述

多模态大语言模型(MLLMs)已经取得了长足进步,能够处理长达一小时、包含百万级 token 上下文的视频,从而实现针对单一视频的长时间多轮对话。然而,维持此类对话需要上下文视频记忆(in-context video memory):即检索并复用在对话早期建立的信息的能力,这既包括模型所看到的视觉片段,也包括模型先前生成的答案。

现有的视频理解基准测试(如 MVBench、Video-MME、LVBench)未能衡量这一能力。它们的提问是相互独立的,从不相互引用,且仅凭视频和当前问题即可回答。因此,不存在需要跨轮次传递信息的需求,导致这一关键的上下文视频记忆挑战无法被衡量。

方法论:VideoMemBench 构建

作者引入了 VideoMemBench,这是一个旨在通过结构化、类型化的跨轮次依赖关系来显式评估上下文视频记忆的基准测试。其构建流程涉及三个 LLM 角色和人类专家评审:

  1. 视频收集: 从现有基准测试(Video-MME、VSI-Bench 等)和网络(YouTube)中筛选出约 3,200 个初始视频池,涵盖四个主要领域:生活方式与娱乐、知识与教育、艺术与文学,以及体育与竞技。
  2. 依赖规划(规划器 LLM): 在生成问题之前,规划器会创建一个全局对话规范。这包括视频大纲、对话指南和一个类型化依赖图。该图将父轮次分配给依赖轮次,并将边标记为:
    • 情节依赖(Episodic Dependency): 问题引用了早期轮次中描述的一个视觉片段(探测模型对已见内容的记忆)。
    • 答案依赖(Answer Dependency): 问题建立在模型自身先前的答案之上(探测模型对已说内容的记忆)。
  3. 轮次生成(生成器 LLM): 生成器根据计划逐轮构建对话。它确保依赖轮次使用指代性表达(例如,“T1 中的场景”),而不重复之前的具体内容。
  4. 自动验证(评判器 LLM): 评判器对每一轮严格执行三个要求:
    • 必要性(Necessity): 如果移除父轮次,该问题必须变得无法回答(即使拥有视频访问权限)。
    • 非泄露性(Non-leakage): 问题不得重述来自父轮次的信息或透露其答案。
    • 视觉落地(Visual Grounding): 每个答案必须能够通过特定的视频帧进行验证。
      失败的轮次将被重新生成;若连续两次失败,则触发重新规划。
  5. 人类专家评审: 八名人类专家根据视频对所有对话进行评审,以验证答案正确性、依赖有效性以及是否存在信息泄露。

数据集统计:

  • 326 个视频配对 326 个多轮对话。
  • 共 2,476 个问答(QA)轮次。
  • 有 1,387 个轮次是依赖轮次(占 56.02%),包含 1,200 个情节依赖和 594 个答案依赖。
  • 依赖关系包括多父结构(最多 3 个父轮次)和长程链条(跨度达 9 个轮次)。

评估协议

该基准测试评估了 25 个 MLLM(8 个闭源模型,17 个开源权重模型),采用自回归展开(self-rollout)协议,模型接收 128 帧均匀采样的帧以及完整的对话历史。定义了三种指标:

  1. TurnAcc: 所有轮次的准确率,独立评分。
  2. EpiDepAcc: 具有情节依赖(视觉上下文记忆)的轮次的准确率。
  3. AnsDepAcc: 使用**链式信用(chain crediting)**计算具有答案依赖的轮次准确率。只有当一个轮次的响应及其在答案依赖谱系中的所有先前响应均正确时,该轮次才会被计分。这惩罚了误差的累积。

关键结果

  • 整体性能: 表现最好的模型 Claude Opus 5 的整体得分仅为 45.7%,显著低于人类基准线 86.1%。
  • 依赖类型: 依赖轮次的表现始终低于独立轮次。
    • AnsDepAcc 是最具挑战性的指标(Claude Opus 5 为 35.7%),比 TurnAcc 低了 16.6 个百分点。这表明在保持与先前答案的一致性方面存在严重困难。
    • EpiDepAcc(49.1%)稍好,但仍低于独立轮次的准确率(52.3%)。
  • 复杂度影响:
    • 距离: 随着依赖距离的增加,准确率下降(从距离为 1 时的 30.2% 下降到距离 ≥\ge 5 时的 23.1%)。
    • 多父结构: 随着父轮次数量的增加,准确率下降。
    • 位置: 对话后期出现的依赖轮次显示出一致的准确率下降。
  • 误差来源: 将模型历史替换为真值(Oracle history)的实验显示了显著的性能提升(例如,Qwen3-VL-8B 从 12.3% 提升至 32.4%),证实了早期响应中的错误是后续轮次困难的主要来源。然而,即使使用完美的历史记录,准确率仍低于独立轮次水平,这表明仅靠正确的历史记录不足以实现可靠的上下文视频记忆。

意义与主张

论文声称,上下文视频记忆仍然是当前 MLLM 面临的一个开放且具有挑战性的问题,即使是前沿模型也是如此。其主要贡献在于:

  1. 识别差距: 指出目前的基准测试无法衡量在视频对话中检索并复用已建立的对话上下文的能力。
  2. VideoMemBench: 提供了第一个具有显式、类型化跨轮次依赖(情节依赖和答案依赖)的基准测试,并通过严谨的构建流程确保了必要性和非泄露性。
  3. 实证证据: 证明了当前的模型在处理跨轮次依赖时表现欠佳,特别是在维持与自身先前答案的一致性(链式信用)以及处理长程或多父依赖方面。

作者总结道,VideoMemBench 为开发能够可靠地回忆并基于早期观察和响应进行对话的视频 MLLM 提供了必要的基石。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →