💻 computer science

VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

本文提出了专为评估视觉中心复杂视频推理能力而设计的基准测试 VideoReasonBench，通过引入细粒度操作序列和潜在状态推断任务，揭示了现有主流多模态大模型在此类任务上的显著不足，并证明了扩展推理预算（Test-time scaling）对于提升模型性能至关重要。

原作者： Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 VIDEOREASONBENCH 的新测试，就像给现在的“超级 AI 视频理解员”们出了一套高难度的“找茬 + 推理”侦探题。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成一场**“侦探与魔术”的较量**。

1. 背景：为什么需要这个新测试？

以前的 AI 视频测试（比如问“视频里的人在做什么？”），就像是在考**“记忆力”**。

旧测试：就像给你看一段视频，然后问：“刚才那个人穿什么颜色的衣服？”AI 只要看一眼，或者用简单的“直觉”就能答对。
问题：现在的 AI 很聪明，但它们往往不需要“深度思考”就能在这些简单问题上拿高分。这就像让一个天才去解"1+1 等于几”，虽然答对了，但看不出他真正的推理能力有多强。

2. 新测试：VIDEOREASONBENCH 是什么？

作者设计了一个全新的“游乐场”，里面的视频不是简单的记录生活，而是像**“魔术表演”或“逻辑谜题”**。

核心玩法（魔术盒）：
想象视频里有一个**“魔法盒子”**（Latent State，潜在状态）：

前半段：你只能看到盒子里的操作（比如有人把牌换位置、把棋子移动、把文件删除），但你看不到盒子里最终变成了什么样。
后半段：或者反过来，你只能看到开始和结束的样子，中间的过程被遮住了。
任务：AI 必须像侦探一样，盯着视频里每一个微小的动作，在脑子里一步步推演：“刚才他移走了这张牌，那张牌就滑过来了……现在盒子里的状态应该是这样的……"

三个难度等级（就像游戏闯关）：

Level 1：回忆（找茬）
- 问题：“视频里那个红圈一共往左走了几步？”
- 要求：必须精准记住每一个动作，不能数错。
Level 2：推断（读心）
- 问题：“虽然视频最后把盒子盖住了，但根据刚才的移动，现在盒子里的牌是怎么排的？”
- 要求：AI 必须在脑子里“重建”那个看不见的状态。
Level 3：预测（算命）
- 问题：“如果现在盒子是这个状态，我再让它‘向左、向上’移动一次，会变成什么样？”
- 要求：基于刚才的推理，预测未来的变化。

3. 测试结果：AI 们表现如何？

作者找了 18 个目前最顶尖的 AI 模型来答题，结果非常惊人：

大多数 AI（包括 GPT-4o）：考砸了。
- 准确率只有 6.9% 左右。
- 比喻：就像让一群普通大学生去做高数题，他们连题目都没读懂，直接瞎蒙。它们要么记不住中间的过程，要么推演一步就乱了。
少数“思考者”：表现突出。
- 只有 Gemini-2.5-Pro 这个模型表现最好，准确率达到了 56%。
- 比喻：这个模型就像是一个**“慢思考的数学家”**。它不急着回答，而是先在脑子里把每一步都推演一遍（论文里叫“长思维链”），虽然慢，但能算对。
人类表现：
- 人类专家的平均分是 73.8%。
- 结论：即使是现在最强的 AI，离人类的逻辑推理能力还有很大差距。

4. 关键发现：为什么 AI 会失败？

论文发现了两个致命弱点：

“眼瞎”（视觉感知不够细）：
- 现在的 AI 看视频像“走马观花”，只记得大概。在这个测试里，如果只给 AI 看视频的一帧（就像只看一张照片），或者把视频剪掉一半，AI 的分数就会暴跌 98%。
- 比喻：就像让你看一场魔术，但只给你看魔术师的手，不给你看道具，你根本猜不出变出了什么。
“脑懒”（不愿意深度思考）：
- 如果强制 AI 多花点时间“思考”（生成更多的推理文字），它的分数会大幅提升。
- 比喻：以前的 AI 是“秒回型”选手，看到题就答；现在的测试要求它是“草稿纸型”选手，必须把步骤写出来才能做对。

5. 总结：这篇论文想说什么？

这篇论文就像是在说：

“别被那些简单的视频问答骗了！现在的 AI 在复杂的、需要一步步逻辑推演的视频任务面前，其实还很笨。它们要么记不住细节，要么懒得动脑子。只有那些愿意‘慢下来’、像侦探一样一步步推理的 AI，才能在这个新测试中及格。”

这对我们意味着什么？
这意味着未来的 AI 发展，不能只靠“背答案”或“看大概”，必须学会像人类一样进行严密的逻辑推演，才能真正理解视频里的复杂世界。这个新测试（VIDEOREASONBENCH）就是用来筛选出真正聪明的 AI 的“试金石”。

这是一篇关于 VIDEOREASONBENCH 的会议论文技术总结，该基准测试旨在评估多模态大语言模型（MLLMs）在以视觉为中心（Vision-Centric）的复杂视频推理能力。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有局限：尽管长思维链（Long Chain-of-Thought, CoT）推理显著提升了大语言模型（LLMs）在数学、代码等复杂任务上的表现，但在视频理解领域，这种优势尚未得到充分验证。
现有基准的缺陷：
- 现有的视频问答基准（如 Video-MME, TempCompass）通常缺乏足够的推理深度，模型往往无需深度思考即可通过少量 Token 回答。
- 部分新提出的视频推理基准（如 Video-MMMU, MMVU）主要依赖领域知识（Knowledge-driven），而非对视觉内容的深度依赖。
- 缺乏能够强制模型进行细粒度视觉感知和多步状态追踪的基准。
核心问题：现有的 MLLMs 是否具备处理需要精确回忆视觉操作、推断潜在状态以及预测未来状态的复杂视频推理任务的能力？

2. 方法论 (Methodology)

2.1 任务定义：VIDEOREASONBENCH

该基准测试将视频定义为状态转换序列 $\{S_t, o_t, S_{t+1}\}$ 。其核心设计原则是：

操作可见，状态部分可见：视频展示了密集的操作序列（如滑动、翻转、移动），但潜在的状态（State）仅在视频的开头或结尾部分可见。
六大演示类型：为了覆盖不同的视觉逻辑，设计了六种视频演示：
1. Number（数字滑块）滑动数字方块。
2. Circle（圆圈翻转）红圈移动翻转网格颜色。
3. Cup（杯子换位）交换杯子位置以改变下方硬币分布。
4. File（文件操作）命令行下的文件增删改查。
5. Card（扑克牌堆）牌堆顶加牌或底抽牌。
6. Chip（筹码增减）杯子中筹码的增减。

2.2 推理层级与技能

基准测试将视频推理能力划分为三个递进层级，每个层级包含两种技能：

Level 1：回忆（Recall）
- Recall Order: 精确回忆操作序列。
- Recall Count: 统计特定操作的次数。
Level 2：推断（Infer）
- Infer State: 根据操作推断某一时刻的潜在状态（如最终棋盘布局）。
- Compare State: 比较两个时刻的状态差异。
Level 3：预测（Predict）
- Predict State: 基于当前状态和给定操作，预测未来状态。
- Predict Operation: 给定目标状态，反推所需的操作序列。

2.3 数据构建

规模：包含 240 个视频和 1,440 个问题（每种技能 240 题）。
生成框架：采用半自动构建框架，包含“视频引擎”（Video Engine）和“问题引擎”（Question Engine）。
- 视频引擎根据状态大小（如 $3\times3$ 或 $4\times4$ ）和操作数量（5-14 步）生成状态转换脚本，并通过 Matplotlib、命令行截图或人工录制生成视频。
- 问题引擎根据状态转换数据自动生成问题和标准答案。

3. 实验设置 (Experimental Setup)

评估对象：评估了 18 个最先进的 MLLMs，包括：
- 闭源模型： GPT-4o, o4-mini, Seed1.5-VL, Gemini-2.0/2.5 (Flash & Pro)。
- 开源模型： LLaVA-OneVision, InternVL3, Qwen2.5-VL, MiniCPM-V 等。
评估指标：使用 Qwen2.5-72B 作为裁判模型（Judge）评估回答的正确性。对于“预测操作”类问题，通过模拟状态转换来验证。
对比实验：
- Thinking Budget：测试不同推理 Token 预算对性能的影响。
- Vision Reliance：测试移除视觉信息（仅用文本摘要 vid2txt）后的性能下降幅度。
- 复杂度分析：改变状态大小和操作数量。

4. 关键结果 (Key Results)

4.1 模型表现普遍低迷

整体表现：大多数 SOTA MLLMs 在 VIDEOREASONBENCH 上表现极差，准确率普遍低于 10%。
- GPT-4o：仅 6.9%。
- **开源高效模型 **(<10B) 准确率接近随机猜测（<2%）。
- Thinking 模型：即使是具备推理能力的 o4-mini 和 Seed1.5-VL，准确率也仅为 10.7% 和 11.5%。
最佳表现： Gemini-2.5-Pro 显著优于其他模型，准确率达到 56.0%，但仍远低于人类基准（73.8%）。

4.2 失败原因分析

细粒度时序感知不足：模型难以捕捉视频中密集的操作序列。当视频被替换为文本摘要（vid2txt）时，模型性能大幅提升（例如 Seed1.5-VL 从 11.5% 升至 69.4%），证明视觉感知是主要瓶颈。
多跳推理能力有限：缺乏深度的思维链推理能力。开启“思考模式”（Thinking Mode）能显著提升 Gemini-2.5-Flash 的性能（从 18.8% 提升至 27.4%），但在现有基准上提升微乎其微。

4.3 测试时扩展（Test-time Scaling）

Thinking Budget 的影响：在 VIDEOREASONBENCH 上，增加推理 Token 预算（Thinking Budget）能带来显著的准确率提升（约 +9%）。
对比：在 Video-MME、TempCompass 等现有基准上，增加推理预算带来的提升极小（<2.5%）。这表明 VIDEOREASONBENCH 真正需要并受益于长思维链推理。

4.4 视觉依赖度

移除 50% 视频帧或仅使用单帧时，VIDEOREASONBENCH 的性能下降幅度（55% - 98%）远大于其他基准（<30%），证明了该任务对完整视觉上下文的强依赖性。

5. 主要贡献 (Contributions)

提出 VIDEOREASONBENCH：首个专门针对以视觉为中心的复杂视频推理的基准测试，强制模型进行多步状态追踪和细粒度视觉感知。
揭示当前 MLLMs 的缺陷：发现即使是最新的“思考型”模型，在处理此类任务时也面临巨大挑战，暴露了细粒度时序感知和多跳推理能力的严重不足。
验证长思维链的价值：证明了扩展的 CoT 推理对于解决此类复杂视频任务至关重要，而在传统视频基准上则作用有限。
建立人类基准：提供了人类在该任务上的表现数据（73.8%），表明即使是人类也面临认知挑战，为未来研究设定了明确的上限。

6. 意义与展望 (Significance)

填补空白：解决了现有视频基准缺乏推理深度和视觉依赖性的问题，为评估 MLLMs 的复杂视频推理能力提供了更严格的试金石。
指导未来方向：研究结果表明，未来的 MLLMs 需要加强细粒度时序建模和基于视觉的长程推理能力。
数据开源：论文开源了数据集、代码和基准测试平台，促进了该领域的研究发展。

总结： VIDEOREASONBENCH 揭示了当前多模态大模型在“看视频并推理”这一核心能力上的巨大差距。它表明，仅仅增加模型参数量或简单的视觉编码是不够的，模型必须具备像人类一样在时间轴上精确追踪状态变化并进行逻辑推演的能力。Gemini-2.5-Pro 的相对成功暗示了“思考机制”（Thinking Mechanism）在解决此类问题中的关键作用。