MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos
该论文提出了 MMOU，这是一个包含 1.5 万道问题和 9038 个长视频的大规模多任务全模态理解与推理基准，旨在评估模型在复杂真实世界视频中对视听文多模态信号的联合推理能力，并揭示了当前顶尖模型在此类任务中仍存在显著的性能差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 MMOU 的新“考试”，专门用来测试人工智能（AI）在观看长视频时，能不能像人类一样同时听懂声音、看懂画面，并把它们结合起来思考。
为了让你更容易理解，我们可以把现在的 AI 模型想象成一群正在参加“全能特工”培训的学员，而 MMOU 就是他们面临的终极实战演习。
1. 为什么要搞这个考试？（背景）
以前的 AI 考试（基准测试）有点像“分科考试”：
- 视力考试：只给图片，问“图里有什么？”
- 听力考试：只给音频，问“这是什么声音？”
- 短剧考试：只给几秒的短视频，问“刚才发生了什么？”
这些考试里，AI 表现都很棒。但是，真实世界不是这样的。
想象一下，你正在看一部长达 1 小时的纪录片，里面既有复杂的画面（比如有人在修车），又有背景音（比如引擎声、对话声），而且关键信息可能分散在视频的开头、中间和结尾。
- 如果 AI 只“看”不听，它可能听不懂那个引擎声代表车坏了。
- 如果 AI 只“听”不看，它可能不知道是谁在说话。
- 如果 AI 记性不好，它可能忘了 10 分钟前说过的话，导致现在无法推理。
MMOU 就是为了解决这个问题而生的。它不考“单科”，而是考“全能”。它要求 AI 必须眼耳并用，还要有超长记忆力，才能答对题目。
2. 这个“考试”有多难？（MMOU 的特点）
这个考试由 NVIDIA 和马里兰大学的研究团队设计，它的难度体现在以下几个方面：
- 题目量大且杂：就像一本15,000 页的超级题库，涵盖了 9000 多个从网上收集的长视频。
- 视频很长：平均每个视频长达 12 分钟（有的甚至超过 2 小时！）。这就像让 AI 看完一整部《指环王》然后回答问题，而不是只看一个 10 秒的预告片。
- 必须“音画同步”：这是最关键的。很多题目是**“缺一不可”**的。
- 比喻：题目问“为什么那个人突然笑了？”
- 如果只看画面，可能只是他在发呆。
- 如果只听声音，可能听到他在讲笑话。
- 只有把画面（他盯着手机）和声音（手机里传来笑声）结合起来，才能知道答案。 如果 AI 只靠猜或者只看文字，必挂无疑。
- 13 种技能挑战：考试不仅考“看”，还考各种高级思维，比如：
- 数数：视频里一共出现了几次特定的动作？
- 找茬（大海捞针）：在 1 小时的视频里，找出 30 秒前那个特定的细节。
- 推理：根据声音和画面，推测人物接下来要做什么。
- 时间线梳理：搞清楚事情发生的先后顺序。
3. 考试结果如何？（现状与差距）
研究人员把目前世界上最先进的 20 多个 AI 模型（包括谷歌的 Gemini、阿里的 Qwen 等）都拉来参加了这次考试。结果非常令人震惊：
- 人类表现：如果让普通人来做这套题，平均能拿 84.3 分。
- 最强 AI（闭源模型）：谷歌的 Gemini 2.5 Pro 是目前的“考霸”，但也只拿到了 64.2 分。
- 开源模型：表现更差，最好的开源模型只拿了 46.8 分。
- 单模态模型（只看不听或只听不看）：分数直接掉到 30-40 分 左右，几乎不及格。
这意味着什么？
这意味着，即使是目前最聪明的 AI，在面对长视频、复杂场景、需要同时处理声音和画面的任务时，依然像个**“健忘且偏科的学生”**。它们经常漏掉关键信息，或者把声音和画面搞混。
4. 为什么 AI 会“挂科”？（发现的问题）
通过分析，研究人员发现 AI 有几个明显的“死穴”：
- “中间遗忘症”：就像人读长文章容易忘记开头一样，AI 在视频中间部分的表现最差。如果答案藏在视频的第 40 分钟，AI 很容易就“断片”了。
- “只会做选择题，不会写作文”：
- 在选择题（给几个选项选一个）里，AI 还能靠排除法蒙对一些。
- 但在开放式问答（直接让 AI 回答，不给选项）里，AI 的表现大幅下降。这说明它们可能并没有真正“理解”，只是学会了“猜选项”。
- “幻觉”严重：AI 经常编造视频里根本没有发生的事情，或者把声音和画面张冠李戴。
5. 这个研究有什么用？（未来展望）
虽然现在的 AI 还没完全通过考试，但 MMOU 这个“考试”本身非常有价值：
- 照妖镜：它像一面镜子，清晰地照出了当前 AI 技术的短板，告诉科学家们：“嘿，别光顾着刷短视频的数据了，长视频和音画结合才是未来的大难题。”
- 指南针：它指出了改进的方向。未来的 AI 需要更强的长记忆能力和真正的多模态融合能力（不仅仅是把声音和画面拼在一起，而是要像人脑一样融合它们）。
- 实际应用：只有通过了这种级别的考试，AI 才能真正应用到教育（辅导学生看长网课）、医疗（分析长达数小时的手术录像）、法律（审查监控视频） 等需要深度理解的领域。
总结
简单来说，MMOU 是给 AI 出的一道“长视频综合理解题”。
目前的 AI 就像是一个视力很好、听力也不错，但记性不好、且不太会统筹全局的“偏科生”。虽然它们能看懂几秒的短视频，但一旦面对长达几十分钟、声画交织的复杂现实世界，它们就会“晕头转向”。
这项研究告诉我们：通往真正通用人工智能（AGI）的道路还很漫长，我们需要让 AI 学会像人类一样，在漫长的时间流中，同时用耳朵和眼睛去理解世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。