🤖 AI

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

本文提出了一个统一的“人类视角”框架，用于通过多模态大语言模型进行视频理解，围绕观看、记忆和推理这三项核心能力来组织该领域，从而系统地分析处理长且复杂视频场景中的挑战、方法、应用及未来方向。

原作者： Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图理解一部非常长且复杂的电影。你不能只是扫一眼，你必须观看它、记住情节并解开谜团。这篇论文认为，要教会计算机做到这一点，需要它们掌握三项特定的类人技能：观看（Watching）、记忆（Remembering）和推理（Reasoning）。

以下是该论文内容的简单拆解，使用了日常类比。

大局观：“人类视角”方法

作者认为，与其将视频理解视为一系列独立的数学问题，我们应该像人类一样看待它。当你观看一部两小时的电影时，你并不会以同样的强度盯着每一个画面。你会观看重要的部分，记住角色和情节要点，并推理整个故事，从而回答诸如“谁干的？”或“为什么会发生那件事？”之类的问题。

论文将最新的 AI 研究归纳到这三个范畴中。

1. 观看： “选择性的眼睛”

问题： 视频量巨大。一部一小时的电影有数千帧。如果向计算机展示每一帧，它会应接不暇（就像试图用消防水龙头喝水一样）。而且，最重要的线索可能是一个只持续了刹那间的微小细节。

解决方案： 论文回顾了教导 AI 成为“选择性观察者”的方法。

细粒度观看（Fine-Grained Watching）： 这就像侦探放大观察特定的指纹。AI 学习精准定位某事发生的具体时间和地点（例如：“枪在 12:05 被发射”）。
全面观看（Comprehensive Watching）： 这就像电影评论家总结整部影片。AI 学习描述整个视频或将其分解为场景。
视听观看（Audio-Visual Watching）： 这就像开着声音看电影。AI 学习在观看动作的同时聆听对话和音乐，理解尖叫声与惊恐的面孔是相匹配的。
高效观看（Efficient Watching）： 这是“跳过无聊部分”的技能。AI 学习忽略冗余帧（比如一段对着墙壁的长镜头），只保留那些真正能回答问题的帧。

2. 记忆： “智能档案柜”

问题： 即使 AI 观看了视频，它也无法同时把整个视频都装进它的“大脑”。如果视频长达 2 小时，当 AI 看到结尾时，它可能已经忘记了前 10 分钟发生了什么。

解决方案： 论文探讨了 AI 如何构建“记忆系统”。

离线记忆（Offline Memory）： 想象你看了部电影，然后把摘要写在笔记本上。稍后，你可以翻阅这个笔记本来寻找细节。一些 AI 系统通过在回答问题前将视频压缩成一个较小的“摘要”或一系列关键事件来实现这一点。
流式记忆（Streaming Memory）： 这就像新闻主播。视频正在实时输入，AI 必须在记住“刚刚发生了什么”的同时，还要兼顾“一小时前发生了什么”，且不能耗尽存储空间。它使用一个“滚动缓冲区”来保留最重要的近期信息，以及一个“长期存档”来记录大局。
智能体型 vs 非智能体型（Agentic vs. Non-Agent）：
- 非智能体型： AI 在观看过程中自动编写自己的摘要（就像学生做笔记）。
- 智能体型： AI 表现得像个图书管理员。它意识到自己遗忘了某些内容，于是回到“视频图书馆”，找到那个特定的片段，并把它带回自己的“办公桌”前重新观察。

3. 推理： “侦探的逻辑”

问题： 仅仅看到和记住是不够的。AI 需要把点连成线。如果 AI 说“管家干的”，但它无法指出视频中证明这一点的具体时刻，那就是“幻觉”（编造谎言）。

解决方案： 论文讨论了 AI 如何在开口说话前进行“思考”。

纯文本推理（Text-Only Reasoning）： AI 在给出答案之前，会写下一段很长的内部思考过程（就像侦探的笔记本）。它会说：“我看到了 X，然后发生了 Y，所以 Z 必然成立。”
结合视频进行思考（Thinking with Videos）： 这是最新且最先进的想法。AI 不再仅仅是猜测，而是主动回到视频中去核实自己的工作。这就像侦探说：“等等，我觉得在第 10 分钟看到了一个线索。让我倒回去再看一眼那个特定的帧。”
- 智能体型（Agentic）： AI 使用工具进行放大、裁剪帧或搜索特定的时间戳。
- 非智能体型（Non-Agent）： AI 接受训练，使其在回答中自然地包含时间戳和对所见内容的描述，以此证明它确实查看了证据。

特殊类型的“电影”（子领域）

论文还指出，不同类型的视频需要不同的技能：

第一视角（Egocentric）： 从人的眼睛角度拍摄的视频（如 GoPro 拍摄）。AI 必须理解这个人正在做什么以及他们的意图是什么。
体育运动（Sports）： 这些视频节奏极快且充满规则。AI 需要了解比赛规则才能理解裁判为什么吹哨。
教学视频（Instructional）： 这些视频漫长且信息密集。AI 需要追踪课程步骤，并将老师的声音与幻灯片匹配起来。
医疗视频（Medical）： 这些涉及高风险领域。AI 需要对工具和身体部位非常精确，通常需要观察漫长的手术过程。
电影/叙事类（Movies/Storytelling）： 这些依赖于情节和角色关系。AI 必须记住角色是谁，以及他们在整个故事中是如何变化的。

工具箱：数据与测试

论文列出了研究人员用于训练和测试这些 AI 模型的“教科书”（数据集）和“考试”（基准测试）。

数据集（Datasets）： 这些是带有问答内容的庞大视频集合，其中一些会对为什么答案是正确的进行了详细说明。
基准测试（Benchmarks）： 这些是检查 AI 是否真的能处理长视频、能否找到特定时刻、或者能否在不产生混乱的情况下推理复杂故事的测试。

未来：下一步是什么？

论文总结道，虽然我们正在取得进展，但仍存在巨大的障碍：

空间推理： AI 在理解物体在 3D 空间中的确切位置以及它们如何相对于彼此移动方面仍然较弱。
多视频处理： 大多数 AI 一次只能处理一个视频。现实生活涉及在不同的摄像机视角或相关的视频之间切换。
长达一小时的视频： 在处理长达数小时的视频而不丢失主线方面，仍然非常困难。
效率： 我们需要能够无需检查每一帧就能找到真相的 AI，从而节省时间和能源。
流媒体： 开发能够观看直播并实时做出反应（如主动助手）的 AI 是一个主要目标。

简而言之，论文指出，要让 AI 真正理解视频，我们不能再将其视为静态图像，而应将其视为一个需要人类式的观察、记忆和逻辑结合的动态故事。

技术总结：观看、记忆、推理：基于人类视角的 MLLM 视频理解

1. 问题陈述

视频理解领域正经历着由多模态大语言模型（MLLMs）驱动的范式转变。早期的视频模型侧重于短片段和孤立的感知任务，而当前的研究正转向长时程理解（long-horizon comprehension），其输入范围从几分钟到数小时不等。这种转变引入了一个根本性的矛盾：冗余性（长视频包含许多重复帧）与证据稀疏性（决定性的证据往往是短暂、遥远或分散的）之间的矛盾。

现有方法通常将视频任务视为孤立的基准测试，未能解决现实场景（如电影、体育赛事直播和医疗手术）中的系统性需求。这些场景要求模型能够：

在有限的计算预算下选择性地感知有用时刻。
在有限的上下文窗口之外保留显著信息。
通过将答案与明确的时空证据相连接，进行忠实的推理。
处理异步的多模态信号（视觉、音频、文本）。

目前的综述缺乏一个统一的框架来整合长视频 MLLM 系统中的感知、记忆和推理，往往而是侧重于特定的任务、技术或训练范式。

2. 方法论：“人类视角”分类法

本文提出了一个基于人类视角的统一框架来分析视频理解系统，将过程分解为三个核心功能能力：观看（Watching）、记忆（Remembering）和推理（Reasoning）。

2.1 统一公式化

作者将视频理解系统 $F_{VU}$ 公式化为一个功能模块序列：

观看 ( $F_{watch}$ )：根据查询 ( $q$ ) 从多模态流 ( $V, A, T$ ) 中提取任务相关的感知证据 ( $Z$ )。这涉及时空定位、查询感知的帧选择以及跨模态对齐。
记忆 ( $F_{remember}$ )：通过累积有用证据并过滤冗余，随时间更新记忆状态 ( $m_t$ )。这架起了短期上下文与长期记忆 ( $M$ ) 之间的桥梁。
推理 ( $F_{reason}$ )：基于感知证据和记忆生成推理轨迹 ( $R$ )，该轨迹可以包括文本步骤、定位的时间戳或工具使用动作。
输出 ( $F_{out}$ )：基于集成的状态生成最终预测 ( $O$ )。

该系统通常在自回归 MLLM 中实现，通过监督微调（SFT）或诸如群体相对策略优化（GRPO）等强化学习（RL）技术进行训练。

2.2 方法分类

本综述根据这三种功能能力对代表性方法进行了分类：

观看（感知）：
- 细粒度：侧重于精确的时空定位（如 TimeChat, LITA）和目标跟踪。
- 全面性：涵盖全视频描述、密集视频描述和区域级描述。
- 视听结合：集成听觉信号以实现全模态感知（如 Qwen2.5-Omni, LLaMA-Omni）。
- 高效性：通过帧选择、Token 压缩和稀疏注意力机制来解决冗余问题（如 AKS, Video-XL-2）。
记忆（存储）：
- 离线记忆：分为智能体化（Agentic）（LLM 自主调用工具来构建/检索记忆，如 VideoAgent）和非智能体化（Non-Agent）（使用压缩和结构化存储的确定性流水线，如 MovieChat, LongVU）。
- 流式记忆：通过滑动窗口、KV 缓存优化和分层记忆库处理无界视频流（如 Flash-VStream, StreamMem）。
推理（推断）：
- 仅文本推理：模型纯粹以语言形式生成中间思维轨迹。方法包括智能体化（迭代规划和工具使用，如 DoraemonGPT）和非智能体化（通过 RL 或 CoT 监督进行后训练，如 Video-R1）。
- 结合视频进行思考：模型将推理与显式的视觉定位交织在一起（如重看、缩放、边界框）。这包括智能体化方法（使用工具检查证据，如 VITAL）和非智能体化方法（生成带有时间戳/边界框的结构化输出，如 Open-o3-Video）。

3. 核心贡献

本文对该领域做出了三个主要贡献：

人类视角分类法：引入了连贯的“观看-记忆-推理”框架，将多样化的视频 MLLM 方法联系起来，明确了它们的各种功能角色，而非仅仅按孤立的任务进行分组。
全面的覆盖范围：对 MLLM 时代的关键技术进行了广泛回顾，特别涵盖了长视频理解、细粒度定位、记忆建模、智能体系统、流式处理和定位推理。
系统的资源总结：整合了训练数据集、评估基准和特定领域应用（第一视角、体育、教学、医疗、叙事），为模型开发和评估提供实践指导。

4. 结果与发现

本文并未呈现新的实验结果，而是通过其分类法对当前技术水平进行了综合分析。主要发现包括：

范式转移：领域正从简单的输入压缩和答案生成转向结构化记忆、流式系统和基于证据的推理。
RL 的有效性：强化学习（特别是 GRPO 和偏好优化）已被证明在提高时间定位能力、减少幻觉以及鼓励忠实推理轨迹方面非常有效。
记忆挑战：虽然离线记忆方法正在趋于成熟，但流式记忆仍是处理具有恒定延迟和内存预算的无界输入的关键挑战。
推理忠实度：“结合视频进行思考”（将视觉证据与推理交织）的方法在减少幻觉方面表现出优于仅文本推理的性能，尽管它们通常会带来更高的计算成本。
领域特殊性：不同领域施加了独特的约束。例如，医疗视频需要全局程序上下文和局部解剖学证据，而体育视频则要求对快速动作进行精确的时间定位。

5. 意义与未来方向

本文认为，“人类视角”对于理解方法的各种功能角色以及解释为什么感知、记忆和推理必须协同工作至关重要。它指出了若干开放性问题和未来方向：

空间推理：弥合物体级跟踪与场景级 3D 理解之间的差距。
多视频定位：超越单片段输入，处理精彩集锦和多段检索。
小时级理解：开发结构化的、多层级的记忆系统，以便在处理长达数小时的视频时，既能处理罕见的决定性时刻，又不会丢失长程依赖。
高效且可验证的推理：通过将推理视为一种有预算的证据搜索，平衡计算成本与忠实度。
流式第一视角视频：为主动式助手和具身智能体创建具有状态的、目标驱动的流式记忆。

作者总结道，视频智能的未来在于可扩展、具备记忆感知能力且基于证据的系统，并致力于通过其维护的仓库持续追踪相关进展。