💬 NLP

VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

VideoARM 提出了一种基于分层记忆的代理推理范式，通过自适应的“观察 - 思考 - 行动 - 记忆”循环和粗到细的工具调用机制，在显著降低长视频理解任务中 Token 消耗的同时实现了超越现有最先进方法（如 DVD）的性能。

原作者： Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 VideoARM 的新系统，它能让 AI 像人类一样“看”长视频，并且非常聪明、省资源。

为了让你轻松理解，我们可以把看长视频（比如一部 2 小时的电影或 1 小时的讲座）想象成在茫茫大海中找宝藏。

1. 以前的方法：笨重的“地毯式搜索”

以前的 AI 看长视频，就像是一个不知疲倦但有点死板的搬运工。

做法：不管视频里讲什么，它先把整部电影切成几千个 10 秒的小片段，把每个片段都读一遍、记下来，存进一个巨大的“数据库”里。
问题：
- 太费钱：这就像为了找一把钥匙，把整个房子的每一块地板都撬开检查一遍。AI 需要处理海量的信息，消耗巨大的计算资源（论文里叫"Token 消耗”）。
- 记不住重点：它记了一堆没用的废话，反而把真正重要的线索给淹没了。
- 不灵活：一旦开始看，它就不能根据问题调整策略，只能按部就班。

2. VideoARM 的方法：聪明的“侦探”

VideoARM 不再做搬运工，它变成了一个拥有“超级记忆”和“灵活工具”的侦探。它的核心思想是：“边看边想，哪里有问题查哪里”。

核心比喻：侦探的“三层记忆库” (HM3)

这个侦探脑子里有一个神奇的三层记忆库，帮他处理信息：

感官记忆（短期）：就像侦探手里刚拿到的几张照片。他快速看一眼，如果没发现线索，马上扔掉，腾出空间给下一张。
结果记忆（中期）：就像侦探的笔记本。他把自己发现的线索（比如“第 5 分钟有个鲨鱼”）记下来，方便回头查阅。
工作记忆（长期/推理）：就像侦探的思维日记。他记录自己“为什么要查这里”、“刚才的推理对不对”。这让他不会在同一个地方绕圈子，也不会忘记自己的推理目标。

核心流程：观察 - 思考 - 行动 - 记忆

VideoARM 不是一次性看完，而是像一个循环的侦探游戏：

观察 (Observe)：
- 侦探先看一眼视频的“全景图”（比如前 10 分钟的大概内容）。
- 比喻：就像侦探先扫视一下案发现场，心里有个大概印象。
思考 (Think)：
- 侦探问自己：“用户问的是‘鲨鱼’，刚才的全景里好像没看到，但我记得 30 分钟处有段对话提到了海洋。我得去那里看看。”
- 比喻：这是大脑在规划路线，决定下一步去哪。
行动 (Act) - 使用“工具”：
- 侦探不会把整段视频都读一遍，而是调用两个神奇工具：
  - 时间定位器 (Interval Localizer)：像快速翻书一样，直接跳到 30 分钟那个时间段，只挑几个关键帧看。
  - 多模态理解器 (Multimodal Tools)：
    - 场景快照 (Scene Snapper)：快速概括这一段的剧情（“这里是一群人在潜水”）。
    - 音频转录 (Audio Transcriber)：如果画面看不清，就听声音（“哦，他们正在讨论锤头鲨”）。
    - 片段分析 (Clip Analyzer)：如果还是不确定，就放大细节，仔细研究那几秒的画面（“看，那个鲨鱼头是扁的，确实是锤头鲨！”）。
记忆 (Memorize)：
- 侦探把刚才找到的证据记进“笔记本”和“思维日记”里。
- 如果证据够了，就给出答案；如果不够，就回到“思考”阶段，决定下一步去哪查。

3. 为什么 VideoARM 这么厉害？

省资源（Token 效率极高）：
- 以前的方法（DVD）看 30 分钟视频，可能要消耗 398 万 个“计算单位”（Token）。
- VideoARM 只需要 8 万 个，节省了 50 倍！
- 比喻：以前是“把整本书复印下来再找答案”，VideoARM 是“直接翻到目录，找到那一页，只看那一行”。
更聪明（自适应）：
- 它不是死板的。如果问题很简单，它可能只看一眼就回答了；如果问题很难，它会像侦探一样，反复跳跃、对比、听声音，直到找到确凿证据。
看得更准：
- 因为它有“三层记忆”，它不会看着看着就忘了开头说了什么，也不会因为视频太长而迷失方向。它能把长视频里的时间线、声音和画面完美地拼凑起来。

总结

VideoARM 就是一个会思考、会记笔记、会灵活使用工具的 AI 侦探。
它不再盲目地“吞掉”整个视频，而是像人类一样，根据问题去主动寻找线索。这不仅让它回答长视频问题更准确，还让它变得极其省钱、省算力，是未来处理长视频（如电影、网课、监控）的绝佳方案。

以下是关于论文 VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding 的详细技术总结：

1. 研究背景与问题 (Problem)

长视频理解（Long-Form Video Understanding）是多媒体智能领域的核心挑战之一。现有的方法在处理长视频时面临以下主要瓶颈：

静态预处理与高 Token 消耗：如 DVD [41] 等方法，通常需要将视频预先分割成固定长度的片段（如 10 秒），并利用多模态大模型（MLLM）对所有片段进行全量分析和数据库构建。这种“穷举式”预处理不仅计算成本极高，而且产生了大量与用户查询无关的冗余 Token。
缺乏自主推理能力：许多方法（如 VideoTree [29]）依赖人工设计的推理流水线（Hand-crafted pipelines），将视频聚类、生成字幕并构建树状结构。这种固定流程限制了模型的自主性，无法根据具体查询动态调整关注点，难以充分利用基础大模型的推理潜力。
上下文限制：长视频包含密集的时空信息和复杂的语义关系，直接输入 MLLM 会导致上下文溢出或关键信息丢失。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 VideoARM，一种基于**分层记忆（Hierarchical Memory）的代理推理（Agentic Reasoning）**范式。其核心思想是用“自适应、按需的推理”取代“静态、全量的预处理”。

2.1 核心架构：观察 - 思考 - 行动 - 记忆循环

VideoARM 通过一个连续的代理循环（Observe-Think-Act-Memorize Loop）运行：

观察 (Observe)：代理基于当前记忆状态观察视频片段。
思考 (Think)：控制器（Controller）分析当前状态，制定下一步计划（如需要更细粒度的视觉分析还是音频转录）。
行动 (Act)：自主调用工具集执行具体任务（如定位时间区间、分析画面、转录音频）。
记忆 (Memorize)：将新获取的证据和推理痕迹更新到分层记忆中，为下一轮推理提供上下文。

2.2 关键组件

分层多模态记忆 (Hierarchical Multimodal Memory, HM3)：
这是 VideoARM 的“大脑”，用于动态存储和管理多模态线索，分为三层：
- 感官记忆 (Sensory Memory)：
  - 长期感知池 ( $P_l$ )：存储当前处理的时间段快照，作为轻量级缓冲区。
  - 短期感知池 ( $P_s$ )：存储局部探索中采样的细粒度片段（图像和音频），用于快速假设验证。
- 结果记忆 (Result Memory)：记录代理操作产生的中间结果（如时间区间、工具输出），形成细粒度的感知历史，避免重复操作。
- 工作记忆 (Working Memory)：记录控制器的推理轨迹和意图，帮助模型在每次调用后清除冗余上下文，聚焦当前任务。
多模态工具集 (Multimodal Toolsets)：
支持从粗粒度到细粒度的渐进式推理：
- 时间范围工具 (Temporal Scoping Tools)：
  - Interval Localizer：根据查询定位相关的时间段，并自适应采样帧，大幅缩小关注范围。
  - Clip Explorer：在局部区间内进行细粒度探测，收集微事件证据。
- 多模态理解工具 (Multimodal Understanding Tools)：
  - Scene Snapper：对长时段视频生成简洁的场景描述（Caption），提供高层语义抽象。
  - Audio Transcriber：提取并转录音频，解决视觉模糊或画外音问题。
  - Clip Analyzer：对特定片段进行细粒度语义分析，回答子问题并给出置信度。
控制器 (Controller)：
基于 MLLM 的决策核心。它不遵循固定流程，而是根据 HM3 中的多模态证据，自主决定调用哪个工具、参数是什么，从而实现“由查询引导（Query-guided）”的自适应推理。

3. 主要贡献 (Key Contributions)

提出了 VideoARM 范式：首次将“分层记忆”与“代理推理”结合用于长视频理解，摒弃了静态数据库构建，实现了动态、按需的视频分析。
设计了 HM3 记忆结构：通过分层设计（感官、结果、工作记忆），有效解决了长视频推理中的上下文管理难题，实现了从感知到认知的平滑过渡。
开发了互补工具集：设计了从粗粒度定位到细粒度分析的工具链，支持代理在长视频中进行高效的“探索 - 验证”循环。
显著的效率提升：证明了在保持甚至提升性能的同时，可以大幅降低 Token 消耗，解决了长视频理解中“高成本”的痛点。

4. 实验结果 (Results)

作者在多个主流长视频理解基准上进行了广泛实验，包括 Video-MME, LongVideoBench, EgoSchema, MLVU 和 LVBench。

性能表现：
- VideoARM 在多个基准上超越了现有的最先进方法（SOTA），包括商业模型（如 Gemini-1.5-Pro, GPT-4o）和开源模型（如 InternVL2.5, Qwen2.5-VL）。
- 特别是在 LongVideoBench 和 EgoSchema 等长视频任务上，VideoARM (o3+GPT-4o 配置) 取得了新的 SOTA 成绩。
- 与直接对比的强基线 DVD 相比，VideoARM 在相同骨干网络配置下，各项指标均更优。
Token 效率：
- 理论估算：对于 30 分钟的视频，DVD 需要约 398 万 Token（仅视觉部分），而 VideoARM 仅需约 8 万 Token（约 DVD 的 1/50）。
- 实验数据：在 Video-MME 数据集上处理 10 个视频（平均 41.3 分钟）和 30 个查询时，VideoARM 的 Token 消耗仅为 DVD 的 1/34。
消融实验：
- 验证了 HM3 各层级的必要性（移除任何一层都会导致性能下降）。
- 证明了“粗粒度到细粒度”的自适应采样策略优于固定采样策略。
- 展示了多模态工具（视觉 + 音频）的协同作用对解决复杂查询至关重要。

5. 意义与影响 (Significance)

范式转变：VideoARM 标志着长视频理解从“预处理 + 检索”模式向“动态代理推理”模式的转变。它证明了 MLLM 可以在不依赖昂贵预处理的情况下，通过自主规划高效地理解长视频。
成本效益：通过大幅降低 Token 消耗，使得在资源受限的场景下（如边缘设备或高并发服务）进行长视频分析成为可能，具有极高的实用价值。
可解释性与鲁棒性：代理的“观察 - 思考 - 行动”循环提供了清晰的推理路径，使得模型决策过程更加透明和可解释，有助于发现推理错误并进行修正。
通用性：该方法不仅适用于长视频，其分层记忆和自适应工具调用的思想也可推广到其他长序列多模态任务中。

总结：VideoARM 通过引入分层记忆和代理推理机制，成功解决了长视频理解中“高 Token 消耗”与“低自主性”的矛盾，在显著提升理解能力的同时，将计算成本降低了两个数量级，为长视频智能分析提供了新的技术路线。