🤖 AI

MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation

MemoryVAM 引入了一种带有回顾线索（Recap-Cue）模块的情节记忆机制，该模块将压缩的历史上下文注入视频世界模型策略中，使机器人能够克服非马尔可夫挑战，并显著提高在模拟和真实世界任务中的长程操作成功率。

原作者： Yuxin Jiang, Chang Yu, Yunuo Chen, Xiang Feng, Yin Yang, Nishank Gite, Chenfanfu Jiang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxin Jiang, Chang Yu, Yunuo Chen, Xiang Feng, Yin Yang, Nishank Gite, Chenfanfu Jiang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人完成一项复杂的任务，比如“拿起红色的方块三次，然后放下它”。

如果你给机器人一个只能显示过去几秒钟视频的摄像头，它就会感到困惑。当它第二次看到桌上的红色方块时，它看起来和第一次完全一样。如果没有对之前发生过什么的记忆，机器人就不知道自己已经做了一次还是两次。它可能会尝试第四次拿起它，或者过早停止。在机器人领域，这被称为“非马尔可夫”（non-Markovian）问题：当前的画面不足以决定下一步动作；你需要过去的故事。

MemoryVAM 这篇论文介绍了一个解决方案：给机器人一个“精神剪贴簿”（情景记忆），让它在工作时可以翻阅。

以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：机器人的短期失忆症

目前的机器人大脑（称为“视频世界模型”）非常擅长根据它们现在看到的内容来预测接下来会发生什么。它们就像一位电影导演，可以根据当前的画面猜出下一场戏。

缺陷： 它们只观察一个很短的时间窗口（比如过去的 5 秒钟）。如果一项任务需要 50 秒并且涉及重复相同的动作，机器人就会忘记电影的开头。它看到了一个熟悉的场景并重复了动作，即使任务已经完成了。

2. 解决方案：“回顾线索”（Recap-Cue）系统

作者构建了一个名为 MemoryVAM 的系统，它就像一个坐在机器人大脑旁边的得力助手。这个助手有两个主要职责：

回顾压缩器（总结者）：
想象你在看一部长电影。你不是记住每一帧画面，而是随着剧情的发展写下关键情节的简短摘要。机器人也是这样做的。它将整个过程的所有视频历史压缩成几个“记忆标记”（极其高效的小型笔记）。
- 类比： 这就像把一部 2 小时的电影变成一段 3 句话的情节摘要，机器人可以瞬间阅读。
线索门控（终点检查员）：
这是一个小型模块，它不断地询问：“我们完成了吗？”它观察摘要笔记和当前指令，以决定任务是否已完成。
- 类比： 这就像一名赛跑裁判，通过检查运动员的号码牌来查看他们是否完成了规定的圈数，而不仅仅是看他们现在站在哪里。

3. 它们如何连接：“双重注入”

巧妙之处在于，记忆不仅仅被输入到控制机器人手臂的部分。它是同时注入到两个地方的：

“想象”引擎（视频骨干网络）： 机器人利用其记忆来预测未来。如果机器人记得它已经拿起过两次方块，它的“想象”会将展示拿起第三次方块的画面，而不是第一次。这确保了机器人的预测与“我们在故事中所处的位置”这一现实相匹配。
“动作”引擎（动作解码器）： 机器人使用同样的记忆笔记来决定现在该做什么。

隐喻： 想想一位正在烹饪三道菜式正餐的厨师。

没有记忆： 厨师看着炉灶，看到一锅水在沸腾，于是加了盐。他们不知道这是汤（第一道菜）还是酱汁（第三道菜）。他们可能会把盐加进甜点里。
有了 MemoryVAM： 厨师有一张食谱卡（记忆），上面写着：“我们正在进行第三道菜。”厨师利用这张卡片来预测酱汁接下来应该是什么样子（想象），并以此决定应该加糖而不是盐（动作）。

4. 结果：从困惑到胜任

研究人员在名为 LIBERO-Mem 的基准测试上测试了该系统，这个测试充满了需要记住历史的任务（如计数、寻找隐藏物体或重复动作）。

使用 MemoryVAM 之前： 机器人基本上是在瞎猜。它们的平均成功率仅为 5%。
使用 MemoryVAM 之后： 机器人的成功率达到了 42.5%。
在真实机器人上： 当他们在实际物理机器人（而非仅仅在模拟器中）上进行测试时，特定任务的成功率甚至更高：
- 计数任务： 成功率 78.3%。
- 寻找隐藏物体： 成功率 80.0%。
- 追踪序列： 成功率 75.0%。

5. 为什么这很重要

论文声称，通过将记忆作为机器人“世界模型”（它理解世界的方式）的核心部分，而不仅仅是一个附加组件，机器人学得更好。它不需要人类将任务的每一步都标记为“步骤 1”、“步骤 2”等等。机器人通过尝试准确预测未来来学习追踪自己的进度。如果机器人能正确预测未来，就证明它理解了历史。

简而言之： MemoryVAM 给机器人提供了一个关于自身行为的“故事书”，让它们能够清楚地知道自己在漫长任务中的位置，防止它们陷入循环或忘记已经做过的事情。

技术摘要：MemoryVAM

问题陈述

视频世界模型策略通过预测未来观测来学习与动作相关的表示，并以短长度、固定窗口的观测作为条件。虽然这种设计对于近似马尔可夫（Markovian）的任务非常有效，但在长程、多阶段的操作任务中会失效，因为在这些任务中，正确的动作取决于不再处于当前窗口内的早期事件。在这些场景下（例如，“拿起红块三次”），视觉上相似的状态由于依赖于隐藏的任务进度（例如当前的计数）而需要不同的动作。在缺乏情景记忆（episodic memory）的情况下，这些任务会变得非马尔可夫化，导致策略在无法区分重复序列的不同阶段或无法回忆空间历史时发生失败。

方法论：MemoryVAM

作者提出了 MemoryVAM，一种旨在将历史信息集成到视频世界模型策略中的情景记忆机制。其核心创新是双重记忆条件化（dual memory conditioning），即一组紧凑的记忆标记（memory tokens）同时影响视频主干网络的未来预测和动作解码器的控制决策。

1. 情节历史编码

在每个时间步 $t$ ，系统维护一个由过去帧的 CLIP 视觉嵌入组成的情节历史 $\mathcal{H}_t$ 。使用 CLIP 嵌入使得记忆能够追踪任务相关的语义变化，而非低层级的像素差异。

2. 回顾-线索（Recap-Cue, RC）模块

RC 模块将变长的历史处理为固定大小的记忆表示：

回顾压缩器（Recap Compressor）： 一个基于 Perceiver 的重采样器（Resampler），将情节历史映射为紧凑的记忆标记矩阵 $\mathbf{G}$ 。通过学习到的查询（queries），它能选择性地关注解释任务进度的事件，并通过具备顺序感知能力的位姿编码（order-aware positional encoding）捕捉“发生了什么”以及“何时发生”。
线索门控（Cue Gate）： 一个轻量级模块，根据池化后的主干网络特征、记忆标记和语言指令来估计任务完成得分 $q_\omega$ 。这实现了自主的任务终止，而无需在训练期间使用每帧的进度标签；监督信号来源于演示中的情节边界。

3. 双重记忆条件化（注入）

记忆标记 $\mathbf{G}$ 通过两条互补的路径进行注入：

路径 1（视频主干网络）： $\mathbf{G}$ $G$ 被注入到视频主干网络的交叉注意力层中。
- 对于 Cosmos DiT 主干网络，记忆标记被附加到文本条件矩阵中。
- 对于 SVD UNet 主干网络（如 VPP），在文本分支旁边引入了一个独立的记忆分支。
- 效果： 这确保了预测的未来帧和中间主干特征都以完整的章节历史为条件，使模型的“想象”与任务进度保持一致。
路径 2（动作解码器）： 相同的记忆标记 $\mathbf{G}$ $G$ 与观测标记（源自主干网络）进行拼接，并输入到动作解码器中。
- 效果： 这直接根据情景记忆约束动作分布，确保策略选择的控制行为与历史记录一致。

4. 训练策略

该模型采用两阶段训练程序：

阶段 1： 使用视频预测目标、增量重建辅助损失（delta-reconstruction auxiliary loss）以及线索门控损失来训练视频主干网络和记忆模块。这教会了记忆如何编码对预测未来状态和确定任务完成情况有用的信息。
阶段 2： 在保持主干网络稳定的情况下，在生成的记忆条件特征上训练动作策略。

该机制具有架构无关性，已在 UNet（VPP）和 扩散 Transformer（DiT）（Cosmos）主干网络上得到验证。

核心贡献

双重注入接口： 一种双路径机制，将紧凑的 Recap 标记集成到视频主干网络和动作解码器中，允许历史信息共同影响“想象的未来”和“控制特征”。
回顾-线索（RC）模块： 一个结合了用于历史总结的 Perceiver 压缩器和用于自主任务完成的线索门控的新颖模块，该模块通过生成式视频目标进行监督，无需显式的每步进度标签。
主干网络无关性： 该方法在不同的视频主干范式（UNet 和 DiT）上得到了验证，证明了情景记忆是长程视频世界模型策略的通用需求。

实验结果

作者在需要情景回忆的模拟基准测试和真实机器人任务上评估了 MemoryVAM。

LIBERO-Mem 基准测试：
- 在需要情景回忆的任务（计数、排序、空间推理）中，对于 UNet 主干网络，平均成功率从 5% 提升至 42.5%；对于 DiT 主干网络，从 3.0% 提升至 40.5%。
- 消融实验表明，仅使用路径 1（主干注入）成功率为 28.5%，而仅使用路径 2（动作解码器注入）仅为 7.5%。全双重注入对于实现最优性能是必要的。
- MemoryVAM 优于带有记忆增强的 VLA 基准模型（如 MemoryVLA、Gated Memory Policy）以及无记忆基准模型。
真实机器人实验：
- 玩具拾取 ( $k\times$ )： 在计数任务（1x, 3x, 5x 重复）中成功率为 78.3%。
- 放置与返回： 在空间回忆任务中成功率为 80.0%。
- 猜猜看（Shell Game）： 在涉及遮挡物体的序列追踪任务中成功率为 75.0%。
- 相比之下，当任务进度不可直接观测时，无记忆策略在这些任务上完全失败（成功率为 0%）。
视频预测质量：
- 记忆注入显著提高了长程自回归展开（rollouts）的保真度。例如，在 UNet 主干网络上，单步预测的 FVD 分数从 43.36 改善至 18.32，在 8 倍步长下的 FVD 从 37.81 改善至 19.84。
- 线索门控成功降低了“停止率”（完成后的多余动作），防止模型在达到目标后仍进行不必要的想象动作。

意义与主张

本文认为，情景记忆应被视为世界模型状态的一个组成部分，而不仅仅是动作策略的辅助输入。通过允许情节历史同时塑造机器人的“想象内容”（未来预测）和“行动方式”（控制解码），MemoryVAM 解决了长程任务中的非马尔可夫特性。

作者声称，这种方法为记忆系统提供了一条可扩展的路径，因为记忆模块是通过生成式视频目标（预测未来帧）进行监督的，而不是仅仅依赖于带有动作标签的演示。这使得记忆能够学习与环境视觉动力学一致的任务进度信号。这项工作证明，对于复杂的机器人操作任务，显式的情景记忆对于各种视频主干架构的成功至关重要。