💻 computer science

World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays

本文介绍了一种循环生成式回放（REGEN），这是一种利用世界动作模型（World Action Models）从先前的任务指令中合成伪回放轨迹的持续模仿学习框架，从而在无需存储原始人类演示的情况下，显著减少了机器人的灾难性遗忘。

原作者： Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个通过观察人类完成任务（比如把碗放进橱柜或推开盘子）来学习的机器人。这被称为“模仿学习”。问题在于，如果这个机器人今天学会了一个新技巧，它往往会忘记昨天学的技巧。这被称为“灾难性遗忘”。这就像一个学生为了准备数学考试而如此专注于新材料，以至于立刻忘记了如何阅读。

通常，为了阻止这种遗忘，科学家们会保留一个记录所有旧视频的“笔记本”，展示这些视频来教机器人做旧任务。但在现实世界中，我们往往不再拥有这些旧视频了。也许数据是私有的，或者机器人的训练公司并不分享其数据。

核心理念：机器人的“想象力”

这篇论文介绍了一种名为 REGEN（循环生成式重演）的新方法。REGEN 不需要依赖旧视频的物理笔记本，而是赋予机器人想象其过去的能力。

把机器人的大脑想象成一位强大的电影导演（称为世界动作模型或 WAM）。这位导演不仅知道要做什么（动作），还知道未来的场景看起来会是什么样子。

REGEN 的工作原理如下，使用一个简单的类比：

提示词： 你告诉机器人：“还记得你把胡萝卜放进碗里的那次吗？”（这是旧指令）。
种子： 你给机器人一张当前场景的真实照片（也许机器人现在正处在一个有胡萝卜的厨房里）。
梦境： 机器人的“导演”大脑开始幻觉（生成）这部电影的剩余部分。它预测道：“好吧，我抓起胡萝卜……现在我看到胡萝卜在手里……现在我移动它……现在我看到了碗……”
循环： 它将自己的预测一步步不断地反馈给自己，从而创造出一个完整的、虚构的旧任务视频，从开始到结束。
练习： 机器人随后会在练习这个新任务的同时，配合这段“想象中”的旧任务视频进行练习。通过在想象中复习旧任务，它无需原始真实视频就能记住如何去做。

研究发现

研究人员在两个地方测试了它：计算机模拟环境和一个实验室中的真实机械臂。

结果： 使用 REGEN 的机器人比那些在没有任何帮助的情况下连续学习新事物的机器人，其遗忘程度减少了约 50%。
对比： 尽管 REGEN 无法访问原始真实视频，但它的表现几乎与那些拥有原始真实视频的机器人一样好。
缺陷： “想象中”的视频并不完美。在一段长序列中，图像会变得有些模糊（就像玩“传声筒”游戏时信息会发生扭曲一样），有时机器人想象出了一个成功的结局，但它所预测的实际动作在现实生活中可能并不能奏效。

为什么这很重要

论文得出结论，虽然机器人的想象力目前还不完美，但这仍是向前迈出的一大步。这意味着机器人可以永远学习新技能，而不需要一个庞大且不断增长的旧视频库。只要机器人能够“梦见”一个像样的过去，它就能保持技能常新。

简而言之：一个能够想象过去的机器人，可以继续学习它的未来。

技术摘要：世界动作模型通过循环生成式重放实现持续模仿学习

1. 问题定义

本文探讨了机器人策略在持续模仿学习中面临的挑战，特别是针对灾难性遗忘问题。随着世界动作模型（World Action Models, WAMs）作为能够统一感知、预测与控制的通用机器人策略而兴起，它们必须能够顺序地适应新任务。然而，标准的顺序微调会导致模型覆盖已学习到的技能。

传统的解决方案依赖于经验重放（Experience Replay, ER），即存储并重放来自先前任务的真实人类演示数据。作者认为，这种方法在现代机器人领域正变得日益不切实际，因为策略通常是在大规模且非公开的专有数据集上训练的，或者存储过去的演示数据在实际操作中是不可行的。核心问题在于：如何在没有原始人类演示数据的情况下，让机器人保留先前学习到的技能，从而实现持续适应？

2. 方法论：循环生成式重放 (REGEN)

作者提出了**循环生成式重放（Recurrent Generative Replay, REGEN）**框架，该框架利用 WAMs 内在的生成能力来合成伪重放轨迹，从而消除了对存储真实演示数据的需求。

核心机制

WAMs 被定义为能够根据语言指令 ( $\ell$ ) 和当前观测 ( $o$ )，共同建模未来动作 ( $\tilde{a}$ ) 和未来视觉观测 ( $\tilde{o}$ ) 的策略。REGEN 利用这一点，通过递归地查询 WAM 来生成过去任务的“幻觉”轨迹。

针对先前任务 $T_i$ 的生成过程（仅给定其语言指令 $\ell_i$ ）分为三个阶段：

初始化： 重放过程使用从当前任务演示 ( $D_k$ ) 中采样的真实观测作为种子，以提供有效的视觉上下文。
循环生成： 模型预测一个动作块（action chunk）和一个未来观测。至关重要的是，生成的未来观测 ( $\tilde{o}_t$ ) 会被反馈作为下一步的输入观测，而不是使用真实数据。这种递归循环会持续进行，直到满足终止条件。
终止： 生成在达到最大时界（horizon）或模型内部奖励头预测任务完成（例如，连续多步的奖励 > 0.99）时停止。

训练目标

策略通过行为克隆（behavioral cloning）进行更新，其数据集为 $D^+_k = D_k \cup R_k$ ，其中 $D_k$ 是当前任务的真实演示， $R_k$ 是所有先前任务的合成伪轨迹集合。损失函数最小化策略预测的动作与这些伪轨迹中动作之间的差异，并以各自的任务指令为条件。

3. 主要贡献

本文概述了三项主要贡献：

REGEN 框架： 首个使用 WAM 本身作为原生生成式重放机制的持续模仿学习框架，无需存储真实的过去演示即可合成轨迹。
实证验证： 证明了 REGEN 在模拟环境（LIBERO 基准测试）和现实世界（xArm7 机械臂）设置中，能显著减轻灾难性遗忘，同时保留了向新任务的前向迁移能力。
局限性分析： 识别了阻碍生成式重放匹配真实经验重放的具体瓶颈：(i) 递归生成过程中的长时程视觉退化，以及 (ii) 预测的未来观测与生成的动作之间存在不一致性。

4. 实验结果

模拟环境 (LIBERO 基准测试)

实验在 LIBERO-Spatial、LIBERO-Object 和 LIBERO-Goal 套件上进行。

性能： 与朴素的顺序微调（Seq-FT）相比，REGEN 将负向后向迁移（Negative Backward Transfer, NBT）降低了 50% 以上。例如，在 LIBERO-Goal 上，NBT 从 Seq-FT 的 100 降至 REGEN 的 44.9。
对比： 虽然使用真实数据的经验重放（ER）仍是性能上限，但 REGEN 显著优于其他非重放基准方法（如 Seq-LoRA、EWC、PackNet），并接近了特权经验重放（privileged ER）方法的性能。
表示稳定性： 对动作表示漂移的分析显示，REGEN 保持了显著较低的漂移量（0.12），而 Seq-FT 为 0.30，从而保留了策略的内部结构。

现实世界操控

测试在 xArm7 机器人上进行，涉及将物体（胡萝卜、茄子）放入碗中或盘中的任务。

结果： 与 Seq-FT 相比，REGEN 将遗忘程度（NBT）从 96.3 降低到 60.5，并将前向迁移（Forward Transfer, FWT）从 50 提高到 80。
意义： 这证实了该方法在现实世界中的可行性，为无法重新收集过去数据的真实机器人场景提供了一种切实可行的方法。

5. 局限性与未来方向

作者明确指出，REGEN 尚不能完全替代真实的经验重放。性能差距归因于两个主要因素：

视觉保真度退化： 随着模型递归生成观测，视觉伪影和模糊现象会不断累积。这种退化与遗忘程度（NBT）的增加相关，因为监督信号随时间减弱。
动作-观测不一致性： “想象”的成功率（基于生成的视觉效果）与“落地”的成功率（基于执行动作）之间存在偏差。模型经常在生成视觉上合理的成功结果的同时，生成的动作在物理上却不足以支撑成功。

论文总结道，提高 WAM 生成的保真度和一致性 是缩小伪重放与真实经验重放之间差距的关键未来研究方向。

6. 重要性

本文提出：“一个能够想象过去的机器人，才能继续学习它的未来。” 通过将 WAMs 确立为无需存储演示数据的持续学习基础，REGEN 为数据隐私或存储限制导致无法使用传统重放缓冲区的场景提供了终身机器人学习的路径。这项工作强调，只要解决当前生成模型的局限性，WAMs 的生成能力就可以作为一种有效的隐式记忆形式。