💻 computer science

WAM-RL: World-Action Model Reinforcement Learning with Reconstruction Rewards and Online Video SFT

本文介绍了 WAM-RL，这是一种新型的强化学习框架，它通过重构奖励实现了世界模型与动作模型的联合在线优化，证明了协同演化这两个组件对于在超越仅专家训练限制的长时程操纵任务中取得强劲性能至关重要。

原作者： Zezhong Qian, Xiaowei Chi, Yu Qi, Haozhan Li, Zhi Yang Chen, Shanghang Zhang

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Zezhong Qian, Xiaowei Chi, Yu Qi, Haozhan Li, Zhi Yang Chen, Shanghang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人完成一项复杂的任务，比如给植物浇水或堆叠积木。传统上，我们通过向机器人展示专家完美完成工作的视频来教它。机器人记住了这些视频并试图模仿它们。这对于简单的任务效果很好，但如果机器人犯了一个微小的错误，它往往会陷入混乱并彻底失败，因为它从未学会如何从中恢复。

这篇论文介绍了一种名为 WAM-RL 的新系统。可以把它想象成在机器人实际执行任务的过程中，让它的“大脑”和“身体”协同学习，而不是仅仅通过观看视频。

以下是其工作原理的拆解，分为几个简单概念：

1. 两个部分：“想象者”与“执行者”

大多数先进的机器人模型都有两个主要部分：

世界模型（想象者）： 这部分就像是机器人脑海中的电影导演。在机器人移动之前，它会想象未来会是什么样子。“如果我这样移动手臂，积木会掉落。如果我那样移动，它会保持不动。”它在预测未来。
动作模型（执行者）： 这是机器人的身体。它接收“想象者”创造的“电影”，并将其转化为实际的肌肉运动。

问题所在： 在旧系统中，“想象者”是固定的。它是基于完美的视频进行训练的，并且从不改变。如果现实世界与完美的视频不符（例如机器人掉落了一个积木），“执行者”将不知道如何修复，因为它的“想象者”无法预测发生了错误。

2. 解决方案：共同成长的团队

作者创建了一个框架，让**“想象者”和“执行者”**在实时过程中相互学习。

“执行者”得到了一个新教练： “执行者”不再只是在任务结束时得到“做得好”或“做得不好”的评价，而是根据其实际动作与“想象者”预测的匹配程度获得持续的评分。如果机器人想象积木会保持不动，但实际上积木掉了，那么“执行者”就会受到“惩罚”。这教会了“执行者”按照计划进行运动。
“想象者”得到了现实检查： “想象者”使用机器人成功的真实视频进行更新。至关重要的是，作者添加了一个“安全网”（称为 KL 正则化）。想象一下，“想象者”是一个正在学习新事物的学生。“安全网”防止这个学生忘记已有的知识，或让其性格发生过于剧烈的变化。它确保“想象者”在改进其预测能力的同时，不会破坏与“执行者”的连接。

3. 重大发现：你不能只训练身体

论文通过实验发现了一个非常重要的现象：

短期任务： 如果你只训练“执行者”（身体）而让“想象者”（大脑）保持不变，机器人会在快速、简单的任务中表现得更好。
长期任务： 对于需要较长时间的复杂任务，仅训练身体会失败。为什么？因为身体受限于大脑预测未来的能力。如果大脑在预测中出现了一个微小的误差，身体无法修复它，误差会不断累积，直到机器人失败。

类比： 想象你在玩一款电子游戏，你是角色（执行者），但地图（想象者）有一点错误。如果游戏很短，你可以靠直觉闯关。但如果游戏很长，错误的地图最终会把你带下悬崖。你需要一边玩一边修复地图，而不仅仅是提高角色的奔跑速度。

4. 如何衡量成功

他们没有仅仅检查机器人是否完成了任务，而是使用了一个聪明的技巧。他们对比了**“想象的未来”（机器人认为会发生什么）与“真实的未来”**（实际发生了什么）。

如果机器人想象积木会保持不动，且积木确实没动，那就是高分。
如果机器人想象积木会保持不动，但积木却掉了，那就是低分。
这有助于机器人学习更准确地预测现实，进而帮助它更好地行动。

5. 结果：学会从错误中恢复

最令人兴奋的结果是，这个系统教会了机器人如何从错误中恢复。

没有这个系统： 如果机器人尝试抓取积木但失败了，它会继续以同样错误的方式尝试抓取，最终放弃。
有了这个系统： “想象者”学会了预测可能会发生失误。然后它“想象”了一个恢复计划（比如把手退回并再次尝试）。“执行者”看到了这个计划并执行了它。机器人学会了说：“噢，我失手了，让我换个角度再试一次，”并最终成功。

总结

WAM-RL 是一种让机器人的“大脑”（预测）和“身体”（动作）在实时过程中共同学习的方法。通过让它们同时提升，机器人能够更好地处理长期、复杂的任务，最重要的是，它学会了在事情出错时如何修复自己的错误，而不是仅仅宣告失败。

技术摘要：WAM-RL

问题陈述

近期的世界-动作（World-Action, WA）模型通过基于视频的生成模型对未来观测和动作进行联合建模，在机器人策略学习中展示了强大的泛化能力和数据效率。然而，现有的 WA 模型过度依赖于来自专家轨迹的有监督学习。这种依赖带来了两个根本性的局限：

分布约束： 所学习的策略受限于训练数据的支撑集，难以获取超出演示分布的细粒度操控技能。
缺乏持续改进： 这些模型无法通过现实世界的交互进行持续改进，从而阻碍了它们适应新场景或在执行过程中纠正错误的能力。

虽然强化学习（RL）是一个自然的解决方案，但将 RL 应用于 WA 模型并非易事。与视觉-语言-动作（VLA）模型（其视觉表示通常是固定的）不同，WA 模型由两个紧密耦合的部分组成：一个世界模型（生成未来预测）和一个动作模型（将预测映射到动作）。天真地应用 RL 或在线微调会导致世界模型潜空间中的分布偏移，从而导致不稳定和性能下降，因为动作模型深度依赖于该潜空间。

方法论：WAM-RL

作者提出了 WAM-RL，这是一个能够通过在线交互实现世界模型和动作模型联合优化的框架。其核心洞察在于：世界模型提供预测结构和规划能力，而动作模型主要充当将潜预测转化为可执行动作的“翻译器”。

该框架采用了两部分优化方案：

1. 带有 KL 正则化的在线视频 SFT（世界模型）

为了精炼世界模型，作者利用在成功交互期间收集的轨迹进行在线自监督微调（SFT）。

目标： 世界模型被训练用于使用标准的视频建模目标（例如流匹配/flow matching）来预测未来观测。
稳定性： 为了防止潜特征分布发生剧烈偏移（这会破坏动作模型），引入了 KL 正则化项。该项约束更新后的世界模型潜特征保持靠近预训练模型的冻结副本。
实现： 作者将潜分布近似为高斯分布，使用指数移动平均（EMA）来估计当前模型的协方差，同时保持参考协方差固定。这实现了渐进式适配，同时保留了执行器（actor）所期望的几何结构。

2. 基于重构的 RL（动作模型）

动作模型通过 RL 进行优化，以确保执行的轨迹能够忠实地实现世界模型的预测。

奖励信号： 作者没有使用稀疏的任务奖励，而是定义了一种基于重构的稠密奖励。该奖励衡量执行动作后获得的实际观测与世界模型所想象的未来观测之间的连贯性（相似性）。
相似性度量： 作者研究了多种相似性函数，包括像素级 MSE、光流一致性和语义特征相似性（DINOv2, V-JEPA2）。
优化： 策略通过使用这些重构奖励的策略梯度方法进行更新，有效地弥合了世界模型的“想象”与现实世界执行之间的差距。

核心贡献

首个针对 WA 模型的 RL 框架： WAM-RL 是第一个将强化学习引入 WA 范式的框架，特别实现了世界模型和动作模型的联合优化。
稳定的训练策略： 作者提出了一种结合在线视频 SFT（带 KL 正则化）用于世界模型，以及基于重构的 RL 用于执行器的创新训练策略。这种设计促进了两个组件的协同进化，而不会导致潜空间失稳。
长程任务的实证见解： 本工作提供了关于“仅优化执行器（actor-only）”局限性的关键见解。作者证明，仅优化执行器在短程任务上能带来提升，但在长程任务上由于累积预测误差，无法产生显著收益。联合优化被证明对于复杂的长程性能至关重要。

实验结果

该方法在 LIBERO（以物体为中心的操控）和 RLBench（多步技能）基准测试上进行了评估。

性能提升： WAM-RL 一致地优于预训练基线（Base）和仅执行器 RL（ $\pi$ $π$ RL）。
- 在 LIBERO-Object 上，成功率从 68%（Base）提高到 82%（WAM-RL），显著优于仅执行器的方法（78%）。
- 在 RLBench (Water Plants) 上，WAM-RL 将成功率从 19% 提高到 22%，而仅执行器方法 ( $\pi$ RL) 未能比基线模型（18%）有所提升。
行为分析：
- 恢复行为： 世界模型的在线适配使得模型能够生成更真实的恢复行为（例如，重新尝试失败的抓取），而不是预测立即失败。
- 奖励消融实验： 研究发现，虽然光流提供了最具辨别性的成功/失败奖励信号，但像素级 MSE 产生了最佳的下游性能。作者假设这是因为像素 MSE 与世界模型的训练目标更一致，并且对分布外动作施加了更强的正则化。
- 视频 SFT 消融实验： 未经在线视频 SFT 训练的模型无法从初始错误中恢复，会迅速漂移到分布外行为。相比之下，带有视频 SFT 的模型学会了预判失败并在单个开环块（open-loop chunk）内生成纠正动作。

意义与主张

论文声称，世界动作模型的有效性从根本上受限于世界模型的质量。虽然仅优化执行器可以改善短程任务，但无法解决长程设置中的累积预测误差。

WAM-RL 的意义在于证明了联合改进世界模型和动作模型对于鲁棒的长程决策至关重要。通过允许世界模型通过在线交互学习失败动力学和恢复策略，系统可以预判并纠正偏差，从而实现更鲁棒的执行。

作者也谦逊地承认了局限性，指出 KL 正则化限制了世界模型的适配程度，可能限制了超越预训练分布的能力扩展。此外，对基于预训练表示的重构奖励的依赖，可能在区分成功与失败方面提供的对比度有限，这表明未来需要更具表达力的、任务感知的奖励公式。