💻 computer science

OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining

本文介绍了 OpenWAM，这是一个开放且模块化的研究栈，通过受控实验系统地研究世界-动作模型（World-Action Model）预训练，以推导出关键设计原则，并最终发布了在 6,400 小时多样化具身数据上训练的高性能模型 OpenWAM- $\alpha$ 。

原作者： Yuran Wang, Siqiao Huang, Mingleyang Li, Chenhao Zhang, Jiaqi Liang, Weiyang Jin, Yue Chen, Xuemin Chi, Donghao Zhou, Qize Yu, Yu-Kai Wang, Yuhan Rui, Shenzhe Yao, Zhen Yuan, Zhenhao Shen, Kefei Zhu

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuran Wang, Siqiao Huang, Mingleyang Li, Chenhao Zhang, Jiaqi Liang, Weiyang Jin, Yue Chen, Xuemin Chi, Donghao Zhou, Qize Yu, Yu-Kai Wang, Yuhan Rui, Shenzhe Yao, Zhen Yuan, Zhenhao Shen, Kefei Zhu, Zijie Zhu, Ning Gao, Xiaowei Chi, Guanqi He, Shanghang Zhang, Hao Dong, Lin Shao, Hang Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

智能不仅仅在于观察世界，更在于知道如何改变世界。几十年来，科学家们一直在构建能够识别照片中的物体或描述句子中场景的计算机系统。最近，他们又创造了能够想象场景随时间演变的模型，即根据前一帧视频预测下一帧的内容。这些系统通过观看大量的视频，学习世界的物理规律——例如杯子是如何掉落的，门是如何摆动的。然而，在“观察世界”与“在其中行动”之间存在着一道鸿沟。机器人需要的不仅仅是对未来可能发生情况的预测；它需要知道哪些具体的动作能让那个预测成为现实。这就是具身学习（embodied learning）的挑战：弥合理解视觉未来与生成实现该未来的物理动作之间的差距。

一个研究团队引入了一种名为 OpenWAM 的新方法来解决这个问题。他们没有构建一个难以更改或理解的单一、僵化的机器人大脑，而是创建了一个开放的、模块化的系统，将机器人控制器的设计视为一组可互换的部件。他们将“教机器人如何行动”这一复杂任务分解为三个截然不同的问题：机器人应该从视频观看中继承哪些知识？机器人的世界理解能力与其运动能力应如何协同工作？以及如何将这种学习扩展到不同类型的机器人和环境中？通过实验回答这些问题，他们提炼出一套原则，并据此创建了 OpenWAM-α——一个强大的新模型，它能够在模拟环境和真实世界设置中学习操纵物体。

研究人员首先探讨了机器人应该具备什么样的“世界知识”。他们测试了机器人应该向一个看过数百万小时视频的海量视频生成器学习，还是应该依赖一个更简单的视觉编码器。他们发现，最好的结果来自于使用一个经过大规模预训练的视频生成器作为基础。这个模型已经理解了物体是如何移动和相互作用的，从而提供了一个丰富的起点。然而，仅仅将机械臂连接到这个视频模型上是不够的。研究人员发现，机器人还需要一种紧凑、高效的方式来表示它所看到的内容。他们测试了各种将视觉信息压缩成更小、更易管理形式的方法，发现一种能在保留世界本质细节的同时丢弃噪声的特定压缩方式效果最好。这使得机器人能够专注于场景的重要部分，而不至于被过量的数据淹没。

接下来，团队研究了机器人的“大脑”应如何构建，以将其对世界的理解与运动能力联系起来。他们比较了不同的架构设计，范围从视频部分与动作部分完全分离的模型，到两者深度交织的模型。他们的实验表明，最有效的设计是一种双系统方法。在这种设置下，模型的一部分专注于预测世界的未来视觉状态，而专门的另一部分则专注于生成动作序列。至关重要的是，这两个部分被允许不断地进行交流。动作生成器可以通过观察预测的未来来决定做什么，而世界预测器则可以利用计划中的动作来完善其对即将发生情况的视觉构想。这种持续的双向对话使模型能够学到视觉与行动之间的真正协同，而不仅仅是让两者并列学习。

研究人员还探索了如何使用不同类型的数据来训练这些模型。他们拥有两个主要的来源：一是人类执行任务的第一视角视频，提供了极其多样化的视觉场景，但缺乏机器人动作数据；二是实际机器人执行任务的记录，提供了精确的运动指令，但覆盖的场景类型较少。他们测试了仅在机器人数据上训练、仅在人类数据上训练，或者将两者结合在一起进行训练的效果。他们发现，在单次训练过程中结合这两个来源是最强大的策略。人类视频教会了模型关于世界的广泛多样性，而机器人数据则将这种知识锚定在物理现实中。这种结合使得模型在面对未见过的全新情况时，比仅使用单一类型数据训练的模型具有更好的泛化能力。

利用这些原则，团队构建了 OpenWAM-α，这是一个在超过 5 亿帧视频和机器人数据上训练的模型。他们在八个不同的模拟基准测试以及配备单臂、双臂甚至灵巧手的真实机器人上对其进行了测试。结果一致且令人印象深刻。在模拟环境中，该模型在从堆叠积木到操纵复杂物体的一系列任务中都表现出了顶尖水平。当转移到现实世界时，它保持了这种高性能，在它从未见过的物理机器人上成功完成了任务。该模型展现出了特别强的适应能力，这表明基于视频的世界知识与基于动作的落地能力的结合，创造了一个稳健的基础，通向通用智能。

其中一个最重要的发现是这种方法与其他流行方法的对比。一些系统过度依赖语言和视觉理解，但并未显式地对未来进行建模；而另一些系统则纯粹关注运动机制。研究人员发现，他们的基于视频的方法在拟合训练数据和在熟悉场景中表现出色，而其他方法有时在面对全新的、混乱的环境时泛化能力更好。然而，他们得出结论，没有任何一种方法是完美的。未来的关键在于结合两者的优势：利用视频生成的丰富视觉和物理先验来引导动作，同时确保系统接受涵盖现实世界全方位挑战的多样化、高质量数据的训练。

OpenWAM 项目不仅仅是展示了一个新的机器人控制器；它还提供了一套完整的工具包。通过发布基础设施、训练数据和评估协议，研究人员将世界-动作模型的开发转变为一门透明、可重复的科学。这使得其他科学家可以测试特定的想法、更换组件，并准确理解为什么某些设计效果更好。这项工作表明，通往更强大的机器人的路径并非通过构建更大、更不透明的系统，而是通过仔细理解不同知识与学习是如何相互作用的。通过将机器人的思维视为可组合部件的集合，研究人员为人工智能的系统性探索开启了一个新时代，在这个时代，每一个设计选择都可以被测试、衡量和改进。

技术摘要：OpenWAM

问题陈述

世界-动作模型（World–Action Models, WAMs）旨在通过继承大规模视频数据中的世界知识，并结合具身经验进行适配，从而弥合视频生成先验与可执行控制之间的鸿沟。然而，现有的 WAM 系统在很大程度上是**单体式（monolithic）**的：它们的生成骨干网络、视觉表示、架构、信息流以及训练数据构成都是紧密耦合的。这种耦合掩盖了哪些设计选择是至定的，阻碍了受控的科学比较，并妨碍了这些模型的系统性扩展。本文指出，由于缺乏模块化，三个核心问题仍未得到解答：

继承（Inheritance）： WAM 应该继承什么样的世界知识，以及如何继承？
协同（Synergy）： 世界预测与动作生成如何实现协同学习？
扩展（Scaling）： 如何将这种协同作用整合并迁移到不同的领域和具身形态中？

方法论

为了解决这些挑战，作者引入了 OpenWAM，这是一个旨在将 WAM 开发转变为受控实验程序的开放研究栈。该框架由三个相互关联的部分组成：

1. OpenWAM-Infra：模块化基础设施

OpenWAM-Infra 将 WAM 设计空间分解为四个具有明确接口的解耦组件：

可组合模型（Composable Model）： 模型由可互换的模块组装而成：
- 视觉编码器 ( $E$ )： 将观测值映射为潜空间序列（支持如 Wan2.2-VAE 等重构型 VAE，以及通过 S-VAE 适配器支持的 DINOv3/V-JEPA 等表示编码器）。
- 流骨干网络 ( $S$ )： 处理用于世界（视频）、动作以及可选理解（VLM）的 Token 流。支持单系统（共享参数）、双系统（独立的视频与动作骨干）和三系统架构。
- 可见性注意力掩码 ( $M$ )： 控制流在不同流之间的信息流动（例如：隔离、相互、动作看视频、视频看动作）。
统一训练运行时（Unified Training Runtime）： 单一训练器通过联合流匹配（flow-matching）目标处理所有架构，支持预训练、微调及带有自包含检查点的恢复。
统一部署运行时（Unified Deployment Runtime）： 单一策略服务器提供所有检查点服务，支持同步/异步推理模式以及各种去噪调度（同步、方差偏移、线性偏移）。
评估协议（Evaluation Protocol）： 采用客户端-服务器架构，通过 WebSocket 连接基准测试（仿真与真实机器人），实现观测值的规范化并将动作映射到统一的 80 维动作空间。

2. OpenWAM-Study：受控设计原则

利用该基础设施，作者进行了受控实验以提炼出三个设计原则：

继承： 上游世界知识通过足够强大的生成骨干网络（例如 5B 参数的视频模型）和紧凑且信息丰富的视觉潜空间进行最有效的传递。具有维度压缩能力的表示编码器（通过 S-VAE）其表现与重构型编码器相当。
协同： 世界-动作协同需要专门的动作容量（双系统架构）、显式的世界-动作信息流（训练期间）以及推理时的同步联合去噪。异步去噪调度并未比同步调度产生增益。
整合： 具身预训练主要提升的是分布外（OOD）泛化能力，而非分布内拟合。一种结合了第一视角人类视频（用于视觉多样性）和机器人轨迹（用于动作落地）的一阶段协同训练（co-training）策略是最有效的集成策略。预训练后，世界流与动作流之间的相互可见性比单向可见性更优。

3. OpenWAM- $\alpha$ ：预训练模型

作者将这些原则实例化为 OpenWAM- $\alpha$ 预训练基础模型：

架构： 具有联合自注意力的双系统架构，使用冻结的 Wan2.2-VAE 编码器和耦合了 1B 参数 ActionDiT 的 Wan2.2-TI2V-5B 视频骨干。
数据： 在 5.185 亿帧（约 6,400 小时）的数据集上进行预训练，涵盖了第一视角人类操纵数据、真实世界机器人数据（17 个平台）以及合成机器人数据的混合数据。
训练： 在混合数据集上进行一阶段协同训练，使用统一的 80 维动作空间。

关键结果

仿真基准测试

OpenWAM- $\alpha$ 在涵盖单臂、双臂、移动式和灵巧手具身的八个仿真基准测试中进行了评估：

性能： 它在单臂（LIBERO, VLABench）、双臂（RoboTwin2.0-Full）、移动单臂（RoboCasa365）和灵巧手（RoboCasa-GR1）任务中达到了顶尖水平，通常能匹配或接近最佳的视觉-语言-动作（VLA）模型。
最先进水平（SOTA）： 它在移动双臂 EBench 基准测试上创下了新的 SOTA。
VLA 与 WAM 的对比： 在**分布内（ID）设置下，由于额外的视频潜空间监督信号，WAMs（包括 OpenWAM- $\alpha$ ）通常比 VLAs 拟合得更好。然而，在分布外（OOD）**设置下（例如 LIBERO-Plus, RoboTwin2.0-Clean2Random），VLAs 通常泛化能力更强。论文指出，在视觉扰动（相机/噪声）剧烈的 OOD 场景中，OpenWAM- $\alpha$ 落后于顶尖的 VLAs，这归因于其潜空间的像素级特性以及相比于专门基线模型较少的单臂预训练数据。

真机机器人评估

OpenWAM- $\alpha$ 在三种具身形态的真实平台（单臂、双臂、灵巧手）上进行了测试：

单臂（Franka）： 实现了 82.5% 的平均成功率，优于代表性的 VLA ( $\pi_{0.5}$ ) 和 WAM (LingBot-VA)。
双臂（RoboDojo）： 在三种具身形态（ARX X5, Piper, Piper X）中表现持续强劲，取得了最高的整体成功率和进度得分。
灵巧手（Wuji/Tianji）： 在未见的具身形态和动作空间（9 维末端执行器 + 21 维手部）上进行了测试。OpenWAM- $\alpha$ 在所有任务中均显著优于 $\pi_{0.5}$ ，展示了对未见具身形态的鲁棒适配能力。

重要性与主张

本文声称 OpenWAM 为理解和扩展世界-动作模型提供了科学基础。通过将现有系统中紧密耦合的组件进行解耦，它允许研究人员隔离特定设计选择（骨干大小、注意力掩码、数据混合）的影响。

作者强调：

模块化是关键： 该基础设施使得此前在单体式系统中无法实现的受控实验成为可能。
数据驱动泛化： 具身预训练的主要收益是 OOD 泛化，而预训练混合内容的质量和多样性（特别是包含多样化的机器人和人类第一视角数据）是决定性能的关键因素。
协同需要特定条件： 有效的世界-动作协同并非自动发生的；它需要专门的动作容量、显式的信息流以及同步的推理过程。
开放科学： 发布完整的技术栈（基础设施、评估协议、预训练权重和数据配方）旨在使 WAM 研究民主化，并为未来的工作提供一个强大的、可复现的基准。

论文总结道，虽然 VLA 和 WAM 范式都未能在竞争中完全“胜出”（各有所长，分别在 ID 与 OOD 设置中表现出色），但通过大规模、多样化的预训练来结合两者的互补优势，是通往具身基础模型最有前景的路径。