💻 computer science

WorldArena 2.0: Extending Embodied World Model Benchmarking on Modality, Functionality and Platform

本文介绍了 WorldArena 2.0，这是一个扩展后的基准测试，旨在通过三个新维度——视触多模态、用于策略优化的交互功能以及多样化的真实世界与模拟平台——对具身世界模型进行系统性评估，以解决现有仅依赖视觉和基于模拟器的评估方法的局限性。

原作者： Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Shang, Yinzhou Tang, Yiding Ma, Zhuohang Li, Lei Jin, Weikang Su, Xin Jin, Zhaolu Wang, Ziyou Wang, Xin Zhang, Haisheng Su, Weizhen He, Wei Wu, Haoyi Duan, Gordon Wetzstein, Xihui Liu, Dhruv Shah, Zhaoxiang Zhang, Zhibo Chen, Jun Zhu, Yonghong Tian, Tat-Seng Chua, Wenwu Zhu, Chen Gao, Yong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何做家务，比如倒水或擦桌子。为了安全且有效地完成这些任务，机器人需要一个“世界模型”。将世界模型想象成机器人的内部造梦机器。它是机器人脑内的一种模拟环境，机器人可以在其中“想象”如果以某种方式移动手臂会发生什么，而无需真正冒着打碎花瓶或打翻饮料的风险。

长期以来，科学家们一直在测试这些造梦机器，但他们的测试方式有点像仅通过观察飞机的二维平面图纸来评判飞行员的技能。他们只检查机器人能否清晰地“看见”未来，却忽略了其他感官、机器人实际学习“飞行”的能力，以及它能否应对真实的风雨。

WorldArena 2.0 是一个全新的、更为严苛的“飞行模拟器”，用于测试这些机器人“大脑”。来自清华大学及众多顶尖机构的研究人员从三个方面升级了这项测试：

1. 增加“触觉”（模态）

旧方式： 此前，机器人的造梦机器只有“眼睛”。它能预测移动物体的视频画面会是什么样子，但无法“感受”任何东西。
新方式： WorldArena 2.0 赋予了机器人眼睛和双手。它测试机器人能否不仅预测视频画面，还能预测触觉反馈（压力、滑动或纹理的感觉）。

类比： 想象你试图仅通过观看别人杂耍的视频来学习杂耍。你可能知道球看起来会飞向哪里，但你不知道接球时需要用多大的力。WorldArena 2.0 迫使机器人去想象球击中手的感觉，这对于插入 USB 线缆（需要感觉到“咔哒”声）或拿起瓶子而不将其捏碎等任务至关重要。

2. 将造梦机器转变为“训练健身房”（功能性）

旧方式： 以前，研究人员会让机器人“梦”一个未来，然后检查这个梦境是否逼真。这是一条单行道：机器人做梦，人类给画面打分。
新方式： 现在，机器人的造梦机器充当虚拟训练健身房。机器人可以在梦境内部练习技能、犯错、从中学习并变得更好，而无需接触真实世界。

类比： 机器人不再只是观看足球运动员的电影，而是进入一款电子游戏，在那里它可以实际练习踢球。测试会检查：“如果我们让机器人在这个梦境中训练 10 小时，当它踏上真实球场时，是否会成为更好的球员？”

3. 在“现实世界”中进行测试（平台）

旧方式： 大多数测试完全在计算机模拟中进行。这就像仅在电子游戏中一条完美平滑、平坦的赛道上测试汽车。
新方式： WorldArena 2.0 在三种不同的环境中测试机器人：

RoboTwin 2.0： 一个包含随机障碍物的复杂计算机模拟环境。
LIBERO： 一个用于测试特定类型学习的结构化模拟环境。
AgileX ALOHA： 位于真实房间中的真实物理机器人。

类比： 这就像是在电子游戏中测试汽车、在测试赛道上测试汽车，最后将其开上颠簸且下雨的城市街道之间的区别。研究人员发现，虽然许多机器人在电子游戏层面表现出色，但当它们必须在真实、混乱的街道上行驶时，往往表现不佳。这凸显了“完美做梦”与“完美做事”之间的巨大差距。

他们发现了什么？

研究人员利用这些新规则测试了 12 种不同的机器人“造梦机器”。

好消息： 一些模型学会了相当好地“感受”世界。例如，一个模型（Wan 2.2）在预测触觉方面非常出色，以至于它在模拟环境中 100% 成功地完成了一项精细任务（插入 HDMI 线缆）。
坏消息： 模拟与现实之间仍存在巨大差距。一个在计算机模拟中看起来像天才的机器人，当被要求在真实桌子上倒水时往往会失败。目前的“梦境”还不足以应对真实世界混乱的物理规律。

核心结论

WorldArena 2.0 是一份更诚实、更全面的机器人智能成绩单。它让我们不再仅仅欣赏漂亮的机器人视频，而是开始提出棘手的问题：机器人能感知吗？它能在自己的思维内部学习吗？当它置身于现实世界时，真的能完成任务吗？

该论文总结道，虽然我们正在取得进展，但在机器人能够可靠地从自己的“梦境”中学习并将其应用于现实任务之前，我们还有很长的路要走。

技术摘要：WorldArena 2.0：在模态、功能与平台维度扩展具身世界模型基准测试

问题陈述

世界模型已成为具身智能的核心范式，使智能体能够预测以动作为条件的未来状态，并推理环境动态。然而，现有的具身世界模型（EWMs）基准测试存在三个关键局限性，阻碍了对日益完善的模型的评估：

模态局限性：主流基准测试局限于纯视觉设置，忽视了具身交互的多模态本质，其中触觉反馈对于解决富含接触的动力学问题和物理摩擦至关重要。
功能局限性：下游评估主要局限于开环规划或静态策略评估。它们很少研究世界模型作为交互式强化学习（RL）环境的能力，即通过想象 rollout 支持策略的迭代改进。
平台局限性：基准测试结果几乎完全在仿真环境中获得。目前尚不清楚受控虚拟环境中的优异表现是否能转化为现实世界的部署，导致“仿真到现实”的差距在很大程度上未被考察。

方法论

为了解决这些局限性，作者引入了WorldArena 2.0，这是一个扩展的基准测试，沿模态、功能和平台三个协调维度系统地拓宽了 EWM 评估。

1. 模态扩展：视触评估

WorldArena 2.0 将评估从纯视觉扩展至视触模态。

标准化流程：基于 UniVTAC 模拟器，作者提出了一套标准化流程，无需架构手术即可将纯视觉世界模型升级为视触模型。该流程包含三个模块：
- 触觉 VAE：编码触觉形变图并将其对齐到视频潜在空间。
- 视触双流世界模型：对视频和触觉预测执行同步去噪。
- 动作扩散头：基于预测的视触潜在变量推断未来动作。
评估指标：模型在触觉预测质量（PSNR、SSIM）以及下游操作任务（如插入 HDMI、提起瓶子）的功能成功率方面进行评估。

2. 功能扩展：作为 RL 环境的世界模型

该基准测试超越了离线预测，将世界模型评估为在线交互式 RL 环境。

框架：作者形式化了一个闭环 RL 流程，其中世界模型近似环境转移核（ $\hat{P}_\phi$ $\hat{P}_{ϕ}$ ）。该框架包含四个组件：
- 世界模型环境：根据当前状态和动作预测下一个观测值。
- 奖励模型：预测即时奖励（测试了基于代理、基于 VLM 和基于相似性的设计）。
- 策略模型：根据观测值生成动作。
- 优化模块：更新策略参数（例如通过 GRPO）以最大化预期回报。
过程：世界模型在传统的 RL 设置中替代了模拟器。策略通过与世界模型的迭代交互进行训练，生成的策略被部署以测量在现实世界或高保真仿真任务中的成功率。

3. 平台扩展：跨具身仿真到现实

WorldArena 2.0 引入了一个跨越三个不同平台的分级评估流程，以评估跨具身泛化能力：

RoboTwin 2.0：一个可扩展的双臂仿真环境，具有广泛的领域随机化（任务：调整瓶子、按铃）。
LIBERO：一个用于单臂操作的结构化基准测试，具有程序性知识转移（任务：打开炉灶）。
AgileX 分裂式 ALOHA：一个配备 PiPER 6-自由度机械臂的现实世界机器人测试床（任务：倒水、擦桌子）。
评估协议：模型作为具身数据引擎（生成用于策略训练的合成数据）和具身动作规划器（直接预测闭环动作序列）进行测试。

关键结果

作者在定义的平台对 12 种最先进的具身世界模型进行了广泛的实验。

视触性能：
- 通用世界模型（如 Wan2.2）在触觉预测质量方面优于专用具身模型，在“插入 HDMI"任务中实现了 100% 的成功率。
- 然而，像“提起瓶子”这样的长视野任务揭示了局限性；虽然基线 ACT 模型达到了 80% 的成功率，但世界模型降至 0%，表明尽管触觉感知有所改善，但当前模型在长视野下难以维持力控制。
RL 环境效用：
- 使用世界模型（如 WoVR、Ctrl-World）训练的策略在短视野任务（按铃）上取得了与真实模拟器训练相当的性能，但在长视野任务上表现出不同的结果。
- 在奖励模型中，基于代理的奖励模型（使用 ResNet 骨干网络）被证明最为稳健，优于基于 VLM 和基于相似性的方法，后者因缺乏微调或依赖预测准确性而表现不佳。
跨平台相关性：
- 感知质量：视觉质量、运动质量和物理遵循性在仿真平台（RoboTwin 和 LIBERO）之间显示出强相关性。
- 仿真到现实差距：观察到仿真与现实世界性能之间存在显著脱节。虽然仿真排名呈中度相关，但任务成功率在现实世界评估中急剧下降。只有少数模型在现实世界任务中实现了非零成功率，且所有模型仍远低于实际部署要求。
- 功能迁移：任务成功率在仿真器之间呈正相关，但在与现实世界性能比较时显著下降，证实了基于仿真的指标不是现实世界可部署性的可靠代理。

意义与主张

本文主张 WorldArena 2.0 提供了一个严格的标准化测试床，追踪真正通用的具身世界模型的进展。其主要意义在于：

标准化：它开创了评估视触世界模型和利用世界模型作为在线 RL 环境的标准化协议，这些领域此前缺乏一致的基准。
现实检验：通过引入现实世界机器人评估，该基准测试揭示了巨大的“仿真到现实可用性差距”，证明了高保真仿真性能并不能保证现实世界的能力。
全面评估：它将领域从视觉逼真度推进到评估物理 grounding、交互效用和跨平台鲁棒性，为开发具身智能提供了更现实的基础。

作者总结道，虽然当前模型在捕捉多模态动态和支持策略优化方面显示出前景，但在弥合仿真训练与现实世界物理执行之间的差距方面仍存在重大挑战。