RoboWorld: Fast and Reliable Neural Simulators for Generalist Robot Policy Evaluation
本文介绍了 RoboWorld，这是一个自动化的评估流水线，它结合了快速自回归视频世界模型与一种新颖的“步进强制”（Step Forcing）技术以及视觉-语言评分机制，实现了对通用机器人策略的高可靠、高吞吐量评估，并展示了与真实世界表现近乎完美的关联性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位机器人教练，正试图决定哪位学生机器人在做家务（比如“把食物放入微波炉”或“擦桌子”）方面表现最出色。
在现实世界中，测试这些机器人是一场噩梦。你需要实体机器人、一名在机器人每次出错后进行重置的人类教练，以及一个安全的房间。如果你想测试 100 种不同的机器人并完成 1,000 种不同的任务，这将耗费数年时间和巨额资金。
RoboWorld 是一个全新的系统，它通过创建一个极其出色的虚拟现实模拟器解决了这个问题，这个模拟器就像是一个预测机器人表现的“水晶球”。你不需要把机器人送到真实的厨房，而是将它们送入这个电子游戏，而游戏会准确告诉你它们在现实生活中的表现如何。
以下是它的工作原理，分为几个简单的部分：
1. 问题所在：“破碎的水晶球”
科学家们以前尝试过使用“世界模型”（即预测视频下一帧会发生什么的 AI），但这些模型有两个重大缺陷：
- 漂移（The Drift）： 如果你要求 AI 预测 30 秒后的未来，它就会开始出错。到最后，生成的视频看起来就像一场幻觉（物体消失，墙壁融化）。这就像是在玩“传声筒”游戏，信息在传递了几轮后就会变得混乱不堪。
- 速度： 这些模型非常慢。生成一段视频需要花费很长时间，导致你无法同时测试许多机器人。
2. 解决方案：“步进强制”（Step Forcing，一种训练技巧）
作者发明了一种新的训练方法，叫做 Step Forcing。你可以把它想象成教学生如何在钢丝上行走。
旧方法（教师强制/Teacher Forcing）： 老师每次都向学生展示完美的下一步。学生学会了步伐，但一旦必须独自行走时就会崩溃，因为他们从未练习过如何自我平衡。
旧方法（自我强制/Self-Forcing）： 学生根据自己（可能是错误的）猜测来尝试预测下一步。他们进步很快，但会开始原地转圈，因为他们的错误会不断累积。
RoboWorld 的方式（Step Forcing）： 这是一种混合方式。
- AI 被允许根据自己的（可能并不完美的）猜测走一步。
- 但随后，老师会立即将绳索拉回地面（使用“地面真相/Ground Truth”作为锚点）以重置平衡，然后再进行下一步。
这教会了 AI 如何处理自身的错误而不失去平衡，从而使其能够生成长且稳定的视频，而不会出现物体融化消失的情况。
3. 裁判：“任务进度”裁判员
一旦机器人在模拟器中开始“游戏”，就需要有人来评分。
- 旧裁判： 一个简单的“通过/失败”裁判。如果机器人在视频出错的最后一秒掉落了杯子，即使机器人在前 29 秒表现完美，裁判也会判定为“失败”。
- RoboWorld 裁判： 一个聪明的裁判（视觉语言模型），它会观看整个过程。它理解进度。
- 它会观察机器人的手部（“腕部视角”）来查看视频是否出现了故障。
- 它会观察主视角来查看机器人是否真的移动了碗。
- 它会给出 0 到 5 分的评分。如果机器人在视频出错前完成了 80% 的工作，它会得到 80% 的分数，而不是零分。这确保了机器人能因其实际完成的工作获得应有的认可。
4. 结果：完美的匹配
团队在 RoboArena（一个著名的现实世界机器人基准测试）上测试了该系统。
- 他们提取了 8 种不同的现实世界机器人策略。
- 他们在 RoboWorld 内部运行了这些策略。
- 他们将 RoboWorld 的排名与现实世界的排名进行了对比。
结果： 相关性高达 98.9%。
这意味着 RoboWorld 几乎能完美地预测哪种机器人表现最好，而无需使用任何实体机器人或人类来重置场景。
5. 为什么这很重要（根据论文所述）
- 速度与规模： 他们在极短的时间内生成了超过 4,000 个视频序列，其成本和时间远低于现实世界测试。
- 极端环境： 他们展示了只需编辑视频背景，就可以将原本在普通房间中训练的机器人，测试其在“灾难现场”或“航天器内部”的表现。这让工程师能够在制造物理原型之前，安全地测试用于危险工作的机器人。
- 可靠性： 由于采用了“步进强制”和智能裁判，该系统不会被自身的视频故障所迷惑，从而保证了评分的可靠性。
简而言之： RoboWorld 是一个快速、可靠且廉价的“电子游戏”，它能预测真实机器人的表现，在保持结果准确性的同时，节省了大量的时间和金钱。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。