SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training
SLAC 是一个新颖的框架，它通过利用无监督仿真预训练任务无关的潜在动作空间，使高自由度复杂机器人在无需演示的情况下，能在不到一小时内掌握富含接触的双手移动操作任务，从而实现了针对复杂高自由度机器人的安全且样本高效的现实世界强化学习。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你要教一个机器人如何清理房间或擦拭白板。你有两个主要选择，而且两者都非常棘手。第一种是构建一个完美、超写实的现实世界视频游戏版本，在其中训练机器人，然后寄希望于它在现实中也能奏效。问题在于，构建一个完美的模拟环境就像是用一把果冻做的刷子试图画出一幅杰作一样——极其困难，因为很难把物理特性（比如水的流动或海绵的挤压感）做得完全正确；如果游戏世界与现实哪怕只有一点点差异，机器人就会感到困惑并失败。第二个选择是让机器人在现实中通过实践来学习。但这既危险又缓慢。如果机器人试图通过在现实世界中随机挥舞手臂来学习，它可能会损坏自己，而且要弄清楚哪些动作有效可能需要耗费数年时间。
这就是一种被称为**强化学习（Reinforcement Learning）**的新概念。把它想象成训练一只狗：你让狗尝试各种行为，当它表现出色时，你就给它奖励（比如零食）；如果它表现不好，你就不给。目标是让机器人学得又快又安全，而不需要一个完美的视频游戏，也不需要冒着损坏机器人的风险。科学家们正在探讨的一个大问题是：我们能否使用一个“糟糕”的、简单的视频游戏来教机器人基础知识，然后让它在现实世界中完成剩下的工作？
于是有了 SLAC，这是一种新的方法，它充当了简单视频游戏与混乱现实世界之间的聪明桥梁。SLAC 背后的研究人员意识到，你并不需要一个完美的模拟环境来教机器人“如何移动”；你只需要一个简单的环境来教它“它能做什么”。想象一下孩子学习玩粘土。他们不需要一个完美的陶轮复制品来学习粘土可以被挤压、滚动或压平。他们只需要一些粘土和他们的双手。SLAC 使用一种“低保真”（简单且廉价）的模拟环境来教机器人一组“潜在动作”（latent actions）。请记住，这些不是指具体的肌肉运动，而是高层级的“超级技能”或“魔法咒语”。与其告诉机器人“将你的左臂向上移动 2 英寸”，SLAC 教会它一个名为“擦拭表面”或“推动物体”的咒语。
这个过程分为两个有趣的步骤。首先，机器人在一个简单的、低质量的模拟环境中进行（就像一个方块化的、卡通化的世界）。在这里，它并不知道具体的任务（比如“清理桌面”）。相反，它在玩一场“我能做什么？”的游戏。它发现自己可以移动底座、触摸桌面或擦拭黑板。至关重要的一点是，它学习这些技能的方式是保持独立且安全的，这样它就不会意外地学会把自己撞坏。这就像机器人在尝试写小说之前先学习字母。它在安全、廉价的环境中学习运动的“字母”。
一旦机器人拥有了这个“潜在动作空间”（即这一系列“魔法咒语”）的库，它就会进入第二步：移动到现实世界。现在，机器人不再是从零开始学习，它只需要学习在什么时候使用哪种咒语。因为这些咒语已经足够安全且结构化，机器人可以在不到一小时的现实练习中，学会一项复杂的、涉及频繁接触的任务——比如在避开障碍物的同时擦拭白板。在以一个名为 Tiago 的真实机器人进行的实验中，SLAC 成功地在不到 60 分钟的现实交互中，学会了困难的、重接触的任务（如将垃圾扫进袋子或擦拭黑板）。它完成这一切时，既不需要人类演示如何做，也不需要针对该任务的完美模拟。
论文表明，这种方法比以往的方法更快、更安全。当其他机器人还在挣扎或需要更长时间学习时，SLAC 的机器人学得很快且没有损坏任何东西。研究人员发现，通过这种在简单模拟中的“预训练”，他们可以跳过对昂贵、完美视频游戏的需求，同时依然能得到一个在现实世界中工作的机器人。这有点像学习驾驶：你不需要直接在真实的公路上学习（这很危险），也不需要一个超写实的模拟器（这很难构建且成本高昂），而是先在一个简单、安全的停车场里学习基础知识，然后带着信心驶上公路。SLAC 表明，为了让机器人成为真正有用的助手，我们不需要现实世界的完美数字孪生；我们只需要一种聪明的方法来教授它们运动的基础知识，以便它们能自行搞定剩下的部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。