Safe Exploration via Policy Priors
本文介绍了 SOOPER，这是一个利用保守策略先验和概率动力学模型来保证在线探索期间安全性，同时实现最优收敛并超越基准测试及真实硬件上最先进方法的安全强化学习框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下正在教一个机器人做一些新动作，比如走过一个房间或驾驶一辆赛车。在人工智能的世界里，这被称为“强化学习”（Reinforcement Learning）。这就像是在教狗玩把戏：机器人尝试各种动作，做得好时会得到“奖励”（treat），做得差时则会受到“训斥”（penalty）。随着时间的推移，它会逐渐掌握最佳的行为方式。但问题在于：在真实的物理世界中，你不能让机器人进行毫无节制的“尝试与失败”。如果一个正在学习走路的机器人在摔倒时力度过大，可能会折断腿；如果一辆自动驾驶汽车通过撞墙来学习，可能会伤及人类。这就是“安全探索”（Safe Exploration）的大问题：如何在让智能体学习并变得更好的同时，永远不会采取任何可能导致灾难的步骤？
科学家们一直试图通过给机器人提供一个“安全网”来解决这个问题。通常，这意味着有一个备份计划或一套严格的规则手册，在机器人受伤之前阻止它。但这些安全网可能过于严格，以至于机器人无法学到任何新东西；它只是保持了安全，却也因此停滞不前。挑战在于，如何既能勇敢地探索更好、更新的方式，又能聪明地知道何时该收手并保持安全。这篇论文正是在应对这一困境，它提出了一种新的方法，让机器人在线（real-time）学习，且永远不会跨越危险的界限。
论文介绍了一种名为 SOOPER 的新算法（其全称为 Safe Online Optimism for Pessimistic Expansion in RL，即针对悲观扩张的安全在线乐观算法）。可以将 SOOPER 想象成一个拥有非常谨慎、经验丰富的导师的机器人。这个导师是一个“策略先验”（policy prior）——即机器人已经掌握的一套指令，这些指令可能来自模拟器或旧数据。这个导师是“悲观的”，这意味着它假设最坏的情况，并且只做维持安全的最低限度动作。它就像一位知道如何在湿滑地面上行走而不摔倒的家长，虽然动作并不快，也不够华丽。
SOOPER 的巧妙之处在于，它允许机器人在学习过程中保持“乐观”。机器人被允许尝试新的、具有风险性的动作，以观察是否能找到更快或更高效的路径。然而，它内置了一个安全开关。当机器人尝试这些新动作时，它会不断计算：“如果我继续这样走下去，最终会耗尽安全预算吗？”如果答案哪怕只有一点点倾向于“可能”，机器人会立即切换到它的悲观导师模式。导师接管控制权，引导机器人安全地回到安全状态。这种切换发生得如此迅速，以至于机器人实际上从未陷入麻烦。
这里最神奇的部分是：机器人并不仅仅是停止并等待。当导师接管时，机器人会将这一时刻记录为一次“教训”。它意识到：“噢，我刚才尝试的那条路会导致一个死胡同，在那里我必须行动缓慢且小心。”这些信息帮助机器人构建一个更好的世界心理地图。随着时间的推移，机器人会精确地了解安全边界在哪里，并发现既安全又新的、更快的路线。这就像一名在森林中探索的徒步旅行者，身边有一位熟悉安全路径的向导。徒步者试图穿过灌木丛寻找捷径。如果他们太靠近悬崖，向导就会抓住他们的手并将他们拉回安全路径。徒步者会学到：“好吧，那条捷径太危险了，”于是下次他们会尝试另一条路线。最终，徒步者会找到一条既安全又快速的捷径，而从未掉下悬崖。
作者通过数学证明，这种方法保证了学习过程中的每一步都是安全的。他们还表明，机器人的性能会随着时间提高，最终找到一种几乎接近最优策略的方案，同时从未违反安全规则。他们在各种任务的计算机模拟中测试了这一点，例如将杆子向上摆动至垂直位置，以及在障碍物中驾驶赛车。在每种情况下，SOOPER 都能在保持安全的同时，比其他顶尖方法学得更快、表现得更好。
最令人印象深刻的是，他们并没有止步于计算机模拟。他们将 SOOPER 应用到了一个真实的、物理遥控赛车上。这辆车必须高速行驶，躲避轮胎并到达目标点。现实世界是混乱且不可预测的，存在着汽车电机和传感器的延迟。即便面对这些现实世界的故障，SOOPER 仍成功地学会了比初始“安全”驾驶风格更快、更高效地驾驶，同时从未撞到障碍物。论文指出，这种方法可以成为让机器人在现实世界中安全学习的重要进步，推动它们从受控实验室走向我们的街道和家庭。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。