Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
本文介绍了一种神经降阶动力学（Neural Reduced Dynamics, NRD）框架，该框架通过学习控制相关的状态抽象来实现高吞吐量的强化学习，成功在比高保真模拟器快四个数量级的模型中训练出策略，并能有效迁移至各种不同地形下的复杂机器人任务，且不存在性能退化。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现实世界中移动的机器人面临着一个根本性的问题：它们运动的物理机制极其复杂。当车辆行驶在松软的土壤上时，地面会下陷并发生位移；当机械臂移动时，其关节会受到重力和自身重量的影响。为了理解这些力量，工程师们使用高保真模拟器——即充当虚拟实验室的计算机程序。这些程序会计算摩擦力、变形和接触的每一个细节，为测试机器人的行为提供一个真实的物理环境，而无需接触真实的硬件。然而，这种真实性是以高昂的代价换取的。运行这些详细的模拟过程非常缓慢，以至于计算机可能需要花费数小时才能模拟出机器人仅仅几秒钟的生活。这种速度使得利用现代学习方法来教授机器人新技能变得几乎不可能，因为这些方法需要数百万次的练习尝试来弄清楚哪些做法有效，哪些无效。
为了解决这个问题，研究人员长期以来一直试图构建“学习型”模型——即能够模仿模拟器行为但运行速度快得多的简化计算机程序。挑战始终在于寻找合适的简化程度。如果模型过于简单，它就会遗漏机器人生存所需的关键物理特性，例如轮胎在泥泞中的滑动情况；如果它过于复杂，则仍然无法快到可以投入使用的程度。核心问题不仅在于如何让模型更快，还在于如何在剥离不必要的细节的同时，保留控制器实际依赖的特定物理真相。
威斯康星大学麦迪逊分校的一个研究小组开发了一种应对这一问题的新方法，创建了一个被称为“神经缩减动力学”（neural reduced dynamics）的框架。他们的工作表明，成功的关键不仅在于压缩数据，还在于根据机器人试图执行的具体任务，仔细选择保留哪些物理变量以及丢弃哪些变量。该方法并非试图学习复杂机器的所有细节，而是教导模型只关注对于特定工作而言重要的特定运动和力量，同时利用已知的数学规则来计算其余部分。这使得模型的运行速度比原始模拟器快了数千倍，同时仍能产生一个在缓慢、真实的物理环境中表现完美的机器人控制器。
研究人员在两个截然不同的机器人系统上测试了这个想法。第一个是类似于悍马车的军用轮式车辆，旨在三种地形上行驶：平坦硬地、颠簸硬地和松软的可变形土壤。第二个系统是类似于坦克的履带式车辆，其前端安装有一个机械臂。研究人员需要教会轮式车辆精确地跟随路径，并教会履带式车辆通过其履带和机械臂到达特定的目标点。在这两种情况下，高保真模拟器都太慢，无法直接用于训练机器人。
为了弥补这一差距，团队首先通过驱动机器人进行各种动作，从缓慢的模拟器中收集数据。然后，他们利用这些数据训练了一个专门的神经网络。这项创新的关键在于他们如何设计网络的输入。他们并没有将机器人的整个状态输入网络，而是给出了一个“缩减”后的状态——一组仅捕捉了本质物理特性的较小数值集。对于轮式车辆，这包括车身的运动速度、倾斜度以及每个轮胎的压力（这告诉模型轮胎滑动的程度）；对于履带式车辆，模型只需要知道履带的速度和转向的角度；对于机械臂，模型则专注于关节的位置和速度。
至关重要的是，研究人员并没有要求模型学习一切。他们让模型去学习那些难以预测的部分，例如轮胎如何与松软土壤相互作用，或者关节如何加速。对于可以使用标准数学精确计算的部分，例如机器人在地图上的整体位置或机械臂尖端的精确位置，他们则使用简单的公式在模型做出预测后进行计算。这种分离使得模型保持精简且快速，同时又不失准确性。他们还向模型添加了一个简单的“上下文”信号，告知模型地面是坚硬还是松软，从而使其能够据此调整预测，而不必从头开始猜测地形类型。
一旦模型训练完成，研究人员就将其“冻结”，即停止更改其内部设置，并将其作为训练机器人控制策略的环境。他们在单个图形处理卡上并行运行了数千个这种快速模型的副本。这种设置使得机器人在短短几分钟内就能进行数百万次的练习。控制策略完全是在这个快速、简化的世界中学习到的。
真正的测试发生在研究人员将用于快速模型的策略移回缓慢的高保真模拟器时。他们想看看当简化的假设被移除、完整的物理复杂性被恢复时，机器人是否仍然能够正常工作。结果令人瞩目。经过在混合了平坦和松软土壤数据上训练的轮式车辆，能够驾驶通过所有三种地形，包括它从未见过的颠簸表面。它的表现优于仅针对单一地形进行训练的机器人，这表明学习到的模型捕捉到了驾驶的一般规律，而非仅仅记住了特定的路径。
履带式车辆及其机械臂也取得了成功。为车辆训练的策略成功到达了全部 100 个目标位置，误差范围小于四分之三米。用于到达空间特定点的机械臂，成功到达了 100 个目标中的 97 个，误差小于五厘米。最重要的是，尽管在训练期间从未见过完整的复杂模拟器，机械臂从未与地面或车辆发生碰撞，也从未违反自身的关节限制。
两种方法之间的速度差异巨大。高保真模拟器运行得如此缓慢，以至于无法进行训练。相比之下，神经缩减动力学模型运行速度大约快了 10,000 到 58,000 倍，具体取决于特定任务。这种加速使得快速迭代机器人的行为成为可能，允许研究人员不断优化训练过程，直到机器人能够可靠地执行任务。
研究得出结论，加速机器人学习最有效的方法不是构建一个通用的、简化的世界模型，而是构建一个针对特定任务的物理特性量身定制的模型。通过保留控制器实际需要的变量并使用已知数学进行计算，可以创建一个既快速又准确，足以产生现实世界结果的学习环境。研究人员强调，虽然他们的成功是在模拟中展示的，但该方法为训练复杂的机器人提供了一条清晰的路径，使其不再受限于详细物理计算的缓慢节奏。这项工作表明，机器人学习的未来在于寻找模型必须学习的内容与可以简单计算的内容之间的正确平衡。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。