Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

想象一个这样的世界：机器人不再是那种一旦绊倒或零件损坏就会立刻瘫痪的僵硬、笨重的机器。相反，请想象它们是充满韧性的运动员，能够踉跄、意识到肌肉无力，并能瞬间想出一种新的奔跑方式而不至于摔倒。这就是“足式机器人学”（legged robotics）的梦想——在这个领域，科学家们教导拥有腿部（如狗或马）的机器，如何在乱石堆、森林或不平整的城市街道等杂乱的现实世界中行走。巨大的挑战在于：当机器人的腿部电机失效时（比如失去动力或卡住），机器人不能只是机械地重复原有的动作。它必须重新组织整个身体，重新分配重量并改变步态，且要在电光火石之间完成。这对于重型机器人来说尤其困难；不像那些可以通过疯狂跳动来修正错误的小型玩具机器人，重型机器人就像是一个试图跳舞的相扑选手。如果它移动得太快或过于激进，可能会失去平衡而倾倒。那么问题来了：我们如何教会一个重型机器人，即使在一条腿受伤的情况下，也能成为一名优雅、适应性强的舞者？

本文提出了一种巧妙的解决方案，使用的是一种被称为“深度强化学习”的人工智能技术。可以将这想象成一种视频游戏训练法，机器人通过试错来学习，但带有一个特别的转折。研究人员教会了一台68公斤重的四足机器人（名为Kyon）在其中一个电机突然失去所有动力的情况下仍能保持行走。他们并没有直接告诉机器人：“如果你的左腿坏了，就执行动作X。”相反，他们让机器人自己去摸索。其核心秘诀在于一种训练设置：机器人的“大脑”（执行器/actor）必须仅根据身体的感觉（本体感受）来猜测发生了什么，而它的“教练”（评论家/critic）在练习期间则掌握着确切的真相。通过强迫大脑去模仿教练的理解，机器人学会了仅仅通过感知自身运动的变化，就能推断出自身的损伤。

团队发现，仅仅告诉机器人脚该落在哪里是不够的。他们在机器人的控制系统中增加了一个特殊的“步频”（gait frequency）旋钮，允许它在运行中实时加快或减慢迈步节奏。事实证明，这是一个改变游戏规则的关键。当腿部失效时，机器人不仅仅是跛行；它会动态调整其节奏，有时切换到三足小跑，或者改变步幅长度以保持平衡。他们在具有高保真度的模拟环境中测试了机器人在颠簸、有阶梯的地形上的表现，甚至在真实的平坦地面上使用实际的68公斤机器人进行了测试。结果显示，机器人能够应对突发的电机故障，在不需要预设“伤残计划”的情况下，依然保持平衡并继续移动。

以下是其背后的奥秘，通过日常概念进行拆解：

“老师-学生”游戏
想象你正在学习骑自行车，虽然有辅助轮，但你的老师能看到你看不见的隐藏道路地图。在本文的方法中，“评论家”是那个洞察一切的老师：它知道机器人的精确位置、地形，甚至知道哪个电机坏了。“执行器”则是学生：它只能感受到风和车把（机器人的传感器）。在训练期间，老师引导学生，但学生必须学会仅通过感受自行车，就能“猜出”老师所看到的一切。研究人员增加了一条特殊规则：学生的“猜测”（一个隐藏的精神地图）必须尽可能与老师的地图相匹配。这迫使机器人变得对自身身体的细微变化极其敏感，从而能通过这些变化感知到电机损坏的信号，无需被告知“嘿，你的腿坏了！”

自适应节奏
大多数机器人的行走遵循严格的节拍，就像行进乐队一样。如果一条腿断了，行进乐队式的机器人可能会试图维持原有的节拍，这通常会导致摔倒。然而，本文中的机器人学会了像爵士鼓手一样行动。研究人员给了机器人一个“步频”动作，这就像是调节迈步速度的音量旋钮。当机器人感知到问题（如电机失去动力）时，它不会惊慌失措；它会调整自己的节奏。如果它正处于单腿支撑状态，它会加快节奏以快速落下下一只脚；如果处于双腿支撑状态，它会放慢速度以求稳定。这种灵活性让重型机器人能够安全地重新分配重量，而僵硬、预设程序的机器人往往无法做到这一点。

重量级的挑战
为什么这对一台68公斤的机器人很重要？论文指出，重型机器人与实验室里常见的小型机器人不同。小型机器人可以快速弹跳并恢复，但重型机器人拥有更大的惯性和更严苛的电机力矩限制。如果重型机器人尝试进行突然、激进的修正，可能会损坏自身的关节或摔倒。研究人员发现，适用于小型机器人的“激进”策略无法扩展到重型机器上。相反，关键在于“自适应步态定时”。通过让机器人改变“何时”迈步，而不仅仅是“在哪里”迈步，它可以在不需要成为超级英雄的情况下保持稳定性。

研究发现（以及未发现的部分）
实验在超精确的计算机模拟和真实机器人上进行，结果表明这种方法是有效的。机器人可以应对其12个关节中任何一个发生的突发功率损失。有趣的是，机器人发现膝关节失效是最难处理的情况，这通常迫使它切换到三足“三脚架”式行走。研究人员还测试了机器人需要多少“记忆”。他们发现，回顾仅仅过去几步的轨迹（3步的历史记录）就足以让机器人弄清楚出了什么问题；回顾更久的历史并没有带来显著帮助。

然而，这种成功也是有限度的。机器人在现实世界中是在平坦地面上进行的测试，而在模拟环境中是在不平整的阶梯地形上进行的。在现实世界的测试中，它没有配备摄像头或LiDAR来“看见”地面；它完全依赖于内部传感器和预载的地形高度图。论文建议，为机器人添加一个真正的感知系统（如摄像头）来实时观察地面，将是下一个逻辑步骤，但这并不属于本项研究的内容。此外，虽然机器人从跌倒中恢复并保持了行走，但研究重点在于“运动能力”（行走），而非当机器人真正摔倒后如何站起来。

简而言之，这篇论文表明，通过教导机器人去“倾听”自己的身体并实时调整行走节奏，我们可以制造出足够坚固、能够处理零件损坏而无需人工干预的实用型重型机器人。这是向着让机器不再仅仅是执行命令，而是能在出现问题时像生物一样进行适应的迈进了一步。