SAC-Loco: Safe and Adjustable Compliant Quadrupedal Locomotion

本文提出了一种名为 SAC-Loco 的安全感知柔顺运动框架，该框架通过结合可调节柔顺的强化学习策略、安全导向的恢复策略以及实时安全监督机制，使四足机器人能够在无需显式力传感器的情况下，在外部力干扰下同时实现平滑的柔顺响应与鲁棒的安全保障。

要点

这篇论文介绍了一种名为 SAC-Loco 的新系统，它让四足机器人（比如机器狗）变得既听话又聪明，特别是在面对外力推搡或拉扯时。

为了让你更容易理解，我们可以把这只机器狗想象成一个在拥挤人群中跳舞的舞者，或者一个正在推着重物行走的搬运工。

1. 核心问题：以前的机器狗太“硬”或太“软”

以前的机器狗控制方法主要有两个缺点：

• 太硬（像机器人）： 它们试图死死地抵抗任何外力。如果有人推它，它会像一堵墙一样硬抗，结果往往是把自己推倒，或者把推它的人弹飞。
• 太软（像面条）： 有些方法让它们变得很顺从，但一旦外力太大，它们就彻底失去平衡，像醉汉一样摔倒，而且无法自己站起来。

SAC-Loco 的目标是： 让机器狗像真正的动物（比如猫或狗）一样。

• 当有人轻轻推它时，它能顺势借力，调整步伐继续走（这叫“顺应”）。
• 当有人猛力推它，快要把它推倒时，它能瞬间爆发，做出高难度的动作把自己救回来（这叫“安全”）。
• 最重要的是，人类可以调节它有多“顺从”。你可以让它像石头一样硬抗，也可以让它像水一样随波逐流。

2. 它的“超能力”是怎么来的？（三个核心模块）

作者给机器狗装上了三个“大脑模块”，它们配合工作：

A. “顺从教练” (Compliant Policy) —— 学会“顺势而为”

• 比喻： 想象你在学游泳。教练（Teacher）在水里给你看水流的方向，告诉你怎么游最省力。但真正的游泳者（Student）上岸后，看不见水流，只能靠身体的感觉（本体感觉）来游。
• 原理： 研究人员先用一个拥有“上帝视角”（知道所有外力数据）的老师在模拟器里训练，教机器狗如何根据外力调整步伐。然后，把这个老师的经验“蒸馏”（浓缩）给学生。
• 结果： 学生机器狗虽然看不见外力，但通过观察自己身体的姿态和历史动作，就能像老师一样，灵活地调整步伐来顺应外力。你可以通过一个旋钮（参数 $k$）来告诉它：“今天我们要硬一点”或者“今天我们要软一点”。

B. “急救专家” (Safe Policy) —— 学会“绝地反击”

• 比喻： 当那个舞者快要摔倒了，普通的反应是乱抓空气。但“急救专家”会立刻计算重心，像杂技演员一样，迅速把脚伸到身体重心下方，或者转身把背对着推力，利用身体的结构把推力变成向前的动力，从而把自己救回来。
• 原理： 这个模块专门负责处理那些“顺从教练”搞不定的巨大外力。它利用一种叫“修正捕获点”的物理原理，计算出机器人必须把脚踩在哪里才能不倒。
• 结果： 当外力大到快要摔倒时，这个模块会接管控制权，让机器人做出跳跃、转身等高难度动作来恢复平衡。

C. “安全裁判” (Safety Critic) —— 聪明的“守门员”

• 比喻： 这是一个站在场边的裁判。他时刻盯着机器狗的状态。
  • 如果机器狗只是被轻轻推了一下，裁判说：“没事，继续用‘顺从教练’的方法，顺势走。”
  • 如果裁判发现机器狗快要摔了（比如身体倾斜角度太大），他会立刻吹哨：“危险！切换模式！”然后马上把控制权交给“急救专家”。
• 原理： 这是一个经过训练的神经网络，它能实时判断当前的状态是否安全。如果它觉得危险，就自动切换策略。

3. 实验效果：它有多强？

作者在电脑模拟和真实的机器狗（Unitree Go2）上做了很多测试：

• 拉椅子测试： 他们让机器狗拉着一个坐着人的办公椅。
  • 如果把“顺从度”调低，机器狗就像个倔强的壮汉，拉得很快，但很费力。
  • 如果把“顺从度”调高，机器狗就像个温柔的助手，拉得慢一点，但很省力，甚至能配合人的节奏。
• 大力推搡测试： 有人用绳子猛拉机器狗，试图把它弄倒。
  • 以前的方法（HAC-Loco, FACET）在大力拉扯下经常失败（摔倒）。
  • SAC-Loco 在 5 次测试中一次都没摔倒！ 即使被拉得快要失去平衡，它也能迅速转身，把背对着拉力，像壁虎一样吸住地面，然后重新站稳。
• 力量对比： 它能承受的最大拉力比之前的方法高出很多（比如能拉动 10 公斤以上的重物而不倒）。

4. 总结：为什么这很重要？

这就好比给机器人装上了**“本能”。
以前的机器人是死板的程序，遇到意外就死机或摔倒。
SAC-Loco 让机器人拥有了像动物一样的生存本能**：

1. 可调节： 人类可以决定它是“硬汉”还是“软妹”。
2. 安全： 遇到危险能自己救自己，不会轻易摔倒。
3. 无感： 不需要在机器人身上装很多昂贵的力传感器，它靠“身体感觉”就能做到。

这项技术让机器狗未来能更安全地进入人类家庭（比如帮老人推东西、在拥挤的街道上行走），即使被不小心撞到，也能稳稳地站住，不会把东西摔坏或把人撞伤。

技术摘要

这是一篇关于四足机器人安全且可调节顺应性 locomotion（运动）控制框架 SAC-Loco 的技术总结。该论文提出了一种结合可调节抗扰顺应性与鲁棒故障预防的解决方案，旨在解决现有方法在应对大外部力干扰时缺乏灵活性和安全性的问题。

以下是详细的技术总结：

1. 研究背景与问题定义 (Problem)

• 核心挑战：现有的四足机器人控制方法大多侧重于严格的轨迹跟踪（如速度或位置控制），缺乏动物在面对外部力时表现出的多样化顺应行为（即既能抵抗干扰，也能顺应干扰以维持平衡）。
• 现有局限：
  • 基于模型的方法：通常依赖力估计，但仅能处理小扰动（<50N），且受限于预定义步态，难以应对大脉冲力。
  • 基于强化学习（RL）的方法：虽然具有较好的泛化性，但大多缺乏可调节的顺应性（Adjustable Compliance），或者在遭遇大持续力（>500N）时成功率急剧下降，无法在“抵抗”和“顺应”之间灵活切换，且缺乏明确的安全恢复机制。
• 目标：设计一种控制器，能够在无需显式力传感器的情况下，实现可调节的顺应性（通过参数 $k$ 控制抵抗或顺应程度），并在遭遇超出顺应控制极限的大干扰时，具备鲁棒的安全恢复能力，防止机器人摔倒。

2. 方法论 (Methodology)

SAC-Loco 框架由三个核心学习模块组成，采用**教师 - 学生（Teacher-Student）**强化学习架构：

A. 可调节顺应策略 (Compliant Policy, $\pi_{comply}$)

• 功能：在外部力作用下，根据设定的顺应参数 $k$，调整机器人的速度响应。$k$ 值越大，机器人越顺应外力（随力移动）；$k$ 值越小，机器人越抵抗外力。
• 训练机制：
  • 教师网络：在仿真中使用特权观测（Privileged Observations，包含真实的力 $F$、力矩 $\tau$ 等）进行训练，学习理想的顺应行为。
  • 学生网络：仅使用本体感知观测（关节位置、速度、IMU 等），通过**策略蒸馏（Policy Distillation）**从教师网络学习。
  • 速度调制：引入速度调制器，根据外力计算期望速度 $v^*$，策略的目标是跟踪该速度。
• 优势：无需在实机上安装力传感器即可实现顺应控制。

B. 安全恢复策略 (Safe Policy, $\pi_{safe}$)

• 功能：当外部干扰过大，机器人处于危险状态（如即将摔倒）时，接管控制以恢复平衡。
• 理论基础：基于**修正捕获点（Corrected Capture Point, CCP）**动力学。
  • 计算支撑多边形质心（SPC）需要移动到的目标位置，以抵消外力。
  • 引入偏航角（Yaw）调整策略：根据外力方向调整机器人朝向，将横向力转化为纵向力（机器人抗纵向力能力更强）。
• 训练机制：同样采用教师 - 学生架构。教师网络利用特权信息训练，学生网络通过蒸馏学习，能够仅凭本体感知从危险状态恢复。

C. 安全评论家 (Safety Critic, $V_{safe}$)

• 功能：实时评估当前状态的安全性，决定是继续执行顺应策略 $\pi_{comply}$ 还是切换到安全恢复策略 $\pi_{safe}$。
• 训练数据：收集 $\pi_{comply}$ 在仿真中导致失败的轨迹（前 150 步），构建“不安全数据集” $D_{unsafe}$。
• 机制：
  1. 利用 $D_{unsafe}$ 初始化 $\pi_{safe}$ 的训练，使其学会从这些特定危险状态恢复。
  2. 训练 $V_{safe}$ 预测 $\pi_{safe}$ 在给定状态下能否成功恢复。
  3. 切换逻辑：若 $V_{safe}$ 的输出低于阈值 $\epsilon$，则激活 $\pi_{safe}$；否则保持 $\pi_{comply}$。

3. 主要贡献 (Key Contributions)

1. 可调节顺应策略：提出了一种基于教师 - 学生框架的力顺应策略，无需显式力传感器即可实现大范围的可调顺应行为。
2. 基于 CCP 的安全策略：设计了一种基于修正捕获点动力学的安全策略，专门用于从大扰动导致的危险状态中快速恢复和稳定。
3. 学习型安全评论家：提出了一种学习得到的安全评论家，能够实时评估恢复能力，并在顺应控制和恢复行为之间进行鲁棒的协调切换。
4. 广泛的验证：通过大量仿真和硬件实验（Unitree Go2 机器人），验证了该方法在宽范围外力干扰下的有效性和实用性。

4. 实验结果 (Results)

• 仿真对比：
  • 顺应性范围：SAC-Loco 的顺应范围（$\Delta C$）显著优于基线方法（HAC-Loco 和 FACET）。
  • 成功率 (SR)：在 50N 到 600N 的力干扰下，SAC-Loco 保持了最高的成功率。特别是在大干扰（>400N）和长持续时间干扰下，基线方法失败率急剧上升，而 SAC-Loco 仍能保持 80% 以上的成功率。
  • 能耗与跟踪误差：在保持高成功率的同时，SAC-Loco 的电机平均功耗更低，速度跟踪误差更小。
• 消融实验：
  • 移除教师网络（直接训练学生）导致成功率大幅下降（从 90%+ 降至 20%+），证明了蒸馏框架的必要性。
  • 移除 CCP 动力学启发式或安全评论家，均导致性能显著下降，证明了各模块的关键作用。
• 硬件实验 (Unitree Go2)：
  • 顺应测试：机器人成功跟随另一台机器人或被牵引，通过调节参数 $k$ 实现了不同的牵引速度。
  • 抗干扰测试：在人为拖拽测试中，SAC-Loco 实现了0 次失败，而基线方法平均在 120N-190N 力作用下摔倒。
  • 最大牵引力：SAC-Loco 能维持稳定运动的最大牵引力（约 10.5kg）优于现有方法（FACET 的 7.5kg）。

5. 意义与展望 (Significance)

• 安全性与灵活性的统一：SAC-Loco 打破了传统控制中“刚性跟踪”与“柔性顺应”的矛盾，使四足机器人能够在复杂、动态的外部力环境中既保持任务执行能力，又具备极高的生存能力。
• 无需力传感器：通过策略蒸馏，实现了在低成本硬件（无外部力传感器）上的高性能顺应控制，降低了实机部署门槛。
• 应用前景：该方法为四足机器人在人机交互（如协作搬运）、复杂地形行走以及抗干扰任务中的应用提供了新的技术路径。未来的工作可进一步探索顺应参数的自适应调整以及将其整合到更高动态的机动动作中。

总结：SAC-Loco 通过结合可调节顺应控制、基于动力学的恢复策略以及智能的安全切换机制，成功解决了四足机器人在强外力干扰下的鲁棒性与灵活性难题，是迈向真实世界可靠部署的重要一步。