技术摘要：Shield-Loco

问题陈述

强化学习（RL）策略在通过将期望的接触位置映射到低层关节指令来实现动态足式运动方面已展现出成功。然而，这些策略缺乏在遇到训练中未出现的环境约束（如障碍物）时防止安全违规的主动机制。虽然大规模离线安全学习对于覆盖所有边缘情况并不现实，但现有的安全框架面临着显著的局限性：

• 降阶模型： 控制屏障函数（CBF）等方法通常依赖于简化的模型，无法对全身行为进行推理，导致在面对未建模的接触动力学时发生失效。
• 保守的恢复机制： 模型预测屏蔽（MPS）和 Hamilton-Jacobi (HJ) 可达性方法通常采用保守的恢复控制器，这会牺牲任务性能，或者需要手工设计的证书，而这些证书在复杂场景下会失效。
• 可扩展性： HJ 可达性随状态维度呈指数级增长，使得全身足式模型变得难以处理。

核心挑战在于如何在不降低任务性能或不需要重新训练 RL 策略的情况下，对策略进行干预以确保安全性。

方法论

作者提出了 Shield-Loco，这是一个作用于输入给接触条件化 RL 策略的接触位置上的后验预测性安全滤波器。其核心见解是：足部接触位置作为一个运动学抽象，足以实现全身碰撞规避，同时在在线优化中保持计算可行性。

框架概述

在每个控制步，滤波器接收来自高层规划器的标称接触序列。它使用全物理模拟器（MuJoCo）和冻结的 RL 策略进行前向展开（forward rollout），以预测未来状态。

1. 预测： 如果在后退时界（receding horizon）内未预测到安全违规，则将标称接触传递给策略。
2. 干预： 如果预测到违规，则使用基于采样的优化器搜索替代的接触序列，旨在最大化有限时界的收益并满足安全约束。
3. 执行： 将第一个优化后的接触位置传递给 RL 策略，由其生成关节力矩。该过程异步重复，允许低层策略以高频率（50 Hz）运行，即使优化器运行频率较低（3 Hz）。

优化公式

当需要干预时，滤波器求解以下优化问题：
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
受限于安全约束 $g(s_t, p_t) \leq 0$，其中 $a_t = \pi(s_t, p_t)$ 且 $s_{t+1} = f(s_t, a_t)$。

• 奖励 ($r$)： 编码任务性能（例如，追踪期望接触、能量效率）。
• 价值函数 ($V$)： 通过在优化器收集的轨迹上进行时序差分学习得到的学习价值函数，用于引导长时界收益。
• 安全约束 ($g$)：
  • 足部接触惩罚： 基于足部与障碍物之间的符号距离函数（SDF）的软惩罚。
  • 全身碰撞： 如果任何机器人连杆接触到障碍物，则应用巨大的惩罚，通过 MuJoCo 的接触数据进行检测。

实现计算可行性的算法组件

为了在不连续的接触景观中实现可行的优化，作者引入了三个关键组件：

1. 几何投影： 在展开评估之前，采样到的接触位置通过二次规划（QP）被投影到无碰撞集合上。这确保了候选方案在局部满足硬约束，尽管完整的展开仍需进行安全性评估。
2. 动量增强更新： 源自加速近端自然梯度下降，该更新规则通过在改进方向上进行外推来加速收敛，从而减少所需的迭代次数。
3. 副本交换（并行回火）： 为了跳出浅层的局部最优，系统维护了多个具有不同逆温度 ($\lambda$) 的优化器副本。相邻的副本根据 Metropolis–Hastings 准则交换接触序列，允许高温度副本进行广泛探索，同时让低温度副本利用有前景的解。

核心贡献

1. 基于接触位置的预测性安全滤波器： 一种直接作用于 RL 策略输入接触位置的方法，能够在不修改底层策略的情况下实现全身碰撞规避。
2. 可处理的基于采样的优化方案： 一种结合了几何投影、动量增强更新和副本交换的创新优化方案，用以处理足式运动中非光滑、不连续的代价景观。
3. 仿真与现实世界的验证： 在密集的杂乱环境中对 Unitree Go2 四足机器人进行了全面的评估，证明了在极小偏离标称步态的情况下，能显著减少安全违规。

结果

该方法在 MuJoCo 仿真和真实硬件实验中对 Unitree Go2 四足机器人进行了评估。

• 安全性与性能的权衡： 与使用单轮车近似的基线方法（CBF 和 HJ 可达性）相比，Shield-Loco 实现了显著更低的追踪成本和更少的实际安全违规。降阶基线在密集的杂乱环境中表现挣扎，而 Shield-Loco 保持了强大的安全-追踪权衡。
• 优化器变体： 在测试的优化器（MPPI、CEM 和 Replica Exchange MPPI）中，Replica Exchange 变体实现了最低的追踪成本 (0.0086)，同时保持了较低的违规率，尽管其优化时间更高。
• 消融实验：
  • 动量： 非零动量系数 ($\beta$) 始终能改善追踪成本，其中 $\beta=0.1$ 表现最优。
  • 时界与迭代次数： 中等的计算预算（$N=3$ 次迭代，$H \in [4, 6]$）提供了安全性与响应性之间的最佳平衡。
  • 投影： 在展开采样过程中以及在最终优化计划上应用几何投影，对于最小化违规至关重要。
• 现实世界部署： 该系统成功通过了包含障碍物（手机、包裹、电缆）和大型静态障碍物的杂乱环境。异步设计使得即使优化器耗时超过规划周期（例如 $H=8$ 时为 400ms），机器人仍能保持稳定，因为低层策略会继续追踪上一个已知的安全接触目标。

重要性与局限性

本文将 Shield-Loco 定位为一种微创的安全干预手段，它弥合了全物理模型的高表达能力与在线安全滤波所需的计算可行性之间的差距。通过作用于接触位置而非关节力矩，它避免了“维度灾难”，同时保留了对全身碰撞进行推理的能力。

局限性与未来工作：

• 理论保证： 该方法缺乏最优性或安全性的正式理论保证。如果优化器收敛到局部最优，过滤后的计划可能会偏离真实的安全性集合。
• 启发式投影： 几何投影是一种启发式方法，可能不会严格保持优化器的收敛特性。
• 策略限制： 实验中的实际违规有时是由 RL 策略产生不安全的中间摆动相配置引起的，即使接触目标是安全的。
• 范围： 目前的验证仅限于平坦地形上的四足机器人。将该方法扩展到多地形运动、类人机器人或需要主动躯干扭转的场景是未来的工作方向。
• 感知： 当前框架假设障碍物几何形状已知；集成在线感知流水线以实现对未知环境的全自主部署被确定为一个必要的未来研究方向。