🤖 AI

Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

本文提出了一种利用信号时序逻辑（STL）来定义参数化步态约束并推导强化学习密集奖励函数的框架，使四足机器人相比于传统的纯手工设计奖励基准，能够实现更稳定的训练以及在不同步态下更精确的速度跟踪。

原作者： Merve Atasever, Cagan Bakirci, Alfredo Reina Corona, Keyan Azbijari, Jyotirmoy V. Deshmukh

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Merve Atasever, Cagan Bakirci, Alfredo Reina Corona, Keyan Azbijari, Jyotirmoy V. Deshmukh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，正在教一只四足机器人狗在田野上奔跑、行走和跳跃。在过去，工程师们通过手工制作一个奖励“计分卡”来教导这些机器人。这就像是在告诉机器人：“如果你向前移动，表现得很好；如果你摔倒了，表现得很差，”但这些指令非常模糊，就像父母说“你要乖一点”，却不解释到底该“怎么做”。机器人往往能学会走路，但无法奔跑；或者它学会了奔跑，却因为指令没有明确定义什么是“奔跑”而踉跄跌倒。

这篇论文介绍了一种更聪明的方法，即使用一种被称为信号时序逻辑（Signal Temporal Logic, STL）的系统来教导机器人。你可以将其理解为不仅仅是一个模糊的计分卡，而是一本严格的、逻辑严密的规则手册，其语言是机器人可以完美理解的。

以下是作者的方法是如何运作的，通过简单的概念进行分解：

1. 速度的“红绿灯”系统

机器人不仅仅只有一种移动方式。它需要知道何时行走，何时小跑（一种有节奏的双拍步态），以及何时跳跃（一种高速的跨越，四条腿成对移动）。

旧方法： 机器人被给予一套适用于所有速度的规则，这让它在尝试从慢速行走切换到快速奔跑时感到困惑。
新方法： 作者创建了一个“红绿灯”系统。
- 绿灯（慢速）： 如果机器人被要求慢速移动，它就遵循“行走”规则手册。
- 黄灯（中速）： 如果它加速，它就会切换到“小跑”规则手册。
- 红灯（快速）： 如果它需要冲刺，它就会切换到“跳跃”规则手册。
- 神奇之处： 机器人并不会靠猜测来决定使用哪个规则手册；系统会根据它应该达到的速度自动选择正确的规则手册。

2. 规则手册 (STL)

不同于模糊的奖励，机器人被赋予了针对每种速度的具体、逻辑性的约束。

安全规则： “你的腿绝对不能扭曲得太厉害，”以及“你的身体必须保持直立。”
步态规则：
- 对于行走： “始终保持至少三只脚着地。”
- 对于小跑： “确保你的对角线腿（左前腿和右后腿）像舞伴一样同步移动。”
- 对于跳跃： “确保你在空中有一个没有任何脚接触地面的时刻，并且你的前腿先落地，然后你的后腿再落地。”
类比： 想象在教人类跳舞。你不是说“跳得好一点”，而是给他们一份乐谱，上面写着：“在节拍1时向左迈步，在节拍2时跳跃。”机器人遵循这份“乐谱”（逻辑）来了解一个完美的步伐究竟是什么样的。

3. 向大师学习 (数据驱动)

作者并没有仅仅靠猜测这些规则应该是怎样的。他们观察了专家级机器人（或其模拟版本）完美执行这些步态的过程。

他们提取了这些完美表现的视频，并利用它们来校准规则手册。
如果专家机器人在小跑期间，腿部触地时间为0.4秒，那么规则手册就会被设定为预期0.4秒。
这确保了机器人不是在从人类的猜测中学习，而是从能够证明行之有效的数据中学习。

4. “教练” (奖励塑造)

一旦机器人尝试移动，系统就会根据规则手册检查其表现。

如果机器人遵守规则，它会得到一个“做得好”的信号（奖励）。
如果它违反了规则（例如，它试图跳跃但始终保持四只脚着地），它会得到一个“再试一次”的信号。
核心创新： 由于规则非常清晰，机器人会获得持续且平滑的反馈流。这就像有一个教练，不仅是喊着“好！”或“坏！”，而是低声耳语：“刚才那一步你做得很好，达到了90%的准确度，下次尝试把膝盖抬高一点点。”这有助于机器人更快、更稳定地学习。

5. 结果：更好的奔跑者

作者使用真实的机器人模拟（Google 的 Barkour 机器人）将这种新方法与旧有的“模糊计分卡”方法进行了对比测试。

旧方法： 机器人在行走方面表现尚可，但在快速奔跑时表现挣扎。它经常摔倒，或者无法跟上速度指令的要求。
新方法： 机器人学会了在行走、小跑和跳跃之间无缝切换。即使在高速下也能保持直立，并且能非常准确地遵循速度指令。
额外收获： 如果机器人失败了，系统可以精确告诉你为什么。它不仅仅是说“它失败了”，而是可以说“它失败是因为在行走阶段脚部着地时间不足。”这使得工程师能够轻松地调试问题。

总结

简而言之，这篇论文用一本精确的、逻辑性的说明书取代了以往基于猜测、令人困惑的四足机器人训练方式，而这本说明书会根据机器人所需的运动速度自动切换。通过使用数据来编写这些规则，机器人能够像真正的动物一样实现行走、小跑和跳跃的稳定性与灵活性，而无需人类不断去微调设置。

技术摘要：学习具有时序逻辑规范的步态感知四足机器人运动控制

问题陈述
目前，用于四足机器人运动控制的强化学习（RL）严重依赖于固定的、手工设计的马尔可夫奖励函数。虽然这些方法在学习单一主导步态（如小跑/trotting）方面非常有效，但存在两个主要局限性：

缺乏可解释性： 所学习的策略通常是“黑盒”，奖励项与特定行为失败之间的联系是不透明的。
步态控制能力有限： 静态奖励函数难以诱导出不同的步态机制（如走步-小跑、小跑、跳跃/bound）或根据速度进行平滑切换。它们往往无法显式地强制执行不同速度下所需的接触模式的时序结构，从而导致高速度下的训练不稳定或指令跟踪能力差。

作者旨在解决如何学习单一策略以实现在多种速度区间内适应其步态结构，同时保持安全性、稳定性和精确的速度跟踪。

方法论
所提出的框架使用**信号时序逻辑（STL）**规范来编码期望的行为，以取代启发式奖励。核心方法包括：

基于模式的步态选择：
系统根据指令前向速度 ( $v_{cmd}$ ) 定义了三种运动模式，利用弗劳德数（Froude number）来确定转换阈值：
- 走步-小跑 (W)： $0 \le v_{cmd} \le 0.7$ m/s。
- 小跑 (T)： $0.7 < v_{cmd} \le 1.7$ m/s。
- 跳跃 (B)： $v_{cmd} > 1.7$ m/s。
  应用滞后效应（Hysteresis）以防止在转换边界附近出现模式抖动。
数据驱动的 STL 规范挖掘：
作者没有手动调整逻辑参数，而是使用了一种数据驱动的方法：
- 专家轨迹： 他们从专门的模型中收集了每个区间（走步-小跑、小跑、跳跃）的 50 条专家轨迹。
- 参数化 STL (PSTL) 模板： 他们定义了用于安全性（扭矩限制、横滚/俯仰角范围、质心高度）、速度跟踪和步态结构（接触模式、占空比、相位同步）的参数化模板。
- 参数校准： STL 谓词的阈值通过经验分位数（例如误差量级的第 99 百分位数）拟合专家数据，以确保规范能被成功的行为所满足，而不会过度惩罚瞬态噪声。
基于鲁棒性的奖励塑造：
STL 规范通过定量鲁棒性语义转换为稠密且连续的奖励信号。
- 谓词： 为每种模式定义了特定的谓词（例如，小跑的对角相位误差、跳跃的腾空阶段占用率、跳跃时对对角模式的抑制）。
- 聚合： 针对安全性、跟踪和模式约束的鲁棒性值 ( $\rho$ ) 通过一个保号的软最小（soft-min）函数进行聚合，并通过 $\tanh(\rho)$ 进行归一化，将其映射到 $[-1, 1]$ 。
- 最终奖励： 标量奖励是归一化后的鲁棒性项的加权和减去能量效率惩罚（扭矩消耗）。
训练流水线：
该方法在 Google 的 Barkour vb 四足机器人在 MuJoCo XLA (MJX) 模拟器中进行实例化。
- 算法： 使用近端策略优化（PPO）。
- 优化： 利用 GPU 进行并行化处理并采用领域随机化（domain randomization）来提高训练速度和策略鲁棒性。
- 课程学习： 训练从较低的速度范围开始，并逐渐扩展到包含“跳跃”区间。

核心贡献

模式感知的逻辑奖励： 一个通过不同的指令速度激活不同 STL 规范的框架，使单一策略能够学习多种步态结构。
数据驱动的参数学习： 一个直接从专家轨迹拟合参数化步态模板的流水线，生成了与实际步态统计数据一致的、具有可解释性的规范，而非启发式的猜测。
统一的多步态策略： 单一策略成功实现了在行走、小跑和跳跃机制下对速度指令的跟踪，与启发式基准相比，实现了更低的指令跟随误差。
可解释的诊断工具： 使用 STL 鲁棒性信号可以进行故障归因。如果一次 Rollout 失败，可以识别出具体违反了哪些谓词（例如，支撑不足、执行器限制），为调试提供实用的工具。

实验结果
作者在 Barkour 机器人上将基于 STL 塑造的策略与两种使用手工设计奖励（启发式最佳和启发式默认）的基准模型进行了对比评估。

指标： 运输成本 (CoT)、生存率以及成功率（定义为平均前向速度在指令的 $\pm 15\%$ 范围内）。
性能： 基于 STL 的策略展示了更紧密的速度跟踪和更稳定的训练。
高速鲁棒性： 至关重要的是，STL 策略在整个测试的速度范围内（包括高速指令 $1.9 - 2.1$ m/s）均保持了完美的生存率和成功率，而此时启发式基准模型的表现开始下降。

意义与主张
论文声称其框架提供了一种结构化的、可分析的、由规范驱动的方法，作为黑盒潜变量表示法和纯启发式奖励塑造之外的选择。通过将运动目标编码为逻辑规范，该方法：

提供了对步态行为和接触序列的显式控制。
通过将策略失败与特定的逻辑违规联系起来，增强了可解释性。
解决了学习统一策略以跨速度区间适应步态结构的技术挑战，而无需单独的控制器或复杂的层次化切换机制。

这项工作证明了形式化规范可以有效地集成到深度强化学习流水线中，以提升腿式机器人运动控制策略的性能和可调试性。