💻 computer science

REAL: Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering

本文提出了名为 REAL 的端到端框架，通过结合时空策略学习与物理引导滤波，利用 FiLM 调制 Mamba 骨干网络及贝叶斯状态估计，使四足机器人在视觉严重退化（如存在 1 米盲区）的极端动态环境下仍能实现鲁棒且实时的敏捷跑酷。

原作者： Jialong Liu, Dehan Shen, Yanbo Wen, Zeyu Jiang, Changhao Chen

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jialong Liu, Dehan Shen, Yanbo Wen, Zeyu Jiang, Changhao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 REAL 的新系统，它让四足机器人（比如机器狗）变得像真正的“跑酷大师”一样，即使在眼睛看不见、传感器失灵的极端情况下，也能灵活地跨越障碍。

为了让你更容易理解，我们可以把这项技术想象成训练一只拥有“超级直觉”和“物理本能”的机器狗。

1. 核心问题：为什么以前的机器狗容易“摔跟头”？

以前的机器狗虽然跑得快，但它们太依赖“眼睛”（摄像头）了。

比喻：想象一个在黑暗中走钢丝的人，如果突然有人用黑布蒙住他的眼睛，或者给他戴上了模糊的墨镜，他立刻就会失去平衡摔下来。
现实：在真实的跑酷中，机器狗跳跃时会有剧烈震动、运动模糊，或者被灰尘遮挡视线。一旦视觉信号出现哪怕一点点“噪点”或延迟，以前的算法就会直接“死机”或做出错误的动作，导致机器狗摔倒。

2. REAL 的解决方案：三个“超能力”

REAL 系统通过三个核心技巧，让机器狗不再单纯依赖眼睛，而是学会了“用心跳”和“肌肉记忆”来感知世界。

超能力一：像“老练的教练”带“新手” (教师 - 学生蒸馏)

比喻：想象有一个全知全能的教练（教师），他在训练时有“上帝视角”，能直接看到地面的每一个坑洼和高度。他先学会了完美的动作。然后，他把这些经验“教”给一个只有普通眼睛的新手（学生）。
做法：这个新手虽然看不到那么清楚，但它通过模仿教练，学会了如何根据自己身体的感觉（比如腿部的压力、身体的倾斜）来推断脚下的地形。即使眼睛看不清，它也能猜出前面是台阶还是平地。

超能力二：拥有“超级大脑”和“动态滤镜” (Mamba + FiLM)

这是论文中最酷的部分，解决了“看不清”和“记不住”的问题。

FiLM（动态滤镜）：
- 比喻：就像你戴着一副智能墨镜。当你静止时，墨镜是透明的；但当你剧烈跳跃、身体晃动导致画面模糊时，这副墨镜会自动变暗，屏蔽掉那些模糊、不可靠的视觉信号，转而让你更依赖身体的感觉。
- 作用：它主动过滤掉视觉噪音，防止机器狗被错误的图像误导。
Mamba（超级记忆）：
- 比喻：以前的机器人像金鱼，只有 7 秒记忆。Mamba 就像是一个拥有超强短期记忆的运动员。即使眼前一片漆黑（比如跳进一个坑里看不见地面），它也能记住：“我刚才跳了 0.5 秒，身体在空中，根据刚才的起跳力度，我大概会在 0.3 秒后落地。”
- 作用：它利用过去几秒的身体动作数据，在视觉失效时“脑补”出地形，确保持续奔跑不中断。而且它的计算速度极快，不会让机器狗“反应迟钝”。

超能力三：物理本能的“安全网” (物理引导滤波)

比喻：想象机器狗身上装了一个物理学家。当它跳跃落地时，如果传感器说“我速度很快”，但物理学家根据牛顿定律算出“不可能这么快，除非你飞起来了”，物理学家就会立刻纠正传感器的错误数据。
做法：系统结合了神经网络（猜速度）和物理公式（算速度）。如果传感器数据太离谱（比如因为打滑导致数据乱跳），物理模型会强制修正，确保机器狗的动作符合物理规律，不会做出“飘在空中”或“穿地而过”的荒谬动作。

3. 实验结果：真的有多强？

研究人员在真实的 Unitree Go2 机器狗上测试了这套系统：

蒙眼跑酷：在机器狗眼睛被遮挡（比如前方 1 米内看不见）的情况下，其他机器狗直接摔倒，而 REAL 机器狗依然能稳稳地跳过障碍、爬上楼梯。
抗干扰：即使摄像头画面全是雪花点（噪音）或者卡顿，它也能像没事人一样继续跑。
速度极快：它的思考速度极快（每步只需 13.1 毫秒），完全满足实时控制的要求，不会像以前的复杂模型那样因为计算太慢而反应不过来。

总结

REAL 就像是给机器狗装上了直觉、记忆和物理常识。它不再是一个只会看摄像头数据的“瞎子”，而是一个即使闭着眼睛、在混乱环境中，也能凭借身体感觉和物理本能，像真正的跑酷运动员一样灵活、稳健地跨越障碍的“高手”。

这项技术让机器人真正具备了在灾难现场、废墟等复杂、危险环境中执行任务的能力，因为它们不再害怕传感器失灵。

这是一篇关于四足机器人极限跑酷（Parkour）控制策略的论文总结。该论文提出了一种名为 REAL (Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering) 的端到端框架，旨在解决现有敏捷运动控制在感知退化（如视觉噪声、延迟、遮挡）下的脆弱性问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：极限腿足跑酷要求机器人在高度动态的条件下（如跳跃、快速旋转、空中阶段）进行快速的地形评估和精确的落脚点规划。
现有痛点：
- 感知脆弱性：现有的基于强化学习（RL）的敏捷系统通常假设感知是完美的。然而，在剧烈运动中，视觉传感器容易受到运动模糊、遮挡、噪声或延迟的影响。一旦视觉输入短暂退化，现有系统往往会导致灾难性的失败。
- 缺乏时序记忆：大多数方法将感知视为前馈输入，缺乏利用历史本体感觉（Proprioception）来构建短期地形记忆的能力，无法在视觉丢失时维持控制。
- 状态估计不一致：现有的状态估计器通常是确定性的回归模型，缺乏对不确定性的量化，且未严格遵守刚体动力学约束，导致在打滑或高冲击下产生漂移。
- 模拟到现实（Sim-to-Real）的差距：在感知受损的情况下，策略蒸馏过程往往不稳定。

2. 方法论 (Methodology)

REAL 框架采用两阶段训练范式，将特权教师策略（Privileged Teacher）蒸馏为可部署的学生策略（Student），并包含三个核心组件：

A. 时空策略学习 (Spatio-Temporal Policy Learning)

教师 - 学生架构：
- 教师策略 (Teacher)：在仿真中利用特权信息（如精确的地形扫描点、本体感觉）训练。它通过跨模态注意力机制 (Cross-Modal Attention)，将本体感觉状态作为 Query，地形特征作为 Key/Value，主动检索与当前动作最相关的地形信息，建立结构化的“本体感觉 - 地形”关联。
- 学生策略 (Student)：仅依赖机载深度相机和本体感觉。
FiLM 调制 (Feature-wise Linear Modulation)：学生网络使用 FiLM 层，利用本体感觉信号动态调节（缩放和平移）视觉特征。这使得网络能够根据机器人的瞬时动力学状态（如冲击、旋转）主动过滤不可靠的视觉噪声。
Mamba 骨干网络：学生策略采用 Mamba（一种状态空间模型）作为时序骨干。相比 Transformer，Mamba 具有 $O(1)$ 的推理复杂度，能够高效地维护长期时序记忆。当视觉退化时，控制器能依赖历史本体感觉序列重建地形特征，保持决策的连贯性。

B. 物理引导滤波 (Physics-Guided Filtering)

不确定性感知速度估计：使用 1D ResNet 处理 10 帧的本体感觉序列（IMU 和关节编码器），预测速度及其高斯分布的不确定性（协方差矩阵）。
扩展卡尔曼滤波 (EKF) 融合：将神经网络的预测与基于刚体动力学的物理模型进行融合。
- 当神经网络预测的不确定性高（如在空中或打滑时），EKF 会降低其权重，更多依赖物理模型。
- 当预测置信度高时，则更多依赖神经网络。
- 这种混合设计确保了在剧烈冲击下状态估计的物理一致性和抗噪性。

C. 一致性感知损失门控 (Consistency-Aware Loss Gating)

动态平衡：在蒸馏阶段，引入一个门控系数 $\lambda$ ，根据学生策略与教师策略的动作差异（欧氏距离）动态调整强化学习损失 ( $L_{RL}$ ) 和行为克隆损失 ( $L_{BC}$ ) 的权重。
机制：
- 当动作差异大时（学生不稳定），增加 $L_{BC}$ 权重，通过模仿教师来稳定训练，防止策略崩溃。
- 当动作差异小时，增加 $L_{RL}$ 权重，鼓励探索以适应感知噪声。
- 这种自适应机制显著提高了 Sim-to-Real 的鲁棒性。

3. 关键贡献 (Key Contributions)

REAL 框架：提出了一种新颖的时空策略学习框架，通过跨模态关联和 FiLM-Mamba 架构，实现了在感知受损下的鲁棒四足运动。
物理引导滤波模块：显式建模不确定性并强制执行刚体一致性，解决了高动态机动下的状态估计漂移问题。
一致性感知损失门控：一种自适应策略，平衡了模仿学习与强化学习，稳定了策略蒸馏过程。
零样本实机验证：在 Unitree Go2 机器人上实现了零样本 Sim-to-Real 迁移，即使在 1 米视觉盲区或严重感知退化下也能成功穿越极端障碍。

4. 实验结果 (Results)

实验在仿真环境（Isaac Gym）和真实的 Unitree Go2 机器人上进行，对比了 Extreme Parkour、RPL 和 SoloParkour 等基线方法。

极端地形穿越能力：
- 在障碍、台阶、间隙等复杂地形上，REAL 的整体成功率（SR）达到 78%，远高于基线方法（Extreme Parkour 为 16%，SoloParkour 为 39%）。
- 平均边缘违规次数（MEV，即脚部踩空或碰撞边缘的次数）显著降低，表明落脚点规划更精准。
感知退化鲁棒性：
- 在帧丢失、高斯噪声和视场遮挡（FoV Occlusion）测试中，REAL 的性能下降极小。
- 特别是在1 米视觉盲区测试中（在障碍物前 1 米遮挡视觉），REAL 仍能保持 55% 的成功率，而大多数基线方法直接失败（SR < 11%）。这证明了其利用本体感觉历史记忆的能力。
实时性与推理效率：
- 基于 Mamba 的推理时间稳定在 13.14 ms/步，满足 50Hz 控制循环（<20ms）的严格要求。
- 相比之下，基于 Transformer 的基线平均耗时 23.07 ms，违反了实时约束。
消融实验：
- 移除 Mamba 导致成功率大幅下降，MEV 增加近 5 倍。
- 移除 FiLM 导致成功率降至 44%，且频繁发生躯干碰撞。
- 物理引导滤波将速度估计的 RMSE 从 0.52 降低至 0.23。

5. 意义与价值 (Significance)

突破感知瓶颈：REAL 证明了在缺乏完美视觉感知的情况下，通过融合时序记忆、本体感觉和物理约束，机器人依然可以执行极高难度的动态运动。这对于灾难救援、工业巡检等传感器可能受损的复杂环境应用至关重要。
架构创新：将 Mamba（状态空间模型）引入机器人控制，解决了 Transformer 在长序列推理中的计算延迟问题，为高频实时控制提供了新的技术路径。
工程落地：该研究展示了从仿真到真实机器人（Unitree Go2）的无缝零样本迁移，且完全在机载计算单元（NVIDIA Jetson）上运行，具有极高的实用价值。

总结：REAL 通过“时空记忆 + 物理约束 + 自适应蒸馏”的组合，成功解决了四足机器人在极端动态和感知退化环境下的鲁棒控制难题，是迈向真正自主、高敏捷性机器人系统的重要一步。