💻 computer science

Perceptive Behavior Foundation Model: Adapting Human Motion Priors to Robot-Centric Terrain

本文介绍了感知行为基础模型（Perceptive Behavior Foundation Model），这是一个地形感知的人形机器人控制框架，通过合成与地形一致的参考轨迹，并采用教师-学生训练策略，将人类运动先验适配到多样化的机器人环境中，从而使原始参考输入的学生模型能够在保持全局运动追踪的同时，进行局部且针对特定地形的修正。

原作者： Zifan Wang, Yizhao Li, Teli Ma, Qiang Zhang, Yudong Fan, Hao Xu, Shuo Yang, Junwei Liang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zifan Wang, Yizhao Li, Teli Ma, Qiang Zhang, Yudong Fan, Hao Xu, Shuo Yang, Junwei Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人跳舞。你向它展示了一段人类在光滑平坦的舞池上做酷炫后空翻的视频。机器人观察、学习了这些动作，并试图完美地模仿它们。

问题所在：
现在，想象你把同一个机器人带到一个真实的公园里，那里有凹凸不平的岩石、台阶和水洼。如果机器人试图按照它在光滑地面上学到的动作去做那个后空翻，它很可能会绊倒、摔倒或撞上岩石。人类舞者并不需要担心岩石，因为他们的脚能自然地找到地面；但机器人对地面变化是“盲目”的。它正试图执行一个为舞台编写的剧本，而那个舞台已经不存在了。

解决方案：“感知行为基础模型”（Perceptive Behavior Foundation Model）
这篇论文背后的研究人员构建了一种新型的机器人大脑，称为 Perceptive BFM。你可以把它想象成这样一个机器人：它不仅仅是死记硬背一个舞蹈动作，它还理解动作的“意图”，并据此弄清楚如何在任何地面上安全地完成动作。

以下是它的工作原理，分为三个简单的步骤：

1. “排练”（TCRS）

在机器人踏上真实地面之前，研究人员先进行了一场大规模的离线模拟。他们提取人类的舞蹈动作和地形图，并运行了一场“排练”。

发生了什么： 该系统就像一位聪明的编舞师。它观察人类的动作并说：“好吧，人类要在这里跳跃，但那里有一块岩石。让我们稍微调整一下落脚点以避开岩石，把腿抬高一点以跨过水洼，并移动重心以保持平衡。”
结果： 它创造了一个针对该岩石地形量身定制的“完美练习版”舞蹈。机器人通过这个完美版本进行学习。

2. “老师与学生”的游戏

训练过程采用了巧妙的两步法，就像一位大师级教师和一名学生：

盲目的老师： 这个机器人学习模仿“完美练习版”（即针对岩石进行了调整的版本）。因为它是在调整后的数据上训练的，所以它确切地知道脚该放在哪里。
视觉学生： 这是你实际部署的机器人。它看不见“完美练习版”，它只能看到原始的、未经调整的人类舞蹈动作（即平地上的动作）以及实时的地面摄像头画面。
神奇的技巧： 学生观察老师，并学会了一条特殊的规则：“当我看到老师为了避开岩石而移动脚步，但我被要求移动到平地位置时，我需要增加一个微小的修正。”
安全网： 该学生被设计为首先是一个“模仿者”。它尝试完全按照人类的指令行动。它只有在利用“眼睛”（地形传感器）发现地面危险时，才会进行必要的微调。这确保了机器人不会忘记舞蹈，它只是在适应步伐。

3. 结果：一个机器人，任何地形

论文表明，这台单一的机器人可以接收诸如“做个后空翻”或“横着走”之类的指令，并在多种不同场景下成功完成：

走上楼梯。
在不平整的地面上跳舞。
在障碍物上方挥动手臂奔跑。
甚至在抬高的方块上做特技翻转。

核心要点
最重要的一点是，你不需要更改指令。 你仍然可以像在平地上一样告诉机器人“做个后空翻”。机器人的大脑会处理掉最难的部分——即搞清楚如何在楼梯或一堆岩石上完成那个后空翻。

这篇论文并未声称

它并未声称机器人可以在松软的沙子、泥泞或滑冰上行走（它假设地面是坚实且可见的）。
它并未声称如果人类指令是危险的（例如，如果人类挥动手臂撞向墙壁），机器人可以修复自己的上半身（因为它主要调整的是腿部和足部）。
这是一项模拟和实机测试，目前还不是医疗或工业工具。

简而言之，这篇论文教会了机器人成为适应力极强的舞者，即使在舞台一片狼藉的情况下，它们也能紧跟人类的步伐。

技术摘要：感知行为基础模型 (Perceptive Behavior Foundation Model)

问题陈述

类人机器人行为基础模型旨在从广泛的人类运动先验中获取可重用的全身控制策略，使单个控制器能够产生多样且富有表现力的行为。然而，现有的以运动为中心的基础策略存在一个关键假设：即参考运动在物理上与机器人的周围环境是兼容的。

这一假设在操作者—环境不匹配 (operator–environment mismatch) 的场景中会失效，即人类演示者、操作者与机器人处于不同的环境中。人类运动指令指定了意图和风格，但并不本质地编码机器人局部地形（如楼梯、稀疏支撑物或障碍物）所需的足端位置、摆动间隙、身体高度或接触时机。因此，试图在复杂地形上追踪平地参考运动的机器人可能会因为碰撞、失去平衡或运动学不可行而失败。核心挑战在于如何在不改变原始运动指令接口的前提下，将人类运动先验落实到以机器人为中心的感知中。

方法论：感知行为基础模型 (Perceptive BFM)

作者提出了 Perceptive BFM，这是一个单策略框架，它在保留原始运动运动学参考作为部署指令的同时，利用局部地形观测来调整接触、姿态和时机。该方法围绕阶段性的感知运动追踪 (Perceptive Motion Tracking, PMT) 训练算法构建。

1. 地形一致性参考合成 (Terrain-Conformal Reference Synthesis, TCRS)

为了提供可扩展的地形监督，作者开发了一个离线合成流水线，将原始人类运动片段和采样的高度场转换为地形一致的参考值 ( $m_{tcrs}$ )。该模块并不解决完整的富接触动力学问题，而是通过以下方式构建接触一致、平滑且保持风格的参考值：

感知接触的足端构造： 将站立足固定在地形表面，同时保持全局步态相位和标称落足时机。
足部几何感知的摆动优化： 使用基于采样的轨迹优化器优化虚拟足中段轨迹（平衡脚趾和脚跟间隙），以避开地形不连续处。
支持感知型根部重建： 根据支撑接触和腿部可达性重建根部（骨盆）高度。
碰撞修复与多点腿部逆运动学 (IK)： 为十二个腿部关节求解阻尼、支持感知的多点雅可比逆运动学问题，以解决碰撞并确保运动学可行性。

2. 教师-学生训练流水线

训练过程包含四个阶段：

阶段 1（离线合成）： TCRS 生成配对的数据集，包括原始参考 ( $m_{raw}$ )、地形一致参考 ( $m_{tcrs}$ ) 和地形图 ( $\tau$ )。
阶段 2（盲教师训练）： 通过近端策略优化 (PPO) 训练一个“盲” Transformer 教师策略，使其追踪合成的 $m_{tcrs}$ 参考。该教师拥有特权信息（适配后的参考），但没有视觉地形输入。
阶段 3（视觉学生蒸馏）： 一个接收原始参考 ( $m_{raw}$ $m_{r a w}$ ) 和局部地形扫描的“视觉学生”策略，通过教师进行蒸馏。
- 目标帧动作对齐： 由于教师作用于 $m_{tcrs}$ 而学生作用于 $m_{raw}$ ，学生学习模仿教师相对于原始参考表达的“有效”关节目标： $a^*_t = (q_{tcrs} + \mu_{tea}) - q_{raw}$ 。
- 恒等门控架构： 学生是一个恒等门控 Transformer。地形特征通过初始化为零的残差路径进入。这确保了在初始化时，学生表现得完全像一个原始参考追踪器，仅当地形调节的修正能改善追踪目标时，才会学习地形调节的修正。
阶段 4（PPO 微调）： 学生使用原始参考指令和地形观测进行 PPO 微调，在保守更新转移的运动追踪先验的同时，学习基于局部感知的修正。

核心贡献

TCRS 流水线： 一种可扩展的离线合成方法，通过接触感知的足端构造、摆动优化、根部重建和多点 IK，将原始人类运动和地形高度场转换为地形一致的监督信号。
PMT 算法： 一种原始参考的教师-学生框架，它在不改变指令接口的情况下部署地形感知行为。它通过目标帧动作对齐，将地形一致的行为从盲教师转移到视觉学生。
恒等门控策略设计： 一种 Transformer 策略，初始化为原始参考追踪器，并学习地形调节的残差修正。这使得单一指令接口能够支持跨越多种地形的运动、表现力动作、杂技以及应对操作者—环境不匹配的情况。

实验结果

论文在五个层面评估了 Perceptive BFM：

TCRS 质量： 在带有楼梯的踏脚石场景中，与基准方案（Z轴偏移和三次插值+IK）相比，TCRS 显著降低了对碰撞敏感的指标。具体而言，它将穿透深度从 5.48 cm (Z-offset) 降低到 2.38 cm，并将间隙违规率从 14.3% (Cubic) 降低到 7.4%。
训练结束诊断： 在常见的 10k 次迭代 PPO 设置中，完整的 PMT 策略实现了 55.1% 的记录闭环成功率，显著优于消融实验：
- 无 TCRS（仅原始参考）：27.3%
- 无视觉（盲模式）：26.5%
- 无目标帧对齐：26.7%
- 无恒等门控：30.4%
跨地形仿真： 在针对 30 个运动指令和 5 类地形家族（楼梯、斜坡、稀疏支撑、凹陷障碍物、混合室内）的固定策略展开测试中，PMT 实现了 55.1% 的完成率，而原始参考基准为 27.3%。PMT 也表现出更低的下腿碰撞发生率（10.0% 对比 24.7%）。
真机部署： 将单一策略部署在 29 自由度的 Unitree G1 机器人上。它成功执行了多样化的行为（单腿后空翻、楼梯舞、挥手跑、侧向走楼梯），涵盖了室内、室外及动作捕捉不匹配的设置。机器人保留了指令的上半身行为，同时通过感知解决了足端位置和间隙问题。

意义与主张

论文声称，以机器人为中心的感知可以将人类运动先验转化为地形兼容的全身行为，且无需改变原始运动指令接口。

其意义在于弥合了通用行为基础模型（擅长表现力追踪但忽略地形）与感知运动策略（处理地形但往往取代人类意图以实现自主技能）之间的差距。Perceptive BFM 表明，单个策略可以在保留人类操作者“意图与风格”的同时，动态地将物理实现（接触、姿态、时机）适配到机器人的局部环境。作者指出，只要上半身指令在经过下半身修正后仍保持可行，该方法就允许将广泛的人类运动先验重新用于复杂的任务，如杂技和不匹配环境下的遥操作。

论文承认了局限性，包括对静态、刚性地形的假设，以及缺乏上半身碰撞感知（如果指令本身不具备碰撞意识，手臂/躯干仍可能撞击障碍物）。建议未来的工作解决动态/可变形地形以及上半身适配的问题。