🤖 AI

SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

SceneBot 是一个统一的运动追踪框架，它通过将单一策略基于参考运动以及从一种新型后验场景重建方法中推导出的场景交互图进行调节，使类人机器人能够在自由空间移动和复杂的富接触任务之间实现无缝泛化。

原作者： Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个机器人走路、跳舞以及搬运重物上楼梯。长期以来，机器人训练者面临着一个棘手的难题：他们可以教会机器人在空旷房间（自由空间）里完美移动，但一旦机器人需要接触墙壁、踏上台阶或抓取重物时，它就会变得手足无措。这就像是告诉一名舞者“把手移向箱子”，却没告诉他们“如何”去触碰——是仅仅轻拂过，还是要用力抓紧以便提起？如果没有这种具体的指令，机器人就不知道自己应该是处于“漂浮”状态还是“推挤”状态。

SceneBot 是由斯坦福大学和亚马逊的研究人员创造的一种全新解决方案。你可以把它看作是一个“通用翻译器”，它能教会单个机器人的大脑如何同时处理空旷房间和需要进行肢体接触的杂乱环境。

以下是它的工作原理，通过简单的概念进行拆解：

1. “接触图谱”（核心秘诀）

大多数机器人只是尝试模仿人类的动作（运动学）。SceneBot 增加了第二层指令：接触标签（Contact Labels）。

类比： 想象你正在学习如何提着沉重的行李箱上楼梯。普通的指令会说：“像这样移动你的手臂。”而 SceneBot 会增加一张便签，上面写着：“你的手必须向下按在把手上，”以及“你的脚必须牢牢踩在台阶上。”
作用： 这告诉了机器人哪些身体部位需要推、拉或靠在物体上。它将模糊的动作指令转变为一场与环境进行的物理“连点成线”游戏。

2. “时空穿越”数据引擎

要教机器人这些知识，你需要成千上万个机器人与楼梯和箱子互动的案例。但现实世界中的此类数据非常稀缺，拍摄机器人完成这些动作的过程既慢又贵。

问题： 我们拥有大量人类跳舞、行走和搬运物品的视频，但我们并没有这些人类正在与之互动的楼梯或箱子的 3D 模型。
解决方案（后验重建/Hindsight Reconstruction）： 研究人员构建了一个聪明的“时空穿越”系统。他们提取一段人类运动的视频，然后让计算机通过逆向工程来发明出场景。
- 如果人类的手在某个位置停止了移动，计算机就会说：“啊，他们一定是在这里拿着一个箱子，”然后它会虚拟出一个 3D 的箱子。
- 如果人类的脚向上迈步，计算机就会说：“他们一定是在走楼梯，”然后它会构建出一个虚拟的楼梯。
结果： 他们将数小时的人类运动数据转化为了一个充满虚拟楼梯、箱子和不平整地面的大规模“训练健身房”，且这些元素都与机器人的动作完美匹配。

3. “单一大脑”策略

通常情况下，你需要一个大脑负责走路，另一个大脑负责爬楼梯，第三个大脑负责搬运物品。SceneBot 训练的是同一个大脑来完成所有任务。

神奇之处： 通过向机器人输入“像这样移动”的指令和“触摸这个”的指令，机器人学会了一种通用技能。它可以走过平坦的地面，然后立即切换到搬运箱子爬楼梯，而无需更换其“软件”。
现实测试： 论文展示了机器人在一个连续动作中成功完成了捡起箱子、搬运并走上楼梯的过程。

4. 机器人的“头部 GPS”

为了防止机器人感到眩晕或摔倒，研究人员还改进了机器人感知自身位置的方式。

问题： 当机器人快速移动头部时，它们经常会对自己的方位（哪边是上方）产生困惑。
解决方法： 他们结合了激光扫描仪（LiDAR）的数据和安装在机器人臀部的传感器（类似于人类的内耳），创建了一个超精确的“GPS”，即使在进行复杂动作时也能保持机器人平衡。

总结

SceneBot 就像是给了机器人一种“触觉超感”。它不再只是盲目地模仿人类动作，而是学会了在何时以及如何去触摸世界。通过利用一种从人类视频中发明训练场景的巧妙方法，研究人员教会了单个机器人策略去处理从在空旷房间跳舞到搬运重型家具上楼梯的一切任务，而无需为每个任务编写不同的程序。

研究人员指出，这是第一个能够无缝统一自由空间运动与复杂的、高度依赖接触的任务的框架，并且他们计划分享代码和数据，以便他人可以在此基础上进行开发。

技术摘要：SceneBot —— 基于接触提示的通用类人机器人全身追踪技术

问题陈述

当前的类人机器人强化学习（RL）策略在追踪自由空间运动（如行走、跑步、跳舞）方面取得了显著成功，但在处理**富接触任务（contact-rich tasks）**时表现挣扎。纯运动学追踪不足以应对与物体或不平整地形的交互，因为它无法解决物理歧义。例如，仅仅将手腕移向一个盒子并不能明确机器人是在伸手、触摸还是抬起；同样，将脚放在阶梯边缘附近并不能保证产生足够的地面反作用力来向上踏步。现有的流水线缺乏场景感知能力，难以在长程任务中协调与物体及地形的交互，往往依赖于高层遥操作，或者在复杂的全身运动控制任务中失效。

方法论

SceneBot 是一个统一的运动追踪框架，旨在通过单一策略同时处理自由空间运动、地形遍历以及全身操控。该方法由三个主要部分组成：

1. 后验场景重建 (Hindsight Scene Reconstruction)

为了解决包含配对运动与场景交互数据的规模化数据集稀缺问题，SceneBot 引入了一个后验场景重建流水线：

输入： 重定向后的真人运动轨迹。
场景交互图： 系统构建了一个异构图，捕捉机器人关键连杆（手腕、足部、盆骨）与场景类型（地形、物体）之间的时序交互。基于低相对速度/加速度添加边，并剔除违反碰撞或力封闭约束的边。
资产生成： 基于交互图，系统重建了用于地形的 2.5D 高度图和用于可移动物品的平行板物体。这使得普通的真人运动数据转化为适用于训练的、富含接触信息的机器人-场景交互数据。

2. 接触调节策略训练 (Contact-Conditioned Policy Training)

核心策略使用近端策略优化 (PPO) 进行训练，以同时追踪运动学参考运动和显式的接触标签。

输入： 策略接收运动学指令 ( $g_t$ )、本体感觉状态 ( $s_t$ )、根部状态估计 ( $p_{root,t}$ ) 以及二进制接触标签向量 ( $c_t$ )。接触标签明确指示哪些机器人连杆应当与地形或物体建立接触。
奖励结构： 训练目标包括标准的运动追踪奖励，并增加了两个针对接触的特定项：
- 接触正确性奖励 ( $r_{cr}$ )： 鼓励机器人在标签为 1 时建立接触。该奖励具有不对称性；它仅在需要接触时激活，从而避免在自由空间场景中因非预期接触而产生惩罚。
- 接触持续时间奖励 ( $r_{dr}$ )： 鼓励维持稳定的接触，并在 0.5 秒处进行截断，以防止机器人拒绝释放物体。
稳定性： 在训练早期，对重建的物体应用一种启发式的“魔力力”（magic force），以确保物体跟随轨迹运动直到实现稳定抓取，从而缓解频繁发生的抓取失败导致的终止问题。

3. 无基础设施状态估计 (Infrastructure-Free State Estimation)

对于部署阶段，SceneBot 利用 SuperOdometry 结合车载传感器来估计机器人的全局根部状态（位置、朝向、线速度）。

传感器融合： 考虑到头戴式 IMU（如 Livox）在剧烈运动期间可能无法准确代表盆骨动力学，系统通过卡尔曼滤波器将安装在盆骨上的 IMU（用于俯仰/横滚）与 SuperOdometry 的偏航角估计进行融合。
初始化： 根部高度通过对齐重力的 LiDAR 扫描中最低 5% 的点进行估计。

核心贡献

统一框架： SceneBot 被呈现为第一个能够无缝统一自由空间运动、不平整地形遍历和全身物体操控的通用运动追踪框架。
接触调节 (Contact Conditioning)： 本文引入了一种新颖的接口，即高层决策器在提供参考运动的同时提供接触标签（哪些连杆应该接触场景）。这使得底层策略能够在不需要完整的视觉任务策略的情况下解决物理歧义。
数据合成引擎： 提出的后验场景重建方法可以从现有的真人运动数据集（AMASS, OMOMO, Bones, Lafan）中生成可扩展的、富含接触信息的训练数据，克服了标注交互数据稀缺的瓶颈。
零样本泛化： 该系统展示了其对未见运动和未见环境的泛化能力，包括像搬运箱子爬楼梯这样的复杂长程任务。

实验结果

实验在 Unitète G1 类人机器人平台上通过 MuJoCo sim-to-sim 环境进行，并通过真实世界状态估计进行了验证。

性能对比： 在平坦地形场景下，SceneBot 的表现与最先进的自由空间追踪器 (SONIC) 持平，但在场景交互任务中显著优于后者。
- 地形交互： 当移除全局状态信息时，成功率从 100%（使用全局状态时）下降到 45%。
- 物体交互： 若没有手部接触标签，抓取成功率几乎降至零。
消融实验：
- 全局状态： 引入全局根部位置和速度至关重要；仅靠局部追踪会导致漂移以及运动与地形的不匹配。
- 接触标签： 使用接触标签进行训练对于成功至关重要。有趣的是，即使在测试时将标签置零，使用标签训练的模型仍能保持较好的性能（85% 成功率），而未使用标签训练的模型成功率仅为 45%，这表明接触调节简化了平衡机制的学习。
- 重建 vs. 重定向： 直接场景重建优于场景感知重定向（如 OmniRetarget），因为它可以保证生成的场景对运动是可行的，而重定向往往在物体对齐和穿透约束方面表现不佳。
状态估计： 与 OptiTrack 真值相比，所提出的状态估计流水线实现了平均根部位置误差 0.032 m，朝向误差 0.018 rad，以及线速度误差 0.092 m/s，并在真实世界试验中达到了 80% 的任务成功率。

重要性与主张

本文声称 SceneBot 将接触调节确立为一种强大的类人机器人控制接口，有效地弥合了自由空间运动追踪与复杂、富接触场景交互之间的鸿沟。通过后验重建合成训练数据，该框架使单一策略能够执行多样化的长程任务（例如：捡起篮子、爬楼梯并放下它），而无需进行特定任务的微调。作者将这项工作定位为迈向物理智能的重要一步，即机器人可以有意识地利用接触来进行支撑和操控。所有代码和数据均计划开源。