🤖 AI

LadderMan: Learning Humanoid Perceptive Ladder Climbing

本文提出了 LadderMan，这是一个统一的系统，通过利用两阶段学习流水线、用于实机迁移的视觉基础模型以及双智能体操作策略，使人形机器人能够在现实环境中鲁棒地攀爬各种梯子并进行操作。

原作者： Siheng Zhao, Yuanhang Zhang, Ziqi Lu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Yue Wang, C. Karen Liu, Guanya Shi

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siheng Zhao, Yuanhang Zhang, Ziqi Lu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Yue Wang, C. Karen Liu, Guanya Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个机器人爬梯子。这听起来很简单，但对于一个拥有类人身体（两条手臂、两条腿、一个躯干）的机器人来说，这就像是在走钢丝的同时还要玩杂耍。一个错误的动作、一次微小的感知偏差或是一个判断失误的手抓点，就会导致整个过程崩溃。

这篇论文介绍了一个名为 LadderMan 的新系统，它教会了一个人形机器人（具体是 Unitree G1）如何攀爬各种各样的梯子，甚至能在挂在上面的同时完成任务，比如更换灯泡或调整画框。

以下是他们实现这一目标的步骤，通过简单的概念进行了拆解：

1. “单一参考”技巧（舞蹈教练）

通常，为了教机器人爬不同类型的梯子，你需要成千上万段机器人爬各种梯子的视频。这几乎是不可能收集到的。

解决方案： 团队使用了一种称为**混合运动追踪（Hybrid Motion Tracking）**的技术。想象一位舞蹈教练向机器人展示一段在特定梯子上完成的完美舞蹈动作。
转折点： 他们并没有强迫机器人完全复制这段舞蹈，而是告诉机器人：“完美地模仿步法（因为这是最难的部分），但你的手臂可以根据你实际所在的梯子进行任何必要的移动。”
结果： 仅凭这一段参考视频，机器人就学会了针对不同角度和横杆间距的梯子，创建了一个“专家攀爬风格库”。

2. “知识蒸馏”（大厨）

现在机器人有了一个专家库，但它需要一个单一的大脑来处理现实世界中看到的任何梯子。

解决方案： 他们结合使用了模仿学习（Imitation Learning）（模仿专家）和强化学习（Reinforcement Learning）（试错法）。
类比： 这就像是一堂烹饪课。首先，机器人完全照搬大厨的食谱。然后，机器人被允许进行实验和品尝（试错），以弄清楚即使在食材（梯子）略有不同时，该如何做出这道菜。这创造了一个足够鲁棒的“统一策略（Unified Policy）”，能够应对各种突发状况。

3. 弥合“虚拟与现实”的差距（视觉过滤器）

机器人在模拟器中训练。但在模拟器中，梯子看起来与现实中的梯子不同（光照、传感器噪声、奇怪的角度）。如果机器人试图去抓一个它认为存在但实际上并不存在的横杆，它就会摔倒。

问题： 用来修复此问题的标准“随机噪声”技巧在处理细长且稀疏的梯子横杆时效果不够好。
解决方案： 他们使用了一个视觉基础模型（Vision Foundation Model, VFM）。你可以把它看作是一个超级聪明的 AI 过滤器。与其向机器人展示原始、混乱的摄像机画面，不如让 VFM 对其进行清理并清晰地突出显示梯子横杆，忽略背景中的杂乱信息。
结果： 机器人可以通过它的摄像头观察现实世界的梯子，并能像在模拟器中看到的那样清晰地“看见”它，从而实现无需重新训练即可直接应用于现实世界的零样本模拟到现实迁移（Zero-Shot Sim-to-Real Transfer）。

4. 处理任务的“双脑”系统（走钢丝者）

一旦机器人上了梯子，它如何在更换灯泡的同时不摔倒？

问题： 如果你命令机器人移动手臂去抓取灯泡，它的整个身体可能会摇晃并倾倒。
解决方案： 他们采用了**双智能体（Dual-Agent）**方法。想象机器人的大脑有两个部分在协同工作：
- 大脑 A（腿部）： 它的唯一任务就是保持机器人的平衡并紧贴梯子。它完全不管手臂在做什么。
- 大脑 B（手臂）： 它的唯一任务是根据人类操作员通过 VR 进行的操作，去触及目标物体（如画框或盒子）。
结果： 腿部保持稳如泰山，而手臂可以灵活运动。这使得机器人能够在挂在梯子上的同时执行精细的任务，而标准的机器人控制器通常无法做到这一点。

他们实际取得了哪些成就

现实世界成功： 他们在真实的机器人和真实的梯子（木质、金属、不同角度）上测试了这一系统。机器人成功地上下攀爬，无需任何额外的传感器或硬件改装。
速度： 机器人的攀爬速度约为每横杆 3.4 秒，这几乎与人类（每横杆 3.2 秒）一样快。
多样性： 它可以在从未见过的梯子上工作，包括横杆间距和角度不同的梯子。
操控能力： 它成功地在站在梯子上时调整了画框、更换了灯泡，并递交了一个盒子。

他们“没做”到的（局限性）

他们目前还没有教会它攀爬垂直梯子（直立于墙面）；它目前仅适用于最大 75 度的倾斜梯子。
机器人的手指还没有达到“灵巧”（类人）的程度，所以它无法完成像系结等精细动作，但它可以抓取和移动物体。

简而言之，LadderMan 是一个通过从一个范例中学习、利用视觉清理技术应对现实世界、并利用“平衡”与“动作”模式分离来实现安全工作的系统，从而教会机器人如何攀爬梯子。

技术摘要：LadderMan

问题陈述

使类人机器人能够在以人类为中心的环境中运行，需要强大的爬梯能力。然而，与平地行走或爬楼梯相比，这项任务面临着巨大的挑战。爬梯要求上肢与下肢接触在稀疏、不连续且狭窄的支点上进行精确且持续的协调。感知或控制上的微小误差都可能导致灾难性的失败。此外，现实世界的梯子在倾斜度、横档间距和结构设计方面存在显著差异，这使得泛化变得困难。现有的方法通常依赖于需要精确环境建模和特定任务调优的模型化控制，或者依赖于强化学习（RL）方法，后者往往产生以腿部为主的行为，无法充分利用全身协调。此外，很少有方法解决梯上操作问题，即机器人在执行任务时必须保持平衡。

方法论

作者提出了 LadderMan，这是一个用于感知类人机器人爬梯及梯上操作的统一系统。该系统采用了可扩展的两阶段学习流水线和用于操作的双智能体框架。

1. 学习多种专家策略（第一阶段）

为了避免需要覆盖多样化几何形状的大规模运动数据集，作者引入了混合运动追踪。

单一参考运动： 系统从单个参考运动中学习多个对应于不同梯子配置（倾角 $\phi$ ，横档间距 $z$ ）的状态化专家策略 ( $\pi_{\phi,z}^{expert}$ )。
非对称追踪： 追踪奖励被划分为上肢和下肢组件。下肢被严格追踪以确保稳定的爬行行为，而上肢的追踪约束则较为宽松，以允许适应特定的梯子几何形状。
任务驱动自适应： 系统结合了以梯为中心的接触奖励和爬行奖励。接触位置是根据目标梯子几何形状自动生成的，使得策略能够在无需为每种配置进行人工标注的情况下实现接触位置的自适应。

2. 统一视觉运动策略蒸馏（第二阶段）

通过混合模仿与强化学习，将多种专家策略蒸馏为单一的基于深度的视觉运动策略 ( $\pi_{visual}$ )。

混合目标： 该策略使用结合了 PPO 强化学习目标（使用与专家相同的奖励）和 KL 散度项的优化方式进行优化，以鼓励对专家行为的模仿。模仿项的权重在训练过程中进行退火处理，从而实现从模仿驱动的初始化到任务驱动优化的过渡。
输入： 统一策略以本体感受、深度观测和二进制爬行方向指令作为输入。

3. 弥合虚实差距（Sim-to-Real Gap）

为了实现向真实世界硬件的零样本迁移，作者解决了深度感知中的虚实差距问题，这对于细长的梯横档至关重要。

视觉基础模型 (VFM)： 系统没有依赖广泛的深度随机化，而是使用预训练的 VFM (Fast-FoundationStereo) 将真实的立体灰度图像处理成深度图。这提供了更清晰、几何一致性更高的深度观测。
横档聚焦掩码 (RFM)： 在训练期间，非横档区域以概率 $p=0.1$ 被掩码处理，以迫使策略关注任务相关的爬行结构，而非背景几何形状或特定的梯子支撑结构。

4. 通过双智能体学习实现梯上操作

对于在梯上执行的操作任务，作者采用了双智能体公式来将稳定控制与操作解耦。

下肢智能体 ( $\pi_l$ )： 负责维持稳定的平衡和梯子接触。
上肢智能体 ( $\pi_u$ )： 追踪遥操作的目标（手臂、手腕、腰部姿态）。
解耦： 通过使用独立的 Actor-Critic 网络，系统减少了稳定目标与操作目标之间的干扰，从而实现了在梯子上稳定的全身遥操作。

核心贡献

统一感知系统： LadderMan 通过单一参考运动和基于深度的视觉运动控制，实现了在多样化几何形状（倾角、横档间距、结构）下鲁棒的零样本虚实迁移爬梯。
混合运动追踪： 一种通过结合宽松的上肢追踪与任务驱动的接触自适应，从单一参考运动中学习多种专家爬行策略的新方法，消除了对大规模运动数据集的需求。
虚实感知： 集成了视觉基础模型和横档聚焦掩码，以弥合深度感知差距，从而能够在无需大量手动调优或硬件修改的情况下部署到真实硬件上。
稳定的梯上操作： 一个双智能体学习框架，成功实现了复杂的操控任务（如调整画作、更换灯泡），同时保持了平衡，性能优于标准的全身遥操作策略。

实验结果

系统在配备 Intel RealSense D435i 相机和 NVIDIA Jetson Orin 的 1.3m、29 自由度 Unitree G1 类人机器人上进行了评估。

真实世界表现： LadderMan 成功以零样本方式爬上并爬下三种不同的真实梯子（其角度、间距和材质各异）。它实现了约 3.4 秒/横档的爬行速度，与人类水平（~3.2 秒/横档）相当。
操作任务： 系统成功完成了绘画调整、更换灯泡和递交箱子等任务，同时保持了平衡。
泛化能力： 在仿真中，该策略在横档间距为 24-28cm 且倾角在 55-65 度之间的梯子上实现了 >95% 的成功率。即使在极端边界配置下，仍能保持约 57% 的成功率。
消融实验：
- 专家学习： 标准运动追踪在面对与参考运动不同的几何形状时失败了，而混合运动追踪在所有测试配置下均取得了成功。
- 虚实转换： 去除 VFM、横档聚焦掩码或蒸馏阶段的 RL 组件会显著降低真实世界的成功率，某些变体甚至完全失败。
- 操作： 双智能体策略在操作期间保持了稳定的平衡，而最先进的基准方法 (TWIST2) 则经常失去平衡。

重要性与局限性

论文声称 LadderMan 代表了在工业环境（建筑、维护）中部署类人机器人的关键里程碑，因为它解决了感知爬梯和操作这一具有挑战性的问题，且无需硬件修改。

作者承认的局限性：

爬行策略目前仅在最高 75 度的倾斜梯子上进行了评估，尚未扩展到垂直梯子，后者需要不同的策略和更高的接触力。
由于当前硬件缺乏灵巧末端执行器，操作能力目前受到限制。

作者表示，所有的训练和推理代码以及可部署的模型都将开源。