LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments

本文提出了 LHM-Humanoid 框架，通过强化学习教师策略蒸馏与 DAgger 算法，训练出一个统一的端到端策略及视觉 - 语言 - 动作模型，使类人机器人能够在无需环境重置的复杂杂乱场景中，实现跨场景泛化的长程全身移动操作任务。

要点

这篇论文介绍了一个名为 LHM-Humanoid 的机器人系统，它的目标非常宏大：让一个人形机器人（Humanoid）像一个真正的“全能管家”一样，在极其杂乱、充满障碍的房间里，连续不断地完成“走过去 -> 拿起东西 -> 搬走 -> 放下 -> 再走下一个”的复杂任务，而且中间不能重启、不能休息。

为了让你更容易理解，我们可以把这项技术想象成教一个刚入职的“超级实习生”如何在一间乱得像战场的办公室里整理文件。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心挑战：这不是“走一步看一步”，而是“马拉松式”的整理

以前的机器人研究大多像是在玩“打地鼠”游戏：

• 旧模式：机器人走到桌子前，拿起一个杯子，任务结束。或者，机器人只在一个非常干净、没有杂物的房间里训练。
• LHM 的新模式：想象一下，你的卧室、客厅、厨房和仓库里堆满了乱七八糟的东西（衣服、箱子、垃圾桶挡路）。机器人必须一口气完成以下循环：
  1. 绕过地上的玩具，走到床边。
  2. 保持身体平衡，把床上的笔记本电脑拿起来。
  3. 抱着电脑，小心翼翼地绕过椅子，走到书桌旁。
  4. 把电脑轻轻放下，然后主动退后一步，确保不碰到电脑。
  5. 立刻转身，去处理下一个被挡路的垃圾桶……
  6. 全程不能重置（不能按“重新开始”键），一旦在某个环节摔倒或卡住，整个任务就失败了。

2. 解决方案：独特的“师徒三人行”教学法

直接让机器人自己摸索（就像让实习生直接去乱室整理，没人教）是行不通的，因为它会迷路或摔倒无数次。作者设计了一套**“双导师 + 学生”**的聪明训练法：

🎓 导师 A（负责“完美开局”）

• 任务：专门教机器人如何完成第一个“拿 - 搬 - 放”的循环。
• 独门秘籍：它特别强调**“放下并退后”（Release-and-Retreat）**。就像你放下一个易碎品后，必须立刻退后一步，以免手抖碰到它。这确保了机器人完成一个任务后，身体姿态是稳定且安全的，为下一个任务打好基础。

🎓 导师 B（负责“救场与续命”）

• 任务：这是最厉害的地方。导师 A 放下东西退后时，机器人可能姿势很怪（比如蹲着、歪着、或者背对着下一个目标）。导师 B 的任务就是从这些“非标准”的奇怪姿势开始，教机器人如何重新站稳、转身、调整方向，然后去拿第二个东西。
• 比喻：就像教练教运动员，不仅教他怎么起跑，还教他在跑歪了、差点摔倒时，如何瞬间调整重心继续跑下去。

🧑‍🎓 学生（最终的大师）

• 融合：通过一种叫 DAgger 的“蒸馏”技术，把导师 A 和导师 B 的经验全部“压缩”进一个统一的策略（学生）里。
• 结果：这个“学生”不再需要分阶段思考（“现在是第一步，现在是第二步”），它变成了一个直觉大师。无论场景怎么变，它都能像经验丰富的老手一样，流畅地连续完成所有任务。

3. 为什么它这么强？（三大亮点）

1. 拒绝“死记硬背”，学会“举一反三”

   • 以前的机器人像是在背地图，换个房间就不会了。
   • LHM 是在4 种完全不同的房间（卧室、客厅、厨房、仓库）里，面对350 种不同的杂乱场景训练的。它学会了通用的逻辑：不管东西在哪、路多难走，它都能找到办法。就像你学会了“如何整理房间”的逻辑，不管去谁家都能整理。

2. 视觉与语言的双重驱动（VLA 模型）

   • 除了直接控制关节，作者还把这个“学生”教成了能听懂人话、看懂摄像头画面的机器人。
   • 你只需要对着它说：“把那个红色的盒子搬到桌子上”，它就能通过摄像头看到红色盒子，理解你的指令，然后自动执行。这让它离真正的“家庭机器人”更近了一步。

3. 超长耐力的“马拉松”选手

   • 实验证明，其他方法（比如分层控制或简单的强化学习）在连续做 2 个任务时就开始崩溃，做 3 个以上几乎全败。
   • 而 LHM 即使在没有额外训练的情况下，也能连续成功搬运5 个物体。它的“退后一步”机制防止了错误累积，就像走钢丝时，每走一步都调整重心，所以能走得更远。

4. 现实中的意义

这项研究不仅仅是让机器人多搬几个箱子，它解决了人形机器人进入真实家庭的最大痛点：真实世界是混乱的，任务是连续的。

• 以前的机器人：像个只会做单一步骤的机械臂，换个环境就傻眼。
• LHM 机器人：像个灵活的管家，能在杂乱的房间里，一边避开障碍物，一边连续整理多个物品，而且即使不小心歪了一下，也能立刻调整回来继续干活。

总结

这篇论文就像是在教一个机器人**“如何在混乱中保持优雅”。通过让两个“导师”分别负责“完美开始”和“意外救场”，并将它们融合成一个“全能学生”，LHM-Humanoid 让人形机器人第一次具备了在复杂、杂乱环境中连续、稳定、自主**完成多项任务的能力。这标志着人形机器人从“实验室里的表演者”向“现实生活中的实干家”迈出了关键一步。

技术摘要

这篇论文介绍了 LHM-Humanoid，这是一个针对杂乱环境中长视野（Long-Horizon）全身人形机器人移动操作（Loco-Manipulation） 的基准测试和学习框架。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

现有的机器人研究通常在以下方面进行了简化：

• 任务视野短：大多局限于单步操作或单物体交互。
• 场景分布单一：训练和评估通常在固定或单一场景中进行。
• 控制策略割裂：往往依赖预训练的技能库或分阶段控制器，缺乏统一的端到端策略。

LHM-Humanoid 旨在解决的核心挑战是：
在多样化且杂乱（Messy） 的场景中（如卧室、客厅、厨房、仓库），人形机器人需要在不重置环境的情况下，连续执行多个“移动 - 抓取 - 搬运 - 放置”的循环。

• 具体任务：机器人需将多个被移位的物体（如床上的笔记本电脑、挡路的垃圾桶）搬运到指定位置。
• 难点：
  • 长视野：需要在一个连续的 Episode 中完成多次操作，误差会累积。
  • 跨场景泛化：场景布局、障碍物、物体属性（类别、质量、形状、颜色）变化巨大。
  • 全身控制与平衡：在抓取、搬运和放置过程中，必须保持动态平衡，且需适应非标准姿态（如放置物体后退后的姿态）。
  • 单一策略：需要一个统一的策略直接输出动作，而不是调用预定义的技能库。

2. 方法论 (Methodology)

作者提出了一种双教师蒸馏（Dual-Teacher Distillation） 框架，结合强化学习（RL）和 DAgger 算法，训练出一个统一的端到端策略。

2.1 数据集构建

• 包含 350 个 不同的杂乱场景（4 种房间类型）。
• 涉及 79 种物体，其中 25 种为可移动目标。
• 关键特性：这是一个任务与场景基准，不提供特定场景的 ground-truth 动作序列，迫使模型学习基于任务目标的行为，而非模仿特定轨迹。

2.2 三阶段训练流程

1. 教师策略 1 (Teacher 1)：首个物体循环与“释放 - 撤退” (Release-and-Retreat)

   • 负责完成第一个“行走 - 抓取 - 搬运 - 放置”循环。
   • 创新点：显式训练“释放并撤退”行为。在放置物体后，机器人必须安全地松开物体并退回到安全距离，以避免干扰物体并为下一个循环提供稳定的初始状态。
   • 使用对抗运动先验（AMP）奖励来鼓励类人运动风格。

2. 教师策略 2 (Teacher 2)：非标准状态下的恢复与下一个循环

   • 从 Teacher 1 结束时的非标准状态（非典型姿态，如蹲伏、倾斜、脚部位置不均）开始，继续执行下一个物体的循环。
   • 解决的核心问题是：如何在没有环境重置的情况下，从混乱的中间状态恢复平衡，重新定向，并导航至下一个目标。
   • 通过让 Teacher 2 在 Teacher 1 完成后的状态上继续训练，覆盖了更广泛的非标准状态分布。

3. 统一学生策略蒸馏 (Unified Student Distillation)

   • 利用 DAgger 算法将两个教师策略蒸馏到一个单一的端到端学生策略中。
   • 机制：使用有限状态机（FSM）根据任务阶段选择监督教师（第一阶段由 Teacher 1 监督，后续由 Teacher 2 监督）。
   • 优势：学生策略能够无缝处理整个长视野 Episode，无需硬编码的阶段边界，具备极强的跨场景泛化能力。

4. VLA 模型扩展

   • 将统一的学生策略进一步蒸馏为 视觉 - 语言 - 动作 (VLA) 模型。
   • 输入：第一人称 RGB 图像 + 自然语言指令。
   • 输出：直接控制动作。实现了从 privileged state（特权状态）到真实感知模态的迁移。

3. 主要贡献 (Key Contributions)

1. LHM-Humanoid 基准：首个针对长视野、全身人形移动操作、跨杂乱场景泛化的基准测试（350 个任务）。
2. 双教师蒸馏框架：提出了一种新颖的训练范式，通过两个分别关注“初始循环”和“非标准状态恢复”的教师策略，解决了长视野任务中状态分布覆盖不足和误差累积的问题。
3. 端到端统一策略：证明了单一策略可以处理复杂的长视野任务，优于分层 RL 和基于技能库的方法。
4. VLA 集成：成功将物理策略蒸馏为基于 RGB 和语言的 VLA 模型，推动了真实世界交互部署的可能性。

4. 实验结果 (Results)

实验在 Isaac Gym 中进行，对比了端到端 RL、课程学习（Curriculum RL）、分层 RL、HumanVLA、InterMimic 和 TokenHSI 等基线方法。

• 350 个训练任务表现：

  • 完整 Episode 成功率（Success All）：LHM-Humanoid-T 达到 72.38%，显著优于次优的 Curriculum RL (47.19%) 和 HumanVLA (29.92%)。
  • 端到端 RL 基线完全失败（0%），证明了长视野接触丰富任务的直接 RL 训练不可行。
  • 消融实验表明，“释放 - 撤退”机制（RR）和对抗运动先验（AMP）对收敛和鲁棒性至关重要。

• 66 个未见场景（泛化性）：

  • LHM-Humanoid-T 在未见场景上保持了 63.20% 的成功率，而基线方法（如 Hierarchical RL）性能急剧下降至 17.26%。
  • 证明了该方法能有效处理几何变化和分布偏移。

• VLA 扩展：

  • 在仅使用 RGB 和语言输入的情况下，VLA 模型仍保持了 63.71% 的成功率，远超其他基线（HumanVLA 为 23.46%）。

• 长视野扩展（>2 个物体）：

  • 在未经微调的情况下直接测试 3-5 个物体的序列，LHM-Humanoid 在 5 个物体序列中仍保持了 18.07% 的完整成功率，而所有基线方法在 3 个物体后几乎完全崩溃（接近 0%）。

5. 意义与局限性 (Significance & Limitations)

意义：

• 该工作突破了当前人形机器人研究在“长视野”和“复杂环境泛化”上的瓶颈。
• 证明了通过双教师机制和DAgger 蒸馏，可以训练出具备强大恢复能力和连续操作能力的单一策略，无需依赖复杂的分层规划或预定义技能库。
• 为未来人形机器人在真实家庭或仓库环境中执行连续整理任务提供了可行的技术路线。

局限性：

• 目前基准测试主要针对 2-5 个物体，更长视野的漂移问题尚未完全解决。
• 实验主要在仿真环境（Isaac Gym）中进行，未考虑真实世界的动力学未建模误差、传感器噪声和执行器限制。
• 物体类别和房间类型相对固定，未涵盖可变形物体和动态障碍物。
• VLA 模型目前仅依赖 RGB 和语言，缺乏深度、力/力矩等丰富感知反馈。

总的来说，LHM-Humanoid 通过创新的训练框架，成功实现了人形机器人在高度动态和杂乱环境中的长视野自主操作，是该领域的重要进展。