Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

这是一份关于论文《Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots》（面向现实世界人形机器人的多模态全身控制学习）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
人形机器人（Humanoid Robots）在应对复杂现实任务时，面临缺乏统一控制接口的重大挑战。现有的控制方法通常针对特定技能（如站立、行走、操作、模仿）设计独立的控制器，导致：

• 碎片化： 不同模态（速度指令、末端执行器目标、视频演示、动作捕捉数据）需要不同的处理流水线。
• 缺乏通用性： 难以在不同任务间无缝切换或复用。
• 扩展困难： 引入新技能通常需要重新训练或复杂的解释器。
• 虚实迁移难： 仿真与真实物理环境之间的差异（Sim-to-Real Gap）使得在仿真中训练的策略难以直接部署到真机。

目标：
设计一个统一的、基于学习的全身控制器，能够接受多模态输入（包括优化轨迹、动作捕捉片段、重定向视频、实时摇杆信号等），并通过掩码（Masking）机制灵活指定机器人的部分或全部状态变量，从而实现从站立、行走、全身模仿到部分肢体模仿的无缝切换。

---

2. 方法论 (Methodology)

作者提出了掩码人形控制器 (Masked Humanoid Controller, MHC)，这是一种基于强化学习（RL）的全身控制策略。

2.1 问题定义与统一接口

• 掩码运动指令 (Masked Motion Directives)： 将目标行为表示为未来姿态序列 $\hat{q}_{1:H}$，并附带一个二进制掩码序列 $I_{1:H}$。
  • 掩码为 1 的维度表示需要跟踪的目标（如特定的关节角度或速度）。
  • 掩码为 0 的维度表示未指定，控制器需自主生成（“填空”），例如仅指定上半身动作时，下半身由控制器自主规划以保持平衡。
• 输入状态： 包含机器人本体感知状态（关节位置、速度、躯干朝向）和目标运动指令。
• 输出动作： 所有电机对应的 PD 控制设定点（Setpoints）。

2.2 网络架构

• 模型： 长短期记忆网络 (LSTM)。
• 流程：
  1. 使用单层前馈编码器将运动指令编码为 160 维的嵌入向量。
  2. 将嵌入向量与当前机器人状态拼接，输入到包含两个 64 单元循环层的 LSTM 块中，以捕捉时间序列信息。
  3. 通过线性解码层输出关节角度的偏移量，叠加到目标值上生成最终的 PD 设定点。
• 频率： 50Hz 运行，控制底层 2kHz 的 PD 控制器。

2.3 训练策略：课程学习 (Curriculum Learning)

为了获得鲁棒性和通用性，训练过程分为三个阶段：

1. 阶段一（ locomotion 行走）： 仅关注随机化的行走指令（掩码掉除根速度外的所有变量），引入瞬时扰动，建立基础平衡能力。
2. 阶段二（Stability 稳定性）： 在行走基础上增加连续扰动（20-50 步），延长训练步数，增强抗干扰和恢复能力。
3. 阶段三（Whole-Body Directives 全身指令）： 引入完全指定和部分指定的指令。
   • 纯行走/摇杆模式： 仅指定根速度。
   • 原地模仿： 仅指定上半身，下半身原地站立。
   • 全身/ loco-manipulation： 同时指定上半身动作和行走速度。

2.4 数据生成与域随机化

• 数据来源： 结合 AMASS 动作捕捉、Reallusion 视频、优化轨迹（基于 Digit 的弹簧质量模型）。
• 重定向 (Retargeting)： 使用逆运动学 (IK) 将人类动作映射到 Digit V3 机器人模型，处理关节限制（如 Digit 的旋转关节限制）。
• 域随机化 (Domain Randomization)： 在训练全阶段随机化物理参数（关节阻尼、连杆质量、质心、编码器噪声、地面摩擦等），以消除仿真与现实的差异，无需额外的系统辨识即可实现 Sim-to-Real 迁移。

2.5 奖励函数设计

奖励函数由以下部分组成：

• 任务奖励 ($r_{task}$)： 鼓励跟随行走指令。
• 风格奖励 ($r_{style}$)： 鼓励自然的站立和行走姿态（仅在未指定下半身时启用，避免与特定下半身目标冲突）。
• 正则化奖励 ($r_{reg}$)： 鼓励平滑的关节运动和低扭矩。
• 跟踪奖励 ($r_{track}$)： 核心创新，计算未掩码关节与目标轨迹的指数误差，确保精确跟踪指定部分。

---

3. 关键贡献 (Key Contributions)

1. 统一的掩码接口： 提出了一种通用的表示方法，通过掩码机制将速度控制、部分肢体模仿、全身模仿和遥操作统一在一个框架下，消除了对多个专用控制器或复杂解释器的需求。
2. 多模态课程学习： 设计了一套从基础平衡到复杂全身控制的渐进式训练课程，使单一策略能够处理从简单行走到大动态拳击等多种任务。
3. Sim-to-Real 成功迁移： 在 Digit V3 人形机器人上进行了真实世界验证，展示了单一策略在真实环境中执行行走、拳击、搬运（loco-manipulation）等多样化任务的能力，证明了该方法在解决虚实迁移问题上的有效性。
4. 鲁棒性与泛化性： 实验表明，该控制器在面对外部扰动（推力）和未见过的动作数据时，表现出极高的鲁棒性和泛化能力。

---

4. 实验结果 (Results)

4.1 仿真基准测试

• 与 SOTA 对比： 在行走和站立抗扰动测试中，MHC 的表现与最先进的站立 - 行走控制器 (SaW) 相当甚至更优（例如在 100N 推力下，MHC 的根漂移为 0.311m，优于 SaW 的 0.452m）。
• 与基线对比： 在全身模仿任务中，MHC 的失败率 (<1%) 远低于基线模型（OffsetBlind: 49.2%, OffsetAware: 4.8%），且末端执行器位置误差 (EMEPE) 和根漂移 (Root$\Delta$) 均为最低。
• 课程学习有效性： 对比无课程训练的模型 (MHCNC)，使用课程训练的 MHC 在行走和模仿任务上的表现显著更好（MHCNC 行走失败率高达 4.875%，而 MHC 仅为 0.45%）。
• 泛化能力： 在未见过的动作数据集（Set B, Set C）上，随着训练数据量的增加，模型性能持续提升，证明了良好的泛化性。

4.2 真实世界实验 (Sim-to-Real)

• 平台： Oregon State University 的 Digit V3 人形机器人。
• 任务演示：
  • 摇杆行走： 根据实时摇杆指令进行行走。
  • 拳击模仿： 执行完全指定的拳击刺拳动作，展示全身协调性。
  • 搬运操作 (Loco-manipulation)： 结合上半身轨迹和下半身行走指令，完成“移动 - 抓取箱子 - 移动箱子 - 放置”的复杂序列。
• 量化指标： 在真实机器人上测试 Set A 的 20 个动作，失败率为 5%，关节位置误差为 0.117m。虽然略高于仿真结果，但证明了该方法能够处理高度非平凡的真实世界任务。

---

5. 意义与展望 (Significance & Future Work)

意义：

• 范式转变： 该工作展示了通过单一学习策略统一处理多种控制模态的可行性，简化了人形机器人的软件架构。
• 实用价值： 为现实世界的人形机器人应用（如家庭服务、工业搬运）提供了更灵活、更鲁棒的底层控制方案，使得高层系统可以专注于任务规划而无需关心底层控制细节。
• 技术突破： 成功解决了从仿真到真实人形机器人（特别是 Digit V3 这种复杂动力学模型）的迁移难题。

未来工作方向：

1. 缩小虚实差距： 针对大跨步或单脚平衡等极端姿态，进一步利用真实数据优化 Sim-to-Real 过程。
2. 数据规模扩展： 突破 MuJoCo 模拟器的吞吐量限制，探索更高效率的模拟器（如 Isaac Sim）以训练更多样化的动作。
3. 掩码模式多样化： 增加训练中的掩码模式种类，进一步提升控制器的通用性。
4. 处理不一致指令： 研究如何处理输入指令中逻辑冲突或物理上不可行的情况（如速度指令与关节限制冲突）。

总结：
这篇论文提出了一种名为 MHC 的创新控制框架，通过掩码机制和课程学习，成功实现了一个能够统一处理行走、站立、模仿和操作的单一人形机器人控制器，并在真实机器人上验证了其卓越的性能，是人形机器人控制领域的重要进展。