⚡ electrical engineering

HuMam: Humanoid Motion Control via End-to-End Deep Reinforcement Learning with Mamba

HuMam 是一个以状态为中心的端到端强化学习框架，用于人形机器人运动控制，它利用单层 Mamba 编码器将机器人状态与足迹目标及相位时钟进行融合，与 JVRC-1 机器人上的前馈基准模型相比，实现了卓越的训练稳定性、效率和节能效果。

原作者： Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《HuMam: 基于 Mamba 的端到端深度强化学习实现类人机器人运动控制》的解释，已将其转化为通俗易懂的日常语言，并辅以创意类比。

核心思想：教机器人学会“不纠结”地走路

想象一下，你正在尝试教一个机器人走路。这个机器人有两条腿、一个躯干以及腿部 12 个关节。为了行走，它需要完美地协调所有关节，同时平衡体重、对地面做出反应并遵循既定路径。

通常，当我们教机器人这些知识时，我们会使用一个“大脑”（神经网络），它观察当前的情况并决定下一步该做什么。问题在于，许多这类“大脑”要么太简单（会错过重要的细节），要么太笨重且反应迟钝（运行起来需要消耗大量的计算资源）。

这篇论文的作者构建了一个名为 HuMam 的新大脑。它的秘诀是什么？他们使用了一种全新的 AI 架构——Mamba。

类比：“聪明的指挥家” vs. “混乱的管弦乐队”

把机器人的身体想象成一个拥有 12 种不同乐器（腿部关节）的管弦乐队。

传统方式（基准模型）： 指挥家（AI）看着乐谱，但它会忘记刚刚演奏过的音符。它试图仅根据当前的瞬间来猜测下一个音符。有时它会错过节奏，导致乐队踉跄，机器人也随之摔倒。
HuMam 方式： 指挥家使用的是 Mamba 系统。这不仅仅是一个指挥家，而是一个对音乐“流动感”拥有完美、即时记忆的指挥家。它不需要每次都从头开始重读整首曲子。它完全明白上一个音符是如何与下一个音符相连的。这使得机器人的动作像舞者一样流畅，而不是蹒跚学步。

为什么 HuMam 特别之处？

1. “轻量化”的大脑 (Mamba)

论文声称，这是首次将 Mamba 架构用于控制类人机器人的行走。

隐喻： 想象你在跑马拉松时背着一个沉重的背包（复杂的 AI 模型）。这会拖慢你的速度。HuMam 使用了一个 “M 字母” 层的结构，它就像一个轻如羽毛的高科技背包。它承载了所有必要的信息，但几乎没有任何重量。这意味着机器人可以思考得更快，并且消耗更少的电池电量。

2. “六点评分卡” (奖励塑造)

为了教导机器人，计算机会在它做得对的时候给它加分（奖励）。作者创建了一份特定的“评分卡”，包含六个项目：

不要跺脚： 双脚踩在地面上要轻柔。
摆动平稳： 不要剧烈踢腿。
命中目标： 准确地踏在计划的位置。
站得笔直： 保持头部抬起，背部挺直。
保持正确高度： 不要蹲得太低或站得太高。
不要摇晃： 保持上半身稳定。

机器人试图在评分卡上获得最高分。由于 Mamba 大脑非常擅长连接这些要点，机器人学会了如何在不牺牲其中任何一项的情况下，同时平衡这六个目标。

实验结果：更快、更稳、更环保

研究人员在名为 JVRC-1 的虚拟机器人在计算机模拟中测试了 HuMam。他们将它与一个没有使用 Mamba 的标准机器人大脑（基准模型）进行了对比。结果如下：

学习速度更快： HuMam 学会走路的速度更快。它达到与其他机器人相同的技能水平所需的练习尝试次数减少了 13% 到 42%。
- 类比： 如果旧机器人需要练习 100 小时才能学会走路，那么 HuMAM 只需要 60 小时。
更稳定： 旧机器人的学习过程是“颠簸”的——有时表现得很好，有时突然变差。而 HuMam 非常稳定。
- 类比： 旧机器人就像一个考试成绩忽高忽低的同学；而 HuMam 是那个每次都能考 A 的优等生。
能源效率更高： 这是一件大事。HuMam 在行走相同距离时消耗的电力更少。
- 类比： 旧机器人就像一辆引擎轰鸣、耗油量巨大的 SUV。HuMам 则像一辆静谧滑行的混合动力汽车。在“站立”测试中，HuMam 仅仅为了保持直立就节省了 39% 的能量。
关节运动更平滑： 机器人的关节（髋部、膝盖、踝部）运动时的冲击力更小。
- 类比： 旧机器人的关节听起来像生锈的合页；而 HuMam 的关节听起来像涂了润滑油的门。

总结

这篇论文认为，通过使用这种全新的 “Mamba” 大脑，他们创造了一个具备以下特点的机器人控制器：

更轻量（消耗更少的计算能力）。
更聪明（学习更快、更稳定）。
更环保（消耗更少的能量）。

他们成功证明了，你并不需要一个庞大、沉重的计算机大脑来让机器人走好路。有时候，一个轻量、高效的 “Mamba” 大脑就足以让机器人翩翩起舞，穿过房间。

注：该论文完全侧重于计算机模拟（虚拟机器人）。它并未声称已在真实的物理机器人上进行测试，尽管这被提到了作为未来的研究目标。

技术摘要：HuMam —— 基于 Mamba 的端到端深度强化学习人型机器人运动控制

1. 问题陈述

与四足或轮式系统相比，人型机器人的运动控制面临着独特的挑战，这主要是由于其较高的重心、耦合的上肢与下肢动力学以及严格的安全要求。虽然端到端强化学习（RL）提供了紧凑的感知-动作映射，但在实际部署中往往面临训练不稳定、特征融合效率低下以及执行成本过高等问题。

现有方法面临以下具体局限性：

前馈骨干网络（Feedforward backbones） 通常无法充分利用结构化观测数据，例如步态相位和定向足迹目标。
沉重的序列模型（如 Transformer 或深层 RNN）会带来不利的计算-内存权衡，阻碍实时车载部署。
训练动力学 经常表现出不稳定性、跨种子（seed）的高方差以及样本利用率低的问题，导致生成的策略要么不稳定，要么能量效率低下。

本文旨在解决开发一种既具预见性（协调足部放置与平衡）又具备资源意识（在车载计算和执行限制内运行）的控制器，且无需依赖显式的时序历史累积。

2. 方法论：HuMam 框架

作者提出了 HuMam，这是一个专为人型机器人行走设计的以状态为中心（state-centric）的端到端强化学习框架。其核心创新在于采用了单层 Mamba 编码器作为轻量级融合骨干。

2.1. 观测空间

智能体在每个时间步接收一组丰富的观测数据，分为两类：

以机器人为中心的各种状态： 12 个驱动腿部关节的位置和速度、根部朝向（横滚、俯仰）以及角速度（横滚、俯仰、偏航）。全局偏航角被排除在外，因为足迹是相对于根部坐标系定义的。
外部引导： 两个定向足迹目标（ $T_1, T_2$ ），由 3D 位置和朝向定义，以及一个编码步态周期的连续相位时钟（使用 $\sin, \cos$ ），以防止与标量相位编码相关的间断问题。

2.2. 架构：单层 Mamba 编码器

不同于通过累积时序历史来工作的循环或注意力机制设计，HuMam 仅依赖当前状态，但利用 Mamba 的选择性状态空间动力学来捕捉输入模态之间的结构化依赖关系。

标记化（Tokenization）： 机器人状态与外部状态被拼接并投影为特定模态的嵌入（embeddings）。
状态空间编码： 单层 Mamba 层对这些标记应用门控状态空间动力学。这种形式提供了一种具有指数衰减核的卷积视角，从而实现了高效的特征混合，而无需显式的时序循环。
输出： 编码后的表示被聚合为一个紧凑的特征向量，由策略头（policy head）和价值头（value head）共享。

2.3. 控制层级与动作空间

动作空间： 高层策略（运行频率为 40 Hz）输出 12 个驱动腿部关节的期望关节位置目标。
底层执行： 低增益比例-微分（PD）控制器（运行频率为 1000 Hz）将这些位置目标转换为可执行的关节转矩。这种层级结构确保了平滑的转矩执行，并使学习问题更易于处理。

2.4. 奖励塑造

该框架采用了一个简洁的六项奖励函数，通过近端策略优化（PPO）进行优化，以平衡稳定性、准确性和能量效率：

足部作用力 ( $R_{force}$ )： 惩罚过大的地面反作用力。
足部速度 ( $R_{vel}$ )： 鼓励平滑的摆动腿运动。
步幅准确度 ( $R_{step}$ )： 奖励相对于目标的精确足部放置。
朝向 ( $R_{orient}$ )： 使根部朝向与期望航向保持一致。
身体高度 ( $R_{height}$ )： 维持标称的躯干高度。
上半身稳定性 ( $R_{upper}$ )： 最小化上半身晃动。

3. 核心贡献

本文概述了四项主要贡献：

首个基于 Mamba 的人型机器人 RL 控制器： 引入 Mamba 作为轻量级融合骨干用于端到端人型机器人运动控制，证明了在以状态为中心的设置中，单层结构足以实现强劲性能。
骨干网络的有效性： 表明与经过相同训练的前馈基准模型相比，Mamba 编码器具有更快的学习速度、更高的样本效率以及更低的跨种子变异性。
能量感知奖励塑造： 提出了一个六项奖励函数，共同调节接触力、摆动速度、步幅准确度和身体稳定性，从而隐式地提升能量效率。
广泛的实证验证： 在 mc-mujoco 环境中，针对 JVRC-1 人型机器人在多种任务（前进、后退、曲线行走、侧向行走及站立）中验证了该框架。

4. 实验结果

实验在 mc-mujoco 环境下针对 JVRC-1 人型机器人（1.72m, 62kg）进行。HuMam 与在相同训练设置下的强前馈基准模型进行了对比。

4.1. 学习效率与稳定性

样本效率： HuMam 达到 240 回报所需的样本数为 15.8M，而基准模型为 18.2M（提升 13.2%）。在更高阈值（回报 260）下，提升幅度为 42.5%（20.2M vs. 35.0M 样本）。
稳定性： HuMam 将跨种子学习曲线的偏差降低了 35.4%，并将后期训练的方差降低了 61.0%，表明其收敛更加可靠。
性能： 峰值性能提升了 5.8%（从 269.85 提升至 285.50），且训练最后 10% 的平均回报提升了 5.5%。

4.2. 奖励与转矩分布

奖励组成部分： HuMam 实现了更高的平均每步奖励（0.737 vs. 0.728），在足部作用力调节和速度平滑度方面有显著改进。
转矩降低： 该框架降低了平均关节转矩幅值 9.6% 以及峰值转矩 9.1%。特定关节（如左髋俯仰关节和右踝俯仰关节）的转矩降幅显著（踝关节平均转矩降低高达 40%）。

4.3. 能量效率

Huмam 在动态任务中展现了卓越的能量经济性：

站立： 平均功耗从 57.48 W 降至 35.08 W（降低 39%）。
前进行走： 能耗成本从 673 J/m 降至 421 J/m。
侧向行走： 能耗成本从 1395 J/m 降至 963 J/m。
单位质量功率： 在所有任务中均保持较低的 W/kg，平均从 1.92 W/kg（基准）降至 1.38 W/kg（HuMam）。

5. 重要性与主张

作者声称 HuMam 是 首个采用 Mamba 作为融合骨干的端到端人型机器人 RL 控制器。论文指出，该架构在三个关键领域提供了切实的收益：

效率： 由于单层 Mamba 编码器具有近乎线性的复杂度，因此能以更少的训练样本和更低的计算开销实现更高的性能。
稳定性： 减少训练方差，并在多种运动场景下产生更平滑、更鲁棒的步态。
控制经济性： 生成需要更低转矩和能量的策略，使其更适合在电力预算有限的硬件上进行实际部署。

研究结论认为，Mamba 骨干是一个有效的编码器，适用于紧凑的以状态为中心的策略学习，能够在不依赖显式时序历史或沉重序列模型的情况下，合成自然且稳定的行走行为。未来的工作方向包括硬件部署、实机迁移（sim-to-real transfer）以及集成车载感知功能。