💻 computer science

No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets

该论文提出了一种基于强化学习的 SE(2) 目标导向人形机器人运动方法，通过创新的星座奖励函数克服了传统速度跟踪方法在短距离任务中效率低下的问题，实现了快速、稳健且节能的仿真到实物迁移。

原作者： Pranay Dugar, Mohitvishnu S. Gadde, Jonah Siekmann, Yesh Godse, Aayam Shrestha, Alan Fern

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Pranay Dugar, Mohitvishnu S. Gadde, Jonah Siekmann, Yesh Godse, Aayam Shrestha, Alan Fern

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让机器人像人一样“聪明地”走到目的地的故事。

想象一下，你让一个机器人去拿桌子另一头的杯子。

旧方法（像行军）：以前的机器人走法很死板。它们会先原地转圈，直到脸正对着杯子，然后像士兵列队一样，笔直地走几步，再停下来调整。这就像是一个笨拙的士兵在“正步走”，虽然能到，但动作僵硬、浪费体力，而且走几步停一下，效率很低。
新方法（像跳舞）：这篇论文提出了一种新算法，让机器人学会“边转边走”。就像你在拥挤的舞池里想走到朋友身边，你会自然地一边侧身、一边迈步，身体和脚步协调配合，流畅地滑向目标。

下面我用几个简单的比喻来拆解这篇论文的核心内容：

1. 核心问题：为什么“正步走”不行？

现在的机器人（特别是双足机器人）通常被训练成“速度跟踪者”。如果你告诉它“向前走 1 米”，它就走得很稳。但如果你告诉它“走到那个位置，并且脸要朝那个方向”（这叫 SE(2) 目标），旧方法就会犯傻。

比喻：这就好比你让一个只会直走的人去“走到门口并转身”。他可能会先走到门口，停住，转个身，再走回来。或者先转个身，再走。这种“先做 A，再做 B"的机械分割，在短距离任务中非常浪费时间，而且看起来很假。

2. 核心创新：星座奖励（Constellation Reward）

这是论文最精彩的部分。为了让机器人学会“边转边走”，作者设计了一个特殊的“奖励机制”（就像训练小狗时的零食）。

旧奖励：以前是分开奖励的。“走到位置给 1 分，转好方向给 1 分”。这导致机器人不知道是该先走还是先转，容易顾此失彼。
新奖励（星座法）：作者把机器人想象成一个带着星星图案的飞盘。
- 在机器人身上画几个点（星座），在目标位置也画同样的点。
- 奖励规则：机器人不需要分别计算“走了多远”和“转了多少度”。只要它身上的“星星”和目标位置的“星星”重合得越好，得分就越高。
- 效果：这就像你在玩拼图。你不需要分别移动拼图块，只要看着整体图案，手自然会协调地移动和旋转，直到图案完美对齐。这种机制让机器人本能地学会了在移动中调整方向，动作非常自然流畅。

3. 训练过程：在虚拟世界里“练级”

作者没有手把手教机器人怎么走路，而是用强化学习（RL）。

比喻：这就像是在玩一个超级难的电子游戏。
- 他们在电脑模拟环境（NVIDIA IsaacLab）里放了 4000 多个机器人。
- 给它们随机布置任务：去左边 2 米、去右边 1 米、转 90 度、转 180 度……
- 机器人试错成千上万次。走得好（快、省电、步数少）就加分，走得不好（摔倒、绕远路）就扣分。
- 为了不让机器人只在电脑里聪明，他们还故意给模拟环境加“干扰”（比如地面摩擦力变了、机器人腿变重了、传感器有噪音），就像给运动员穿负重鞋训练，这样上战场（真实世界）时就不怕了。

4. 实验结果：从模拟到现实

他们把这个训练好的机器人（叫 GoTo 控制器）放到了真实的 Digit 机器人身上测试。

对比组：
- FSM（老式规则）：像机器人里的“死脑筋”，先转后走。
- Hierarchical（分层控制）：像有个大脑指挥腿，但腿还是老式走法。
- Agility（原厂控制）：机器人自带的出厂设置。
GoTo 的表现：
- 更省电：少走了很多冤枉路，就像开车走高速比走乡间小路省油。
- 更快：到达目标的时间缩短了约 44%。
- 步数更少：不需要像士兵那样“一二一”地走很多步，而是几步就到位。
- 更自然：它的动作看起来像是在“滑行”或“跳舞”，而不是机械地“踏步”。
- 真实世界验证：在真机器人上，它成功了 90% 以上，而且表现和电脑模拟里几乎一样，没有因为真实世界的噪音而“发疯”。

总结

这篇论文的核心思想是：不要教机器人“先转后走”或“先走后转”，而是给它一个整体的“对齐”目标，让它自己学会如何最优雅、最省力地同时完成这两个动作。

这就好比教孩子骑自行车：

旧方法：教孩子“先蹬脚，再握把，再抬头”，动作割裂，容易摔。
新方法：告诉孩子“看着前面的树，保持平衡”，孩子的大脑会自动协调手脚，学会流畅地骑行。

这项技术让双足机器人在工厂、仓库等需要频繁短距离移动的场景中，变得更加灵活、高效和实用。

这是一份关于论文《No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets》（不再行军：面向短距离 SE(2) 目标的人形机器人步态学习）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
人形机器人在实际工作场景中，经常需要执行短距离、任务驱动的移动，即从当前姿态移动到特定的 SE(2) 目标位姿（包含位置 $x, y$ 和朝向 $\theta$ ）。

现有方法的局限性： 目前主流的基于强化学习（RL）的步态控制大多优化的是速度跟踪（Velocity Tracking），即让机器人跟随速度指令。当将这些方法应用于短距离的位姿到达任务时，机器人往往表现出低效、不自然的“行军式”（Marching-style）行为。
具体痛点： 传统的“先转向再移动”或“先移动再转向”的分阶段策略（如 FSM 或分层控制）在短距离任务中效率低下，导致步数多、能耗高、时间长，且缺乏自然流畅性。
挑战： 如何在单一奖励函数中平衡位置到达和朝向对齐这两个目标，避免奖励函数设计过于僵化导致行为不自然，或过于松散导致优化方向不明确。

2. 方法论 (Methodology)

本文提出了一种端到端的强化学习框架，直接优化人形机器人从初始位姿到目标 SE(2) 位姿的到达过程，命名为 GoTo 控制器。

A. 核心创新：星座奖励函数 (Constellation Reward)

这是本文最核心的贡献。为了解决位置和朝向奖励难以平衡的问题，作者提出了一种基于几何相似性的统一奖励机制。

原理： 在机器人基座上定义一组虚拟的 2D 点集（Constellation），并在目标位姿处定义对应的目标点集。
计算方式： 奖励基于当前点集与目标点集之间的均方距离（Mean Squared Distance）。
- 距离公式： $d_{con} = \frac{1}{N} \sum \|p_i - p^*_i\|^2$
- 奖励函数： $r_{con} = e^{-w_c \cdot d_{con}}$
几何意义： 该距离可以分解为平移误差项和旋转误差项。其中，点集的转动惯量（Moment of Inertia, $I_c$ ） 自然地决定了平移和旋转误差之间的权衡关系。
- 点集范围小 $\rightarrow$ 侧重位置精度。
- 点集范围大 $\rightarrow$ 侧重朝向精度。
优势： 这种设计无需手动调节位置和朝向奖励的权重比例，能够自然地鼓励机器人在移动过程中同时协调位置和朝向，产生流畅的“边移动边转向”行为，而非生硬的“停止 - 转向 - 移动”。

B. 辅助奖励与架构

风格奖励 (Style Reward) & 正则化 (Regularization)： 引入自然步态（如步幅高度、脚部姿态）和能量效率（平滑关节轨迹、低力矩）的奖励，确保动作自然且利于 Sim-to-Real 迁移。
网络架构： 采用双层 LSTM（128, 128）作为策略网络。
- 输入： 机器人本体状态（关节位置/速度、根节点姿态/角速度）+ 目标位姿差值 ( $\Delta x, \Delta y, \Delta \theta$ )。
- 输出： 20 个执行器的关节空间 PD 设定点。
训练框架： 使用 PPO 算法在 NVIDIA IsaacLab 仿真器中训练，采用广泛的域随机化（Domain Randomization），包括质量、摩擦力、PD 增益、传感器噪声等，以增强鲁棒性。

3. 关键贡献 (Key Contributions)

端到端 SE(2) 目标导向策略： 提出了一种直接优化位姿到达的 RL 方法，摒弃了传统的速度跟踪范式。
星座奖励函数 (Constellation Reward)： 设计了一种新颖的、基于几何点集的奖励函数，通过点集的转动惯量隐式地平衡了平移和旋转目标，解决了多目标奖励难以调参的难题。
严格的基准测试框架： 建立了一套包含位置误差、朝向误差、到达时间、步数计数和能量效率的综合评估体系，用于量化短距离步态性能。
Sim-to-Real 验证： 在 Agility Robotics 的 Digit v3 人形机器人上成功进行了实机部署，证明了该方法在真实物理环境中的有效性和鲁棒性。

4. 实验结果 (Results)

研究在仿真和实机（Digit v3）上进行了广泛测试，对比了三种基线方法：

FSM (有限状态机)： 传统的“先转向后移动”策略。
Agility Model-Based： 厂商提供的基于模型的步态规划器（含 2 阶段和 3 阶段版本）。
Hierarchical Controller： 基于速度跟踪的分层学习控制器。

主要发现：

综合性能最优： GoTo 控制器在所有指标上均优于基线方法。
- 能耗： 比最佳基线（Agility-2）降低 37%。
- 时间： 到达时间缩短 44%。
- 步数： 步数减少 33%。
- 精度： 位置误差降低 40%，朝向误差降低 58%。
行为自然性： 与基线方法生硬的“行军”或分阶段动作不同，GoTo 控制器能够生成流畅、连贯的运动轨迹，机器人在移动过程中自然地调整朝向，消除了不必要的停顿。
难度适应性： 随着任务难度（距离与角度变化的组合）增加，GoTo 的优势更加明显。
实机表现： 在实机测试中，GoTo 在 72 个不同任务中取得了 90.23% 的成功率。虽然存在少量因极端条件导致的跌倒，但其运动模式（自然、高效）与仿真结果高度一致，验证了 Sim-to-Real 的成功迁移。

5. 意义与展望 (Significance)

范式转变： 该工作证明了对于短距离、任务驱动的机器人移动，直接优化位姿到达比优化速度跟踪更为高效和自然。
奖励设计的重要性： 强调了针对特定任务设计奖励函数（如星座奖励）的重要性，而非简单套用通用的速度奖励。
实际应用价值： 该方法显著提升了人形机器人在受限空间（如仓库搬运、狭窄走廊）中的作业效率和能源利用率，为未来人形机器人在真实世界中的广泛应用奠定了坚实基础。
未来方向： 作者指出未来可探索将全身姿态目标（Whole-body pose goals）和末端执行器约束纳入框架，实现移动与操作的无缝集成。

总结：
这篇论文通过引入创新的“星座奖励”机制，成功解决了人形机器人在短距离 SE(2) 目标移动中的效率与自然性问题。其提出的 GoTo 控制器不仅在仿真中全面超越了传统方法，更在真实的 Digit v3 机器人上实现了稳健的部署，标志着人形机器人从“行军式”移动向“自然、高效、目标导向”移动的重要迈进。