💻 computer science

Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots

本文提出了一种名为“树学习”的多技能持续学习框架，通过根枝层级参数继承机制、多模态前馈适应策略及任务级奖励塑形，在避免灾难性遗忘的同时实现了人形机器人高效的多技能习得、无缝切换与泛化。

原作者： Yifei Yan, Linqi Ye

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifei Yan, Linqi Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为"Tree Learning"（树形学习）的新方法，专门用来教人形机器人像人类一样，学会多种技能，而且学了新东西不会忘记旧东西。

为了让你更容易理解，我们可以把机器人想象成一个正在上学的“超级学生”，而这项技术就是他的独家学习秘籍。

1. 以前的难题：为什么机器人“记性”不好？

在以前，教机器人学新动作（比如从“走路”变成“跑步”或“跳舞”）就像让一个学生同时修好几门完全不同的课。

旧方法的问题：如果让机器人一次性学所有动作，它的大脑（神经网络）会“打架”。学跑步时，它可能会把走路的方法搞混，甚至把以前学会的走路技能彻底忘掉。这就像你刚学会骑自行车，结果去学开飞机，结果连怎么骑车都忘了。
另一个问题：有些方法为了学新技能，需要把整个大脑拆了重装，或者造一个超级巨大的大脑，这既费钱又费电，机器人根本带不动。

2. Tree Learning 的核心创意：像“家族树”一样学习

作者提出了一个像家族树（Family Tree）一样的学习结构：

树根（Root Skill）：
机器人首先必须学会最基础的本领——在平地上走路。这就像家族的“老祖宗”，是所有技能的基础。
树枝（Branch Skills）：
当机器人要学新技能（比如跑步、爬楼梯、做俯卧撑）时，它不是从零开始，而是直接继承“树根”的基因。
- 比喻：想象机器人是一个家族。老祖宗（走路）把经验写在了家谱里。当小孙子要学“跑步”时，他直接拿着家谱，在老祖宗的基础上稍微改改就行，不需要重新发明轮子。
- 关键点：学新技能时，旧技能（走路）。就像你学游泳时，不需要重新学怎么呼吸，因为呼吸是基础。这就彻底解决了“学了新东西忘旧东西”的灾难性遗忘问题。

3. 它是怎么让机器人动起来的？

为了让机器人动作更自然、学得更快，作者用了两个巧妙的“辅助工具”：

动作“节拍器”与“导航线”：
- 对于有节奏的动作（如走路、跑步），系统给机器人一个“节拍器”（相位调制），告诉它：“左腿抬，右腿落”，就像跳舞时的鼓点。
- 对于没节奏的动作（如蹲下、趴下），系统给机器人画一条“导航线”（插值法），告诉它：“慢慢蹲到 50% 的高度”。
- 作用：这就像老师先给学生画好了作业的大纲，学生只需要在大纲里优化细节，不用瞎猜，学习效率极高。
奖励机制（像打游戏）：
机器人每做一个正确的动作，系统就给它发“金币”（奖励）。如果动作太费力气或者姿势不对，就扣“金币”。通过这种游戏化的方式，机器人很快就能找到最省力的动作。

4. 实验效果：机器人变成了“超级马里奥”

作者在电脑里模拟了一个超级马里奥的游戏场景，测试了这套方法：

场景：机器人需要走路、跑步躲避幽灵、爬楼梯、趴下钻隧道、站起来、跳起来顶砖块、最后把球踢进球门。
结果：
- 机器人可以瞬间切换技能。比如前面有幽灵，它立刻从“走路”切换到“跑步”，中间没有卡顿，也没有摔倒。
- 它学会了11 种高难度动作，而且100% 保留了所有旧技能。
- 在模拟的中国古典园林里，机器人能自主导航，遇到平地就快走，遇到楼梯就自动切换成“爬楼梯模式”，全程非常流畅。

5. 总结：这项技术意味着什么？

简单来说，Tree Learning 让人形机器人：

学得更快：不用从头学起，站在巨人的肩膀上（继承基础技能）。
记得更牢：学会了新技能，旧技能依然完美保留。
切换更顺：可以在走路、跑步、爬楼梯之间无缝切换，像真人一样灵活。

未来的愿景：
虽然现在还在电脑模拟里，但作者希望未来能把这套方法用到真实的机器人身上。想象一下，未来的机器人不仅能帮你拿快递（走路），还能帮你爬梯子修灯泡（爬梯），甚至在你摔倒时扶你一把（平衡），而且它不需要每次都重新“开机”学习，因为它已经拥有了一个像大树一样丰富且稳固的技能库。

这就好比机器人不再是一个只会做一道菜的厨师，而是一个拥有完整菜单、能随时切换菜系的大厨，而且无论做什么菜，都不会忘记怎么切菜。

这是一份关于论文《Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots》（树学习：一种用于人形机器人的多技能持续学习框架）的详细技术总结。

1. 研究背景与问题 (Problem)

随着人形机器人从单任务向多技能范式演进，如何在高效扩展新技能的同时避免灾难性遗忘（Catastrophic Forgetting），成为具身智能领域的关键挑战。现有的解决方案存在以下主要技术缺口：

混合专家模型（MoE）的局限性：现有基于 MoE 的方法在引入新技能时往往需要复杂的拓扑结构调整，或者依赖训练超大规模模型，导致计算成本随技能数量激增，难以在边缘设备上进行轻量化部署。
策略重训导致的遗忘：基于运动模仿的方法在学习新动作时通常需要全策略重训，极易导致现有基础能力的退化（即灾难性遗忘）。
泛化能力不足：现有的鲁棒控制策略多局限于基础步态的参数调整，难以在低训练成本下实现跨模态的运动泛化。

2. 方法论 (Methodology)

本文提出了**Tree Learning（树学习）**框架，这是一种基于层级继承的多技能持续学习框架。其核心设计理念模仿生物进化中的“先验继承”与“专业化演变”。

2.1 树状参数继承架构 (Tree-Structured Parameter Inheritance)

根技能（Root Skill）：定义预训练的平地行走技能为根节点。
分支技能（Branch Skills）：其他技能（如跑步、爬楼梯、单腿站立等）以树状结构逐层继承根技能或父级技能的参数。
物理隔离子网络：在推理阶段，框架采用物理隔离的子网络集群（Sub-network clusters）。不同技能拥有独立的网络权重，但共享相同的状态空间和动作表示维度。
- 优势：从根本上消除了多任务联合优化带来的梯度干扰，实现了技能的无损增量扩展，并保证了 100% 的旧技能保留率。

2.2 多模态前馈适应机制 (Multi-modal Feedforward Adaptation)

为了支持周期性和非周期性运动，设计了结合相位调制和插值的自适应机制：

周期性运动（如行走、跑步）：采用相位调制法（Phase Modulation）。利用步态周期计数器生成余弦相位激活因子（ $u_1, u_2$ ），控制左右腿的交替支撑，为强化学习提供具有物理意义的前馈动作基准，减少探索成本。
非周期性运动（如深蹲、匍匐）：采用线性插值法（Interpolation）。生成可连续调节深度的参考关节角度，为策略网络提供动作边界。

2.3 任务级奖励塑形 (Task-Level Reward Shaping)

设计了一套基础奖励组件（速度跟踪、角速度、质心高度、姿态约束、生存奖励、动作能量惩罚），并根据不同技能的需求进行重组或补充特定奖励项，以加速技能收敛并提高执行稳定性。

2.4 训练策略

课程学习（Curriculum Learning）：针对复杂地形（如爬楼梯），引入环境变量驱动的课程学习机制。将台阶高度分为四个渐进阶段（0.01m 至 0.15m），当机器人达到当前阶段的奖励阈值时自动进入下一阶段，有效缓解稀疏奖励问题。
算法：基于 Unity ML-Agents 框架，使用 PPO（近端策略优化）算法进行训练。

3. 主要贡献 (Key Contributions)

树状参数继承架构：提出了一种基于物理隔离子网络的持续学习架构，通过参数复用和独立存储，彻底消除了灾难性遗忘，实现了多技能的无损增量扩展。
低成本技能迭代流水线：设计了支持特定分支增量微调的机制，显著降低了计算和时间成本，避免了从头训练。
广泛的仿真验证：在宇树（Unitree）G1 人形机器人上进行了验证，成功实现了 11 种高动态技能（包括行走、跑步、爬楼梯、匍匐、跳跃、踢球等）的高效扩展和无缝切换，并支持实时交互控制。

4. 实验结果 (Results)

4.1 与多任务基线对比

实验设置：对比了 Tree Learning 与同时训练 6 种技能的多任务基线（Multi-task Baseline）。
结果：Tree Learning 在所有测试技能中均获得了更高的最终奖励。
- 例如，在“跳跃”技能上，Tree Learning 获得 990 的奖励，而多任务基线仅为 99；在“跑步”技能上，分别为 6138 和 609。
- 原因分析：多任务训练存在严重的梯度冲突，导致高动态技能难以收敛；而 Tree Learning 通过物理隔离避免了梯度干扰。

4.2 超级马里奥交互场景实验

场景：在 Unity 构建的类似《超级马里奥》的复杂场景中，机器人需连续执行行走、奔跑躲避幽灵、上下楼梯、匍匐穿越隧道、站立、跳跃顶箱、踢球进球等一系列动作。
表现：
- 手动切换：验证了框架处理高动态、强耦合任务的物理可行性。
- 自动切换：基于环境线索（如幽灵追逐）自动切换步态。质心（CoM）速度曲线显示，从行走（0.8 m/s）切换到奔跑（2.0 m/s）过程平滑，无阶跃或加速度尖峰，证明了状态空间一致性设计的有效性。

4.3 自主导航实验

场景：在古典园林环境中进行长达 240 秒的连续自主导航，包含路径规划、速度控制、步态切换（走/跑/爬楼梯）和姿态平衡。
表现：
- 机器人成功到达 22 个目标点，仅发生 1 次卡住恢复，导航可靠性极高。
- 步态切换：系统根据目标距离自动切换为“跑步”模式，根据地形自动切换为“爬楼梯”模式。
- 姿态稳定性：在平地行走时，躯干俯仰/翻滚角控制在±2.5°以内；在爬楼梯时波动增加至±(5-7)°但未失稳，验证了统一状态空间设计在切换瞬间的动作连续性。

5. 意义与总结 (Significance)

解决核心痛点：Tree Learning 从机制层面解决了多技能积累中的梯度冲突和灾难性遗忘问题，为具身智能体的持续学习提供了一种高效的系统级解决方案。
高效性与实用性：相比传统方法，该框架显著提高了训练效率，并实现了跨地形、跨模态动作指令的无缝人机交互切换，无姿态瞬变或跌倒风险。
应用前景：该框架展示了人形机器人在非结构化环境（如楼梯、隧道、复杂交互场景）中执行多样化任务的潜力，为未来人形机器人进入通用现实场景奠定了技术基础。
局限性：目前仅在 Unity 仿真中验证，存在 Sim-to-Real 差距（未完全考虑真实电机动力学、传感器噪声等），未来计划引入域随机化和隐式状态估计技术以实现零样本迁移到实体机器人。

总结：Tree Learning 通过模仿生物进化的层级继承机制，成功构建了一个轻量级、高鲁棒性的人形机器人多技能学习框架，实现了技能的高效扩展与无缝切换，是具身智能领域在持续学习方向的重要进展。