🤖 AI

Reinforcement Learning Enabled Adaptive Multi-Task Control for Bipedal Soccer Robots

该论文提出了一种结合开环前馈振荡器与强化学习反馈残差策略的模块化框架，通过姿态驱动状态机实现双足足球机器人在复杂动态环境中自适应多任务控制，显著提升了其运动稳定性、寻球踢球能力及跌倒快速恢复性能。

原作者： Yulai Zhang, Yinrong Zhang, Ting Wu, Linqi Ye

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Yulai Zhang, Yinrong Zhang, Ting Wu, Linqi Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让双足机器人（像人一样用两条腿走路的机器人）在足球场上既会踢球，又能在摔倒后迅速自己站起来的故事。

想象一下，你要教一个刚学走路的小孩子踢足球。这很难，因为：

走路本身就不容易：两条腿要协调，不能老摔跤。
踢球更难：要盯着球跑，还要瞄准球门。
最麻烦的是：如果不小心摔倒了，他得先学会“怎么爬起来”，然后再继续踢球。如果让他同时学“走路”、“踢球”和“爬起来”，大脑（或者机器人的芯片）很容易“死机”或者乱套。

这篇论文的作者（来自上海大学）想出了一个聪明的“分而治之”策略，就像给机器人装了一个超级智能的“大脑管家”。

1. 核心策略：把“走路”和“踢球”分开管

作者发现，让机器人从零开始学走路太慢了，而且容易走不稳。于是，他们设计了一个混合控制系统：

自动节拍器（开环振荡器）：
这就好比机器人身体里内置了一个老练的舞蹈教练。这个教练不管外面发生什么，只管打拍子：“左、右、左、右”。它负责机器人最基本的走路节奏，保证机器人不会像喝醉了一样乱晃。
智能微调师（强化学习反馈）：
在这个“舞蹈教练”的基础上，加了一个聪明的 AI 助手。这个助手只负责“微调”。比如，当机器人要踢球时，AI 会告诉教练：“稍微把腿抬高一点”或者“身体往左倾一点”。
- 比喻：就像你骑自行车，身体自动保持平衡（这是“节拍器”的工作），但当你看到前面有石头要转弯时，你的手会微调车把（这是"AI 助手”的工作）。

2. 关键时刻的“变身”：摔倒怎么办？

这是这篇论文最精彩的地方。机器人有两个完全不同的“人格”（神经网络）：

人格 A：足球运动员（BSKN）
当机器人站得稳稳的，它就激活这个人格。它的眼睛盯着球，计算怎么跑过去，怎么把球踢进网里。
人格 B：摔跤教练（FRN）
一旦机器人发现“哎呀，我要倒了”或者“我已经趴在地上了”，它会瞬间切换到“摔跤教练”模式。
- 切换机制：这就好比机器人身上有个自动感应开关。只要检测到身体倾斜超过一定角度，或者高度太低，它立刻关掉“足球模式”，启动“爬起来模式”。
- 为什么这么做？ 如果让机器人一边想着“怎么踢球”，一边想着“怎么爬起来”，它的大脑会打架，导致动作僵硬甚至彻底失败。分开来，专事专办，效率最高。

3. 怎么教机器人“爬起来”？（循序渐进的“特训”）

教机器人从摔倒中站起来很难，如果一开始就让它完全靠自己，它可能永远学不会。作者用了一种叫**“课程学习”（Curriculum Learning）**的方法：

第一阶段（扶着走）：刚开始训练时，机器人摔倒了，系统会像大人扶孩子一样，给它施加很大的外力帮它站起来。
第二阶段（慢慢放手）：随着机器人越来越熟练，系统施加的“外力”越来越小。
第三阶段（完全独立）：最后，机器人完全靠自己的力量，在0.715 秒（不到 1 秒！）内就能从摔倒状态弹起来，继续踢球。

这就像教小孩学游泳：先给浮板，再撤掉浮板，最后让他自己游。

4. 实际效果：像个真正的球员

作者在电脑模拟的足球场上（Unity 软件）测试了这个系统：

墙角救球：即使球被踢到了最角落的死角，机器人也能灵活地调整身体，把球踢出来。这证明了它的空间适应能力很强。
摔倒即起：在激烈的对抗中，机器人被踢倒了，它能迅速自己站起来，继续比赛，中间几乎没有停顿。
1 对 1 比赛：在模拟的 1 对 1 比赛中，机器人能流畅地完成“追球 -> 带球 -> 摔倒 -> 爬起 -> 射门”这一整套动作，就像个真正的球员。

总结

这篇论文的核心思想就是：不要试图让机器人一次性学会所有复杂的动作。

通过**“自动节拍器 + 智能微调”来保证走路稳，通过“自动切换人格”来区分“踢球”和“爬起来”，再通过“循序渐进的特训”**教会它快速自救。这套方法让双足机器人从“笨拙的学步者”变成了“灵活的足球小将”，为未来让机器人在复杂环境中真正干活（比如救援、搬运）打下了坚实的基础。

简单来说，他们给机器人装了一个**“分心但专注”的大脑**：平时专心踢球，摔倒时专心爬起，互不干扰，配合得天衣无缝。

论文技术总结：基于强化学习的双足足球机器人自适应多任务控制

1. 研究背景与问题 (Problem)

在动态对抗环境中开发双足足球机器人面临三大核心挑战：

运动稳定性与多任务耦合：底层运动稳定性（如行走）与高层任务目标（如寻球、踢球）之间存在深度耦合，导致奖励函数设计复杂，难以同时优化。
状态切换困难：机器人在直立行走、寻球、跌倒恢复等不同状态间切换时，容易出现特征空间干扰，导致控制策略失效或动作不连贯。
跌倒恢复效率：双足机器人跌倒后的自主恢复是难点，传统方法难以在保证稳定性的同时实现快速恢复。

2. 方法论 (Methodology)

本文提出了一种模块化强化学习（RL）框架，旨在实现双足机器人的自适应多任务控制。主要技术路线包括：

2.1 混合前馈 - 反馈控制架构

为了解决纯强化学习训练步态收敛慢、探索空间大的问题，采用了开环前馈振荡器 + 强化学习反馈残差的策略：

开环振荡器 (Open-loop Oscillator)：基于中枢模式发生器（CPG）机制，独立生成基础的周期性步态（摆动相和支撑相），确保基础行走的韵律。
残差策略 (Residual Policy)：RL 网络输出残差动作，叠加在基础步态上，用于处理复杂的平衡补偿、转向和踢球等高层任务。
相位编码：将时间变量编码为正弦/余弦向量输入状态空间，确保 RL 策略与振荡器同步。

2.2 基于姿态感知的双网络动态切换机制

为解决跌倒恢复与寻球/踢球任务之间的冲突，设计了一个姿态驱动的状态机：

状态判定：实时监测躯干倾斜角（ $\theta_{tilt}$ ）和躯干高度（ $h_{torso}$ ）。若倾斜角超过 25°或高度低于安全阈值，判定为跌倒状态。
双网络架构：
- 跌倒恢复网络 (FRN)：在跌倒状态下激活。仅输入本体感知特征（姿态、关节状态），屏蔽外部环境信息（如球的位置），专注于快速恢复直立。
- 寻球与踢球网络 (BSKN)：在站立状态下激活。融合本体感知与外部感知（球、球门位置），输出目标驱动的残差动作以完成寻球、转身和踢球。
平滑切换：引入 3 帧连续判断缓冲和关节动作插值，防止状态切换时的抖动和平衡丢失。

2.3 课程学习策略 (Curriculum Learning)

针对跌倒恢复网络（FRN）的训练，采用了渐进式力衰减策略：

初始阶段给予机器人较大的外部辅助力帮助其站立。
随着训练进程，逐步减少辅助力，迫使机器人学习自主恢复。
这种策略有效降低了学习难度，避免了训练初期的失败风险，加速了收敛。

2.4 奖励函数设计

FRN 奖励：包含直立奖励（最大化躯干垂直向量点积）和动作惩罚（跌倒时强惩罚，站立后按动作幅度线性惩罚），鼓励快速、平滑、节能的恢复。
BSKN 奖励：包含前进奖励、接近目标奖励、姿态稳定性惩罚（抑制过大俯仰/翻滚角）和能量效率惩罚，平衡了任务完成度与运动稳定性。

3. 关键贡献 (Key Contributions)

解耦控制范式：成功将基础步态生成（开环振荡器）与复杂任务执行（RL 残差策略）解耦，显著提升了多任务控制的稳定性和训练效率。
无干扰状态切换：提出基于姿态感知的双网络动态切换机制，从根本上防止了跌倒恢复与运动任务之间的特征干扰，实现了无缝切换。
高效课程学习：通过渐进式力衰减策略，高效训练了双足机器人的自主跌倒恢复能力，解决了传统方法中恢复训练难收敛的问题。
模块化框架验证：在 Unity 仿真环境中验证了该框架在复杂对抗场景下的有效性，为双足机器人多任务控制提供了可复现的开源方案。

4. 实验结果 (Results)

在 Unity 仿真的 Gewu Playground 平台上，使用 NanoLoong-Bipedal (Tinker) 机器人进行了验证：

跌倒恢复性能：
- 平均恢复时间为 0.715 秒。
- 恢复时间分布集中在 0.5 至 1.0 秒之间，表现出极高的稳定性和鲁棒性。
- 在 24 个并行实例测试中，机器人能可靠地从跌倒状态自主恢复并继续任务。
空间适应性：
- 在受限的角落场景中，机器人能够稳定寻球、调整姿态并准确射门，证明了其在复杂空间约束下的适应能力。
1v1 对抗表现：
- 在模拟的 1v1 足球比赛中，机器人实现了流畅的运球、跌倒后的快速恢复以及恢复后的任务无缝衔接。
- 状态切换平滑，无关节抖动，验证了双网络切换机制的有效性。

5. 意义与展望 (Significance)

理论意义：该研究为具身智能（Embodied Intelligence）在多任务、高动态环境下的控制提供了一套高效的解耦范式，证明了“开环基础 + 闭环残差”结合“状态机切换”策略在双足机器人领域的优越性。
应用价值：解决了双足机器人在实际比赛中“跌倒即死”或“恢复缓慢”的痛点，显著提升了机器人的生存能力和任务连续性。
未来工作：计划通过 Sim-to-Real（仿真到现实）迁移将策略部署到物理硬件上，并进一步集成视觉感知以实现多智能体协同策略。

总结：本文通过创新的模块化强化学习框架，成功解决了双足足球机器人在动态对抗中运动稳定性差、多任务耦合严重及状态切换困难的问题，实现了快速自主跌倒恢复和复杂场景下的稳定多任务执行，为双足机器人的实战应用奠定了坚实基础。