🤖 AI

Curriculum-based Sample Efficient Reinforcement Learning for Robust Stabilization of a Quadrotor

本文提出了一种新颖的基于课程学习的强化学习方法，通过将四旋翼无人机从随机初始状态到稳定悬停及姿态跟踪的任务分解为三个渐进阶段，显著提升了样本效率并降低了计算成本，实现了比传统单阶段训练更优越的鲁棒稳定控制性能。

原作者： Fausto Mauricio Lagos Suarez, Akshit Saradagi, Vidya Sumathy, Shruti Kotpaliwar, George Nikolakopoulos

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Fausto Mauricio Lagos Suarez, Akshit Saradagi, Vidya Sumathy, Shruti Kotpaliwar, George Nikolakopoulos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让无人机（四旋翼飞行器）学会“站稳脚跟”的新方法。简单来说，研究人员发现，如果直接让无人机在复杂的随机环境中“硬着头皮”学习，它需要花费巨大的算力和时间，甚至可能永远学不会。

为了解决这个问题，他们发明了一种叫"课程学习"（Curriculum Learning）的方法。

为了让你更容易理解，我们可以把训练无人机想象成教一个刚出生的婴儿学走路，或者教一个新手司机考驾照。

1. 核心问题：为什么直接学很难？

想象一下，如果你直接把一个完全不会走路的孩子扔进满是障碍、地面湿滑、还有大风乱吹的广场上，让他直接走到对面的终点。

结果：孩子会摔得鼻青脸肿，根本不知道第一步该怎么迈，可能需要摔上几百万次才能偶然学会，而且效率极低。
在论文里：这就是传统的“单阶段训练”。研究人员尝试过直接让无人机在随机位置、随机角度、甚至带着随机速度的情况下学习悬停，结果跑了上亿次模拟（相当于摔了几百万次），花了 23 个多小时，无人机还是学不会，或者学得很慢。

2. 解决方案：循序渐进的“三步走”课程

研究人员借鉴了人类学习的智慧，设计了一个三阶段课程，就像教孩子走路一样，分步进行：

第一阶段：学“站”（原地悬停）
- 场景：把无人机放在一个固定的、平坦的起点，目标就是让它稳稳地停在半空。
- 比喻：就像教婴儿先学会在平坦的床上保持平衡，或者让新手司机先在空地上练习原地踩油门和刹车。
- 目的：让无人机先掌握最基本的“四个马达怎么配合才能飞起来”。
第二阶段：学“走”（应对位置和角度变化）
- 场景：现在把起点变难了。无人机可能被扔在离目标几米远的地方，或者歪着身子（侧翻、前倾）。
- 比喻：就像孩子学会了站立，现在教他在稍微有点坡度的地方走路，或者教司机在稍微有点弯道的路上起步。
- 目的：让无人机学会“身体倾斜”和“向前移动”之间的关系（这是无人机最难懂的部分，因为它不能像汽车那样直接推轮子，必须倾斜身体才能移动）。
第三阶段：学“跑”（应对随机速度和干扰）
- 场景：这是最终挑战。无人机不仅位置、角度是随机的，而且它一开始可能还在乱飞（有随机的向前冲、向后冲、或者旋转的速度）。
- 比喻：就像让孩子在跑步机上，或者在有人推他一把的情况下，还要稳稳地走到终点。或者教司机在车子被猛推一下后，还能迅速稳住并开回车道。
- 目的：训练无人机在极度混乱的情况下，也能迅速修正错误，稳稳地停在目标点。

3. 为什么这个方法很厉害？（奖励机制）

在这个学习过程中，研究人员设计了一套非常聪明的“奖惩制度”（奖励函数）：

做对了给糖：离目标越近、飞得越稳，奖励越多。
做错了扣分：如果飞得太远、歪得太厉害，或者动作太剧烈，就扣分。
特别之处：他们不仅要求“停得准”，还要求“停得快”（比如 5 秒内停稳）且“不晃悠”。这就像教练不仅要求你停车入位，还要求你必须在 5 秒内完成，且不能压线。

4. 惊人的效果

通过这种“循序渐进”的方法，效果立竿见影：

效率翻倍：原本需要跑上亿次、花 23 小时都学不会的任务，现在只需要跑 4000 多万次，花 11 个小时就学会了。
更聪明：学出来的无人机非常强壮。研究人员在测试中，把无人机从各种奇怪的地方（甚至带着很大的初速度）扔出去，它都能像有魔法一样，迅速调整姿态，稳稳地飞到目标点，误差极小（位置误差不到 2.5 厘米，方向误差不到 2 度）。
应用场景：这种技术非常适合空中巡检。想象一下，无人机需要飞到一座桥下、一栋大楼的侧面去检查裂缝。它不需要飞得完美无缺，但必须能在各种突发状况下（比如一阵风把它吹歪了）迅速稳住，并精准地停在检查点拍照。

总结

这篇论文的核心思想就是：不要试图一口吃成个胖子。

通过把复杂的任务拆解成“先学站、再学走、最后学跑”的三个阶段，并让无人机把前一阶段学到的经验带到下一阶段，研究人员成功训练出了一个既聪明又强壮的无人机控制程序。这不仅大大节省了电脑算力和时间，还让无人机在真实世界中应对复杂情况的能力大大增强。

这就好比一个优秀的教练，不会一开始就让学生跑马拉松，而是先练体能，再练短跑，最后才去跑马拉松，最终培养出了奥运冠军。

论文技术总结：基于课程学习的样本高效强化学习用于四旋翼飞行器的鲁棒稳定控制

1. 研究背景与问题定义 (Problem)

核心挑战：
强化学习（RL）在四旋翼飞行器（Quadrotor）的自主控制（如路径规划、导航）中展现出巨大潜力，特别是在处理非线性动力学和复杂气流交互方面。然而，传统的**单阶段端到端（One-stage end-to-end）**RL 训练方法存在显著缺陷：

样本效率低：需要数百万甚至数亿的时间步（samples）才能收敛。
计算成本高：训练耗时极长，且需要大量计算资源。
难以满足特定性能指标：在随机初始条件（包括非零线速度和角速度）下，难以同时满足严格的瞬态响应（如调节时间）和稳态精度要求。

具体任务目标：
本文旨在训练一个端到端的 RL 策略，直接通过控制四个电机的转速（RPM）来实现四旋翼的鲁棒稳定。

输入：随机初始状态（位置、姿态、线速度、角速度）。
输出：四个电机的 RPM 控制指令。
性能指标：
1. 调节时间（Settling time）< 5 秒。
2. 位置稳态误差 < 2.5 cm。
3. 偏航角（Yaw）跟踪误差 < 2°。
4. 适应随机初始线速度（[-1, 1] m/s）和角速度（[-1, 1] rad/s）。

2. 方法论 (Methodology)

本文提出了一种**基于生物启发的三阶段课程学习（Curriculum Learning, CL）**框架，旨在通过逐步增加任务复杂度并迁移知识，显著提高样本效率。

2.1 课程学习设计 (Three-Stage Curriculum)

课程将复杂的稳定任务分解为三个循序渐进的子任务（ $\Omega_1, \Omega_2, \Omega_3$ ），利用四旋翼欠驱动特性及自由度耦合关系进行设计：

阶段一 ( $\Omega_1$ )：定点悬停学习
- 任务：从固定初始位置 $(0,0,0)$ 起飞并稳定在目标位置 $(0,0,1)$ 。
- 目的：让策略学习基本的电机 RPM 平衡控制（四个电机使用相同 RPM 值），建立基础悬停能力。
阶段二 ( $\Omega_2$ )：位置与姿态耦合学习
- 任务：从随机初始位置（半径 2m 圆柱体内）和随机姿态（Roll/Pitch: $\pm15^\circ$ , Yaw: $\pm180^\circ$ ）出发，稳定至目标位置且偏航角为 $0^\circ$ 。
- 目的：学习平移自由度（ $x, y$ ）与旋转自由度（Roll $\phi$ , Pitch $\theta$ ）之间的耦合关系。
阶段三 ( $\Omega_3$ )：鲁棒稳定（最终目标）
- 任务：在阶段二的基础上，引入随机初始线速度（ $[-1, 1]$ m/s）和角速度（ $[-1, 1]$ rad/s）。
- 目的：训练策略在存在初始动量干扰的情况下，修正偏差并稳定至目标状态。

2.2 强化学习设置

算法：近端策略优化（PPO）。
环境：Gym-PyBullet-Drones（基于 PyBullet 物理引擎的 Crazyflie 2.1 仿真）。
状态空间 (12 维)：位置 $(x,y,z)$ 、欧拉角 $(\phi, \theta, \psi)$ 、线速度 $(\dot{x}, \dot{y}, \dot{z})$ 、角速度 $(\dot{\phi}, \dot{\theta}, \dot{\psi})$ 。
动作空间：4 个电机的转速（RPM）。
奖励函数设计：设计了一个加性奖励函数，包含四个部分以平衡探索、稳定性和精度：
$R(t) = 25 - 20T_e - 100E + 20S - 18w_e$
- $T_e$ (目标奖励)：惩罚当前位置与目标位置/偏航角的距离。
- $E$ (探索奖励)：限制探索空间为圆柱体，超出范围给予惩罚，防止无效探索。
- $S$ (稳定性奖励)：当位置误差和姿态角平方和在容差范围内时给予正奖励，否则惩罚姿态偏差。
- $w_e$ (导航奖励)：惩罚角速度的剧烈变化，确保平滑过渡。
截断条件： episode 长度设为 5 秒；若姿态角超过 $\pm15^\circ$ 或超出圆柱体探索范围，则提前终止。

3. 主要贡献 (Key Contributions)

新颖的三阶段课程学习框架：
- 不同于以往通过调整奖励函数权重来构建课程的方法，本文通过逐步扩展四旋翼初始状态的分布域（从固定点 $\to$ 随机位置/姿态 $\to$ 随机速度）来构建课程。
- 充分利用了四旋翼的欠驱动特性和自由度耦合，实现了知识的正向迁移。
面向实际应用的奖励函数与截断机制：
- 设计了包含瞬态性能（调节时间）和稳态精度要求的奖励函数，直接服务于空中巡检等应用场景。
- 引入 episode 截断条件，在保证探索能力的同时显著降低了训练时间。
显著的样本效率提升：
- 证明了在相同的奖励函数和超参数下，CL 方法能成功收敛，而单阶段训练即使经过 1 亿时间步（>23 小时）仍无法完成任务。

4. 实验结果 (Results)

4.1 训练效率对比

单阶段训练：运行 100 百万时间步（约 23.4 小时），累积奖励（ECR）始终处于低位，未能达成稳定控制目标。
课程学习 (CL)：
- 总时间步：41.5 百万。
- 总耗时：11 小时。
- 效率提升：相比单阶段训练，样本效率提升了约 2.4 倍，训练时间缩短了约 53%。
- 在 $\Omega_1$ 阶段快速收敛，并在后续阶段有效利用了迁移知识，尽管任务难度增加导致奖励值下降，但策略性能稳步提升。

4.2 鲁棒性验证

随机初始条件测试：在 30 次测试中，初始位置、姿态、线速度和角速度均随机化（覆盖三个不同区域）。
- 成功率：100% 成功稳定至目标状态 $(0,0,1,0,0,0)$ 。
- 性能：绝大多数情况下在 5 秒内完成稳定，且姿态平滑。
- 极端情况：在 5 次初始速度极大或姿态极端的测试中，无人机表现出较大的瞬态响应（甚至接近地面），但最终仍能修正并稳定，证明了极强的鲁棒性。
巡检场景测试：
- 模拟空中巡检任务，要求无人机按顺序访问多个检查点并调整偏航角。
- 结果：在偏航角参考值 $[-25^\circ, 25^\circ]$ 范围内，策略能准确跟踪，满足调节时间<5s、位置误差<2.5cm、偏航误差<2°的指标。

4.3 控制输出

电机 RPM 在稳态时收敛至悬停所需的平衡值，表明策略学会了精确的力矩分配。

5. 意义与未来展望 (Significance & Future Work)

意义：

本文解决了 RL 在四旋翼控制中“样本效率低”和“训练时间长”的核心痛点。
证明了课程学习是解决复杂欠驱动系统控制问题的有效途径，特别是当系统需要从随机初始状态（包括速度干扰）中恢复时。
提出的方法无需复杂的模型知识（Model-free），即可满足严格的工程性能指标，为实际部署奠定了基础。

未来方向：

自动化课程设置：研究自动调整课程难度和转移策略的方法。
Sim2Real 迁移：将仿真中训练好的策略部署到真实的 Crazyflie 无人机上，解决仿真与现实的差距（Sim2Real Gap）。

总结：该论文通过引入结构化的三阶段课程学习，成功训练出了一个能够应对复杂随机初始条件、满足严格性能指标的四旋翼鲁棒稳定控制器。相比传统单阶段训练，该方法在样本效率和收敛速度上取得了突破性进展，为基于 RL 的无人机自主控制提供了新的范式。