💻 computer science

Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles

本文提出了一种基于视觉的课程强化学习框架，通过结合多阶段课程学习、域随机化和多场景更新策略，成功训练出能够在充满随机障碍物的复杂环境中实现高速飞行且具有高鲁棒性的四旋翼无人机端到端控制策略。

原作者： Fangyu Sun, Fanxing Li, Yu Hu, Linzuo Zhang, Yueqian Liu, Wenxian Yu, Danping Zou

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Fangyu Sun, Fanxing Li, Yu Hu, Linzuo Zhang, Yueqian Liu, Wenxian Yu, Danping Zou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让无人机像“职业赛车手”一样，在充满随机障碍物的复杂环境中高速飞行的故事。

想象一下，你让一个新手赛车手去跑 F1 赛道。如果赛道是空的，他很快就能学会。但如果赛道上突然到处都插满了路障，而且每次训练时路障的位置都不一样，这个新手大概率会撞得稀巴烂，根本跑不起来。

以前的研究大多只教无人机在“空荡荡”的赛道上飞，或者在固定的障碍物前飞。一旦遇到没见过的乱糟糟的环境，它们就“傻眼”了。

这篇论文的作者（来自上海交通大学等机构）提出了一套**“循序渐进 + 随机训练”**的独门秘籍，让无人机学会了在乱石堆里高速穿梭。

核心概念：三个“绝招”

为了教会无人机这项高难度技能，作者用了三个核心策略，我们可以用**“驾校练车”**来打比方：

1. 循序渐进的“教练课程” (Curriculum Learning)

以前的做法：直接把新手扔进满是障碍物的赛道，让他自己摸索。结果就是：要么撞墙，要么根本不敢飞。
这篇论文的做法：像教小孩学走路一样，分三步走：
- 第一阶段（平地走）：先在没有障碍物的赛道上，让无人机慢慢飞，熟悉怎么穿过门（Gate）。
- 第二阶段（加路障）：在赛道上随机放几个路障，让无人机在慢速下学习怎么绕开它们。
- 第三阶段（高速冲刺）：把障碍物变多、变密，并且要求无人机全速冲刺。
- 比喻：就像驾校教练，先让你开直路，再让你开有锥桶的绕桩，最后才让你上高速。这样无人机就不会“吓破胆”了。

2. “随机生成器”与“多场景特训” (Domain Randomization & Multi-scene Updating)

痛点：如果在模拟器里只练同一种路障排列，无人机就会“死记硬背”，换个地方就不会飞了（就像背熟了答案但不会做题）。
解决方法：
- 随机生成器：每次训练，电脑都会像“掷骰子”一样，随机生成路障的数量、位置和形状。确保无人机没见过完全一样的场景。
- 多场景特训：想象一下，不是让一个学生练一道题，而是让 100 个学生同时练 10 种不同的题目，然后大家交换经验。这种方法让无人机学得更快、更灵活。
- 比喻：这就像让无人机在“万花筒”里训练，不管路障怎么变，它都能迅速反应过来。

3. 聪明的“奖惩机制” (Reward Design)

最大的矛盾：无人机有两个任务：
1. 穿过门（要直着冲，速度要快）。
2. 避开障碍物（要绕着走，甚至要急转弯）。
- 这就好比你要一边“直线冲刺”一边“躲避飞来的砖头”，这两个目标其实是打架的。如果只奖励“避开砖头”，无人机可能为了安全，直接绕着门飞，根本不去穿门。
作者的解法：设计了一套精妙的“积分系统”。
- 穿门成功给大奖。
- 撞墙了扣大分。
- 最关键的是，给“避开障碍物”也设计了专门的分数，并且告诉无人机：“穿门的时候也要看路”。
- 比喻：就像游戏里的任务，既要“吃金币”（穿门），又要“不被怪物打”（避障）。系统告诉无人机：只有既穿过了门又没撞墙，才是满分。

实验结果：真的行吗？

作者不仅是在电脑里模拟，还真的造了真飞机去飞：

硬件：无人机上装了一个像“眼睛”一样的深度相机（Intel D435i）和一个像“大脑”一样的树莓派电脑。
速度：在充满障碍物的真实赛道上，无人机能飞得最快达到 8 米/秒（约 28.8 公里/小时），这非常快！
成功率：在三种不同形状的赛道（S 形、3D 圆形、J 形）上，成功率达到了 100%。
对比：以前的方法在同样环境下，成功率只有 30%-40%，而且飞得慢。

总结

这篇论文的核心思想就是：不要试图一步登天，要像教孩子一样，分阶段、多变化地训练，并给它们一套聪明的“游戏规则”。

通过这套方法，无人机不再是只会走直线的“笨蛋”，而是变成了能在复杂环境中灵活穿梭、甚至能做出急转弯躲避障碍的“特技飞行员”。这为未来无人机在真实世界（比如灾难救援、快递配送）中自动飞行打下了坚实的基础。

一句话总结：作者用“分阶段教学”和“随机变题”的方法，教会了无人机在乱石堆里像 F1 赛车手一样高速、安全地穿门而过。

论文技术总结：基于课程强化学习的随机障碍四旋翼无人机竞速

1. 研究背景与问题定义 (Problem)

背景：自主无人机竞速（Drone Racing）是探索敏捷飞行极限的重要研究领域。然而，现有的研究主要集中在无障碍赛道上。
核心挑战：

感知与动态挑战：在充满随机障碍物的复杂环境中，无人机需要在高速飞行的同时避开障碍物并穿过门框（Gates）。
目标冲突：这是一个内在冲突的任务。障碍物规避通常要求保守的机动以远离物体，而穿过门框（本身也被感知为障碍物）则要求激进的、精确的飞行，往往需要贴近门框中心。
现有局限：传统的路径规划方法依赖精细的算法设计且难以处理模型失配；现有的基于学习的方法（RL/IL）在模拟到现实（Sim-to-Real）的迁移中成功率低，且难以泛化到未见过的障碍物配置。

2. 方法论 (Methodology)

作者提出了一种基于视觉的课程强化学习（Curriculum Reinforcement Learning, CRL）框架，旨在训练一个端到端的控制器，使其能够在未见过的杂乱环境中进行高速飞行。

2.1 核心架构

端到端控制策略：采用单一神经网络，直接将从机载深度相机获取的视觉输入（深度图）和状态信息映射到控制指令（集体推力和机体角速度，CTBR）。
网络结构：轻量级设计，仅包含简单的 CNN（处理深度图）、MLP（处理状态）和 GRU（捕捉时间依赖性），支持在树莓派（Raspberry Pi）上进行实时机载推理。

2.2 关键技术创新

多阶段课程学习 (Multi-stage Curriculum Learning)：
- Level 1：在无障礙场景下，以较低速度训练，让智能体学会基本的赛道穿越。
- Level 2：引入随机障碍物，保持低目标速度，训练避障能力。
- Level 3：移除速度惩罚，增加障碍物密度并提高目标速度，训练在极限速度下的避障与穿越能力。
- 作用：解决直接训练导致的局部最优问题，引导智能体逐步掌握复杂技能。
多场景更新策略 (Multi-scene Updating)：
- 不同于传统 RL 中所有智能体同步更新到同一场景，该方法根据课程难度动态调整并行训练的场景数量。
- 作用：平衡了早期探索（Exploration）和后期利用（Exploitation），防止策略过拟合特定场景，显著提升训练效率和泛化能力。
冲突解决的奖励函数设计 (Reward Design)：
- 设计了一个复合奖励函数，包含进度奖励、角度对齐奖励、动作平滑惩罚、速度惩罚、连续避障奖励、门框通过奖励和碰撞惩罚。
- 关键点：特别设计了连续避障奖励（ $r_{avoid}$ ）来解决“避障”与“穿门”的冲突，防止智能体为了避障而绕开所有门框，同时允许在高速飞行中进行大角度偏航机动以感知障碍物。
域随机化 (Domain Randomization)：
- 包括随机障碍物生成器（确保路径存在且安全距离）和随机初始化策略（随机起点、门框位置扰动），以缩小 Sim-to-Real 差距。

3. 实验结果 (Results)

实验在仿真环境、硬件在环（HITL）以及真实世界飞行中进行了验证。

仿真性能：
- 在三种不同赛道（S 形、3D 圆形、J 形）上，该方法实现了 100% 的成功率 (SR)。
- 相比现有的视觉基线方法（SR 仅 30-40%）和纯状态基线方法，成功率平均提升了 63%-73%。
- 圈速（Lap Time）表现优异，在复杂赛道上显著优于基线。
硬件在环 (HITL) 与真实世界飞行：
- 零样本迁移 (Zero-shot Transfer)：无需在真实世界重新训练，直接部署。
- 速度：在 HITL 中达到 10 m/s，在真实世界飞行中达到 8 m/s。
- 成功率：在三种真实赛道及不同障碍物配置下，均保持 100% 成功率。
- 硬件：成功在树莓派 + Intel D435i 深度相机上实现 30Hz 的实时控制。
消融实验：
- 移除多阶段课程学习导致策略完全失败（0% 成功率）。
- 移除避障奖励导致成功率大幅下降至 36.7%。
- 移除 GRU 模块导致收敛变慢且成功率降低。

4. 主要贡献 (Key Contributions)

系统化的课程学习策略：提出了一种从简单到复杂的渐进式训练方法，解决了先前方法泛化能力差的问题，使智能体能够适应未见过的杂乱环境。
高效的多场景训练范式：引入多场景更新机制，不仅提高了训练效率，还增强了策略在不同障碍物配置下的泛化一致性。
解决目标冲突的奖励设计：设计了有效的奖励函数，平衡了障碍物规避与门框穿越的矛盾，使无人机能在保持高速的同时进行大角度感知机动。
实机验证：实现了从仿真到真实世界的零样本迁移，在真实硬件上验证了高速（8m/s）、高成功率（100%）的自主竞速能力。

5. 意义与局限性 (Significance & Limitations)

意义：

该工作显著推进了无人机在富含障碍物环境中的自主竞速能力，解决了“避障”与“竞速”这一长期存在的矛盾。
证明了轻量级端到端视觉策略在资源受限的机载计算机上实现高性能飞行的可行性。
为复杂动态环境下的敏捷飞行控制提供了新的范式，特别是在 Sim-to-Real 迁移方面取得了突破。

局限性：

当前方法主要适应随机障碍物，但无法泛化到完全未见过的赛道布局（即赛道拓扑结构改变时）。
受限于 RL 固有的探索效率和样本效率问题，未来需要结合可微分物理学习等方法来进一步提升对全新赛道布局的泛化能力。

总结：这篇论文通过创新的课程强化学习框架，成功解决了无人机在随机障碍物环境中高速竞速的难题，实现了从仿真到真实世界的高性能零样本迁移，是自主无人机敏捷飞行领域的一项重要进展。