💻 computer science

Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning

本文提出了一种视觉引导的强化学习框架，该框架通过包含监督学习与课程微调的两阶段训练过程，使四旋翼飞行器能够在未知且无全球导航卫星系统信号的室外环境中自主导航并规避障碍物，从而实现了成功的零样本仿真到现实迁移。

原作者： Shiladitya Dutta, Aayush Gupta, Varun Saran, Avideh Zakhor

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Shiladitya Dutta, Aayush Gupta, Varun Saran, Avideh Zakhor

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一架遥控无人机。通常，你需要手持控制器，盯着屏幕，并不断操纵它以避免撞向树木、建筑物或其他障碍物。如果信号丢失或电池耗尽，无人机就会停止。本文提出了一种方法，教无人机仅凭自身的“眼睛”和“大脑”，在没有人类飞行员的情况下，穿越混乱且未知的森林或城市。

以下是他们如何做到的简明解释：

问题：“飞行员”瓶颈

如今的大多数无人机就像永不睡觉的司机驾驶的汽车。它们擅长快速移动和急转弯，但无法在棘手的地方（如茂密的森林树冠下或战区）独自飞行，因为它们需要人类不断指示去向。这项研究的目标是制造一种无人机，能够观察世界、识别障碍物位置，并完全自主地飞往目的地。

解决方案：双部分“大脑”

研究人员为无人机构建了一个“大脑”，分为两个主要部分，类似于人类学习驾驶的过程：

眼睛（自动编码器）：无人机使用立体相机（像人眼一样的双镜头）来感知深度。然而，原始视频数据量太大，小型计算机无法快速处理。因此，他们首先训练了一个特殊的 AI 充当“摘要器”。它观察世界的复杂三维视图，并将其压缩为一种简单的、低级的空间“感觉”。这就像将高清电影转化为捕捉房间精髓的快速草图。
飞行员（LSTM 网络）：一旦无人机拥有了这个世界的“草图”，它就会将其传递给大脑的第二个部分，称为 LSTM（长短期记忆网络）。这是一种擅长随时间记忆信息的 AI。它查看草图，记住一秒钟前所在的位置，然后决定：“好的，我需要左转并加速。”它会输出简单的指令，如“以此速度前进”或“稍微转向”，无人机内置的软件可以立即执行这些指令。

训练：从电子游戏到现实

你不能通过让一架真实的无人机撞毁一千次来教它飞行，那样它会坏掉。因此，研究人员首先在电子游戏模拟中训练无人机。

第一阶段：导师（特权学习）：想象一名学员飞行员在学习飞行。起初，他们有一位超级导师，知道穿越森林的完美路径。AI 无人机观察这条“完美路径”，并因保持接近而获得奖励。这就像辅助轮；无人机学习不撞东西和朝向目标移动的基本规则。
第二阶段： solo 飞行（课程学习）：一旦无人机掌握了基础知识，导师就消失了。无人机被扔进一个更困难、更复杂的游戏关卡，其中包含随机障碍物。现在，它必须自己找出路径。研究人员逐渐增加游戏难度（增加更多墙壁、更急的转弯），以教导无人机如何适应新情况。

魔法技巧：弥合差距（从模拟到现实）

机器人技术中最大的挑战是，在电子游戏中有效的方法在现实世界中往往会失败。在游戏中，物理规则是完美的。而在现实中，有风，相机画面模糊，无人机可能比预期更重或更轻。

为了解决这个问题，研究人员使用了一种称为域随机化的技术。

类比：想象训练一名足球运动员。如果你只在完美干燥的草地上练习，当下雨或场地泥泞时，他们可能会失败。相反，这支团队在“混沌模拟器”中训练他们的无人机。他们随机改变风速，在相机图像中添加静态噪声，使无人机变重或变轻，甚至模拟传感器故障。
结果：通过在这种混乱、不可预测的环境中训练，无人机学会了变得“坚韧”。当它最终在户外飞行时，它不在乎风是否吹拂或相机是否有点模糊。它在模拟中已经见识过“更糟”的情况。

现实世界测试

他们在户外场地的一架真实、重型无人机（DJI M300，比他们模拟的微型无人机重约 10 倍）上测试了该系统。

设置：他们在庭院和开阔场地设置了柱子和墙壁等障碍物。
条件：风很大，光线复杂，无人机必须在没有 GPS 的情况下（仅使用相机和内部传感器）进行导航。
结果：在他们的测试中，无人机成功飞越这些未知环境，躲避障碍物，并100% 到达目标。它的飞行速度约为每秒 2.6 米（约每小时 6 英里），相当于轻快的步行速度。

为什么这很重要

该论文声称，这种方法之所以特殊，是因为无人机不需要针对他们使用的特定重型无人机进行重新调整。他们在游戏中用微型轻型无人机进行了训练，结果在巨大的真实世界重型无人机上完美运行。这表明，如果你教无人机使用“速度指令”（告诉它走多快）而不是复杂的物理原理来飞行，它可以适应几乎任何无人机，无论大小，而无需为每一架无人机编写新手册。

简而言之，他们教会了一架无人机成为一个勇敢、自立的探索者，能够在混乱、未知的世界中生存，方法是先在混乱的电子游戏中学习，然后将这种坚韧带到现实世界。

技术摘要：基于强化学习的视觉引导户外飞行与避障

问题陈述

尽管四旋翼飞行器具有高机动性，但其在 GNSS 和遥测信号受限环境（如林下、地下、战区）中的应用目前仍受限于对连续人工操控或预设路径的依赖。传统的自主导航通常将任务分解为独立的感知、规划与控制单元，这可能导致状态估计中的误差累积和传感器噪声问题。此外，现有的基于学习的方法往往生成与特定飞行器动力学绑定的策略，或需要模型预测控制器（MPC），而这些控制器无法通过标准速度指令 API 直接部署在现成的商用无人机上。本文解决的核心挑战是：仅使用机载传感器（立体视觉和视觉惯性里程计 VIO）及通用速度指令接口，在未知且障碍物丰富的户外环境中实现鲁棒的、零样本（zero-shot）的自主导航，且无需针对特定平台进行调优。

方法论

作者提出了一种模块化、端到端的传感器 - 运动策略，通过两阶段的强化学习（RL）与特权学习（Privileged Learning）范式进行训练。系统架构与训练流程如下：

1. 系统架构

感知头（Perception Head）： 一个预训练的去噪自编码器将高维立体深度图像（ $192 \times 108$ ）映射到低维潜在空间（ $R^{128}$ ）。该编码器在注入高斯噪声的 DIML 数据集上进行训练，以确保对立体深度噪声和多变环境的鲁棒性。
规划与控制： 长短期记忆（LSTM）网络处理拼接后的潜在深度特征与状态向量（相对目标位置、滚转/俯仰/偏航角速度、航向误差）。LSTM 直接输出与商用无人机 API（如大疆）兼容的速度指令（ $v_x, v_z, \omega$ ）。
状态空间： 包含相对目标位置、角速度、航向差以及展平的深度图像。
动作空间： 水平速度、垂直速度和偏航角速度，按无人机的最大能力进行缩放。

2. 训练流程

该策略在 Flightmare 仿真器中通过近端策略优化（PPO）算法，分三个阶段进行训练：

阶段 1：最优轨迹生成： 全局运动规划器在随机化环境中生成动力学可行且加加速度（jerk）最小化的轨迹。
阶段 2：特权学习： 策略在简单环境（间隔排列的柱子）中，利用最优轨迹作为监督信号进行训练。奖励函数包含一项与最优轨迹接近度的指标，以引导初始收敛并教授时间高效的飞行行为。
阶段 3：课程微调： 策略在包含三个难度递增区域（柱子、面板、墙壁）的复杂课程环境中进行微调。关键在于，此阶段移除了最优轨迹奖励，以防止策略在多模态环境中过拟合单一路径，从而鼓励鲁棒的泛化能力。

3. 仿真到现实的迁移（Sim-to-Real Bridging）

为确保向真实硬件的迁移，作者采用了以下方法：

域随机化（Domain Randomization）： 随机化无人机质量、惯量和控制延迟；在状态测量中添加高斯噪声；对深度输入添加高斯模糊，以模拟真实世界的传感器退化。
奖励塑形（Reward Shaping）： 对偏航角速度幅值、加速度和加加速度（三阶导数）施加特定惩罚，以抑制高频振荡，确保平滑且机械上合理的飞行剖面，从而在不同无人机动力学间实现泛化。

关键结果

仿真评估

性能： 在仿真障碍赛道中，该策略取得了高成功率（1.0 m/s 时为 99.2%，7.0 m/s 时降至 78%）。
消融实验： 移除针对加加速度、加速度或速度幅值的奖励项会导致 erratic（不稳定）的高频振荡，证实了平滑性惩罚对于稳定控制的必要性。
训练策略： 混合方法（特权学习 + 课程学习）的表现优于仅基于特权学习或仅基于课程学习的策略，实现了最高的稳定成功率和最短的目标到达时间。
鲁棒性： 与基线 MAVRL 相比，当无人机动力学按比例放大（模拟重量增加 10 倍）时，所提方法保持了高成功率，而 MAVRL 的性能迅速下降。所提策略在不同尺度下生成的轨迹加加速度显著更低。

真实世界实验

设置： 实验在 DJI Matrice 300 RTK（6.3 kg，约为仿真中 Kingfisher 无人机的 10 倍重）上进行，配备 Zed2i 立体相机和 Jetson AGX Xavier 计算单元。
环境： 测试在三种户外配置（墙壁、三角形、倒三角形）中进行，包含不同的起点/终点位置，以及包含隐蔽障碍物和减小净空距离的修改环境。
VIO 试验： 仅使用视觉惯性里程计（VIO）进行定位时，系统在 18 次试验中实现了 100% 的成功率。到达目标的平均距离为 2.27 米，这归因于 VIO 漂移（高达 3 米）而非导航失败，因为无人机成功避开了障碍物并到达了目标附近。
GNSS 试验： 当使用 GNSS 进行定位时，系统实现了 100% 的成功率，到达目标的平均距离为 0.81 米，证明了准确的无碰撞导航能力。
速度： 无人机保持了 2.58 m/s 的平均速度，接近 3.0 m/s 的指令最大速度。

意义与主张

本文声称，所提出的系统成功弥合了未知环境中基于视觉的自主飞行的仿真到现实（Sim-to-Real）差距。其主要意义在于展示了零样本迁移能力：迁移至动力学与训练仿真显著不同（重量差异 10 倍）的无人机平台（大疆 M300），并在训练期间从未遇到过的环境中运行。

作者强调，通过使用具有特定奖励塑形和域随机化的强化学习，而非与特定动力学绑定的模仿学习，该策略学会了生成低加加速度、鲁棒的速度指令。这使得系统能够通过标准 API 与现成的商用无人机接口，而无需针对特定平台进行调优。该工作验证了鲁棒的策略可以抽象掉复杂的飞行动力学，从而仅利用机载立体视觉和 VIO 即可在 GNSS 拒止、杂乱的户外环境中实现可靠的导航。