💻 computer science

Synthetic-to-Real Pipeline for Safe Landing Zone Detection

本文提出了一种用于无人机自主降落的从合成到真实的流水线，该流水线利用过程化数据引擎和基于 Transformer 的分割模型，在无需人工标注的情况下生成带注释的训练数据，并在非结构化环境中识别安全降落地带。

原作者： Shrikant Banerjee, Reza Faieghi

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Shrikant Banerjee, Reza Faieghi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一架无人机在它从未去过的城市中安全着陆。这架无人机无法依赖预设的降落垫，也无法依靠人类飞行员的引导。它必须观察地面，判断哪里是安全的（比如平坦的人行道），哪里是危险的（比如移动的汽车或灌木丛），并选出最佳的着陆点。

这个问题在于，教导无人机进行这种操作通常需要向它展示成千上万张真实的图片，并且需要人类手动在每一辆车、每一棵树和每一栋建筑周围画线。这既缓慢又昂贵，而且由于在城市中收集数据进行无人机飞行在法律上受到严格限制，这往往是无法实现的。

本论文提出了一种聪明的变通方法：在视频游戏中教导无人机，然后让它在现实世界中飞行。

以下是他们的系统是如何运作的，分为几个简单的步骤：

1. “视频游戏”教室（合成数据）

研究人员并没有通过飞行真实的无人机来拍摄照片，而是构建了一个超真实的视频游戏引擎（使用名为 Blender 的软件）。

生成器： 他们创建了一个“程序化”城市生成器。把它想象成一个构建城市的“老虎机”。每当你拉动摇杆，它都会随机构建一座具有不同建筑、树木、汽车和道路的新城市。
老师： 因为这座城市是由计算机构建的，所以计算机已经完全知道每个物体的位置。它不需要人类去画线；计算机会自动生成一张“完美的地图”（语义掩码），告诉无人机：“这个像素是道路，那个像素是汽车。”
训练： 为了确保无人机不会仅仅只是死记硬背这个视频游戏，他们把游戏变得很有挑战性。他们随机改变了时间（从日出到日落）、增加了相机模糊效果（类似于手抖造成的模糊）以及改变了光照。这被称为领域随机化（Domain Randomization）。这就像是在一个灯光和噪音不断变化的教室里训练一名学生，以便他们即使在安静、明亮的图书馆参加考试也能应对自如。

2. “超级大脑”（AI 模型）

他们使用了一种特定的 AI 类型，叫做 OneFormer。

把这个 AI 想象成一个非常擅长观察图片并理解整个场景的学生，而不仅仅是看局部。它使用了“Transformer”架构，这就像拥有一个广角镜头，能够同时理解汽车、人行道和建筑物之间的相互关系。
他们仅在这些虚假的视频游戏数据上训练了这个 AI。因为数据如此多样化且 AI 非常聪明，它已经完美掌握了游戏的规则，以至于它在训练期间从未见过真实世界的照片，却也能理解真实世界的照片。这被称为零样本迁移（Zero-Shot Transfer）。

3. “安全卫士”（降落逻辑）

一旦 AI 查看了一张真实的图片并说：“那是路，那是车”，系统并不会盲目信任它。它会进行一次安全检查，就像一位谨慎的家长一样。

缓冲区域： 如果 AI 看到一辆车，系统不仅仅是说“不要降落在车上”。它会在车周围画一个 20 像素的隐形圆圈，并说：“也不要降落在这个圆圈附近。”这考虑到了无人机的大小以及任何可能的晃动。
“最大圆”测试： 系统会观察所有安全区域（如草地或人行道），并询问：“我能在哪里放入一个最大的空圆圈？”它使用一种叫做**欧几里得距离变换（Euclidean Distance Transform）**的数学技巧来找到最大安全区域的中心。
决策： 如果安全点足够大，无人机就会获得着陆坐标。如果该点太小或者离“危险区域”太近，它就会继续寻找。

4. 效果如何？

研究人员通过两种方式测试了他们的系统：

测试： 他们将 AI 的答案与一个由人类标注的著名真实世界数据集（UAVid）进行了对比。尽管该 AI 只见过视频游戏数据，但它的表现非常出色，能够准确识别建筑物、树木和道路。事实上，它的轮廓往往比测试数据中的人工绘制线条更加清晰和准确。
真实飞行： 他们驾驶一架真实的 DJI 无人机在郊区社区上空飞行。系统成功观察了视频流，识别出了安全的草地区域，避开了汽车和障碍物，并在 94% 的测试帧中成功选择了着陆点。

核心结论

论文声称，你不需要通过昂贵且人工标注的真实照片来教导无人机着陆。通过创建一个大规模、随机化的视频游戏世界并在其上训练智能 AI，你可以创造出一个能够立即在现实世界中安全飞行的系统。通过让模拟环境变得如此多样且逼真，从而弥合了“模拟”与“现实”之间的鸿沟，使现实世界对无人机来说变得不再陌生。

技术摘要：用于安全着陆区检测的合成-真实转换流水线

问题陈述

随着无人驾驶飞行器（UAV）向高层自主化迈进，在非合作、非结构化环境中执行无人辅助回收的能力已成为一项关键的安全要求。飞行末段存在显著风险，特别是在缺乏预定义着陆平台或静态坐标的情况下。与标准的避障不同，识别安全着陆区（SLZ）需要高保真的语义分辨率，以区分可通行地形（如铺路、草地）与危险障碍物（如植被、车辆、不平整地面）。

开发鲁棒的基于视觉的空对地（A2G）系统的一个主要瓶颈是缺乏带标注的航空数据集。获取现实世界中像素级标注的图像在物流上极其复杂、成本高昂，且往往受到法律限制。因此，现有的架构经常被“硬锁定”在特定环境或硬件上，在分布外场景中会出现性能退化。此外，许多现有解决方案依赖于 LiDAR 等主动传感器，这带来了严重的尺寸、重量和功耗（SWaP）惩罚，或者仅限于使用特征标记的结构化环境。目前迫切需要高性能、可部署于边缘侧的感知技术，既能利用最先进的架构，又不会超过嵌入式飞行计算机的计算限制。

方法论

本研究提出了一种综合性的感知与数据生成流水线，旨在弥合自主着陆过程中的模拟-真实（sim-to-real）差距。该系统通过三个集成阶段运行：

1. 程序化合成数据生成

为了缓解数据稀缺问题，作者在 Blender Cycles 渲染引擎内开发了一个高保真数据引擎。该系统将程序化城市生成器扩展为一个随机化数据引擎，能够生成具有自动化、像素级完美语义标注的逼真城市环境。

程序化合成： 环境通过算法网格挤压构建，管理七个主要的语义类别（背景、树木、建筑物、低矮植被、道路、人行道、车辆及阻碍物）。资产管理系统利用泊松圆盘采样（Poisson disk sampling）实现物体放置的随机化，防止网络对特定几何形状产生过拟合。
领域随机化： 为了弥合领域差距，流水线采用了两个随机化层：
- 光照动力学： 通过对太阳方位角和仰角进行关键帧设置来模拟完整的昼夜循环，生成真实的阴影传播和对比度变化。
- 传感器仿真： 虚拟摄像机经过校准以匹配物理 UAV 传感器，引入随机噪声、模糊以及振荡焦距，以模拟自动对焦寻焦过程和振动引起的模糊。非线性 B 样条路径确保了多样的视角和物体密度。
自动化标注： 地面真值掩码通过“材质覆盖（Material Override）”协议生成，其中物体根据类别 ID 被分配无阴影的发射材质。这确保了 RGB 渲染图与语义掩码之间像素级的空间对齐，无需人工干预。
增强： 后处理阶段应用随机颜色抖动、360 度旋转扫描和随机缩放因子，以进一步增强训练流水线的鲁棒性。

2. 基于 Transformer 的感知架构

系统采用了 OneFormer 架构，这是一种基于 Transformer 主干网络（Swin-L）的通用图像分割框架。

训练策略： 模型完全在生成的合成数据集上进行微调。它利用在 Cityscapes 数据集上预训练的权重来建立稳健的初始化基准，从而将学习到的特征表示适配到特定的合成航空视角领域的偏移。
优化： 网络使用 AdamW 算法进行优化，并采用混合精度训练以管理计算开销。数据集按 70/20/10 的比例划分为训练集、验证集和测试集。

3. 确定性着陆模块

最后阶段将像素级的语义预测转化为用于自主决策的二值可通行图。

分层风险分类法： 语义类别被归类为三组：
- 安全 ( $S_{safe}$ ): 本质上适合着陆的静态类别（如人行道）。
- 不安全 ( $S_{unsafe}$ ): 禁止区域（如车辆、行人）。
- 潜在 ( $S_{pot}$ ): 有条件有效的区域（如道路），仅在不与不安全物体相交时才是安全的。
安全缓冲： 确定性逻辑在所有不安全物体周围应用 20 像素的安全扩张（圆形缓冲区）。如果潜在区域与此缓冲区相交，则将其重新分类为背景（不安全），以防止在活跃交通或危险区域着陆。
几何着陆点确定： 系统对生成的二值掩码应用欧几里得距离变换（EDT），以识别最大内接圆（LIC）。如果 LIC 的半径满足 UAV 的物理足迹及安全容差，则选择 LIC 的中心作为目标着陆点。随后计算偏差向量以引导飞行控制器。

核心贡献

程序化合成数据引擎： 一种可扩展的高保真流水线，能够生成具有自动化语义标注的逼真城市环境，通过对几何、光照和传感器噪声的随机参数化，有效缓解了标注航空图像稀缺的问题。
基于 Transformer 的感知： 一个高性能的分割框架，使用 OneFormer，完全在合成数据上进行微调，实现了区分复杂地形特征和动态障碍物的高水平语义分辨率。
模拟-真实转换验证： 通过零样本迁移评估，证明了该系统在未见的现实世界环境（UAVid 基准测试和 DJI 无人机素材）中识别安全着陆区的能力，同时通过硬件加速优化满足了实时延迟要求。

结果

所提出的流水线通过针对 UAVid 数据集的定量基准测试以及在真实世界 DJI Mavic 无人机素材上的定性验证进行了评估。

定量性能： 在 UAVid 基准测试中，模型表现出强大的泛化能力。它在结构类方面取得了高精度（建筑物为 97.99%，树木为 96.13%）。道路类显示出高召回率（0.872），确保了对潜在着陆表面的最大化识别。虽然“物体”类的精确度较低（0.025），但定性分析认为这是由于标注粗糙度导致的，而非模型失效；模型成功检测到了手动标签中遗漏的小型障碍物。
定性观察： 与手动地面真值相比，Transformer 架构展现了更优越的几何保真度，通常比参考数据中的粗略多边形近似更精确地贴合高频边界。然而，模型对高动态范围光照较为敏感，偶尔会将建筑物与深色阴影下的暗色人行道混淆。
操作可行性： 在现实测试中，系统成功将场景分割为分层风险区。在 94% 的测试帧中，系统收敛于位于开阔草坪中部的质心，证实了从合成到真实的转换足以识别无碰撞着陆区。确定性干扰模块在检测到车辆时，能有效地将道路段重新分类为不安全区域。

意义

这项工作强调了高保真程序化模拟在消除人工标注需求方面的潜力，同时为自主 UAV 回收提供鲁棒的、可部署于边缘侧的情景感知。通过证明仅在合成数据上训练的模型可以实现稳健的零样本迁移至现实世界场景，本研究解决了“边缘计算差距”以及现实世界基础设施部署的物流难题。确定性着陆模块的集成确保了语义预测能转化为安全的、可执行的导航指令，优先考虑保守的风险规避。这种方法为在非合作环境中部署精确的无人辅助回收系统提供了一条可行路径，而无需承担大规模现实世界数据采集的高昂成本。