💻 computer science

Cross-Session 3D LiDAR and Camera Fusion for Robust Localization of Unmanned Aerial Vehicles in GPS-Denied Environments

本文提出了 Cross-Fusion，一种用于 GPS 受限环境下无人机的新型实时定位方法，该方法将 3D LiDAR 里程计与单目相机特征相结合，并采用跨时段融合策略，以在具有挑战性的特征稀疏场景中实现 GPS 级的精度与鲁棒性。

原作者： Cong Hoang Quach, Chi Thanh Vo, Dong LT. Tran, Truong Son Nguyen, Manh Duong Phung, Thuan Hoang Tran

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Cong Hoang Quach, Chi Thanh Vo, Dong LT. Tran, Truong Son Nguyen, Manh Duong Phung, Thuan Hoang Tran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正驾驶着一架无人机去检查一座桥梁，但你正飞在一个长长的隧道里或者巨大的立交桥下方。在这些地方，你的 GPS 信号就像一个突然静默的广播电台；你无法判断自己的位置。如果无人机失去了方向感，它可能会撞毁或迷失方向。

这篇论文介绍了一种帮助无人机在这些“GPS 受限”区域寻找路径的新方法。作者称其方法为 Cross-Fusion（交叉融合）。以下是它的工作原理，通过简单的概念进行拆解：

问题所在：“醉汉走路”

大多数无人机依赖 GPS，但当 GPS 失效时，它们必须依靠传感器来猜测自己的位置。

摄像头： 它就像人类的眼睛。它擅长识别模式，但如果墙壁是纯白色的或者光线昏暗，它就会感到困惑。
LiDAR（激光雷达）： 这就像一只利用回声定位的蝙蝠。它发射激光束来测量距离。它在黑暗中也能工作，但如果隧道是一个长长的、平坦且空旷的走廊，激光束就不会撞击到任何有趣的物体，无人机就会开始“漂移”（迷失方向）。
漂移： 如果无人机只是在没有地图的情况下进行步进式的移动猜测，微小的误差会不断累积。这就像蒙着眼睛走直线；走了几分钟后，你可能以为自己正面向北，但实际上你正面向东。

解决方案：“记忆手册”与“手电筒”

作者的解决方案是 Cross-Fusion，它是摄像头和 LiDAR 传感器之间的团队协作，但有一个特别的转折：它使用了一本预制的记忆手册。

1. 离线阶段（编写记忆手册）

在无人机执行任务之前，人类或其它机器人会对该区域进行一次“基准测量”。他们拍摄数百张照片，并用激光扫描该区域。

可以将这想象成创建了一个隧道的详细相册和 3D 模型。
计算机研究这些照片，学习该地点从各个角度看起来是什么样子的。它构建了一个“全局地图”，作为参考指南。

2. 在线阶段（飞行过程）

现在，无人机开始执行任务。它有两个主要工具：

LiDAR（手电筒）： 它不断扫描地面和墙壁，以确定它此时此刻是如何移动的。这对于短距离来说既快速又可靠。
摄像头（识别器）： 随着无人机的飞行，它会拍摄照片。它不仅仅是观察照片来猜测位置，而是将当前的图片与之前构建的记忆手册进行对比。

3. “交叉融合”的魔力

这是聪明之处。当无人机拍下一张照片时，它不仅仅是在寻找匹配的照片。

它会在记忆手册中找到一张匹配的照片。
然后，它利用 LiDAR 去观察那张照片中物体的 3D 形状。
它将现在看到的 3D 形状与存储在手册中的 3D 形状进行匹配。

类比： 想象你正在森林中行走。你有一个手电筒（LiDAR）可以看清眼前的路，但你开始迷失方向了。突然，你看到了一块独特的岩石构造。你掏出一张地图（记忆手册），意识到：“啊！这块岩石就在我地图的第 42 页。”你瞬间知道自己确切的位置，从而纠正了错误。

为什么它很特别？

无需 GPS： 它在隧道、桥下或建筑物内部都能完美运行。
硬件简单： 它不需要昂贵、沉重或复杂的装置（比如多个摄像头或高端惯性传感器）。它只需要一个普通的 3D 激光扫描仪和一个普通摄像头。
持久力： 因为它不断地根据“记忆手册”检查自己的位置，所以它不会像其他方法那样产生漂移。即使无人机飞得很快或者摄像头帧率下降，它仍然能找到自己的路。

实验结果

作者在一架绕着建筑物飞行的无人机上测试了该系统。

仅使用 LiDAR： 无人机逐渐偏离航线，就像一辆转向失灵的汽车。
使用 Cross-Fusion： 无人机保持在正确路径上，即使在没有使用 GPS 的情况下，也几乎完美地匹配了 GPS 参考轨迹。
对比： 他们将其与一个非常先进且复杂的系统 FAST-LIVO 进行了比较。虽然该系统在理想条件下稍微精确一些，但如果摄像头变慢或无人机飞得太快，它就会完全失效。Cross-Fusion 则更加鲁棒（稳健）；即使在环境恶劣的情况下，它也能继续工作。

核心结论

这篇论文提出了一种实用的方法，让无人机在 GPS 失效的地方保持安全并保持航向。通过将激光扫描仪与一个“记得”预扫描地图的摄像头相结合，无人机可以在复杂、黑暗或缺乏特征的环境中导航而不至于迷失方向。该系统的代码也是开源的，这意味着其他研究人员可以使用并改进它。

技术摘要：用于鲁棒无人机定位的跨时段 3D LiDAR 与相机融合技术

问题陈述
精确的定位对于执行基础设施巡检（如监测桥梁底部、隧道和城市峡谷）的无人机（UAV）至关重要。在这些 GPS 缺失的环境中，标准的卫星导航无法使用或不可靠。虽然现有的解决方案已经存在，但它们面临着显著的局限性：

仅视觉系统在低光照或特征稀疏的环境中性能会下降，并且由于缺乏回环检测而产生漂移。
仅 LiDAR 系统在几何退化场景（例如平坦表面或长隧道）中表现挣扎，并由于缺乏全局约束而随时间积累漂移。
紧耦合视觉-惯性-LiDAR (VIL) 系统（例如 FAST-LIVO, LVI-SAM）虽然提供了高精度，但通常需要复杂的传感器配置（立体相机、IMU），并且在帧率下降或视觉重叠有限时表现不佳。
基于学习的方法通常需要大量的训练数据，并且可能在领域偏移（光照变化、视角变化）下失效。

此外，单次采集的数据对于在光照变化大且特征分布不均的复杂结构中进行一致性定位往往是不够的。

方法论：跨融合 (Cross-Fusion)
作者提出了 Cross-Fusion，一种整合了 3D LiDAR 和单目相机的混合定位框架。该系统分为两个不同的阶段运行：

离线阶段（数据库构建）：
- 使用来自先前巡检任务（例如地面机器人或手动无人机飞行）的数据构建基准视觉-几何数据库。
- 特征提取： 使用基于 CNN 的方法（SuperPoint 或 DISK）提取局部关键点和描述符。
- 全局检索： 计算每个图像的全局描述符（EigenPlaces），以实现从大型数据库中快速检索候选图像。
- 地图生成： 通过匹配重叠图像对（SuperGlue）并经过运动恢复结构（SfM）流水线（COLMAP）处理，生成具有已知相机位姿的稀疏 3D 点云地图 ( $X_i$ )。
在线阶段（实时定位）：
- LiDAR 里程计： 无人机通过对连续的 LiDAR 扫描进行配准（使用 ICP 或类似方法）来估计其粗略位姿 ( $P_t$ )。这提供了连续的运动跟踪，但容易产生漂移。
- 视觉校正：
  - 粗略检索： 将当前相机图像与离线数据库进行比较，利用全局描述符识别前 $k$ 个最相似的图像。
  - 精细匹配： 使用 SuperGlue 在当前图像与候选数据库图像之间进行局部特征匹配。
  - 跨时段 2D-3D 传递： 这是核心创新点。匹配到的 2D 关键点被投影到在线 LiDAR 点云 ( $L_i$ ) 和离线 3D 地图 ( $X_i$ ) 上。这创建了当前 LiDAR 扫描与预建地图之间的 3D-3D 对应关系。
  - 位姿精化： 通过求解一个截断的点云配准问题来最小化 LiDAR 点与地图点之间的距离误差，从而获得相对于全局地图校正后的 6 自由度（6-DoF）位姿。

主要贡献
论文确定了四个主要贡献：

跨时段融合策略： 一种新颖的流水线，将在线无人机观测结果与预建的视觉-几何数据库相关联。这提供了全局位姿约束，以在特征稀疏的环境中纠正漂移，且无需 GPS。
LiDAR 引导的 2D-3D 对应关系传递： 一种将 2D-2D 图像匹配提升为 3D-3D 点云对应关系的机制，通过将匹配的关键点投影通过在线 LiDAR 流实现。这使得无需依赖 IMU 或立体相机即可实现 6 自由度位姿校正。
鲁棒且轻量化的传感器配置： 该系统仅使用 3D LiDAR 和单目相机即可实现具有竞争力的精度，避免了紧耦合视觉-惯性系统的复杂性。它在低帧率或视觉退化条件下展示了更强的鲁棒性。
开源实现： 作者提供了代码以支持可复现性。

实验结果
实验在一处 150m x 150m 的建筑区域内进行，使用的无人机配备了 Quanergy M8 LiDAR 和 Intel RealSense D435 相机。GPS 数据仅作为地面真值参考。

漂移减少： 与仅 LiDAR 里程计相比，所提方法显著降低了定位误差。虽然仅 LiDAR 的轨迹随时间积累漂移，但 Cross-Fusion 方法通过利用来自离线数据库的视觉校正，保持了与 GPS 参考的一致性。
对比先进技术的鲁棒性： 在与 FAST-LIVO（一种紧耦合的 LIVO SLAM 方法）对比时，Cross-Fusion 在正常条件下表现出略低的精度。然而，在极端场景下，它展示了卓越的鲁棒性。具体而言，当相机帧率降至 1 fps 以下时，FAST-LIVO 由于依赖紧耦合和连续重叠，无法估计轨迹，而 Cross-Fusion 则能保持稳定的定位。

意义与主张
论文声称 Cross-Fusion 为“低空经济”提供了一种实用的解决方案，特别是针对 GPS 缺失环境下的常规基础设施巡检。通过利用现有的基准测量数据（这在结构健康监测中很常见），该系统弥合了单传感器里程计的简单性与紧耦合多传感器系统复杂性之间的鸿沟。

作者也谦虚地承认了局限性：该系统目前依赖于预先收集的图像数据库，这限制了其在无法进行预先建图的动态场景中的应用。未来的工作建议集成来自多个在线会话的数据（例如，协调地面和无人机代理），以实现无需完全依赖静态先验数据的实时地图构建。该工作并不声称要取代所有现有的 SLAM 方法，而是为特定的巡检用例提供了一种在精度、鲁棒性和硬件简单性之间的平衡折衷方案。