LST-SLAM: A Stereo Thermal SLAM System for Kilometer-Scale Dynamic Environments

本文提出了 LST-SLAM，一种结合自监督热特征学习、立体双级运动跟踪及语义 - 几何混合约束的新型大规模立体热成像 SLAM 系统，有效克服了动态大尺度户外环境中特征提取不可靠和累积漂移等难题，显著提升了定位与建图的鲁棒性和精度。

要点

这是一篇关于让机器人拥有“夜视眼”和“超强记忆力”的论文。简单来说，作者们发明了一套名为 LST-SLAM 的系统，专门帮助机器人在完全看不见光、大雾弥漫、或者人来人往的复杂户外环境中，也能精准地知道自己在哪里，并画出周围的地形图。

为了让你更容易理解，我们可以把这套系统想象成一位在黑夜中独自探险的盲人向导。

1. 为什么需要这位向导？（背景与痛点）

• 普通机器人的困境：普通的机器人（像扫地机器人或自动驾驶汽车）主要靠“可见光摄像头”（就像我们的肉眼）。但在晚上、大雾天、或者突然变暗的地方，肉眼就瞎了，机器人也会迷路。
• 热成像的优势：热成像相机（红外相机）不看光，而是看“热量”。就像在黑暗中，你依然能感觉到火炉的热气一样，热成像能看清人和车，哪怕周围一片漆黑。
• 以前的难题：虽然热成像能“看”到东西，但以前的系统很难用好它。因为热成像画面通常模糊、噪点多、纹理少（就像一张模糊的素描，很难找到固定的参照点），而且路上的行人和车辆（动态物体）会干扰判断，导致机器人走着走着就“晕”了，地图也画歪了。

2. LST-SLAM 是怎么工作的？（核心黑科技）

作者给这位“盲人向导”配备了四样神器：

🧠 神器一：自学习“热感大脑” (Self-Supervised Thermal Feature Learning)

• 比喻：以前的机器人看热成像，就像让一个只见过彩色照片的人去认黑白素描，完全对不上号。
• 做法：作者训练了一个特殊的 AI 网络（叫 STP）。它不像以前那样死记硬背，而是通过“自我练习”来学习。它把热成像画面当成特殊的“拼图”，自己找规律。
• 效果：它学会了如何在模糊的热成像中，精准地抓住那些最稳定、最不容易变的特征点（比如建筑物的角落、路灯的热源），就像向导在黑暗中能牢牢记住几块关键的石头。

👀 神器二：双重保险“追踪眼” (Stereo Dual-level Motion Tracking)

• 比喻：如果只用一只眼睛看，容易看错；如果只看颜色，容易受光线干扰。
• 做法：
  1. 立体视觉：用两个热成像相机（像人的双眼），通过视差计算距离，知道物体有多远。
  2. 双重锁定：它同时做两件事——既看画面的亮度变化（像看影子移动），又看特征描述（像认指纹）。
• 效果：即使画面有点抖动或模糊，它也能像“双保险”一样，死死锁住目标，不会跟丢。

🚫 神器三：动态“过滤器” (Dynamic Feature Filtering)

• 比喻：在拥挤的街道上，如果向导把路过的行人、飞驰的汽车都当成“路标”，那他很快就会晕头转向，因为路标一直在动。
• 做法：系统里装了一个智能过滤器（结合了语义分割和几何检查）。它能识别出哪些是“会动的”（车、人），哪些是“不动的”（房子、树）。
• 效果：它会自动忽略那些移动的车辆和行人，只把注意力集中在静止的建筑物上。这就好比向导在心里默念：“那些车是过客，别管它们，我只认那栋大楼。”

🔗 神器四：在线“记忆地图” (Incremental BoW & Loop Closure)

• 比喻：如果你走了几公里，回头发现自己又回到了刚才经过的公园，你会说：“啊，我绕回来了！”这叫“回环”。以前的系统要么记不住，要么需要预先背下所有地图。
• 做法：系统建立了一个在线生长的“词汇本”（Bag-of-Words）。它不需要预先训练，而是边走边学，把看到的场景特征记下来。一旦发现自己又回到了老地方，它立刻触发“回环检测”。
• 效果：一旦发现“我回来了”，系统就会立刻修正之前所有的误差。就像你发现走错了路，立刻把之前画歪的地图全部拉直，保证几公里长的路线依然精准。

3. 效果怎么样？（实验结果）

作者把这套系统放在长达几公里的真实城市道路（包括白天、夜晚、不同天气）上测试，结果非常惊人：

• 对比对象：它打败了目前最顶尖的几个系统（如 AirSLAM, DROID-SLAM）。
• 精度提升：在定位误差上，比第二名低了 75.8%，比深度学习的大佬 DROID-SLAM 低了 66.8%。
• 稳定性：即使在动态物体很多（车多人多）的复杂场景下，它也能画出平滑、准确的地图，不会像其他系统那样“走神”或“迷路”。

总结

LST-SLAM 就像给机器人装上了一套专为黑夜和恶劣天气设计的“超级导航仪”。
它不再依赖可见光，而是通过学习热成像的规律、过滤掉移动的干扰、并实时修正自己的记忆，让机器人即使在伸手不见五指、车水马龙的复杂环境中，也能像老司机一样，稳稳当当地认路、画地图。

这项技术未来可以让救援机器人在火灾浓烟中导航，让自动驾驶汽车在暴雨夜安全行驶，或者让巡检机器人在完全黑暗的矿井里工作。

技术摘要

LST-SLAM 技术总结

1. 研究背景与问题 (Problem)

视觉 SLAM 在热成像领域的挑战：
传统的基于 RGB 相机的视觉 SLAM 在光照不足、剧烈光照变化或恶劣天气（雾、烟、尘）下性能会严重下降。热成像相机（Thermal Cameras）通过捕捉物体发出的红外辐射，在这些极端条件下具有天然优势。然而，现有的热成像 SLAM 系统面临以下核心难题：

• 特征提取困难： 热图像通常对比度低、纹理弱、噪声高，且存在非均匀性校正（NUC）导致的帧间不一致性。传统的基于梯度的特征提取器（如 SIFT, ORB）或通用的深度学习特征提取器（如 SuperPoint）在热域中表现不佳，导致特征匹配不稳定。
• 动态环境干扰： 在大规模户外动态场景（如交通场景）中，移动物体（车辆、行人）会引入异常值，破坏几何一致性，导致位姿估计漂移甚至跟踪失败。
• 大规模场景累积误差： 在公里级尺度下，缺乏有效的回环检测（Loop Closure）和全局优化机制，导致累积漂移严重，难以构建一致的地图。
• 现有方案局限： 大多数现有热 SLAM 方案依赖多传感器融合（如 LiDAR、IMU、RGB），增加了硬件成本和校准难度；纯热成像的大规模动态场景 SLAM 研究尚属空白。

2. 方法论 (Methodology)

论文提出了 LST-SLAM（Large-scale Stereo Thermal SLAM），这是一个专为大规模、动态、光照挑战性户外环境设计的立体热成像 SLAM 系统。其核心流程包括：

A. 热图像预处理

• 针对 16 位原始热图像低对比度、高噪声的问题，采用**百分位拉伸（Percentile Stretching）结合指数移动平均（EMA）**进行归一化，以抑制离群点并平滑帧间闪烁。
• 应用**限制对比度自适应直方图均衡化（CLAHE）**增强局部对比度，生成适合计算机视觉任务的高质量热图像。

B. 自监督热特征学习 (Self-Supervised Thermal Feature Learning)

• STP 网络： 提出了一种专用的自监督热点网络（Self-supervised Thermal Point, STP）。
• 迁移学习策略： 利用 SuperPoint 的预训练权重初始化，将 RGB 域学到的几何先验迁移至热域。
• 训练机制： 冻结编码器和检测头，仅训练描述子头。利用**热单应性变换（Thermal Homography）**作为自监督信号，通过最小化变换前后图像块描述子之间的距离来训练，无需真实标签。
• 优势： 解决了热域训练数据稀缺问题，生成了比 SuperPoint 更鲁棒的热特征描述子。

C. 动态特征点过滤 (Dynamic Feature Point Filtering)

• 语义 - 几何混合约束： 集成 YOLOv8-Seg 网络（无需重新训练即可在热图像上检测动态物体）生成动态区域掩码。
• 双重验证： 对动态区域内的特征点，除了光流跟踪外，还进行极线几何一致性检查（计算点到极线的距离）。只有满足严格几何约束（阈值 $\tau=0.5$ 像素）的动态区域特征点才会被保留，有效剔除运动物体带来的异常值。

D. 立体双级运动跟踪 (Stereo Dual-level Motion Tracking)

• 低层光度跟踪： 基于半直接视觉里程计（SVO）思想，最小化图像块的光度误差，获得粗略的相对位姿。
• 高层描述子跟踪： 将学习到的热描述子二值化（Binary Hashing），利用汉明距离进行快速匹配。结合 PnP-LM 优化算法，利用内点集精细优化相机位姿。
• 立体三角化： 利用左右目匹配计算视差，获得度量尺度的深度信息。

E. 增量式词袋模型与回环检测 (Incremental BoW for Loop Closure)

• 在线 iBoW 构建： 针对热图像特征分布不一致的问题，摒弃传统的离线训练 DBoW，采用增量式在线词袋模型（iBoW）。随着新描述子的观测，在线构建视觉词典，无需离线训练。
• 二值化描述子： 将 256 维浮点描述子二值化，支持高效的汉明距离搜索。
• 回环验证： 采用“外观检索 + 几何验证”的两阶段策略。检索候选帧后，通过 RANSAC 估计基础矩阵，验证极线几何一致性，最终计算 Sim(3) 相似变换以消除尺度漂移。

F. 全局位姿优化

• 在确认回环后，将约束加入位姿图，进行 Sim(3) 全局优化和全局束调整（Global BA），修正累积漂移并优化全局地图一致性。

3. 主要贡献 (Key Contributions)

1. 系统创新： 提出了 LST-SLAM，首个专为公里级、动态、光照挑战性户外热成像场景设计的立体 SLAM 系统，实现了纯热成像下的高鲁棒性定位与建图。
2. 特征学习算法： 设计了 STP 网络，通过热单应性自监督训练和 RGB 域知识迁移，显著提升了热特征提取的密度和鲁棒性。
3. 动态处理策略： 提出语义 - 几何混合约束，有效抑制了动态物体对热 SLAM 跟踪的干扰，解决了户外动态场景的跟踪难题。
4. 回环检测机制： 开发了增量式在线二值词袋模型（iBoW），解决了热图像跨相机、跨场景特征分布不一致导致的回环检测失效问题。

4. 实验结果 (Results)

• 数据集： 在 M2DGR（特征提取评估）和 MS2（大规模热成像 SLAM 评估，包含不同时段、不同场景的公里级序列）数据集上进行了广泛测试。
• 特征提取性能： STP 网络在匹配数量和内点数量上显著优于 SuperPoint、SIFT 和 ORB。相比 SuperPoint，内点数量提升了 35.8%。
• 定位精度与鲁棒性：
  • 在 MS2 数据集的 6 个公里级序列中，LST-SLAM 的平均绝对轨迹误差（ATE）显著低于现有最先进方法。
  • 与 AirSLAM (2025) 相比，定位误差降低了 75.8%。
  • 与 DROID-SLAM (2021) 相比，定位误差降低了 66.8%。
  • 在开启回环检测的情况下，LST-SLAM 在所有序列中均实现了 100% 的轨迹对齐率（CR），且误差最小。
• 消融实验： 验证了 STP 网络、回环检测、动态过滤和双级跟踪四个模块的必要性。移除 STP 导致系统无法在热域稳定运行；移除其他模块也显著增加了定位误差。

5. 意义与价值 (Significance)

• 填补空白： 首次系统性地解决了纯热成像在大规模、动态户外环境下的 SLAM 难题，证明了无需额外传感器（如 LiDAR/IMU）即可实现高精度定位。
• 全天候能力： 为自动驾驶、救援机器人等在夜间、浓雾、烟尘等极端光照条件下的感知与导航提供了可靠的解决方案。
• 技术示范： 提出的自监督热特征学习、动态物体几何过滤以及增量式热词袋模型，为未来热成像视觉感知任务提供了重要的技术参考和架构范式。
• 实用性强： 系统仅依赖立体热相机，降低了硬件成本和校准复杂度，具有极高的实际应用潜力。