💻 computer science

LIT-GS: LiDAR-Inertial-Thermal Gaussian Splatting for Illumination-Robust Mapping

LIT-GS 是一种激光雷达-惯性-热成像高斯泼溅（Gaussian Splatting）框架，它通过集成由激光雷达衍生的平面几何作为位姿精细化和高斯优化的显式约束，增强了光照鲁棒性制图能力，从而在具有挑战性的光照和纹理缺失环境下提升了几何精度和渲染质量。

原作者： Shikuan Shi, Chunran Zheng, Jiaming Xu, Tianyong Ye, Tao Yu, Yukang Cui

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shikuan Shi, Chunran Zheng, Jiaming Xu, Tianyong Ye, Tao Yu, Yukang Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用相机构建一个完美的 3D 房间模型，但光照一直在变化。有时是刺眼的强光，有时是漆黑一片，有时墙壁只是纯白且没有任何纹理。如果你只依赖标准的 RGB 相机，你的模型会变得混乱、模糊，甚至开始在空中漂浮，因为无法清晰地“看到”边缘。

这篇论文介绍了 LIT-GS，一种构建 3D 地图的新方法，它通过三个特殊工具的协同工作解决了这个问题：LiDAR（激光雷达）、惯性传感器（类似于手机的运动追踪器）以及热成像相机（它观察的是热量而非光线）。

以下是 LIT-GS 的工作原理，将其分解为简单的概念：

1. 问题所在：“盲目的画家”

目前的多数 3D 建模工具就像只有一种颜色的画家：可见光。

问题： 如果阳光太强，油漆会被冲掉；如果是夜晚，画布就是黑色的。如果墙面非常平滑，画家就无法分辨一个物体在哪里结束，另一个物体在哪里开始。
结果： 3D 模型会变得摇晃、厚重或偏离现实。

2. 解决方案：一个三人小组

LIT-GS 就像是一个拥有三个不同角色的施工队：

热成像相机（夜猫子）： 它不寻找颜色，而是寻找热量。热量不在乎是白天还是黑夜。无论阳光如何，热引擎或冷墙壁看起来都是一样的。这为系统提供了一个稳定的“图像”来处理，即使在黑暗或强光下也是如此。
LiDAR（尺子）： 这是一个测量精确距离的激光扫描仪。它不在乎光线或纹理；它只知道：“这面墙距离我正好 3 米。”它提供了房间坚实的物理骨架。
惯性传感器（陀螺仪）： 它追踪设备的移动和倾斜方式，保持团队的方向感。

3. 它们如何协同工作：“锚点”系统

论文描述了一种让这些工具彼此信任的巧妙方法：

第 1 步：“锚点”。 系统首先使用一个高科技机器人大脑（称为 FAST-LIVO2），利用 LiDAR 和运动传感器在房间里找到一些非常可靠的点。把这些点想象成钉在墙上的钉子。它们是“真相”锚点。
第 2 步：“跨模态”握手。 系统随后尝试将热成像相机的视角与这些“钉子”进行匹配。它使用智能 AI（SuperPoint/SuperGlue）来确认：“好的，热成像图像上的这个热点与 LiDAR 数据中的那个钉子相匹配。”
第 3 步：“双重检查”优化。 在构建最终的 3D 模型之前，系统会运行一次严格的检查。它强制要求 3D 点与 LiDAR 检测到的平面完美对齐。如果一个 3D 点出现在 LiDAR 显示应该是平坦墙壁的空中位置，系统就会把它“推”回去。这阻止了“摇晃”或“厚重”的伪影产生。

4. 最终产品：“高斯泼溅”（Gaussian Splatting）

一旦团队就布局达成一致，他们就会使用一种叫做高斯泼溅的技术。

比喻： 想象 3D 世界是由数百万个微小的、模糊的、有颜色的气球（高斯函数）而不是刚性方块组成的。
创新点： 通常，如果相机产生困惑，这些气球可能会飘走或奇怪地堆叠在一起。LIT-GS 使用 LiDAR “尺子”将这些气球固定住。它确保在 LiDAR 显示有墙的地方，气球能形成光滑、平坦的墙面，并在边缘处形成锐利的轮廓。

为什么这很重要（根据论文所述）

作者在包括昼夜交替在内的真实场景中测试了该系统，包括：

白天与黑夜： 从正午的烈日到凌晨 6 点的黑暗。
无纹理区域： 没有图案或颜色的地方。

结果：

更好的几何结构： 3D 模型更加准确，没有“幽灵”厚度。
更清晰的细节： 汽车、门和树木的边缘清晰锐利，不再模糊。
鲁棒性： 当光线改变或纹理较差时，其他方法会失效，而 LIT-GS 能持续构建稳定的地图。

简而言之，LIT-GS 是一个利用热量在光线失效时进行观察，并利用激光在热量过于模糊时进行测量的系统，通过结合两者，构建出一个无论光照如何变化都能保持稳固的 3D 地图。

技术摘要：LIT-GS

问题陈述

现有的基于 LiDAR–Inertial–Visual (LIV) 高斯泼溅（Gaussian Splatting）的 3D 制图流水线过度依赖 RGB 光度线索进行初始化和优化。这种依赖性使得它们在光照剧烈变化（如极端阳光、黑夜）或缺乏纹理的环境中显得非常脆弱，因为在这些场景下，光度对应质量会下降，从而导致位姿估计误差和结构漂移。虽然热成像提供了光照不变的监督，但现有的热成像 3D 高斯泼溅方法主要侧重于新视角合成，往往缺乏紧耦合的位姿/结构精细化循环或显式的几何约束，导致地图度量不一致以及表面增厚伪影。

方法论

本文提出了 LIT-GS，这是一个 LiDAR–Inertial–Thermal 高斯泼溅框架，旨在将 LiDAR 衍生的几何作为一种显式的、持久的约束，贯穿于位姿/结构精细化和高斯优化的整个过程。该系统运行在同步的 LiDAR、IMU 和热成像数据之上，利用统一的几何感知优化框架。

1. 系统架构与预处理

硬件： 系统集成了带有内置 IMU 的 LiDAR、一个 RGB 相机和一个长波热成像相机，通过 PPS 触发进行同步。
热成像预处理： 对长波热图像进行 CLAHE（限制对比度自适应直方图均衡化）以增强梯度。跳过由传感器非均匀性校正（NUC）引起的重复帧。
特征匹配： 采用 SuperPoint 和 SuperGlue 进行关键点检测和上下文感知匹配。尽管这些模型是在 RGB 上训练的，但通过专注于结构梯度而非颜色，它们被适配用于热成像。

2. 置信度感知的跨模态锚定

LIT-GS 将视觉点分为两类：

锚点（Anchors）： 源自上游 FAST-LIVO2 LiDAR-inertial-visual 估计器的、带有不确定性标记的视觉地图点。由于它们与 LiDAR 几何紧密耦合，因此作为高置信度的几何锚点。
非锚点（Non-Anchors）： 由 SuperPoint+SuperGlue 匹配生成的额外点，用于提高空间覆盖范围。
系统为锚点分配更高的权重，并使用运动自适应加权方案，根据平台的线速度和角速度来平衡锚点与非锚点的贡献。

3. LiDAR 平面约束精细化

在进行高斯优化之前，执行 LiDAR 平面约束的束调整（Bundle Adjustment, BA），以联合精细化相机位姿和三角化的 3D 点。

目标： BA 最小化一个结合了热成像重投影误差和加权 LiDAR 点到平面残差的统一代价函数。
机制： 几何项惩罚 3D 点与局部 LiDAR 衍生平面之间的距离，从而在热成像监督较弱的情况下，有效减少尺度漂移和结构失配。

4. 几何正则化高斯优化

核心渲染优化引入了一种新型目标函数，该函数将热成像光度保真度与几何一致性耦合在一起。

表示： 3D 高斯从精细化后的结构中初始化，利用来自锚点的协方差估计来定义各向异性原语。
辐射建模： 使用三阶球谐函数（SH）对视点相关的热辐射进行建模。
损失函数： 总损失 $L$ 是光度损失（ $Loss_{pho}$ ）和几何损失（ $Loss_{geo}$ ）的加权和：
$L = (1 - \lambda)Loss_{pho} + \lambda Loss_{geo}$
几何损失专门惩罚渲染出的 3D 点（从渲染深度反投影）与相关 LiDAR 表面法线之间的点到平面距离。
自适应控制： 采用剪枝和稠密化策略，移除显著偏离局部 LiDAR 平面（几何异常值）或表现出低不透明度的高斯，同时在具有高残差的区域分裂原语。

核心贡献

LIT-GS 框架： 一种新型的 LiDAR–Inertial–Thermal 高斯泼溅系统，它将 LiDAR 平面约束注入到位姿/结构精细化阶段和高斯优化阶段，提高了在挑战性光照和纹理条件下的度量一致性。
跨模态锚定与精细化： 一种置信度感知方案，利用带有不确定性标注的 LIV 地图点作为几何锚点。该方法将学习到的热成像对应关系与运动自适应加权以及集成在束调整框架内的 LiDAR 点到平面残差相结合，以稳定热成像与 LiDAR 的对齐。
LiDAR 平面正则化泼溅： 一种可微的泼溅目标，在训练期间强制执行局部 LiDAR 平面一致性。这抑制了在低对比度热成像中常见的表面增厚和结构漂移问题，同时保持了高渲染保真度。

实验结果

作者在五个专有序列和来自 M2DGR 基准测试的五个公开序列上评估了 LIT-GS，并将其与 LIV-GaussMap (RGB-LiDAR) 和 Thermal3D-GS (仅热成像) 进行了对比。

定性性能：
- LIV-GaussMap： 由于 RGB 光度线索不稳定，在低光或高眩光条件下出现了结构丢失和模糊现象。
- Thermal3D-GS： 在光照变化下保持了结构，但在热成像均匀区域由于缺乏显式几何正则化，表现出边缘模糊、表面扭曲和“表面增厚”现象。
- LIT-GS： 在所有光照条件（白天、黑夜、强阳光）下，始终生成更清晰的边界、更清晰的结构细节以及几何一致的平面区域。
定量性能：
- 几何准确度： LIT-GS 在大多数数据集上实现了最低的推土机距离（EMD），表明其相比基准方法具有更优越的几何一致性。
- 渲染质量： LIT-GS 获得了更高的 SSIM 和更低的 LPIPS 分数，反映了更好的感知质量和结构保真度。
- 消融实验：
  - 去除数据精细化模块显著降低了 PSNR、SSIM 和 EMD，证实了 LiDAR 平面约束 BA 的必要性。
  - 使用经过 CLAHE 预处理的学习特征（SuperPoint+SuperGlue）在内点率和位姿精度（ATE）方面优于手工特征（ORB, SIFT）。

意义与主张

论文声称 LIT-GS 弥合了鲁棒的热成像监督与度量几何一致性之间的差距。通过将 LiDAR 几何不仅视为初始化工具，而是作为高斯学习过程中的持久约束，该方法克服了 RGB 驱动制图在极端光照下的脆弱性，以及纯热成像制图的结构歧义性。作者将 LIT-GS 定位为一种轻量级、几何感知的解决方案，适用于需要可靠 3D 重建的机器人应用，尤其是在动态且具有视觉挑战性的环境中。这项工作表明，虽然 RGB-LiDAR 制图在良好光照下表现出色，但一个集成热成像线索的 LiDAR 正则化高斯框架对于实现全光谱光照条件下的鲁棒性至关重要。