💻 computer science

TRGS-SLAM: IMU-Aided Gaussian Splatting SLAM for Blurry, Rolling Shutter, and Noisy Thermal Images

本文提出了 TRGS-SLAM 系统，这是一种基于 3D 高斯溅射的惯性里程计方案，通过引入模型感知渲染、B 样条轨迹优化及视图多样性不透明度重置等创新技术，成功解决了非制冷热成像中常见的运动模糊、卷帘快门畸变和固定模式噪声问题，实现了在极端噪声和快速运动条件下的鲁棒定位与建图。

原作者： Spencer Carmichael, Katherine A. Skinner

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Spencer Carmichael, Katherine A. Skinner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TRGS-SLAM 的新技术，它就像给机器人装上了一双“超级热眼”，让机器人即使在一片漆黑、烟雾弥漫、或者镜头剧烈晃动的恶劣环境下，也能精准地画出地图并知道自己在哪里。

为了让你更容易理解，我们可以把这项技术想象成一位在暴风雨中画地图的盲人画家。

1. 为什么要发明这个？（背景故事）

想象一下，你是一位消防员，需要进入一个充满浓烟、伸手不见五指的火场救人。

普通摄像头：就像你的肉眼，在烟雾和黑暗中完全瞎了，什么都看不见。
热成像相机：就像“夜视仪”，能透过烟雾看到发热的物体（比如人、火源）。这是救火的关键。

但是，热成像相机有个大毛病：

画面模糊：就像你在快速移动时拍照，照片全是拖影（运动模糊）。
果冻效应：就像老式手机拍照，快速移动时画面会扭曲变形（卷帘快门畸变）。
噪点满天飞：画面里全是像雪花一样的杂点（固定模式噪声）。

以前的机器人系统（SLAM）一遇到这种“烂照片”就崩溃了，要么迷路，要么画出的地图是一团乱麻。

2. TRGS-SLAM 是怎么工作的？（核心魔法）

这篇论文提出了一套组合拳，让机器人能“读懂”这些烂照片。我们可以把它拆解成三个魔法：

魔法一：用“热成像物理模型”来画画（微测辐射热计感知渲染）

普通做法：试图把模糊的照片变清晰，或者强行忽略噪点。这就像试图把一杯混了泥沙的水变清澈，很难。
TRGS-SLAM 的做法：它直接理解为什么照片会模糊和有噪点。
- 它知道热成像相机就像是一个慢吞吞的油漆桶。当你移动时，油漆（热量）会流淌，导致拖影。
- 它知道噪点就像油漆桶壁上自带的花纹，不管怎么动，花纹都在。
- 比喻：它不再试图“擦掉”污渍，而是像一位老练的画家，一边看着满是污渍的画布，一边在脑海里模拟：“哦，这个拖影是因为我手抖了，这个噪点是画布自带的。”然后它根据这些物理规律，反向推导出真实的场景是什么样。

魔法二：给机器人装上“惯性导航”和“平滑轨迹”（IMU 辅助 + B 样条）

问题：照片太烂，看不清路标，机器人容易晕头转向。
解决：
- IMU（惯性测量单元）：就像你闭着眼睛走路时，身体感觉到的晃动和加速度。即使眼睛看不见，身体也知道“刚才我向左转了，速度很快”。
- B 样条轨迹：想象机器人走的路线不是一连串生硬的折线，而是一根柔韧的橡皮筋。系统通过这根橡皮筋，把 IMU 感受到的晃动和照片里的模糊完美地“捏”在一起，算出最可能的真实路径。
- 比喻：就像在迷雾中开车，虽然看不清路（照片烂），但你能感觉到方向盘的转动和脚下的油门（IMU），系统帮你把这两者结合，猜出车到底在哪。

魔法三：智能“清理”和“修正”（不透明度重置与漂移修正）

问题：在画地图的过程中，机器人可能会画错地方，或者在某个地方画了太多没用的点，导致地图越来越乱。
解决：
- 不透明度重置：就像园丁修剪植物。如果某些“植物”（3D 点）在多个角度看都很奇怪（视角多样性差），系统就把它“剪掉”或“重置”，只保留那些真正有用的点。
- 漂移修正：就像走迷宫时，如果你发现走错了，系统会立刻把你拉回正确的轨道，而不是继续错下去。

3. 它有多厉害？（实验结果）

研究人员在TRNeRF 数据集上测试了这套系统。这个数据集里的热成像照片非常“烂”：

有慢速的（只有噪点）。
有中速的（有点模糊）。
有极速的（极度模糊 + 严重扭曲 + 高噪点）。

结果令人震惊：

其他所有的 SLAM 系统（包括最先进的）在极速和高噪点的情况下全部失败（要么迷路，要么崩溃）。
只有 TRGS-SLAM 成功画出了地图，并且定位非常准确。
额外彩蛋：除了定位，它还能把这些“烂照片”在事后修复成清晰的热成像图，效果甚至能和那些需要“上帝视角”（已知真实位置）的顶级算法媲美。

4. 总结：这对我们意味着什么？

这就好比给救援机器人、自动驾驶汽车或无人机装上了一套抗干扰的“热成像大脑”。

以前：机器人一遇到浓烟、黑暗或快速运动就“瞎”了，必须停下来等环境变好。
现在：机器人可以在最危险、最混乱的环境中（如火灾现场、地震废墟、战场）继续工作，一边快速移动，一边精准地画出 3D 地图，告诉救援人员“人在哪里，路怎么走”。

这项技术不仅解决了“看不清”的问题，还解决了“动得太快”和“设备太烂”的问题，是机器人感知领域的一大步飞跃。

这是一篇关于 TRGS-SLAM 的详细技术总结，该论文提出了一种基于 3D 高斯泼溅（3DGS）的热红外惯性 SLAM 系统，专门用于处理模糊、卷帘快门失真和噪声严重的热图像。

1. 研究背景与问题 (Problem)

热成像相机在移动机器人 SLAM（同步定位与建图）中具有独特优势：

优势：被动工作、低功耗，能在黑暗、高动态范围光照、以及烟雾、灰尘、雾气等视觉遮挡环境中工作。
挑战：大多数机器人应用使用的是非制冷微测辐射热计（Uncooled Microbolometer），这类相机存在严重的退化问题：
1. 运动模糊 (Motion Blur)：由于热时间常数（thermal time constant）导致像素积分效应。
2. 卷帘快门失真 (Rolling Shutter Distortion)：逐行读取导致的几何畸变。
3. 固定图案噪声 (Fixed Pattern Noise, FPN)：低对比度图像中的显著噪声。
现有局限：现有的热 SLAM 方法通常难以处理快速运动（导致模糊和卷帘快门）或依赖特征点匹配（在低对比度下失效）。基于 NeRF 的恢复方法（如 TRNeRF）虽然能处理这些退化，但通常需要真值位姿（Ground Truth Poses），无法在线运行。

2. 核心方法论 (Methodology)

TRGS-SLAM 将 TRNeRF 的退化建模思想扩展到了在线 3DGS SLAM 框架中，通过紧耦合 IMU 和连续时间轨迹优化来解决上述问题。

2.1 系统架构

系统采用 Frame-to-Model 策略，直接优化 3D 高斯地图和相机轨迹，而非依赖传统的特征点前端。

地图表示：3D 高斯泼溅（3DGS），但去除了视图依赖性（热图像为单通道），仅学习标量强度。
轨迹表示：使用 B-样条（B-Spline） 表示连续时间的相机轨迹（位置和旋转），能够自然建模卷帘快门和运动模糊。
传感器融合：紧耦合 IMU 数据，利用 B-样条的导数直接与 IMU 测量值（陀螺仪和加速度计）进行约束。

2.2 关键技术创新

微测辐射热计感知渲染 (Microbolometer-Aware Rendering)：
- 运动模糊建模：不再渲染单帧清晰图像，而是根据热时间常数 $\tau$ ，在渲染过程中对多个时间步的图像进行加权积分（离散化近似），模拟热相机的积分效应。
- 卷帘快门建模：根据像素读取时间 $t'_{x,y}$ 计算每个像素的有效读取时刻，结合 B-样条轨迹计算该时刻的相机位姿。
- FPN 建模：引入两个可学习的 B-样条（像素级偏移 $O_{pix}(t)$ 和全局强度偏移 $o_{global}(t)$ ）来在线估计并补偿固定图案噪声。
两阶段 IMU 损失与轨迹优化：
- IMU 初始化前：仅使用陀螺仪数据约束角速度，假设匀速运动。
- IMU 初始化后：引入加速度计数据，利用 B-样条导数直接计算线加速度，与 IMU 测量值（去偏后）进行匹配。
- 两阶段损失：在优化过程中，先利用 IMU 初始化估计重力方向和尺度，随后在优化中同时优化轨迹、高斯参数和 FPN 参数。
基于视图多样性的不透明度重置 (View-Diversity-Based Opacity Resetting)：
- 针对 SLAM 场景，传统的 3DGS 全局不透明度重置会导致不稳定。
- 提出一种新策略：计算每个高斯球在多个视角下的方向二阶矩矩阵 $V_g$ 的条件数。仅对条件数高（即视角约束差、位于场景边缘或约束不足）的高斯球进行不透明度重置和剪枝，从而保持地图稳定性并减少高斯数量。
位姿漂移校正与重定位：
- 在映射优化中，引入关键帧窗口（Keyframe Window）与历史随机采样关键帧的加权损失，防止新关键帧覆盖已建好的地图区域。
- 当检测到跟踪失败（SSIM 值过低）时，自动回滚状态并暂停建图，仅进行跟踪直到重定位成功。
离线细化 (Offline Refinement)：
- 在 SLAM 运行结束后，利用所有帧和全分辨率图像进行进一步的离线优化，无需真值位姿即可实现高质量的热图像恢复。

3. 主要贡献 (Key Contributions)

首个针对严重退化热图像的在线 3DGS SLAM 系统：能够同时处理运动模糊、卷帘快门和 FPN，且在快速运动下仍能准确跟踪。
创新的 3DGS SLAM 算法：
- 提出了微测辐射热计感知的渲染管线。
- 设计了基于 B-样条的两阶段 IMU 损失函数。
- 提出了基于视图多样性的不透明度重置机制，解决了 3DGS 在 SLAM 中的不稳定性。
无需真值的图像恢复：通过离线细化，实现了与需要真值位姿的 TRNeRF 相当的图像恢复质量。
开源实现：提供了完整的代码和 B-样条优化工具包。

4. 实验结果 (Results)

数据集：在 TRNeRF 数据集上评估，包含慢速、中速、快速三种运动速度，以及室内（低对比度、高 FPN）和室外场景。
SLAM 性能：
- 在快速运动（FO, FI）和高噪声室内（MI）序列中，其他所有对比方法（包括 ORB-SLAM3, DROID-SLAM, MonoGS, TRNeRF 等）均失败或误差极大。
- TRGS-SLAM 是唯一能在所有序列（包括最具挑战性的 FI 序列）中完成准确跟踪的方法。
- 在 MI 序列（中速室内）上，RMSE ATE 为 3.9 cm，显著优于其他方法。
图像恢复性能：
- 经过离线细化后，TRGS-SLAM 的恢复图像在 LPIPS 指标上与 TRNeRF（使用真值位姿）相当，甚至在某些序列（FI）上略优。
消融实验：
- 证明了陀螺仪数据在 IMU 初始化前的重要性。
- 证明了运动模糊和卷帘快门建模的必要性（无建模在快速序列中失败）。
- 证明了像素级 FPN 建模是核心组件。
- 揭示了机载噪声滤波器会严重破坏 SLAM 性能（导致多视图不一致），建议在数据采集中关闭。

5. 意义与影响 (Significance)

推动热成像 SLAM 发展：解决了热成像在动态场景下的核心痛点（模糊和卷帘快门），使得热相机能在搜救、火灾现场等复杂动态环境中可靠工作。
3DGS 在退化视觉中的应用：展示了 3DGS 结合物理退化模型（如热积分模型）的强大潜力，为处理其他传感器退化问题提供了新思路。
实用价值：无需真值位姿即可实现高质量建图和图像恢复，极大地提升了系统在真实机器人应用中的可行性。
警示作用：指出了热相机机载后处理（如噪声滤波、AGC）对 SLAM 算法的潜在危害，强调了使用原始数据或关闭这些功能的重要性。

总结：TRGS-SLAM 通过物理建模（热积分、卷帘快门）与几何优化（B-样条、3DGS、IMU 紧耦合）的深度融合，成功攻克了热成像 SLAM 在恶劣动态环境下的跟踪与建图难题，并实现了高质量的图像复原，是该领域的一项突破性工作。