💻 computer science

Supercharging Thermal Gaussian Splatting with Depth Estimation

该论文提出了一种名为热成像到深度高斯泼溅（TDg）的单模态方法，该方法利用热成像与深度估计，在渲染质量上超越多模态基线，同时显著缩短训练时间，从而无需依赖可见光即可实现适用于监控和工业检测等场景的高效三维场景重建。

原作者： Manoj Biswanath, Chenxin Cai, Hannah Schieber, Daniel Roth, Benjamin Busam

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Manoj Biswanath, Chenxin Cai, Hannah Schieber, Daniel Roth, Benjamin Busam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图构建一个房间的 3D 全息图，但你只能通过一种特殊的“热成像相机”来观察它，这种相机显示的是温度而非颜色。通常，为了构建这些 3D 全息图（称为高斯泼溅），计算机需要标准的彩色照片（RGB）来确定物体在空间中的位置。但热成像相机在这方面很吃力，因为它们往往看到的是一种模糊、低对比度的世界，很难分辨一个物体在哪里结束，另一个物体又在哪里开始。

本文介绍了一种名为**TDg（热成像到深度的高斯泼溅）**的新方法。这就像教计算机仅使用热成像相机来构建 3D 模型，而无需任何彩色照片的辅助。

以下是作者是如何做到的，使用了一些简单的类比：

1. 问题：“盲”建筑师

通常，如果你想构建一个房间的 3D 模型，你会使用彩色相机。这就像一位能看到墙壁形状和家具纹理的建筑师。

问题所在： 在黑暗、雾气或烟雾中，彩色相机会“失明”。
热成像相机： 这种相机感知热量。它在黑暗中也能工作，但就像一位只能看到“热点”和“冷点”的建筑师。它很擅长在黑暗中寻找温暖的人，但在确定墙壁的确切形状方面却表现糟糕，因为一切看起来都像是一个平滑、模糊的团块。

2. 解决方案：“热到形”翻译器

作者创建了一个充当翻译器的系统。

技巧： 他们教会计算机仅从热图案中观察模糊的热图像并推测深度（物体有多远）。
类比： 想象你在一个黑暗的房间里，感觉到一股暖流从窗户方向吹来。虽然你看不见窗户，但你的大脑会想：“啊，那个温暖的地方可能是一扇大约 5 英尺外的窗户。”TDg 方法在数学上做到了这一点。它接收热图像，估算深度，并利用这个推测来帮助构建 3D 模型。

3. 工作原理：“两步舞”

该方法不是试图同时学习形状和热量（这很令人困惑），而是进行一场“两步舞”：

第一步（骨架）： 在开始时，计算机严重依赖估算的深度（房间的“骨架”）来确保形状正确。这就像先建造房屋的框架。
第二步（皮肤）： 随着模型变得更好，计算机逐渐不再那么担心深度的推测，而是专注于让热图像看起来真实（房屋的“皮肤”）。

这防止了计算机被模糊的热图像搞糊涂，并帮助它更快地构建模型。

4. 结果：更快、更清晰

作者将他们的方法与当前最佳的做法（同时使用彩色和热成像相机）进行了测试比较。

速度： 他们的方法快了 55%。这就像因为拥有更好的策略，而在半小时内完成拼图。
质量： 最终的 3D 热模型比竞争对手的更清晰、更准确。
重大胜利： 他们证明了你不需要彩色相机也能获得好的结果。你可以仅依赖热成像相机和“深度推测”。

5. 适用场景（以及不适用场景）

成功之处： 它非常适用于检查建筑物的热泄漏、在黑暗中寻找人员或检查工厂机器等任务。
局限性： 该系统仍需要一点点帮助才能启动。它使用标准的彩色相机一次，仅为了获取房间的初始“骨架”。如果你尝试从一个完全随机的推测（没有初始骨架）开始，模型就会崩溃。此外，如果建筑物很大，而你无法绕着它走一圈来拍照，建筑物的背面可能会看起来有点奇怪，因为计算机没有足够的角度来推测深度。

总结

简而言之，这篇论文指出：“我们教会了计算机仅使用热数据来构建 3D 热图。通过让计算机从热数据中推测深度，我们加快了处理速度，并且不再需要依赖彩色相机，这对于在黑暗或恶劣天气下工作来说是一个巨大的进步。”

技术摘要：利用深度估计增强热高斯泼溅

问题陈述

高效且鲁棒的 3D 场景表示对于自动驾驶、机器人和监控等领域的应用至关重要。虽然 3D 高斯泼溅（GS）利用 RGB 数据在新视角合成（NVS）方面取得了最先进（SOTA）的性能，但其对可见光的依赖使其在退化环境（如低光、雾、烟雾）中容易失效。现有的多模态方法试图整合热数据以提高鲁棒性，但这些方法通常依赖于 RGB 和热模态的融合。这种融合引入了显著的挑战：

复杂性与速度：结合多模态数据会减慢训练过程并使流程复杂化。
对齐问题：热成像仪和 RGB 相机需要精确的共配准，这很难实现。
依赖性：当前基于热成像的 GS 框架通常仍依赖 RGB 图像进行监督或联合优化，未能建立真正独立的热表示系统。
数据特性：热图像固有地存在低对比度、稀疏纹理和非均匀亮度的问题，使得在没有几何约束的情况下，纯热监督变得不稳定。

作者指出了文献中的一个空白：尚无现有框架能够仅使用单一热红外数据（单一模态）在保持高质量和效率的同时成功执行 3D 重建。

方法论：热到深度高斯泼溅（TDg）

本文提出了TDg，这是一个自包含的框架，仅利用热图像和深度估计来推导辐射场，从而摆脱了对可见光的依赖。其核心创新在于一种通过双光栅化优化的统一 3D 高斯表示。

核心架构

TDg 不使用针对不同模态维护的独立模型，而是利用单一的一组 3D 高斯 $G = \{\mu_i, \Sigma_i, \alpha_i, c_i\}$ 来表示场景。

统一表示：每个高斯由位置（ $\mu$ ）、协方差（ $\Sigma$ ）、不透明度（ $\alpha$ ）和热辐射特征（ $c$ ）参数化。
双重渲染：在优化过程中，统一模型被渲染为两个输出：
1. 热图像：使用辐射特征 $c_i$ 。
2. 深度图：使用相机空间中高斯中心的 Z 坐标。

关键组件

热到深度估计：
- 一个热引导的深度估计器（ $f_\theta$ ），具体为 Marigold 模型，直接从输入的热图像（ $I_{Th}$ ）预测稠密深度图（ $D$ ）。
- 这为热辐射场的 3D 分布提供了几何先验，解决了纯热监督在低纹理区域的不稳定性问题。
损失函数：
- 热损失（ $L_{thermal}$ ）：结合了像素保真度（ $L_1$ ）、结构相似性（SSIM）和平滑项（ $L_{smooth}$ ）。平滑项惩罚不自然的突变温度变化，利用了大多数热场景呈现渐进温度梯度的物理特性。
- 深度损失（ $L_{depth}$ ）：由于单目深度估计存在尺度和位移模糊性，预测深度和渲染深度均被 Min-Max 归一化至 $[0, 1]$ 。损失是归一化图之间 $L_1$ 距离和 SSIM 的组合。
渐进式联合优化：
- 为了应对由稀疏热纹理引起的训练不稳定性，作者采用了一种渐进策略。
- 早期训练：深度损失权重较高，以基于估计的深度先验强制执行结构准确性。
- 晚期训练：深度损失权重线性衰减（ $w_{decay}$ ），使模型能够专注于光度保真度和细粒度的热细节。
- 总损失公式化为： $L_{total} = L_{thermal} + w_{decay}(t) \cdot \lambda_{depth} \cdot L_{depth}$ 。

初始化说明

虽然核心渲染和优化完全依赖热数据，但作者承认，初始的稀疏点云目前是使用运动恢复结构（SfM/COLMAP）从 RGB 图像中导出的。这是必要的，因为热图像缺乏标准 SfM 特征提取所需的高频特征。然而，优化和辐射场推导仍然是纯粹基于热数据的。

主要贡献

热到深度高斯泼溅（TDg）：一种新颖的、纯基于热成像的 GS 方法，将深度估计直接集成到架构中。
热引导深度模块：一个集成在 GS 内部的模块，利用从热图像估计的深度来约束几何分布，消除了主优化阶段对 RGB 监督的需求。
综合评估：在两个最先进数据集 RGBT-Scenes 和 ThermalMix 上，对 TDg 与 MSMG（多单模态高斯）基线进行了严格的基准测试。

实验结果

作者在 RGBT-Scenes 和 ThermalMix 数据集上的 14 个场景中评估了 TDg，并将其性能与 MSMG 基线进行了比较。

渲染质量：
- PSNR：TDg 平均达到 27.42，比基线（27.18）高出 0.01%。
- SSIM：TDg 达到 0.8899，比基线提高了 0.034%。
- LPIPS：TDg 达到 0.175，比基线提高了 1.12%（越低越好）。
- 定性结果显示了更好的分辨率和更少的伪影，特别是在低光条件（“暗场景”）下。
训练效率：
- TDg 将每个场景的平均训练时间显著减少了 12 分钟 47 秒。
- 这代表与基线相比，速度提高了 55%。
- 效率的提升归功于深度引导的监督，它通过提供明确的空间梯度，防止了基线中常见的“漂浮物”（空空间中过度且低效的致密化）。
失败案例：
- 随机初始化：如果没有基于 COLMAP 的几何先验，模型无法泛化到新视角，导致严重的过拟合（PSNR 降至约 9.6）。
- 遮挡区域：该方法在处理大规模结构（如建筑物）时表现不佳，因为无法进行 360 度热采集，导致未观察到的后立面重建效果差。

意义与主张

本文声称，TDg 通过消除对 RGB 数据在核心辐射场推导中的依赖，成功弥合了热成像与高效 3D 重建之间的差距。

鲁棒性：该方法实现了独立于可见光的 3D 场景表示，使其适用于照明条件差或变化多端的监控、搜救和工业检查场景。
效率：通过利用单一模态和深度引导优化，与多模态融合方法相比，该方法加速了收敛并简化了处理流程。
应用潜力：生成的热辐射场可作为数字孪生或丰富现有的数字孪生，允许在不需多模态硬件同步的情况下，从新视角识别热源（人员、机械）并分析热传递行为。

作者总结道，虽然仅靠热图像能提供强大的结构信号，但集成估计的深度对于指导优化过程至关重要，从而在单一模态框架中有效地平衡了几何精度与光度保真度。