💻 computer science

TCGSplat: Temporal Confidence Guided 3D Gaussian Splatting for RGB-D SLAM

TCGSplat 是一个鲁棒的基于 3D 高斯泼溅（3D Gaussian Splatting）的 SLAM 系统，它通过为每个高斯原语维护并渲染随时间演化的置信度分数来过滤掉不可靠的观测，从而增强了跟踪、建图和回环检测能力。

原作者： Xingchen Guo, Zhi Liu, Dandan Huang, Xingzhao Wang, Huiji Wang, Huilin Jiang

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Xingchen Guo, Zhi Liu, Dandan Huang, Xingzhao Wang, Huiji Wang, Huilin Jiang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器人和增强现实眼镜需要知道它们所处的位置以及周围的环境，才能正常运作。为了实现这一点，它们使用了一种被称为同步定位与建图（SLAM）的技术。想象一个机器人在房间里移动；它必须在构建墙壁、家具和地板的数字地图的同时，不断计算自己的位置。多年来，这些系统一直依赖于用僵硬的几何形状来表示世界。虽然这种方法很准确，但这些形状往往看起来很笨拙，无法捕捉到真实环境丰富的色彩和纹理。最近，一种名为3D高斯泼溅（3D Gaussian Splatting）的新方法出现了，它允许计算机使用数百万个微小的、模糊的3D椭球体来表示场景。这种方法能够实时创建出令人惊叹的、具有照片级真实感的房间视图。然而，一个显著的问题仍然存在：随着机器人的移动，由于传感器噪声或突然的运动，其数字地图的部分部分会变得不稳定或不可靠。如果机器人过度信任这些不稳定的部分，它可能会迷失方向或构建出扭曲的地图。

长春理工大学的研究人员开发了一种名为TCGSplat的新系统来解决这个特定问题。该系统并非将数字地图中的每一块都视为同样可信，而是为每一个微小的3D椭球体赋予了一个随时间变化的“置信度分数”。把这个分数想象成一个随着机器人每次观察某个点而更新的可靠性评级。如果地图的一个部分被多次观察且看起来保持一致，它的置信度分数就会上升。如果一个部分是新的、模糊的或发生了意外变化，它的分数就会下降。系统利用这个分数来决定对不同区域投入多少注意力。当机器人试图确定自己的位置时，它会重点关注高置信度的区域，并忽略那些不稳定的区域。当它试图改进地图时，它会投入更多精力去修复低置信度的区域。这个简单而强大的想法让机器人在困难、多噪的环境中也能保持航向。

团队在多个标准数据集上测试了他们的系统，包括合成室内场景和来自手持摄像机的真实世界录像。在这些测试中，新系统在追踪相机路径方面比以往的方法更准确。在一组真实世界的室内视频中，该系统将追踪相机位置的平均误差降低到了3.37厘米，这优于其他依赖相同3D高斯技术的领先方法。研究人员还发现，生成的地图不仅在几何结构上更准确，而且在视觉上也更美观，具有更高的清晰度和更少的视觉伪影。该系统通过不断询问“我对这个场景的部分有多确定？”并据此调整其行为来实现这一点。

这项工作的关键特征在于系统如何从自身的历史中学习。它不仅仅是根据当前的图像来判断地图的一部分是否良好，而是会记住那部分地图在过去是如何表现的。如果一个特定的3D椭球体长期保持稳定，系统就会更加信任它。如果同一个椭球体突然跳变或改变形状，且其变化与历史记录不符，系统就会将其标记为不可靠。这种基于时间的特性至关重要，因为它允许机器人区分现实世界的真实变化与自身传感器的错误。研究人员证明，通过使用这种基于时间的置信度，机器人处理困难情况（例如快速移动或光照不足的区域）的能力比以前大大提升。

研究还表明，这种方法并不会带来沉重的速度代价。虽然系统为了追踪置信度进行了额外的计算，但它仍然运行得足够快，可以在现代计算机硬件上进行实时使用。处理每一帧所需的时间与之前的最佳方法相比仅略有增加，这意味着机器人仍然可以快速移动和反应。研究人员确认，他们的方法适用于不同类型的环境，从简单的办公室房间到复杂的杂乱空间。通过集成这种置信度机制，他们使3D高斯泼溅成为一种更鲁棒的导航工具。这项工作表明，对于机器人要真正理解世界，它们不仅需要一张关于那里有什么的图片，还需要一种对这张图片有多确定的感觉。这个新系统提供了这种感觉，从而实现了在现实世界中更安全、更可靠的导航。

技术摘要：TCGSplat：用于 RGB-D SLAM 的时间置信度引导 3D 高斯泼溅

问题陈述

虽然 3D 高斯泼溅（3DGS）由于其高效的可微渲染和高保真外观建模，已成为实时稠密同步定位与地图构建（SLAM）中一种突出的场景表示方法，但现有的 3DGS-SLAM 方法存在一个关键局限性：它们主要基于当前观测来优化高斯基元，而没有显式地对这些基元随时间变化的可靠性进行建模。

在在线建图场景中，单个高斯基元经历着不同的观测频率、不同程度的几何参数更新以及波动的有效观测反馈。因此，它们的可靠性会随时间演变。现有方法通常依赖于固定属性或即时观测残差来估计可靠性，无法捕捉基元信任度的时变演化。这种缺乏显式时间可靠性建模的问题，可能导致不可靠的高斯基元对相机追踪、地图优化和回环检测产生负面影响，尤其是在存在传感器噪声、遮挡和动态干扰的挑战性环境中。

方法论

作者提出了 TCGSplat（时间置信度引导的泼溅），这是一个可靠性感知型的 3DGS-SLAM 系统，旨在维护并利用每个高斯基元随时间演变的置信度分数。该系统构建于基于子图的 3DGS-SLAM 框架（具体为扩展了 LoopSplat）之上，并引入了一个分为三个关键阶段的时间置信度更新模块：

1. 单个高斯的时变置信度建模

TCGSplat 为每个高斯 $G_i$ 维护一个置信度状态 $p_i^t \in [p_{min}, 1]$ 和一个历史状态向量 $h_i^t$ 。置信度通过结合时间衰减和观测反馈进行在线更新：

时间衰减： 置信度会随时间自然向较低的下界 $p_{min}$ 衰减，以防止陈旧的高斯基元占据主导地位，该过程由衰减时间常数 $\tau$ 控制。
观测反馈： 系统评估两种线索来强化或惩罚置信度：
- 几何稳定性： 系统计算“自距离”（self-distance, $d_i^t$ ），即相对于上一个制图步骤中位置、缩放和旋转变化的加权和。将其与历史自距离的指数移动平均（EMA）基准（ $\bar{d}_i^{t-1}$ ）进行比较。如果当前变化小于历史平均值，则表示稳定；如果较大，则表示不稳定。
- 渲染残差： 在高斯的投影中心采样组合的 RGB-D 残差，以生成观测质量得分（ $Q_{r,i}^t$ ）。
更新机制： 当高斯表现出稳定性（低几何变化）和低渲染残差时，应用正向激励。当出现较大的几何偏差时，应用负向惩罚。置信度通过结合衰减状态与这些激励和惩罚项进行更新，并被限制在 $p_{min}$ 和 1 之间。
子图校准： 为了确保子图中不同时间创建的高斯之间的公平性，系统会在保存子图之前，补偿新创建基元所错过的衰减更新次数。

2. 置信度引导的优化

单个高斯的置信度分数通过标准的 Gaussian alpha 合成技术渲染成图像空间置信度图（ $P_t$ ）。该图引导三个核心过程：

追踪（Tracking）： 置信度图用于构建像素级追踪权重。由高置信度高斯支持的区域为位姿估计提供更强的约束，而低置信度区域会被降权但不会被忽略（通过最小权重 $w_{min}$ ）。
建图（Mapping）： 系统为低置信度区域分配更高的重建权重，从而鼓励对未充分细化的基元进行进一步优化。相反，成熟的高置信度区域接收保守的更新。此外，引入了稳定性损失（stability loss），用于惩罚高置信度、成熟高斯中的异常几何增加，防止它们被噪声破坏稳定性。
梯度缩放： 几何参数（中心、缩放、旋转）的梯度缩放因子与置信度成反比。低置信度高斯接收更强的几何更新，而高置信度高斯则进行更保守的优化。

3. 回环检测视角选择

在回环检测期间，系统保留了 LoopSplat 标准的子图检索和配准流程。然而，它利用时间置信度来重新排列候选视角（rerank candidate viewpoints）。对于由不可靠地图区域（高不透明度区域中的低平均置信度）主导的视角，其描述符得分会被惩罚，从而确保子图配准依赖于最可靠的观测。

主要贡献

论文概述了三项主要贡献：

单高斯时间置信度模型： 一种新型的在线 3DGS-SLAM 框架，它为每个高斯基元维护独立的可靠性状态，并通过时间衰减、历史感知的几何反馈以及 RGB-D 渲染残差进行更新。
置信度引导优化框架： 一个将单高斯置信度渲染为图像空间权重的系统。该机制在追踪过程中强调可靠区域，在建图过程中将优化精力分配给低置信度区域，并支持用于回环检测的视角选择。
全面的评估： 在 Replica、TUM RGB-D 和 ScanNet 数据集上进行的广泛实验，证明了该方法的有效性，涵盖了追踪精度、重建质量和渲染质量。

实验结果

作者在三个数据集上将 TCGSplat 与最先进的神经隐式 SLAM 方法（如 NICE-SLAM、GO-SLAM）和基于 3DGS 的方法（如 SplaTAM、LoopSplat、VarSplat）进行了对比评估。

追踪精度： TCGSplat 在绝对轨迹误差（ATE RMSE）方面取得了具有竞争力的或更优的结果。
- Replica： 平均 ATE 为 0.25 cm，与 VarSplat 持平，并略优于 LoopSplat。
- ScanNet： 在对比的 3DGS 方法中取得了最佳平均结果（7.6 cm），将误差从 LoopSplat 的 8.5 cm 和 VarSplat 的 7.9 cm 降低。
- TUM RGB-D： 在对比的 3DGS-SLAM 方法中实现了最低的平均 ATE（3.37 cm）。
重建质量： 在 Replica 数据集上，TCGSplat 实现了平均深度 L1 为 0.85 且 F1 分数为 90.2%，显示出与基于子图的基准方法相当的质量，同时提高了挑战性场景中的深度一致性。
渲染质量： TCGSplat 在所有三个数据集上均实现了最高的峰值信噪比（PSNR）（Replica 为 37.84 dB，TUM 为 22.83 dB，ScanNet 为 24.95 dB），以及具有竞争力的 SSIM 和 LPIPS 得分。
运行时效率： 虽然引入了额外的置信度渲染和更新开销，但 TCGSplat 仍然保持高效。在 RTX 4090 上，它将建图迭代时间从 11.28 ms (LoopSplat) 增加到 14.82 ms，将追踪时间从 11.20 ms 增加到 12.23 ms，单次迭代仍比 VarSplat 更高效。

重要性与主张

论文声称 TCGSplat 证明了时间可靠性建模是 3D 几何与外观在在线 3DGS-SLAM 中的有力补充。通过显式建模单个基元的可靠性如何通过重复观测和优化而演变，该系统增强了对传感器噪声和挑战性相机运动的鲁棒性。

作者断言，他们的方法不仅改进了追踪，还增强了优化后的高斯表示本身，从而带来了更优的渲染质量。消融实验证实，置信度引导组件（建图、追踪和回环视角重排序）提供了互补性的改进，完整系统实现了最佳的位姿估计结果。这项工作表明，结合随时间变化的置信度分数可以使系统区分稳定的、成熟的地图元素与不稳定的、新观察到的区域，从而更有效地分配优化资源。