💻 computer science

RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes

本文提出了 OpenGS-SLAM，一种专为无界户外场景设计的纯 RGB 高斯泼溅 SLAM 系统，通过引入点图回归网络与自适应尺度映射，实现了相机位姿与 3DGS 场景参数的端到端联合优化，在 Waymo 数据集上显著降低了跟踪误差并取得了最先进的视图合成效果。

原作者： Sicheng Yu, Chong Cheng, Yifan Zhou, Xiaojun Yang, Hao Wang

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sicheng Yu, Chong Cheng, Yifan Zhou, Xiaojun Yang, Hao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OpenGS-SLAM 的新系统。为了让你轻松理解，我们可以把它想象成是在教一个**“只会看照片的自动驾驶司机”如何一边开车，一边在脑海里构建出整个世界的3D 立体地图**。

以前，这种技术主要用在室内（比如房间很小，走几步就能看完），而且通常需要带深度传感器的相机（就像给相机装上了“夜视仪”或“测距仪”，能直接知道物体有多远）。

但到了室外（比如宽阔的街道、高速公路），情况就变了：

没有深度仪：只能用普通的 RGB 相机（就像人眼或手机摄像头，只能看到颜色，不知道距离）。
场景无限大：街道没有尽头，车子一直在跑，不像在房间里转圈。
视角变化大：车子开得快，转弯多，很难把前后的画面连起来。

以前的方法在这种环境下很容易“迷路”或者把地图画得模糊不清。OpenGS-SLAM 就是为了解决这些难题而生的。

核心魔法：三个关键“超能力”

为了让这个系统只用普通照片就能画出完美的 3D 地图，作者给了它三个“超能力”：

1. 点图回归网络：给照片装上“透视眼”

以前的做法：试图直接猜出每一像素的深度（距离），这就像让人闭着眼睛猜一个苹果离你几米远，很容易猜错。
OpenGS 的做法：它不直接猜距离，而是猜**“点图”（Pointmap）**。
- 比喻：想象你在看两张不同角度的照片。以前的方法像是在猜“那个苹果有多远”，而 OpenGS 的方法像是在说：“你看，照片 A 里的这个红点，对应照片 B 里的这个蓝点，它们其实是同一个物体。”
- 它通过对比连续的两张照片，找出它们之间的空间对应关系。这就好比两个人站在不同位置看同一个雕塑，通过交换彼此看到的细节，就能拼凑出雕塑的完整 3D 形状。这让系统能更稳健地判断车子到底转了多少度、走了多远，即使没有深度传感器也能做到。

2. 端到端优化：让“司机”和“绘图员”一起思考

以前的做法：通常是分两步走。第一步先算出车子在哪（定位），第二步再根据这个位置去画地图（建图）。如果第一步算错了，第二步的地图就全歪了，而且很难回头修正。
OpenGS 的做法：它把“算位置”和“画地图”变成了一个整体。
- 比喻：这就像是一个**“边开边画”的艺术家**。他一边开车（调整位置），一边在画布上涂抹颜料（构建 3D 高斯球）。如果画出来的街道看起来不对劲（和真实照片对不上），他会立刻意识到：“哦，我刚才转弯的角度算错了，或者颜料涂的位置偏了”，然后同时修正自己的位置和地图。
- 这种“同步优化”让系统非常聪明，能迅速纠正错误，保证地图既准又清晰。

3. 自适应“尺子”和“学习节奏”：应对千变万化的路况

室外场景有两个大麻烦：比例尺变了和路况变了。

自适应比例尺（Adaptive Scale Mapper）：
- 问题：在室外，因为距离远，同样的物体在不同照片里看起来大小可能不一样（透视变形）。如果系统不知道这个比例变化，画出来的楼可能会忽大忽小，像橡皮泥一样。
- 解决：OpenGS 自带一把**“智能伸缩尺”**。它能自动检测前后两张照片的比例差异，并实时调整，确保画出来的 3D 模型大小是协调的，不会变形。
自适应学习率（Adaptive Learning Rate）：
- 问题：在直路上开，系统可以慢慢“复习”；但在急转弯或上坡时，系统需要**“快速反应”**来适应新环境。
- 解决：以前的系统像是一个死板的老师，不管路况如何，学习速度都一样。OpenGS 则像是一个经验丰富的老司机：直路时它慢慢优化，一旦检测到车子在急转弯（旋转角度大），它就立刻提高学习速度，快速适应新视角，防止在转弯时“晕车”或迷路。

成果如何？

作者在著名的 Waymo 自动驾驶数据集（全是真实的室外街道视频）上进行了测试：

定位更准：它的定位误差只有以前同类方法的 10%（也就是误差减少了 90% 以上）。
画质更好：它生成的新视角照片（比如从车子没去过的角度看图）非常清晰，细节丰富，能看清路边的车、建筑和树木，没有模糊或扭曲。
无需深度仪：完全只用普通的 RGB 摄像头，成本更低，适用性更广。

总结

简单来说，OpenGS-SLAM 就像是一个拥有超强空间想象力的“盲眼画家”。它不需要特殊的测距设备，仅凭普通相机拍的照片，就能通过聪明的“点图对比”、“同步修正”和“灵活应变”，在无限大的室外街道上，实时构建出高精度、高清晰度的 3D 世界地图。这对于未来的自动驾驶、VR 旅游和机器人导航来说，是一个巨大的进步。

1. 研究背景与问题 (Problem)

现有局限：3D 高斯泼溅（3DGS）虽然在 SLAM（即时定位与地图构建）中因其高保真新视图合成能力而受到关注，但现有方法主要局限于室内场景或小尺度场景。
依赖问题：大多数基于 3DGS 的 SLAM 方法严重依赖 RGB-D 传感器（深度相机）或预训练的深度估计模型。
户外挑战：在无界户外场景（Unbounded Outdoor Scenes）中，仅使用 RGB 数据面临巨大挑战：
1. 深度与尺度估计困难：缺乏直接深度信息导致姿态估计不准和 3DGS 初始化困难。
2. 约束不足：户外场景通常由车载相机拍摄，视角变化大、重叠区域少且存在奇异视角，导致训练难以收敛。
3. 现有方法失效：直接回归相机姿态在户外大尺度移动下效果极差，且预训练深度网络在户外往往不准确。

2. 核心方法论 (Methodology)

作者提出了 OpenGS-SLAM，一种专为无界户外场景设计的纯 RGB 3DGS SLAM 系统。其核心流程包括以下三个关键部分：

A. 基于成对点图回归的位姿估计 (Pairwise Pointmap Regression)

创新点：摒弃传统的深度图回归，采用点图（Pointmap）回归网络。
原理：点图不仅包含深度信息，还存储了多视图间的空间关系、2D-3D 对应关系和场景几何结构。
网络架构：使用预训练网络（包含 ViT 编码器、Transformer 解码器和 MLP 回归头），通过最小化预测点图与真实点图的欧氏距离进行训练。
优势：点图能更鲁棒地表示 3D 形状，允许在不同视角光线间进行三角测量，不受深度估计质量差的限制。随后结合 RANSAC + PnP 算法推断帧间相对位姿。

B. 端到端可微分优化管道 (End-to-End Differentiable Pipeline)

联合优化：将相机位姿估计与 3DGS 渲染集成在一个端到端可微分管道中。
数学实现：
- 将相机位姿 $T_{CW}$ 参数化为李代数 $se(3)$ 以支持梯度下降。
- 推导渲染函数关于相机位姿的雅可比矩阵（利用链式法则，涉及 2D 高斯参数 $\mu_I, \Sigma_I$ 对位姿的导数）。
- 构建光度损失函数 $L_{pho}$ ，实现相机位姿与 3DGS 场景参数的同步优化，显著提升跟踪精度。

C. 自适应尺度映射与动态学习率 (Adaptive Scale Mapper & Dynamic LR)

自适应尺度映射器 (Adaptive Scale Mapper)：
- 针对点图回归可能存在的尺度不一致问题，设计该模块。
- 通过匹配连续帧（ $k-1, k, k+1$ ）生成的点图，计算相邻帧间的尺度比率 $\rho_{ij}$ 。
- 以第一帧为参考，累积计算尺度因子，确保点图坐标能准确映射到 3DGS 地图表示中，解决户外场景尺度漂移问题。
动态学习率调整：
- 针对户外场景（车辆直线行驶 vs. 转弯/上坡）的特点，提出基于旋转角度的学习率调整策略。
- 当检测到较大角度变化（如转弯）时，重置或增加累积迭代次数，从而提高学习率，使系统能快速适应新场景；直线行驶时则正常衰减。

3. 主要贡献 (Key Contributions)

首创性：据作者所知，这是首个针对无界户外场景提出的纯 RGB 3D 高斯泼溅 SLAM 方法。
系统架构创新：提出了一种将点图回归网络与端到端 3DGS 渲染管道集成的系统，实现了位姿与场景参数的联合优化，显著提高了跟踪的准确性和稳定性。
性能突破：通过自适应尺度映射器和动态学习率策略，在 Waymo 数据集上实现了新视图合成（NVS）的 SOTA（State-of-the-Art）结果，并将跟踪误差降低至现有 3DGS 方法的 9.8%。

4. 实验结果 (Results)

数据集：Waymo Open Dataset（9 个户外街景片段）。
对比基线：NICER-SLAM, GlORIE-SLAM, Photo-SLAM, MonoGS。
跟踪精度 (Tracking)：
- 平均绝对轨迹误差 (ATE RMSE) 为 0.839m。
- 虽然略低于基于光流和全局 BA 的 GlORIE-SLAM (0.536m)，但显著优于 MonoGS (8.529m) 和其他方法。
- 在部分片段上甚至优于 GlORIE-SLAM，且无需后端全局 BA 即可达到可比性能。
新视图合成 (Novel View Synthesis)：
- PSNR: 23.99 (优于 MonoGS 的 21.80，提升约 10%)。
- SSIM: 0.800。
- LPIPS: 0.434 (越低越好)。
- 视觉效果：生成的图像清晰，能准确捕捉车辆、街道和建筑的细节，无明显模糊或畸变（相比之下，MonoGS 图像模糊，GlORIE-SLAM 存在像素缺失）。
消融实验：
- 移除点图回归：跟踪完全失败，误差激增至 11.18m。
- 移除尺度映射器：PSNR 下降，跟踪误差增加。
- 移除学习率调整：在转弯处出现明显轨迹漂移。

5. 意义与价值 (Significance)

技术突破：解决了纯 RGB 数据在户外大尺度场景下进行高保真 3D 重建和定位的难题，证明了 3DGS 在复杂户外环境下的潜力。
实际应用：该系统不依赖昂贵的深度传感器，仅用单目 RGB 即可工作，极大地降低了自动驾驶、机器人导航和 VR/AR 应用的硬件成本。
鲁棒性：提出的联合优化和自适应策略有效应对了户外场景中的尺度模糊、视角稀疏和动态变化问题，为未来的户外 SLAM 研究提供了新的范式。

总结：OpenGS-SLAM 通过引入点图回归和端到端联合优化，成功将 3DGS SLAM 从室内小场景扩展到了无界户外场景，在跟踪精度和渲染质量上均取得了显著进展，是纯视觉 SLAM 领域的重要进展。