💻 computer science

S2GS: Streaming Semantic Gaussian Splatting for Online Scene Understanding and Reconstruction

本文提出了 Streaming Semantic Gaussian Splatting (S2GS)，一种严格因果的增量式 3D 高斯语义场框架，通过几何 - 语义解耦的双骨干设计，在无需重处理历史帧的情况下实现了可扩展的在线场景重建与理解，显著克服了现有离线方法在处理长序列时显存和计算开销急剧增长的问题。

原作者： Renhe Zhang, Yuyang Tan, Jingyu Gong, Zhizhong Zhang, Lizhuang Ma, Yuan Xie, Xin Tan

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Renhe Zhang, Yuyang Tan, Jingyu Gong, Zhizhong Zhang, Lizhuang Ma, Yuan Xie, Xin Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 S2GS 的新系统，它的核心目标是让计算机能够像人眼一样，在实时观看一段视频时，一边“看”（理解场景里有什么物体），一边“记”（重建出这个场景的 3D 模型），而且不需要回头反复翻看之前的画面。

为了让你更容易理解，我们可以把现有的技术和 S2GS 做一个生动的比喻：

1. 现有的技术：像“死记硬背的优等生”

以前的方法（比如论文里提到的 SIU3R）就像是一个正在备考的优等生。

工作方式：每来一张新照片，这个学生就会把所有以前看过的照片都拿出来，重新排列组合，反复思考：“这张新照片和那张旧照片有什么关系？那个物体到底在哪里？”
缺点：
- 太慢：照片越多，他要复习的旧资料就越多，脑子转得越来越慢。
- 记不住：他的“大脑内存”（显存）是有限的。如果视频太长（比如超过 80 帧），他脑子里塞满了旧照片，直接死机（内存溢出，OOM），什么都做不了了。
- 不现实：在现实生活中，我们看视频是连续的，不可能每看一秒就停下来把过去的一小时都重新复习一遍。

2. S2GS 是什么？像“经验丰富的导游”

S2GS 则像是一位经验丰富的导游，他在带团游览一个陌生的城市（视频流）。

工作方式：
- 只关注当下：导游每走一步，只根据当前看到的景象和脑子里已经记下的地图来更新信息。他绝不回头去重新翻看之前的路。
- 双脑分工（核心创新）：
  - 左脑（几何分支）：负责记路。它像是一个建筑工人，只关心墙壁在哪里、路有多宽、房子是什么形状。它非常专注，确保 3D 模型不会乱。
  - 右脑（语义分支）：负责认人。它像是一个识图专家，利用强大的“预训练大脑”（2D 基础模型）来识别：“哦，那是椅子，那是桌子，那是张三。”它专门负责给物体贴标签和认脸。
- 记忆小本本（实例记忆）：导游手里有个小本本。当他再次看到“张三”时，他会快速核对：“这个人和刚才那个是同一个吗？”如果是，就更新一下位置；如果不是，就记个新名字。这保证了即使张三转了个身，导游也不会把他当成李四。

3. 为什么 S2GS 这么厉害？

这篇论文解决了两个大难题：

难题一：如何在不看过去的情况下，把 3D 模型建得稳？
- 比喻：就像你在黑暗中蒙眼走路，不能回头确认。S2GS 通过一种“蒸馏”技术，让它的“建筑工人”左脑向一位“老前辈”（预训练的 3D 模型）学习，确保每一步走出来的路（深度和相机位置）都是靠谱的，不会走偏。
难题二：如何在不看过去的情况下，认出同一个物体？
- 比喻：就像在人群中认人。如果一个人换了衣服或角度，你还能认出他吗？S2GS 给每个物体都发了一个独特的“身份证”（向量嵌入）。它通过一种特殊的“对比学习”，让同一个物体的不同照片，在身份证系统里长得非常像；而不同的物体，长得完全不像。这样，即使视频很长，它也不会把“昨天的张三”和“今天的张三”搞混。

4. 实际效果如何？

耐力惊人：
- 以前的“优等生”方法，看 80 帧视频就累瘫了（内存爆了）。
- S2GS 这位“导游”，看1000 多帧视频依然步履轻盈，内存占用增长非常缓慢。
既快又准：
- 它不仅重建的 3D 场景清晰（能看清椅子和桌子的形状），还能准确地把它们认出来（知道哪是椅子，哪是地板）。
- 甚至，如果你用文字问它：“帮我找一下红色的椅子”，它也能在 3D 场景里直接指出来（开放词汇分割）。

总结

简单来说，S2GS 就是给机器人装上了一套“实时流式”的 3D 感知系统。它不再需要把整个视频存下来慢慢分析，而是像人一样，边看、边记、边理解。这使得它非常适合用于机器人导航、AR/VR 眼镜、自动驾驶等需要实时反应、不能卡顿、且视频很长的场景。

一句话概括：以前的方法是“看完再复习，越看越累”；S2GS 的方法是“边看边记，越看越稳”。

S2GS：流式语义高斯泼溅（Streaming Semantic Gaussian Splatting）技术总结

1. 研究背景与问题定义

核心问题：现有的联合场景理解与重建方法（如 SIU3R、Uni3R 等）大多基于离线全局处理范式。随着输入图像序列长度的增加，这些方法需要反复计算过去所有观测帧之间的全局交互，导致推理时间和 GPU 显存占用随序列长度呈指数级增长。这使得它们难以处理长序列（Long-horizon）的在线场景，通常在处理约 80 帧时就会因显存溢出（OOM）而崩溃，无法满足机器人感知、AR/VR 等实时在线系统的需求。

现有局限：

非因果性：依赖未来帧或全局重处理历史帧，不符合在线系统的因果约束。
缺乏语义：现有的流式重建方法（Streaming Reconstruction）大多仅关注几何和外观，缺乏实例级的语义理解（如物体分割、ID 跟踪）。
可扩展性差：无法在长序列输入下保持稳定的推理效率和内存占用。

目标：提出一种严格因果（Strictly Causal）、无需重处理历史帧（Reprocessing-free）的在线框架，能够同时增量式地维护场景几何、外观和实例级语义，实现可扩展的在线联合重建与理解。

2. 方法论 (Methodology)

S2GS 提出了一种流式语义高斯泼溅框架，其核心设计思想是将几何重建与语义理解解耦，并采用双骨干网络（Dual-Backbone）架构。

2.1 整体架构

S2GS 处理未标定、无位姿的 RGB 视频流。在时间步 $t$ ，模型仅利用当前帧 $I_t$ 和从过去累积的持久状态进行更新，绝不重新处理历史帧。

几何流（Geometry Stream）：负责增量式 3D 高斯构建。
语义流（Semantic Stream）：负责每帧的语义分割和实例 ID 预测。

2.2 核心组件

(1) 因果 Transformer 与增量 3D 高斯构建

因果编码：使用带有时间掩码（Temporal Attention Mask）的 Transformer 编码器，确保 $t$ 时刻的 Token 只能关注历史前缀 $\{1, ..., t\}$ 。
知识蒸馏：为了在无真值监督下稳定在线几何重建，模型从预训练的严格因果 3D 基础模型（Teacher）中蒸馏几何监督信号（伪深度和伪相机参数）。
增量构建：预测深度、相机参数和每像素高斯属性，通过反投影将 2D 像素对齐到 3D 高斯中心，并增量累积到全局场景表示中。

(2) 解耦的语义流与查询驱动解码

解耦设计：语义学习独立于几何更新，避免几何噪声污染语义表示。
2D 基础模型：利用冻结的 2D 视觉基础模型提取鲁棒的语义特征。
查询解码器：使用一组可学习的 Query 对当前帧进行掩码分类，输出分割掩码、类别分数和Query Embedding（作为实例 ID 的描述符）。

(3) 实例稳定性机制 (Instance Stabilization)

为了解决在线流式推理中的 ID 切换（ID Switch）问题，S2GS 引入了两种机制：

训练阶段 - 查询级对比学习：利用匈牙利匹配将预测 Query 与真值实例对齐，并应用监督对比损失（Supervised Contrastive Loss），使同一物理实例在不同帧的 Embedding 形成紧凑簇，不同实例相互分离。
推理阶段 - 轻量级实例记忆库：维护一个实例记忆库（Instance Memory Bank）。当前帧的 Query Embedding 通过余弦相似度与记忆库中的原型（Prototype）匹配，匹配成功后通过指数移动平均（EMA）更新原型。这保证了长序列下的实例 ID 一致性。

(4) 语言驱动的开放词汇分割

Query 语义投影：将解码器输出的 Query Embedding 投影到 2D 基础模型（如 SigLIP2）的视觉 - 语言语义空间。
蒸馏对齐：训练时，利用掩码区域编码的图像 Embedding 作为教师信号，对齐投影后的 Query，使其具备与文本 Embedding 直接比较的能力。
在线检索：推理时，给定文本描述，计算其与投影 Query 的相似度，实现开放词汇分割。

3. 主要贡献 (Key Contributions)

首个严格因果的在线联合框架：提出了 S2GS，无需重处理历史帧即可增量维护 3D 高斯几何和实例级语义场，解决了长序列在线重建的内存和速度瓶颈。
几何 - 语义解耦的双骨干设计：几何流专注于因果聚合以稳定重建，语义流独立利用 2D 基础模型提取特征，防止几何噪声干扰语义表示。
流式特定的稳定性机制：
- 提出查询级对比学习（Query-level Contrastive Learning）以增强跨帧一致性。
- 设计轻量级实例记忆库关联，显著减少在线推理中的 ID 切换。
- 引入 Query 语义投影与蒸馏，实现了基于文本的开放词汇分割。
卓越的可扩展性：在保持与离线强基线相当甚至更优的性能的同时，实现了长序列输入下推理时间和显存占用的线性（甚至亚线性）增长，突破了现有方法的 OOM 限制。

4. 实验结果 (Results)

实验在 ScanNet、ScanNet++ 和 Replica 数据集上进行，对比了 SIU3R、Uni3R 等离线基线。

性能表现：
- 在短序列（2-32 视图）下，S2GS 在重建质量（PSNR/SSIM）和语义理解（mIoU）上达到或超过了离线基线。
- 在长序列（64-1024 视图）下，S2GS 表现出显著优势。例如，在 256 视图输入时，SIU3R 因显存溢出（OOM）无法运行，而 S2GS 仍能输出清晰的重建结果。
效率与可扩展性：
- 显存占用：SIU3R 在处理 80 帧左右时显存耗尽，而 S2GS 处理 1024 帧时显存仅增长至约 76GB（在 H200 上可运行），且增长缓慢。
- 推理时间：S2GS 的单帧推理时间随序列长度增加增长极慢（1024 帧时约 0.62 秒），而离线方法随序列长度急剧上升。
泛化能力：在 ScanNet++ 和 Replica 上的零样本（Zero-shot）测试中，S2GS 均优于基线，证明了其跨数据集的鲁棒性。
开放词汇分割：在自由文本查询（如 "chair", "desk"）下，S2GS 的 mIoU 达到 49.37%，优于 SIU3R (45.76%) 和 LSeg (34.28%)，且边界更清晰，背景“渗漏”更少。

5. 意义与影响 (Significance)

范式转变：S2GS 证明了在严格因果约束下，通过解耦设计和增量更新机制，可以实现高质量的联合 3D 重建与语义理解，打破了“长序列必须离线全局优化”的传统认知。
实际应用价值：该方法为机器人实时感知、AR/VR 内容生成、数字孪生构建等需要处理长时程、连续视频流的场景提供了可行的技术方案。
资源效率：显著降低了长序列处理的计算和存储成本，使得在消费级或边缘设备上运行复杂的 3D 语义场景理解成为可能。

总结：S2GS 通过创新的流式架构和稳定性机制，成功解决了在线 3D 场景理解中“长序列可扩展性”与“语义一致性”难以兼得的难题，是迈向实时、高效、智能 3D 感知系统的重要一步。