💻 computer science

Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

该论文提出了 COVScene，这是一个通过可微体素提升技术将 3D 高斯与语义占用相结合的无位姿框架，旨在实现无需外部相机标定的无位姿图像全面开放词汇场景理解。

原作者： Hu Zhu, Bohan Li, Xianda Guo, Yanlun Peng, Zheng Zhu, Xin Jin, Wenjun Zeng, Chang Wen Chen

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Hu Zhu, Bohan Li, Xianda Guo, Yanlun Peng, Zheng Zhu, Xin Jin, Wenjun Zeng, Chang Wen Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图构建一个完美的 3D 房间模型，但你手里只有几张从随机角度拍摄的模糊照片，而且你并不清楚每张照片拍摄时相机具体在什么位置。这就是这篇论文所要解决的挑战。

以下是作者提出的新方法 COVScene 的故事，通过简单的类比进行解释。

问题所在：机器中的“幽灵”

以往的方法尝试使用“高斯函数”（Gaussians）来构建 3D 场景。你可以把这些高斯函数想象成成千上万个发光的、模糊的、像油漆一样的微小云团，计算机将它们排列在 3D 空间中。当你从特定角度观察它们时，它们会融合在一起，看起来就像一张实体的椅子或桌子。

然而，这些旧方法有一个巨大的缺陷：它们只关心在它们能看到的角度下看起来效果如何。

类比： 想象一位雕塑家，他只关心雕像从正面看的效果。他可能会让雕像的背面是空心的，或者在空中的空白处留下奇怪的、漂浮的粘土块，因为没有人会去看那些地方。
结果： 用 3D 术语来说，这会产生“漂浮物”（空间中虚幻的对象）或空心结构，这些结构在照片中看起来很真实，但在物理逻辑上却毫无意义。此外，由于它们无法理解“空白空间”与“占据空间”的区别，因此无法回答类似“这里是否有椅子？”的问题（如果当时没人正好对着那个点拍照的话）。

解决方案：COVScene（“双重检查”系统）

作者创造了 COVScene，它就像一位严格的建筑师，在建筑建造的过程中——而不仅仅是在完工后——就会不断检查蓝图。

1. “魔法提升”（可微体素提升/Differentiable Volumetric Lifting）
与其只是排列那些模糊的油漆云（高斯函数）并寄希望于它们看起来正确，COVScene 在训练过程中会立即将这些云团“提升”到一个密集的 3D 体素网格（类似于 3D 像素网格）中。

类比： 想象雕塑家正在用粘土进行创作，但每当他添加一个色块时，一个神奇的扫描仪就会立即将那个色块变成一堵坚实的砖墙。如果扫描仪发现原本应该是墙的地方出现了缝隙，或者原本应该是空气的地方出现了墙，它会立即向雕塑家发送一个“修正信号”，让其修正粘土块。
为什么重要： 这迫使“油漆云”表现得像真实的物理对象。它们不能仅仅在空白空间中漂浮，因为“砖墙”检查会告诉它们停止。

2. “开放词汇”超能力
该模型不仅学习“椅子”或“桌子”，它还学习理解“概念”。

类比： 把它想象成一位通晓世间所有书籍的图书管理员。如果你问：“‘红色天鹅绒沙发’在哪里？”，即使训练期间从未明确标记过“红色天鹅绒沙发”这本书，图书管理员也能找到它，因为他们理解词语背后的含义。
运作方式： COVScene 将 3D 模型与一个庞大的语言数据库（类似于一个超级智能的字典）相连。这使得它能够使用你输入的任何词汇来回答关于场景的问题，而不局限于一组固定的类别。

3. “熵”规则（“全或无”政策）
为了防止模型变得懒惰或产生歧义，作者加入了一个特殊的规则，称为“熵正则化”（Entropy Regularization）。

类比： 想象一个电灯开关。在旧模型中，开关可能会卡在中间位置（50% 开启，50% 关闭），在空白空间中产生一种昏暗、模糊的光影。COVScene 则强制要求开关要么完全开启（被占据），要么完全关闭（空白）。
结果： 这消除了 3D 模型中的“幽灵”和“雾气”，使场景即使在相机从未拍摄过的区域也看起来符合物理规律。

它能做什么？

由于 COVScene 构建的模型既理解形状（几何结构）又理解语义（含义），因此仅凭几张未经姿态校准的照片，它就能同时完成三件事：

新视角合成： 它可以生成一张从相机从未拍摄过的全新角度拍摄的房间照片。
开放词汇搜索： 你可以询问“请展示所有带有‘木制家具’的地方”，它会在 3D 空间中高亮显示它们。
占用预测： 它可以准确地告诉你 3D 空间的哪些部分是空白空气，哪些部分是实物，而无需预先制作地图。

核心总结

该论文声称，通过强制 3D “油漆云”在学习过程中不断对照 3D “砖墙”网格进行自我检查，COVScene 比以往的方法创建了一个更加逼真、符合物理规律且可搜索的 3D 世界。它无需昂贵的相机标定或完美的初始 3D 地图即可实现这一点。

技术摘要：COVScene

问题陈述
本文旨在解决在不依赖外部相机标定或运动恢复结构（SfM）流水线的情况下，实现从稀疏、无位姿图像中进行全面 3D 场景理解的挑战。虽然近期的前馈高斯方法（如 LSM、Uni3R）在无位姿重建和语义渲染方面取得了进展，但它们在很大程度上仍是基于表面的。这些方法主要通过图像空间渲染损失来优化高斯基元。因此，在未观测到或观测较弱的区域，学习到的基元缺乏对自由空间与占据空间的显式约束。这导致了物理上不合理的伪影，例如“漂浮物（floaters）”、空心结构以及模糊的密度分布，即使渲染出的 RGB 或语义图像看起来是合理的。现有方法通常将体积占据（volumetric occupancy）视为一个辅助分支或事后转换过程，未能提供体积反馈来纠正底层的高斯表示。

方法论
作者提出了 COVScene，这是一个无位姿语义高斯框架，它通过**可微体积提升（differentiable volumetric lifting）**将可渲染的高斯基元与稠密语义占据场耦合在一起。其核心创新在于将这种提升过程置于训练计算图中，而不是作为一个脱离的后处理步骤。

架构：
- 语义感知几何 Transformer： 模型使用一个从预训练几何基础模型（VGGT）初始化的共享编码器，直接从无位姿的多视图图像中推断相机几何、深度和场景结构。这避免了对外部 SfM 的依赖。
- 多任务解码： 一个密集预测 Transformer（DPT）解码器分支出三个头：相机头（预测外参/内参）、深度头（估计 3D 中心）和语义高斯头（预测不透明度、旋转、缩放、颜色和开放词汇语义特征）。
- 可微体积提升： 预测的语义高斯在训练期间被提升为稠密语义占据场 $(O, F)$ 。对于每个体素，占据概率 $O(x)$ 通过累积高斯密度进行计算，语义特征 $F(x)$ 则通过密度加权平均进行聚合。这一过程是完全可微的，允许来自体积损失的梯度直接更新高斯的不透明度、几何形状和语义特征。
优化策略：
该框架采用了一个结合以下内容的多目标损失函数：
- 光度与语义监督： 标准的渲染损失（L1、LPIPS）以及与冻结的视觉语言模型（如 CLIP）进行特征级对齐，以实现开放词汇能力。
- 几何基础蒸馏： 从冻结的几何教师模型（VGGT）进行蒸馏，以提供初始的多视图几何骨架并减少尺度歧义。
- 占据熵正则化： 这是一个关键组件，它在提升后的占据场上强制执行双峰物理先验。通过最小化占据概率的熵，模型惩罚了模糊状态（ $O(x) \approx 0.5$ ），并促使区域要么是清晰的自由空间（ $O(x) \to 0$ ），要么是占据空间（ $O(x) \to 1$ ）。这在不需要直接体素级监督的情况下解决了几何不一致问题。

核心贡献

统一表示： COVScene 是第一个通过可微提升将可渲染高斯基元与稠密语义占据场耦合在一起的无位姿框架，实现了在单一表示内进行新视角合成、开放词汇分割和语义占据预测。
训练时体积反馈： 不同于仅在评估时将高斯转换为体素的先前工作，COVScene 将体积正则化集成到训练循环中。这使得体积损失能够直接正则化高斯的不透明度和几何形状，从而减少了未观测区域的伪影。
熵正则化： 引入占据熵目标以强制执行物理上合理的自由/占据结构，有效地抑制了在无位姿 3DGS 中常见的“漂浮物”和空心伪影。
零样本能力： 该方法支持开放词汇语义查询和零样本 3D 占据预测，无需大量的类别级标注。

实验结果
作者在 ScanNet 和 ScanNet++ 数据集上针对三个任务对 COVScene 进行了评估：

新视角合成 (NVS)： 与最先进的前馈高斯基准相比，COVScene 保持了具有竞争力的渲染质量（PSNR、SSIM、LPIPS）。
开放词汇分割 (OVS)： 与自监督基准和其他语义高斯方法相比，该框架在开放词汇分割方面表现出更优的性能。
语义占据预测： 尽管在训练期间缺乏直接的体素级监督，但 COVScene 取得了比自监督基准（如 SelfOcc）更强的语义占据预测能力，并且取得了与全监督方法相媲美的结果。
消融实验： 实验证实，仅仅在评估时将语义高斯转换为占据场是不够的。训练时的体积接地（volumetric grounding）被证明对于减少几何伪影和提高占据准确性至关重要。

意义与主张
论文声称，COVScene 通过弥合高效的可渲染高斯表示与物理基础体积推理之间的差距，为可扩展的 3D 场景理解建立了一个新范式。通过将占据视为一种原生的、可微的约束，而非辅助输出，该方法实现了一种更具物理合理性的 3D 重建。作者将 COVScene 定位为迈向鲁棒 3D 理解的重要一步，这对机器人技术和具身智能体至关重要（其中对自由空间和占据空间的准确推理是核心），同时该方法无需经过校准的相机位姿即可运行。这项工作证明了可以将体积正则化有效地集成到前馈高斯管线中，以解决稀疏、无位姿输入固有的歧义问题。

问题所在：机器中的“幽灵”

解决方案：COVScene（“双重检查”系统）

它能做什么？

核心总结

技术摘要：COVScene

类似论文