💻 computer science

Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors

GaussDet 通过利用离散的 2D 物体检测器和视图聚合语义投票机制，提出了一种用于 3D 高斯泼溅（3D Gaussian Splatting）中开放词汇和指代分割的新颖方法，旨在不依赖密集 CLIP 特征的情况下，实现鲁棒的零样本 3D 实例分组和复杂的指代定位。

原作者： Jameel Hassan, Yasiru Ranasinghe, Vishal Patel

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jameel Hassan, Yasiru Ranasinghe, Vishal Patel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个神奇的、3D 全息投影的房间。这个全息图不是由实体的墙壁或家具组成的，而是由数百万个漂浮在空间中的微小、发光的亮点（称为“高斯点”，Gaussians）组成的。无论你从哪个角度观察，它看起来都像一张真实的相片。这种技术被称为 3D 高斯泼溅（3D Gaussian Splatting）。

问题在于：目前，这个全息图是“盲目”的。它知道这些亮点在哪里，但它不知道它们“是什么”。如果你问它：“红苹果在哪里？”或者“找到那只玩具猫”，它无法回答，因为它只能看到光，而看不出意义。

以往尝试教会这个全息图理解语言的方法，就像是在试图通过向一个孩子展示模糊的高分辨率文字图片来教他识字。他们使用了一个庞大且复杂的 AI 大脑（称为 CLIP）来猜测这些亮点代表什么，但这个大脑经常会感到困惑，只能理解像“猫”或“椅子”这样简单的词汇，并且在处理混合在一起的对象或像“蓝杯子旁边的红苹果”这样复杂的句子时表现得很吃力。

GaussDet 登场：“标签贴纸”法

这篇论文的作者们决定不再尝试教全息图去读模糊的图片。相反，他们使用了一个聪明的技巧——2D 物体检测器（一种能够识别平面照片中物体的智能相机）。

以下是他们如何实现这一点的过程，我们用一个简单的类比来说明：

1. 分组（“团块”问题）

首先，系统尝试将这些漂浮的亮点组合成物体。想象一下尝试将一堆混杂在一起的乐高积木分类成不同的堆（比如一辆车、一座房子、一棵树）。

旧方法： 旧的方法很混乱。它们经常会不小心把“树”的积木粘到“车”的积木上，或者把地板的一部分包含进“车”的堆里。
新方法： GaussDet 使用了与之前类似的混乱分组方式，但它不会因为分组不完美而惊慌。它接受某些分组可能会带有一定的“噪声”（即混杂在一起）。

2. 魔法贴纸（2D 检测器）

与其去猜测这个团块是什么，GaussDet 会从许多不同的角度拍摄 3D 场景的照片。然后，它使用一个超级智能的 2D 相机在照片上贴上数字贴纸。

如果相机看到了一个“红苹果”，它就会在红苹果上方贴上一张写着“红苹果”的贴纸。
如果它看到了一个“玩具猫”，它就会贴上一张“玩具猫”的贴纸。
至关重要的是，这些贴纸是离散且清晰的。它们不是模糊的猜测，而是像“华道”（Waldo）或“橡胶鸭”这样具体的标签。

3. 投票计数（视图聚合语义标签分布）

这是核心秘诀。由于 3D 分组可能比较混乱，系统会从许多不同的角度观察场景（就像绕着一座雕像走动一样）。

它将 3D “团块”的亮点投影到这些 2D 照片上。
它会询问：“在这张照片中，是什么贴纸覆盖了这个团块？”
它会针对前 20、40 或 80 个最佳视角进行操作，并统计票数。
如果 70% 的视角都说“这是一个红苹果”，而 30% 的视角说是“背景”，那么系统就会自信地判定：“它是一个红苹果。”

这种“投票”过程起到了过滤器的作用。即使某个角度很模糊或者分组稍有偏差，其他角度的多数票也会纠正错误。

4. “背景”安全网

有时，一组亮点仅仅是空白空间或背景噪声。旧系统会试图强行给这些空白空间贴上标签，说“这是一个椅子！”而实际上它只是一个墙壁。
GaussDet 有一条特殊的规则：它保留“背景”标签。 如果投票系统发现某个团块在大多数照片中都是背景，它就会正确地将其标记为“背景”，而不是强行赋予一个错误的物体名称。这防止了系统在不存在物体的地方产生幻觉。

为什么这很重要（结果）

论文在两个主要挑战上测试了该系统：

开放词汇分割（Open-Vocabulary Segmentation）： 要求系统寻找它以前见过的任何物体（例如，“找到那个拉面碗”）。GaussDet 在处理杂乱且物体重叠的房间时，表现比之前的方法要好得多。
指代性表达（Referring Expressions）： 这是巨大的突破。现在系统可以理解复杂的句子，例如：“放在魔方上面的橡胶鸭。”
- 之前的系统之所以失败，是因为它们依赖于简单的单词匹配。
- GaussDet 之所以成功，是因为它利用了 2D 检测器理解空间关系和具体描述的能力，在无需针对特定房间进行重新训练（即“零样本”能力）的情况下，比现有最优秀的方法实现了 16.7% 的提升。

总结

GaussDet 就像是给一个盲目的 3D 全息图戴上了一副智能眼镜。它不再是通过模糊的观察来猜测事物，而是拍摄许多清晰的照片，让智能相机为物体贴上标签，然后通过“多数票”来决定 3D 物体究竟是什么。这使得它在处理杂乱、拥挤的环境时，能够极其出色地找到特定物品并理解复杂的描述。

技术总结：用于 3D 高斯泼溅开放词汇与指代分割的 GaussDet

问题陈述

虽然 3D 高斯泼溅（3DGS）凭借其显式的、基于点的表示和实时渲染能力，彻底改变了 3D 场景重建，但将其扩展到开放词汇和指代表达理解方面仍具有挑战性。现有方法通常依赖于将高维、稠密的对比语言-图像预训练（CLIP）特征直接蒸馏到场景表示中。这种方法存在两个主要局限性：

实例分组噪声： 自底向上的分组策略通常需要预定义的实例数量，或者容易产生错误的关联，导致 3D 实例组包含多个物体、背景元素或漂浮伪影。
语义瓶颈： 对 CLIP 特征的依赖将语义理解限制在简单的名词短语上。此外，从孤立的分割掩码（例如来自 SAM 的掩码）中提取 CLIP 特征会丢失周围的图像上下文，导致语义表达能力较低，无法处理复杂的空间推理或指代表达（例如“左边的红杯子”）。

方法论：GaussDet

作者提出了 GaussDet，该方法通过利用具有指代表达能力的离散、开放词汇 2D 物体检测器，规避了对稠密 CLIP 特征蒸馏的需求。该流水线遵循一种“解耦”范式，即将实例学习与语义分配分离：

实例分组： 该方法采用了先前工作（如 LaGa）中的实例学习范式，其中单个高斯点被增强以具有可学习的实例特征，并受 2D 实例掩码（如来自 SAM）的监督。这些特征通过 2D-3D 关联将场景分解为 3D 实例组（ $G_i$ ）。
离散语义标签图生成： GaussDet 不是从掩码中提取特征，而是采用开放词汇物体检测器（如 Qwen-VL 或 YOLO-World）为每一帧生成边界框检测（ $B_v$ ）。通过基于边界框权重（基于大小的遮挡启发式算法）叠加标签，将这些检测转换为离散语义标签图（ $S_v$ ）。
视图过滤与选择： 为了给 3D 实例组分配语义，该方法在所有视图中渲染该组。根据可见的高不透明度高斯点与总组大小的比率计算掩码可见性分数（ $s_{i,v}$ ）。选择具有最高可见性分数的 Top- $K$ 个视图，以最大限度地减少来自遮挡或破碎实例的噪声。
视图聚合语义标签分布（VASD）： 对于选定的 Top- $K$ 个视图，该方法在投影的高斯均值坐标处采样来自 2D 标签图的离散语义标签。这些标签经过聚合，并根据高斯显著性得分进行加权，从而为每个实例组形成一个概率分布（VASD）。
语义背景正则化器（SBR）： VASD 生成的一个关键组成部分是显式保留来自检测器图的背景标签（索引为 -1）。这作为一个正则化器，防止将前景语义错误地分配给实际上是背景噪声或“漂浮物（floaters）”的 3D 组，这是无监督 3D 分解中的常见问题。

核心贡献

新颖的语义分配： 作者引入了一种基于 2D 物体检测器的 3D 高斯泼溅语义标注方法。这消除了对稠密 CLIP 特征的依赖，实现了鲁棒的开放词汇分割。
零样本指代接地： 该流水线被扩展到处理严格零样本设置下的指代表达接地。通过利用检测器处理复杂查询的能力以及 VASD 的鲁棒性，该方法可以在无需逐场景优化或伪掩码生成的情况下，实现对复杂描述（如“Waldo”或“玩具猫雕像”）的接地。
通过视图聚合实现的鲁棒性： VASD 策略作为一种强有力的正则化器，减轻了由低质量实例分组或噪声 2D-3D 关联引起的伪标签问题。

实验结果

该方法在两个关键任务上进行了评估：开放词汇分割（OVS）和指代表达接地。

开放词汇分割： 在 LeRF-OVS 基准测试中，GaussDet 实现了 69.9% 的平均 mIoU，比之前的最先进方法（LaGa）提升了 5.8%。在杂乱场景（如 Figurines, Ramen）中观察到了显著收益。在 ScanNet 数据集上，GaussDet 在 19 类划分下的 mIoU 比 LaGa 提升了 3.3%。
指代表达接地： 在 Ref-LeRF 基准测试中，尽管是在没有逐场景训练或专门跨模态网络的情况下进行零样本操作，GaussDet 仍比 ReferSplat（之前的最佳方法）实现了 16.7% 的绝对 mIoU 提升。
定性改进： 定性比较表明，GaussDet 能产生更清晰的物体边界，防止语义渗入背景，并在基准方法失败的杂乱环境中成功隔离特定实例。

意义与主张

论文声称，GaussDet 通过解决基于 CLIP 的 3DGS 方法中固有的语义瓶颈，代表了 3D 场景理解迈出的重要一步。通过从稠密特征蒸馏转向离散标签聚合，该方法：

增强了表达能力： 它支持复杂的组合查询和空间推理，而不仅仅是简单的名词短语。
提高了鲁棒性： 视图聚合策略和背景正则化有效地减轻了无监督 3D 实例分组中固有的噪声。
实现了零样本能力： 它证明了无需逐场景优化的计算成本或训练专用跨模态数据需求，即可实现高质量的指代接地。

作者指出，该方法的空间推理能力受限于底层 2D 开放词汇检测器的性能，并且该流水线仍然依赖于现有的 3DGS 实例分组机制，这可能会传播结构性错误。然而，所提出的 VSD 模块被呈现为一个即插即用的解决方案，可以显著提高各种基础方法的语义分配质量。