💻 computer science

Rectifying Mask via Entropy for Distractor-Free 3DGS in Ambiguous Scenarios

该论文引入了 RefineSplat，这是一个利用熵感知自适应掩码和密度控制来有效识别并移除模糊干扰物的创新框架，旨在挑战性场景下实现高质量、无干扰的 3D 高斯泼溅（3D Gaussian Splatting），并通过新发布的 Ambiguous Wild 数据集进行了验证。

原作者： Wongi Park, Jiyeon Lim, Minjae Lee, Myeongseok Nam, Seongjun Choi, Jungwoo Kim, Soomok Lee, William J. Beksi, SangHyun Lee

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wongi Park, Jiyeon Lim, Minjae Lee, Myeongseok Nam, Seongjun Choi, Jungwoo Kim, Soomok Lee, William J. Beksi, SangHyun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一系列照片来构建一个现实世界房间的完美 3D 数字副本。你希望能够在这个数字房间里四处走动，并从任何角度观察它。这就是被称为 3D 高斯泼溅（3D Gaussian Splatting, 3DGS） 的技术所做的事情。它利用数百万个微小的、模糊的 3D “云团”（称为高斯点）来构建场景，这些云团就像 3D 空间中的像素一样。

然而，在现实世界中拍摄照片时存在一个大问题：干扰物（distractors）。

把干扰物想象成一个不请自来的派对宾客。它可能是一个走过画面的行人、一辆驶过的汽车，或者一个看起来非常像真人的雕像。在一个完美的数字重建中，你只想要“静态”的派对（墙壁、家具）。你并不希望把“不请自来的宾客”（移动的人或车）混入 3D 模型中。如果包含了它们，3D 模型会变得模糊、出现重影或扭曲，因为计算机在分辨什么是房间的一部分、什么是仅仅经过的物体时会感到困惑。

问题：“形似”带来的困惑

现有的方法试图通过寻找两点来移除这些不请自来的宾客：

颜色差异：“如果它的颜色与墙壁不同，它就是宾客。”
语义差异：“如果它看起来像人，它就是宾客。”

但本文作者提出的 RefineSplat 指出，这些方法存在一个重大缺陷：如果宾客看起来和主人一模一样怎么办？

想象一辆红色的汽车停在红色的砖墙旁边。计算机看到的是“红色”和“红色”，于是认为：“噢，那只是墙壁的一部分。”
想象一个站在真人旁边的模特。计算机看到的是“人形”和“人形”，于是认为：“那只是一个站立不动的人。”

当计算机因为颜色或形状过于相似而无法区分两者时，它会不小心将移动的宾客构建进静态的墙壁中。这会导致生成的 3D 模型变得杂乱且模糊。

解决方案：“困惑度计”（熵）

作者引入了一个名为 RefineSplat 的新框架。他们不再仅仅询问“这是否是不同的颜色？”，而是提出了一个更聪明的问题：“计算机对图像中的这个部分有多困惑？”

他们使用了一个名为 熵（Entropy） 的概念，你可以把它想象成一个 “困惑度计”。

低熵（低困惑度）： 计算机非常确定它看到了什么。“这绝对是一面墙。”
高熵（高困惑度）： 计算机陷入了纠结。“这是一个人吗？还是一个雕像？这是一辆车吗？还是一个影子？”

RefineSplat 利用这个困惑度计来寻找问题区域。

智能掩码（Smart Mask）： 当计算机对某个特定物体感到高度困惑（高熵）时，RefineSplat 会在其上覆盖一层“掩码”。它会说：“我们不知道这是什么，所以让我们把它视为临时的入侵者，并在构建永久性 3D 房间时忽略它。”
智能清理： 一旦入侵者被掩码屏蔽，计算机就会仅使用图像中清晰、确定的部分来重建 3D 模型。

“整理过程”（密度控制）

构建 3D 模型就像是在盒子里放置数百万颗微小的弹珠。如果你随机放置，它们会堆积在一起，看起来很乱。

旧方法试图通过观察颜色变化（光度误差）来修复堆积问题。但如果颜色相似（比如红色的车和红色的墙），它们会将弹珠放在错误的位置，导致模型看起来很模糊。
RefineSlpat 使用困惑度计来引导弹珠的去向。如果某个区域令人困惑，它不会强迫弹珠在那里沉淀。相反，它会将弹珠移动到清晰、确定的区域。这保持了 3D 模型的锐利和干净，而不会留下移动物体的“幽灵”。

新的“诡谲房间”数据集

为了证明其方法的有效性，作者意识到现有的测试集不够难。因此，他们创建了一个名为 “Ambiguous Wild”（歧义荒野） 的新数据集。

想象一个充满了“诡谲房间”的数据集，其中的不请自来的宾客看起来与家具一模一样。
他们捕捉了 18 个场景，例如，移动的汽车看起来就像停放着的汽车，或者人看起来就像雕像。
他们在这些诡谲的房间上测试了他们的方法，并证明了虽然其他方法会产生困惑并生成模糊的模型，但 RefineSplat 能够成功移除入侵者并保持房间的清晰。

总结

简而言之，RefineSplat 是一种利用照片构建 3D 数字世界的新方法。它通过使用 困惑度计（熵） 解决了“形似”入侵者（如红墙边的红车）的问题。它不再仅仅根据颜色或形状进行猜测，而是识别计算机不确定的地方，屏蔽掉这些令人困惑的部分，从而构建出一个干净、锐利的 3D 模型，且不包含那些多余的移动物体。

技术摘要：通过熵进行精细化处理，实现模糊场景下无干扰项的 3DGS

问题陈述

来自多样化、不受限真实世界场景的逼真 3D 新视角合成（NVS）受到“干扰物”（distractors）的阻碍，这些干扰物包括瞬态元素，如动态物体、变化的遮挡或外观变化。虽然基于 3D 高斯泼溅（3DGS）和神经辐射场（NeRF）的现有方法已取得了进展，但在模糊场景中仍面临显著困难。

目前的方法通常依赖于三种范式：

基于残差的掩码（Residual-based masking）： 利用光度误差生成瞬态掩码。
基于语义的掩码（Semantic-based masking）： 利用来自 DINOv2 等模型的特征来识别干扰物。
基于启发式的掩码（Heuristic-based masking）： 使用受光度误差调节的提取掩码（例如来自 SAM）。

然而，这些方法在存在干扰物与静态背景元素具有相似颜色或语义层级（例如，移动的车辆与停放的车辆，或人与雕像）的模糊真实场景中，面临着关键的局限性。在这种情况下：

光度误差无法区分瞬态元素，导致掩码不精确。
基于光度梯度的密度控制会导致高斯分布错位，从而降低渲染质量。
仅靠语义特征无法解决具有高语义相似性的实例问题。

方法论：RefineSplat

作者提出了 RefineSplat，这是一个旨在针对模糊场景构建瞬态掩码并对齐高斯的系统性框架。该方法由三个核心组件组成：

1. 熵感知自适应掩码

为了捕获那些难以通过颜色或语义区分的模糊干扰物，RefineSplat 将**香农熵（Shannon entropy）与实例掩码（instance masks）**相结合。

实例级分析： 该方法利用分割模型（Grounded SAM）获取实例掩码。它使用从冻结的 DINOv2 模型中提取的语义特征，计算每个实例的平均熵。
自适应阈值： 不同于在处理模糊场景中常见的偏斜分布时会失效的固定或统计阈值（均值/方差），RefineSplat 采用了自适应熵阈值 ( $T_{ent}$ )。该阈值通过最大化实例熵分布中上下两个子集之间的熵之和，在训练过程中进行优化。
全局精细化： 通过计算不确定性与熵的比率并使用框滤波器进行平滑，构建一个全局自适应掩码。
最终掩码： 鲁棒的最终掩码 ( $M_{final}$ ) 是局部自适应掩码与全局掩码的并集。

2. 熵感知密度控制

标准的 3DGS 密度控制依赖于源自光度损失的位置梯度，这在模糊区域可能会导致高斯分布错位。RefineSplat 引入了一种全新的密度控制策略：

熵驱动梯度： 该方法根据包含熵的恒等损失 ( $L_{id}$ ) 的梯度来衍生新的高斯函数。这使得系统能够根据熵的大小而非仅仅根据光度误差来进行高斯的克隆（clone）和分裂（split）。
合并过程： 为了减少冗余和伪影，重叠的高斯函数会被合并。合并标准考虑了重叠比例和颜色相似度，以加权方式聚合属性（位置、颜色、不透明度和协方差）。

3. 一致性正则化

为了纠正提取的实例掩码中可能存在的错误，引入了一致性正则化项 ( $L_{cr}$ )。该项最小化同一片段内像素之间的 KL 散度，确保同一片段内的像素代表一致的身份。

总优化损失结合了标准的 3DGS 损失（由最终掩码加权）、恒等损失以及一致性正则化。

核心贡献

RefineSplat 框架： 首个利用熵和实例掩码来捕获真实场景中模糊干扰物的方法，解决了先前基于残差和语义方法的失效模式。
熵感知密度控制： 一种新颖的策略，利用熵的大小作为位置梯度来对齐高斯函数，有效地缓解了模糊区域因错位导致的伪影问题。
Ambiguous Wild 数据集： 创建并发布了一个包含 18 个挑战性场景（11 个室外，7 个室内）的新数据集，其中干扰物与静态元素的颜色或语义相似度极高，难以区分。该数据集旨在严格评估在模糊条件下处理问题的能力。
达到最先进水平（SOTA）的性能： 广泛的实验表明，RefineSplat 在多个数据集上优于现有方法，实现了无干扰项的新视角合成，并在定量指标（PSNR, SSIM, LPIPS）和内存效率方面表现卓越。

实验结果

作者在 Ambiguous Wild 数据集、NeRF On-the-go、Photo Tourism 和 Drone Imagery 数据集上对 RefineSplat 进行了评估。

定量性能： 与 WildGaussians、RobustSplat、DroneSplat 和 GS-W 等基准方法相比，RefineSplat 在 PSNR、SSIM 和最低 LPIPS 方面始终保持最高分。例如，在 Ambiguous Wild 数据集上，其 PSNR 达到了 23.83（基准为 20.52），LPIPS 为 0.149。
定性结果： 可视化结果显示，RefineSplat 成功移除了模糊的干扰物（例如，融入雕像中的人、颜色相近的车辆），而其他方法要么无法对其进行掩码处理，要么会引入伪影。
效率： 熵感知密度控制和合并过程带来了显著的内存效率，在保持视觉质量的同时，与基准方法相比减少了高斯函数的数量和内存占用。
消融实验： 实验证实了每个模块（熵感知掩码、密度控制和一致性正则化）的必要性。实验表明，自适应熵阈值 ( $T_{ent}$ ) 比固定或统计阈值对偏斜分布更具鲁棒性。

意义与主张

本文声称 RefineSplat 是首个为模糊真实场景下的新视角合成铺平道路的工作。其重要性在于：

解决根本性差距： 它解决了当瞬态元素与静态场景共享视觉或语义相似性时，如何区分它们的问题，这一局限性此前一直阻碍着不受限的 NVS 方法。
新颖机制： 通过为掩码和密度控制制定熵感知方法，它超越了简单的光度或语义启发式方法。
社区资源： 发布 Ambiguous Wild 数据集 为未来研究处理模糊干扰物（这一在文献中此前较少被提及的场景）提供了标准化的基准。

作者也承认了局限性，指出性能取决于底层的视觉基础模型，且向极端稀疏视图的泛化仍然具有挑战性。他们建议未来的工作可以集成扩散模型来对稀疏区域进行修复，或将该方法扩展到大规模动态场景。