Distractor-free Generalizable 3D Gaussian Splatting

本文提出了 DGGS 框架，通过引入场景无关的参考掩码预测与优化模块以及两阶段推理机制，有效解决了跨场景泛化 3D 高斯泼溅中干扰数据导致的训练不稳定和重建伪影问题，实现了在未见场景中的鲁棒前馈推理与高质量重建。

要点

这篇论文介绍了一个名为 DGGS 的新系统，它的核心任务是：在重建 3D 场景时，自动把画面里“捣乱”的过客（比如路人、车辆、气球）给“过滤”掉，只留下干净、稳定的背景。

为了让你更容易理解，我们可以把这项技术想象成**“在嘈杂的菜市场里，用相机拍一张完美的风景照”**。

1. 核心痛点：为什么以前的方法不行？

想象一下，你想用几张照片重建一个公园的 3D 模型。

• 以前的方法（通用 3D 重建）： 就像是一个**“照单全收”的摄影师**。他拿着相机拍了几张照片，不管照片里有没有路人甲、有没有飘过的热气球，他都把这些东西也当成公园的一部分，试图把它们也建进 3D 模型里。
  • 结果： 建出来的 3D 模型里，公园长椅上可能坐着一个半透明的幽灵路人，或者天空中飘着几个奇怪的彩色光斑（这就是论文里说的“伪影”和“噪点”）。而且，因为照片里的人一直在动，模型怎么算都算不准，导致重建过程很不稳定。
• 以前的“去噪”方法（特定场景去噪）： 就像是一个**“死记硬背”的修图师**。他必须在这个公园待很久，反复观察，才能知道哪个人是路人，哪棵树是背景。
  • 缺点： 这种方法太慢了，而且一旦换个地方（比如去海边），他就不会用了，因为每个场景都要重新“死记硬背”。

2. DGGS 的解决方案：聪明的“三眼”侦探

DGGS 就像是一个拥有“透视眼”和“超级记忆力”的侦探，它不需要在某个地方待很久，只要看一眼几张照片，就能瞬间判断出谁是“捣乱分子”（Distractor），谁是“正经背景”。

它的工作流程分为两个阶段：

第一阶段：训练时——“找茬”与“纠错”

• 传统做法： 看到照片里有东西不一样，就以为那是背景的一部分，拼命去拟合它，结果越拟合越乱。
• DGGS 的做法（参考系过滤）：
  • 比喻： 想象你有 4 张从不同角度拍的公园照片。DGGS 会想：“如果那个‘路人’是公园的一部分，那他在 4 张照片里的位置应该是对得上的（就像长椅一样）。如果他在照片 A 里在左边，照片 B 里突然跑到右边，或者形状变了，那肯定是个捣乱的过客！”
  • 操作： 它利用这种**“多视角一致性”**，自动给照片里的“捣乱分子”打上马赛克（Mask）。在训练模型时，它直接忽略这些被打码的区域，只学习那些稳定的背景。这样，模型就学不会那些乱七八糟的“幽灵路人”了。
  • 亮点： 它甚至能利用“重绘”技术，把背景重新画一遍，如果画出来的背景和原图对不上，那就说明原图里有捣乱的，从而修正判断。

第二阶段：推理时（实际应用）——“优中选优”与“大扫除”

当你拿着新照片去重建一个从未见过的场景时：

• 步骤一：参考评分（Reference Scoring）
  • 比喻： 假设你有一堆照片可选，有的照片里路人很多，有的很少。DGGS 会先快速扫描所有照片，给它们打分。
  • 操作： 它会自动挑选那些**“路人最少、角度最好”**的照片作为主要素材，把那些“路人太多”的照片先放一边。这就像在选素材时，直接挑最干净的那几张用。
• 步骤二：剪枝（Distractor Pruning）
  • 比喻： 即使你挑了最干净的照片，可能还是有一两个路人的影子漏进来了。这时候，DGGS 会进行“大扫除”。
  • 操作： 它会检查建好的 3D 模型，如果发现某个 3D 小点（高斯点）在 3D 空间里是“飘忽不定”的（因为它其实属于那个路人的影子），它就直接把这个点**“剪掉”**（Prune）。这样，最终呈现出来的 3D 场景就干干净净了。

3. 为什么这个很重要？

• 通用性强： 以前的方法换个地方就得重新训练，DGGS 就像学会了“看穿本质”的功夫，不管是在公园、商场还是街道，只要给它几张照片，它就能自动识别并去除干扰。
• 速度快： 它是“前馈”的（Feed-forward），意思是像流水线一样，输入照片，马上输出结果，不需要像以前那样针对每个场景慢慢优化。
• 效果惊人： 论文里的实验显示，它不仅能重建出没有路人的干净场景，甚至能比那些专门针对某个场景死磕的“专家”做得更好。

总结

简单来说，DGGS 就是一个给 3D 重建系统装上的“智能滤镜”。

以前，如果你想在 3D 世界里还原一个真实的街景，路人一多，模型就乱了套。现在，有了 DGGS，系统就像有了**“火眼金睛”**，能一眼看出谁是过客、谁是背景，自动把过客“请”出 3D 世界，只留下一个稳定、清晰、没有杂质的完美 3D 场景。这对于未来用手机随便拍几张照片就能生成高质量 3D 地图或虚拟世界，具有非常重要的意义。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《DISTRACTOR-FREE GENERALIZABLE 3D GAUSSIAN SPLATTING》 (DGGS)。该论文提出了一种新的框架，旨在解决通用化 3D 高斯泼溅（Generalizable 3DGS）在存在干扰物（Distractors，如行人、车辆等瞬态物体）场景下的训练不稳定和推理伪影问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 通用化 3DGS 的局限性： 现有的通用化 3DGS 方法（如 Mvsplat, Pixelsplat）旨在通过前馈网络直接从参考图像推断 3D 高斯属性，无需针对每个场景进行优化。然而，这些方法通常假设场景是静态的。
• 干扰物（Distractors）的挑战： 在真实世界的“野外”（In-the-wild）数据中，参考图像或查询图像中常包含瞬态物体（如行人、车辆、气球）。
  • 训练阶段： 干扰物破坏了多视图几何一致性（3D Consistency），导致模型难以学习正确的几何结构，引起训练不稳定。
  • 推理阶段： 干扰物无法正确投影到 3D 空间，导致重建的 3D 场景中出现伪影（Artifacts）、鬼影（Ghosting）或空洞（Holes）。
• 现有方法的不足： 现有的去干扰（Distractor-free）方法大多是针对特定场景（Scene-specific）设计的，依赖迭代优化或额外的场景先验（如 SfM 点云），难以直接迁移到无需优化的通用化前馈框架中。

2. 核心方法论 (Methodology)

DGGS 提出了一套完整的去干扰通用化训练范式和推理框架，包含两个核心阶段：

A. 去干扰通用化训练范式 (Distractor-free Generalizable Training)

该范式旨在在训练过程中自动预测并过滤干扰物，无需额外的掩码监督。

1. 基于参考的掩码预测 (Reference-based Mask Prediction)：
   • 核心洞察： 利用 3DGS 在参考视图下的重渲染（Re-rendering）结果通常比查询视图更稳定、准确的特性。
   • 流程： 首先通过参考图像推断 3DGS 并渲染回参考视图，计算重渲染误差。利用低误差区域作为“非干扰物”的可靠信号，通过多视图一致性（Multi-view Consistency）过滤掉查询视图中被错误分类为干扰物的区域。
   • 掩码融合： 对所有参考视图生成的掩码进行交集操作（保守策略），确保保留的区域在所有参考中都是静态的。
2. 掩码细化模块 (Mask Refinement)：
   • 解耦处理： 将掩码解耦为“干扰物区域”和“视差误差区域”（由参考 - 查询视角差异引起的深度不匹配）。
   • 语义填充： 引入预训练的实体分割模型（如 Entity Segmentation）来填充干扰物区域，并设计辅助损失（Auxiliary Loss）来监督查询视图中被遮挡但在参考视图中可见的区域。
   • 损失函数： 使用细化后的掩码 $M$ 对查询渲染损失进行加权，并加入辅助损失 $L_A$，公式为：$\min_\theta M \odot \|I_T - G(P_T)\|^2 + L_A$。

B. 去干扰通用化推理框架 (Distractor-free Generalizable Inference)

针对推理阶段，提出两阶段策略以进一步消除伪影：

1. 参考评分与重选机制 (Reference Scoring & Re-selection)：
   • 从场景图像池中采样更多候选参考图像。
   • 利用训练好的 DGGS 模型预测每张图像的干扰物掩码和视差误差。
   • 根据掩码中干扰物像素的数量和视差误差对候选图像进行评分，选择干扰最少、几何一致性最好的 $N$ 张图像作为最终参考，用于精细重建。
2. 干扰物剪枝 (Distractor Pruning)：
   • 即使选择了较干净的参考，残留的干扰物仍可能通过编码 - 解码过程产生 3D 高斯原语（Primitives）。
   • 在推理的第二阶段，根据预测的干扰物掩码，直接**剪枝（Prune）**掉 3D 空间中对应干扰物区域的 3D 高斯原语属性，从而消除渲染中的鬼影和伪影。

3. 主要贡献 (Key Contributions)

1. 新任务定义： 首次提出了“去干扰通用化 3DGS"（Distractor-free Generalizable 3DGS）这一新任务，填补了该领域的空白。
2. 训练范式创新： 提出了一种基于参考视图重渲染一致性的前馈掩码预测方法。该方法无需场景特定的迭代优化，即可在通用化设置下实现比现有特定场景方法更准确的干扰物掩码预测。
3. 两阶段推理框架： 设计了“参考评分重选”和"3D 高斯原语剪枝”机制，有效解决了推理阶段的伪影和空洞问题，显著提升了重建质量。
4. 数据集与验证： 构建了基于 Re10K 和 ACID 的合成干扰物数据集，并在真实的 RobustNeRF 和 On-the-go 数据集上进行了广泛验证。

4. 实验结果 (Results)

• 定量性能：
  • 在 RobustNeRF 和 On-the-go 数据集上，DGGS 的 PSNR 显著优于现有的通用化 3DGS 方法（如 Mvsplat, Pixelsplat）以及结合了现有去干扰策略的基线模型。
  • 例如，在 RobustNeRF 测试集上，DGGS 的平均 PSNR 达到 21.74，而基线 Mvsplat 仅为 15.45，结合现有去干扰方法的 SLS 为 19.29。
  • 在合成数据测试中，DGGS 展现了极强的抗干扰能力，PSNR 从 18.02 提升至 26.51（Real -> Synthetic 泛化）。
• 定性效果：
  • 生成的 3D 场景更加清晰，有效去除了行人、车辆等造成的鬼影和模糊。
  • 掩码预测质量甚至优于需要特定场景优化的去干扰方法（如 NeRF-HuGS）。
• 消融实验： 证明了基于参考的掩码预测、掩码细化、参考评分机制和干扰物剪枝对最终性能均有显著提升。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 为通用化 3D 重建在真实复杂场景（包含动态干扰物）中的应用铺平了道路。
  • 证明了利用多视图几何一致性进行前馈干扰物检测的可行性，减少了对昂贵特定场景优化或额外先验的依赖。
  • 提出的框架可无缝集成到现有的通用化 3DGS 架构中。
• 局限性：
  • 共同遮挡问题： 如果干扰物在所有参考视图中都遮挡了同一区域（Common Occlusion），DGGS 无法恢复该区域，可能导致白点伪影。
  • 效率： 由于引入了分割模型和两阶段推理，推理速度略有下降（但可通过降低分割分辨率优化）。

总结： DGGS 通过创新的训练和推理策略，成功解决了通用化 3DGS 在含干扰物场景下的核心痛点，实现了在无需场景特定优化的情况下，从少量参考图像中重建出高质量、无干扰的 3D 场景。