💻 computer science

Difix3D-W: Distractor-Free Few-Shot 3D Gaussian Splatting in the Wild

Difix3D-W 是一种专为不受限真实场景设计的创新型少样本 3D 高斯泼溅（3D Gaussian Splatting）框架，它通过利用重新设计的扩散模型进行参考引导的视图细化、一种稀疏感知的高斯复制策略以及基于 LoRA 的正则化，在有效处理干扰物、遮挡和稀疏视角的同时，实现了高质量的渲染。

原作者： Wongi Park, Jordan A. James, Myeongseok Nam, Minjae Lee, Soomok Lee, Sang-Hyun Lee, William J. Beksi

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wongi Park, Jordan A. James, Myeongseok Nam, Minjae Lee, Soomok Lee, Sang-Hyun Lee, William J. Beksi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要构建一个繁忙城市街道的完美 3D 全息图，但你手里只有游客拍摄的几张模糊且随机的照片。有些照片里有人走过镜头，有些照片里有汽车驶过，而且光影也会随之变化。

这就是 Difix3D-W 所解决的问题。它是一个全新的计算机程序，可以将极少数、杂乱无章的真实世界照片，转化为高质量的 3D 虚拟场景，即使这些照片充满了“干扰因素”（比如移动的人或车）并且缺失了大量信息。

以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“缺失碎片”的拼图游戏

通常情况下，为了构建一个 3D 模型，计算机需要从各个角度拍摄数百张照片。如果你只有极少数的照片（即“稀疏”数据集），计算机就会感到困惑。它不知道物体后面是什么，也难以确定场景的形状。

此外，现实世界的照片是非常凌乱的。它们含有干扰物（distractors）——即那些会移动或变化的物体，比如走过画面的行人或飞过的鸟。如果计算机试图将这些移动的物体包含在 3D 模型中，最终的结果看起来就像是一个充满故障、损坏严重的混乱体。

2. 解决方案：一个“神奇编辑器”和一个“复制粘贴”策略

作者创造了 Difix3D-W，它利用两个主要技巧来解决这些问题：

技巧 A：“参考引导编辑器”（修复故障）

想象你正在画一幅公园的画，但你的画笔总是会把一只飞过画布的鸟也涂抹进去。

旧方法： 你试图把鸟涂掉，但你不知道鸟下方的公园原本长什么样，所以你只能靠猜测。
Difix3D-W 的方法： 该程序充当了一个智能编辑器。它观察你的凌乱绘画（3D 渲染图），并将其与一张从略微不同角度拍摄的“参考”照片进行对比，而那张照片里并没有那只鸟。
掩模（The Mask）： 它使用一种特殊的工具（称为“瞬态掩模/transient mask”）来精确标出鸟的位置。然后它会说：“好的，忽略这个位置的鸟。观察参考照片，看看树木在鸟后真实的模样，然后把它复制到你的画作中。”
结果： 它能瞬间清理 3D 模型，移除移动的人群，并在填补空隙时使用正确的背景细节，且无需从头开始重新训练整个系统。

技巧 B：“感知稀疏性的复制粘贴”（填补空洞）

想象你正在用砖块（计算机称之为“高斯/Gaussians”）砌一面墙，但你手里的砖块很少，导致墙上留下了巨大的空洞。

旧方法： 计算机试图拉伸现有的少量砖块以覆盖整面墙。这会让墙看起来模糊且脆弱。
Difix3D-W 的方法： 程序会观察墙面并找到空缺处。它不再只是拉伸现有的砖块，而是智能地在稀疏区域复制砖块。
秘诀所在： 它并不会随机复制。它会观察现有砖块的“不透明度”（即实心程度）。如果某个区域是透明的（稀疏的），它就会在那里添加更多砖块以使墙面变得坚实。这确保了即使原始照片拍摄的角度非常少，3D 模型依然能够保持密集且细节丰富。

3. 保持一致性

当你对一个拥有如此多移动部件的 3D 模型进行修复时，很容易让计算机产生混乱，导致场景看起来很诡异（比如像是在“融化”的脸部）。

作者使用了名为 LoRA（低秩自适应/Low-Rank Adaptation）的技术。你可以把它理解为一个“微调”旋钮。它允许计算机对 3D 模型进行细微且精准的调整，以确保建筑物的左侧与右侧相匹配，从而保持整个场景的稳定与真实。

为什么这很重要（根据论文所述）

论文指出，以往的方法要么需要数百张照片（这需要漫长的收集时间），要么在面对现实世界的干扰时会彻底失效。

Difix3D-W 是首个能够成功利用稀疏（数量极少）且不受限（杂乱、真实世界）的照片，并将其转化为高质量 3D 场景的方法。它比以往的方法更快，且能产生更清晰的结果，实际上让你仅凭几张快照就能构建出 3D 世界，即便照片中有行人和车辆在移动。

技术摘要：Difix3D-W

问题陈述

本文解决了从稀疏且不受约束的真实世界图像集合中进行 3D 新视角合成的挑战。虽然现有方法在处理密集图像集或受限的稀疏图像集（不含瞬态元素）方面表现出色，但在应用于具有以下特征的真实场景时却显得力不从心：

干扰物（Distractors）： 瞬态物体（例如人、车辆），它们可能出现在某些视角中，但不在其他视角中出现。
遮挡与外观变化： 场景中的动态变化。
稀疏性： 几何信息有限、深度歧义以及由于输入图像数量较少导致的相机视角缺失。

试图处理干扰物的现有方法通常依赖于在有限数据上训练视觉基础模型（如 SAM、DINO），但这无法实现泛化；或者它们需要耗时采集的密集图像集合。此外，3D 高斯泼溅（3DGS）中的标准密度控制策略在稀疏场景下往往会失效，因为位置梯度会与颜色和不透明度发生纠缠，导致产生伪影而非填补几何空隙。

方法论

作者提出了 Difix3D-W，一个旨在从含有干扰物的稀疏图像中合成高质量 3D 场景的框架。该方法由三个主要部分组成：

1. 参考引导视图细化 (RGVR)

为了减轻渲染视图中由干扰物引起的伪影，作者设计并引入了一个重新设计的单步扩散模型 (DM)。

掩码生成： 该方法并非在稀疏数据上训练掩码生成器，而是利用带有文本描述的 Grounded SAM 从真值图像中生成瞬态掩码 ( $M_t$ )。这使得该方法能够实现无论输入样本数量多少都能保持泛化。
细化过程： 扩散模型将损坏的渲染图像 ( $\hat{I}$ )、参考视图 ( $\hat{I}_{ref}$ ) 和瞬态掩码 ( $M_t$ ) 作为输入。
交叉注意力机制： 作者修改了去噪 U-Net 的交叉注意力层。通过计算注意力图，使参考视图能够选择性地细化渲染图像中的被遮蔽（损坏）区域，而未被遮蔽的区域则基本不受自注意力机制的影响。
优化： 细化后的图像 ( $\tilde{I}_{ref}$ ) 被用于计算光度损失 ( $L_{photo}$ ) 以优化 3D 高斯，从而有效地移除干扰物伪影，且不会显著增加训练时间。

2. 参考引导伪标签合成与稀疏感知高斯复制 (SAGR)

为了解决稀疏区域几何细节缺失和相机视角不足的问题：

伪标签合成： 该框架通过对其他相机视角的渲染结果应用 RGVR 过程来生成伪标签 ( $\hat{I}_{pseudo}$ )。这些伪标签补偿了缺失的视角，并与光度损失一起用于优化 3D 表示。
稀疏感知高斯复制 (SAGR)： 标准 3DGS 的加密（densification）依赖于位置梯度，作者认为在稀疏且不受约束的设置中，由于与颜色和不透明度的纠缠，这些梯度是不充分的。
- 所提策略使用累积不透明度图 ( $\hat{D}$ ) 作为像素级权重来重新定向位置梯度。
- 这使得系统能够识别真正的稀疏区域，并专门通过复制高斯来填补这些空隙，从而构建更密集、更准确的高斯场。

3. 正则化与优化

为了防止模型崩溃并确保多视图一致性：

LoRA (低秩自适应)： 作者在测试时训练期间，在扩散模型的 VAE 解码器中使用 LoRA，使模型专注于特定场景。
分数蒸馏采样 (SDS) 损失： 除了光度损失和伪标签损失外，还利用 SDS 损失 ( $L_{SDS}$ ) 来维持几何一致性。
总损失： 优化目标结合了标准 3DGS 损失 ( $L_{GS}$ )、光度损失 ( $L_{photo}$ )、伪标签损失 ( $L_{pseudo}$ ) 以及 SDS 损失 ( $L_{SDS}$ )，其中 $L_{pseudo}$ 在经过几次预热迭代后引入，以避免从优化较差的初始状态进行采样。

核心贡献

首个稀疏不受约束合成框架： 据作者所知，这是第一个解决从包含多种干扰物的稀疏真实世界图像进行 3D 重建的工作。
即插即用的通用性： 该方法在受限和不受限场景下均能有效运行。其参考引导视图细化模块可以集成到现有流水线中，而不会带来显著的时间复杂度开销。
稀疏感知加密： 引入的 SAGR 通过利用不透明度信息而非仅仅依赖位置梯度，解决了标准密度控制在稀疏场中的特定失效模式。
可泛化的干扰物移除： 通过利用 Grounded SAM 进行掩码生成而非在稀疏数据上训练特定模型，该方法实现了对瞬态元素的鲁棒性。

实验结果

作者在 NeRF On-the-go、Photo Tourism 和 LLFF 数据集上对 Difix3D-W 进行了评估。

定量性能： 该方法始终优于现有的最先进方法（包括 3DGS、RobustSplat、WildGaussians 和 Difix3D+）。
- 在 NeRF On-the-go 数据集（3 视图到 9 视图）上，Difix3D-W 实现了平均 PSNR 为 17.54，SSIM 为 0.578，以及 LPIPS 为 0.428，大幅超越了之前的最优方法（如 Difix3D+ 在 3 视图下提升了 1.96 PSNR）。
- 在 Photo Tourism 数据集上，它实现了 PSNR 为 19.86 和 SSIM 为 0.779，优于 CR-NeRF 和 SparseGS-W 等方法。
消融实验：
- 去除瞬态掩码或交叉注意力机制会导致性能显著下降，证实了参考引导细化的必要性。
- 研究表明，与标准的 dropout 或 unpooling 技术相比，SAGR 策略对于对齐高斯并减少伪影至关重要。
- 使用 LoRA 和 SDS 损失有助于维持 3D 一致性并防止模型崩溃。

重要性与主张

本文声称 Difix3D-W 为实现无需繁琐数据采集的真实世界 3D 场景铺平了道路。通过成功处理稀疏输入和瞬态干扰物，该方法能够在以往方法失效的非受限环境中实现高质量的 3D 渲染。

作者将这项工作定位为不仅仅是对现有方法的增量扩展，而是一个能够弥合稀疏图像集与多样化真实世界场景之间鸿沟的独特框架。他们也承认了一些局限性，例如难以识别在序列中持续存在的静态干扰物（如停放的车辆），以及在相机视角高度重叠时可能出现的性能退化，这表明未来的工作可以结合先验知识或修复模型来处理这些特定的边缘情况。