技术摘要：SSA-3DGS

问题陈述

新视角合成（NVS）方法，特别是 3D 高斯泼溅（3DGS），依赖于输入图像是洁净且具有多视图一致性的假设。然而，现实世界的采集过程往往包含屏幕空间伪影（screen-space artifacts）：这些是固定在 2D 图像平面而非 3D 世界中的静态遮挡。常见的例子包括物理传感器缺陷、环境障碍物（雨滴、镜头罩上的泥垢）、采集遮挡（手指、仪表盘）以及数字叠加层（水印、UI 元素）。

由于这些伪影相对于相机传感器是静态的，因此当相机在场景中移动时，它们相对于世界几何体表现为“移动”。标准的 3D 重建算法假设多视图一致性，因此无法剔除这些伪影。相反，它们会将这些伪影错误地固化到 3D 几何中，表现为“漂浮物”（靠近相机的 3D 高斯点）或视角相关效应，从而严重降低新视角渲染的保真度。现有的鲁棒性方法（如 NeRF-W、RobustNeRF、DeSplat）主要针对世界空间中的瞬态或移动物体，难以区分静态屏幕空间噪声与场景几何体。此外，单图修复技术缺乏 3D 结构知识，作为预处理步骤应用时会导致时间闪烁和几何不一致。

方法论：SSA-3DGS

作者提出了 SSA-3DGS，这是一个无监督框架，通过联合优化 3D 场景表示和可学习的 2D 叠加层，将屏幕空间伪影从底层几何中解耦出来。

核心公式

该方法通过引入一个在所有训练视图中共享的可学习 2D 叠加层，扩展了标准的 3DGS 流水线。最终预测的像素颜色 $\hat{C}(u)$ 被建模为洁净 3D 场景渲染 $\hat{C}_{3D}(u)$ 与伪影叠加层之间的 Alpha 混合：
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
其中：

• $W \in \mathbb{R}^{H \times W \times 3}$ 是可学习的伪影颜色图（Artifact Color Map）。
• $A \in \mathbb{R}^{H \times W \times 1}$ 是可学习的伪影 Alpha 掩码（Artifact Alpha Matte）。
• $W$ 和 $A$ 均在像素坐标下定义，并且对于所有相机姿态保持不变，这与会随视角变化的 3D 高斯不同。

优化与正则化

这种分解过程是欠约束的；如果没有正则化，模型可能会退化为某些解，例如 3D 场景被均匀的叠加层过度变亮或变暗，或者有效的场景细节被吸收进叠加层中。为了防止这种情况，作者引入了一个复合损失函数：
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. 光度损失 ($\mathcal{L}_{rgb}$)：组合后的预测值与地面真值之间的标准 L1 和 SSIM 损失。
2. 稀疏正则化 ($\mathcal{L}_{sparse}$)：鼓励 Alpha 掩码 $A$ 在尽可能多的地方为零。这使得优化过程优先通过 3D 几何来解释像素，仅在必要时使用叠加层。它还能防止“曝光崩溃”这一退化解。
3. 全变分损失 ($\mathcal{L}_{TV}$)：鼓励叠加层由分段平滑的区域组成。这抑制了高频噪声的吸收并增强了空间连贯性，反映了许多真实伪影（如水印、泥点）的特性。

初始化

该方法并非使用常数初始化叠加层，而是利用训练集中的逐像素统计数据来播种 $W$ 和 $A$。在各视图间强度稳定的像素（可能是伪影）初始状态接近不透明，而具有高多视图变化性的像素（可能是场景内容）则初始状态接近透明。

核心贡献

1. 无监督解耦：一种从受损的多视图录像中同时恢复洁净 3DGS 场景并分割出屏幕空间伪影的方法，无需地面真值掩码或人工监督。
2. 正则化方案：一种结合了稀疏性和全变分约束的新颖组合，它使优化过程向 3D 几何解释倾斜，确保伪影层仅捕捉真实的屏幕空间噪声。
3. 现实世界数据集：引入了一个自采集的现实世界数据集，其中包含真实的、由物理诱发的伪影（如镜头罩上的泥垢、支架遮挡），用于在超越合成组合的基准测试中评估该方法。

实验结果

作者在 Mip-NeRF 360 数据集（带有合成伪影）和自采集的现实世界数据集上对 SSA-3DGS 进行了评估。

• 定量性能：在合成基准测试中，SSA-3DGS 在处理相同的受损输入时，比 vanilla 3DGS 的重建保真度提高了高达 9 dB PSNR。它始终优于基准 3DGS 和最先进的抗干扰方法 DeSplat。
  • 结合 MCMC 稠密化后，SSA-3DGS 在受损输入上的平均 PSNR 为 28.43 dB，接近在洁净数据上训练的 3DGS 的性能（29.57 dB）。
  • 在现实世界的“泥垢（Mud）”场景中，该方法比最强的基准方法（DeSplat）提高了 3.0 dB 的 PSNR。
• 定性性能：视觉结果表明，SSA-3DGS 成功移除了伪影（水印、仪表盘、泥垢、UI 元素）并恢复了洁净的几何体，而基准方法通常会将这些伪影作为半透明的漂浮物固化在场景中。该方法也能成功将伪影本身重建为一个独立的叠加层。
• 消融实验：研究证实了稀疏性和全变分正则化都是必要的。移除它们会导致 PSNR 下降约 1.0 dB 并降低 FLIP 分数，导致模型无法正确分离伪影与场景。

重要性与主张

论文声称，SSA-3DGS 通过显式建模采集缺陷，为从不受限的“野外（in-the-wild）”采集中进行可靠的 3D 重建提供了一条可行路径。与作为预处理步骤应用的通用 2D 去噪（这会破坏多视图一致性）不同，SSA-3DGS 通过将分离逻辑直接集成到 3D 优化循环中，从而保持了几何连贯性。

作者指出，该方法依赖于多视图共识；因此，需要足够密集的采集。他们也承认了一个局限性，即对于那些“近似静态”的伪影（例如具有视角相关反射的遮挡物），其仅能被其静态叠加层模型部分捕捉，但在这些场景下，该方法仍能优雅降级并优于基准方法。这项工作表明，显式建模传感器平面遮挡是实现稳健现实世界 NVS 的关键一步。