🤖 AI

UniqueSplat: View-conditioned 3D Gaussian Splatting for Generalizable 3D Reconstruction

UniqueSplat 是一种新颖的视角条件驱动的前馈式 3D 高斯泼溅模型，它采用了一个双支路超网络来根据特定目标视角动态调整高斯分布，从而实现了比依赖固定高斯的现有方法更优越的泛化能力和重建质量。

原作者： Haixu Song, Xiaoke Yang, Shengjun Zhang, Jiwen Lu, Yueqi Duan

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Haixu Song, Xiaoke Yang, Shengjun Zhang, Jiwen Lu, Yueqi Duan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正拿着一部相机，但你不仅仅是想拍下一张平面的照片，而是想捕捉整个世界，让你能够走进照片内部进行游览。这就是“新视角合成”（novel view synthesis）的梦想，它是计算机视觉的一个分支，试图教会机器如何从 2D 图像中理解 3D 空间。长期以来，计算机在快速或逼真地实现这一点方面一直很吃力。它们要么需要花费极长的时间来计算每一个微小的细节（就像试图为每一张照片都一砖一瓦地盖一座房子），要么就会产生模糊、带有故障感的图像，看起来就像一面破碎的镜子。最近，一种被称为“3D 高斯泼溅”（3D Gaussian Splatting）的巧妙技巧出现了，它不再将场景表示为一个固体物体，而是表示为由数百万个微小的、模糊的、有颜色的球体（高斯函数）组成的云团。这些球体可以极快地绘制到屏幕上，创造出美丽的实时 3D 视图。但问题在于：现有的大多数方法都是为整个场景构建一个单一的、静态的球体云，并寄希望于它从各个角度看都好看。这就像是试图用一双鞋去跑马拉松、游一圈泳以及爬一座山；它可能在某一项运动中表现尚可，但绝不会在所有项目中都完美无缺。

正是在这里，名为“UniqueSplat”的论文提出了一个新鲜的想法。由清华大学的宋海旭及其同事领导的研究人员意识到，为了获得完美的视角，计算机不应该仅仅构建一个静态的球体云。相反，它应该针对你想要看到的每一个新角度，构建一个“定制化”的球体云。他们将这种方法称为“视角条件化”（view-conditioned），这是一个高级说法，意思是指模型会根据你观察的位置而改变其想法。他们引入了一个“双分支”系统。你可以把这想象成一位主厨（AI）拥有两个信息来源：一本通用的食谱（“视角无关”分支），它教授任何菜肴的基础烹饪规则；以及一张特定的订单（“视角特定”分支），它告诉主厨现在顾客到底想要什么——也许是多加辣，或者是不要洋葱。通过将这两者结合，UniqueSplat 可以动态地调整 3D 场景以适应特定的视角，从而修复其他方法留下的裂缝和模糊。

论文指出，这种方法是向前迈出的重要一步。在 RealEstate10K（成千上万段房地产视频）、ACID（自然景观）和 DTU（物体扫描）等流行数据集上的测试表明，UniqueSplat 不仅看起来效果很好，而且超越了现有的最优方法。在 RealEstate10K 数据集上，它达到了 27.28 dB 的得分（衡量图像质量的指标），高于之前的领先者 MVSplat 的 26.39 dB。更令人印象深刻的是，当团队在模型从未见过的数据（跨数据集测试）上进行测试时，它的表现仍然优于专门针对这些新数据集进行训练的模型。例如，在 DTU 数据集上，UniqueSplat 达到了 16.01 dB，而之前最好的方法仅能达到 14.93 dB。作者认为，通过学习适应特定视角，而不是强行将一个“固定”视角套用到一切事物上，该模型创造了更真实的图像，且减少了像裂缝或模糊之类的伪影。

然而，论文也谨慎地指出，这并不是解决一切问题的魔杖。研究人员指出了一项具体的局限性：由于模型是基于它在输入图像中所看到的内容来预测 3D 结构的，因此它有时会在完全隐藏或“不可见”的部分遇到困难。在这些棘手的地方，模型可能会产生幻觉或产生伪影，正如他们的失败案例图像所示。他们建议，未来的工作可能需要引入更强大的工具，例如生成式模型，来填补这些缺失的空白。但就目前而言，UniqueSplat 已经有力地证明了：赋予计算机为每一次注视都进行“定制化”3D 理解的能力，可以让虚拟世界变得更加清晰、锐利且具有沉浸感。

UniqueSplat 技术摘要：面向通用 3D 重建的视角条件化 3D 高斯泼溅技术

问题陈述
新视角合成（Novel View Synthesis, NVS）是计算机视觉领域的一个基本挑战，在虚拟现实、机器人技术和自动驾驶等应用中具有重要意义。虽然 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）通过使用 3D 高斯基元表示场景，已成为一种高效的实时渲染方法，但现有的方法在泛化性方面面临显著局限。传统的 3DGS 需要为每个特定场景优化数百万个参数，这在计算上非常昂贵且缺乏可迁移性。

最近的前馈式方法（如 pixelSplat 和 MVSplat）通过从稀疏输入视图中单次前馈预测高斯参数来解决这一问题。然而，这些方法会为整个场景生成固定的高斯（fixed Gaussians），而与目标视角无关。它们通过最小化所有视图下渲染视图与地面真值之间的误差来进行优化，但在预测过程中未能纳入特定的目标视图信息。因此，这些固定的表示形式往往难以适应特定视角，导致出现伪影，如裂缝、模糊和畸变，尤其是在跨数据集评估或大基线场景中。

方法论：UniqueSplat
作者提出了 UniqueSplat，这是一种视角条件化的前馈式 3D 高斯泼溅模型，旨在为每个特定的视图查询定制 3D 辐射场。UniqueSplat 并非预测一组静态的场景高斯，而是根据目标视角动态调整高斯参数。

其核心创新是一个双分支视角条件化超网络（dual-branch view-conditioned hypernetwork），该网络将视角相关的先验信息注入到主网络的预测层中。其架构由以下部分组成：

主网络（Primary Network）： 由编码器（ $E_p$ ）和预测器组成。编码器处理稀疏输入图像以生成特征体。预测器估计 3D 高斯基元的参数（中心 $\mu$ 、协方差 $\Sigma$ 、不透明度 $\alpha$ 和颜色 $c$ ）。
视角条件化超网络（View-Conditioned Hypernetwork）： 该组件动态生成预测器卷积层的权重。它分为两个互补的分支：
- 视角无关分支（View-Agnostic Branch）： 利用可学习的嵌入（ $e_a$ ）来捕捉跨不同视角的、可共享的、具有泛化性的场景特征。超网络（ $H_a$ ）将这些嵌入映射为权重（ $W_a$ ），为场景理解提供独立于特定视角的稳定基础。
- 视角特定分支（View-Specific Branch）： 旨在捕捉目标视图所特有的信息。它利用骨干编码器（ $E_H$ ）从输入视图中提取特征，通过对极几何和投影矩阵（ $P_t$ ）将特征投影到目标视图，并将其融合为视角特定嵌入（ $e_s$ ）。第二个超网络（ $H_s$ ）基于此嵌入生成调整权重（ $\Delta W$ ）。
权重融合（Weight Fusion）： 预测器的最终权重通过融合视角无关权重（ $W_a$ ）和视角特定调整权重（ $\Delta W$ ）来计算。这使得模型能够利用共享的场景知识，同时动态适应目标视图所需的特定几何和外观。

该模型使用结合了均方误差（MSE）和学习感知图像块相似度（LPIPS）损失的训练方式进行训练，以确保像素级精度和感知质量。

核心贡献
论文概述了三个主要贡献：

UniqueSplat 框架： 首个能够为每个视图查询动态定制高斯的前馈式 3D 高斯泼溅模型，超越了先前最先进方法中使用的固定高斯的局限性。
双分支超网络： 一种新颖的架构，将场景知识解耦为视角无关（可共享）和视角特定（自适应）的部分。与以往仅从输入信号生成权重的超网络式 NVS 方法不同，该方法显式地将目标视图建模为一个条件。
最先进的性能（SOTA）： 大量的实验证明，UniqueSplat 在标准基准测试（RealEstate10K, ACID, DTU）上实现了卓越的定量和定性结果，并在跨数据集评估中展现出显著的泛化能力。

实验结果
作者在 RealEstate10K、ACID 和 DTU 数据集上对 UniqueSplat 进行了评估，并将其与 pixelNeRF、GPNR、pixelSplat、MVSplat 和 TranSplat 等方法进行了对比。

数据集内性能： 在 RealEstate10K 上，UniqueSplat 达到了 27.28 dB 的 PSNR，优于 MVSplat (26.39 dB) 和 TranSplat (26.69 dB)。在 ACID 上，它达到了 29.06 dB，大幅超越了之前的最优水平。
跨数据集泛化能力： 在零样本设置下（在 RealEstate10K 上训练，在 ACID 和 DTU 上测试），UniqueSplat 展示了强大的泛化能力。例如，在 DTU 数据集上，它实现了 16.01 dB 的 PSNR，显著优于 MVSplat (13.94 dB) 和 pixelSplat (12.89 dB)。
效率： 虽然增加超网络相比 MVSplat 增加了复杂度，但 UniqueSplat 仍然保持高效。它需要 38.1M 个参数，在 A6000 GPU 上的推理时间为 0.065 秒，与较重的 Transformer 类模型（如 TransSplat）相比，在性能和计算成本之间提供了更好的权衡。
定性改进： 视觉对比表明，与基准方法相比，UniqueSplat 生成的图像具有更高的保真度，伪影（裂缝、模糊）更少，且在较大的角度变换和未见区域表现出更好的结构保持能力。

意义与局限性
论文声称，通过解决固定高斯表示的僵化问题，UniqueSplat 代表了通用 3D 重建迈出的重要一步。通过将视角条件化信息作为先验，该模型成功地适应了特定视角，从而实现了更真实、更高质量的新视角合成。双分支设计有效地平衡了通用场景理解与视角特定自适应的需求。

然而，作者也谦虚地承认了局限性。由于该方法预测的是与像素对齐的高斯，在渲染场景的未见区域（例如，在稀疏输入视图中不可见的遮挡区域）时，仍可能引入伪影。作者建议，未来的工作可以通过集成生成模型（如扩散模型）来更好地处理这些具有挑战性的区域。

类似论文