💻 computer science

GaussVid: Sparse-View Gaussian Splatting with 3D-Aware Video Diffusion Priors

GaussVid 通过引入一种利用大规模 3DGS 数据集和相机约束几何先验的 3D 感知视频修复框架，来解决稀疏视角 3D 高斯泼溅中的伪影问题，从而确保多视角一致性和高保真重建。

原作者： Xinhui Liu, Can Wang, Wei Jiang, Wei Wang, Dong Xu

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinhui Liu, Can Wang, Wei Jiang, Wei Wang, Dong Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图重建一座精细的雕塑，但你只能从极少数的角度去观察它。如果你试图根据这寥寥几次瞥见来猜测物体的其余部分，你的大脑不可避免地会在空白处填补错误。你可能会在不存在手的地方想象出一只手，或者将桌子的锐利边缘模糊成一片柔和的污迹。这就是一种名为“3D 高斯泼溅”（3D Gaussian Splatting）的强大新技术所面临的根本挑战。这种方法彻底改变了计算机利用照片创建逼真三维场景的方式，让观众能够以惊人的清晰度穿梭于数字环境中。然而，当输入数据稀疏时——即只有极少数照片可用时——生成的 3D 模型往往会出现幽灵般的伪影、漂浮的彩色斑块以及扭曲的结构，从而破坏现实的幻觉。

多年来，研究人员一直试图通过在计算机的思维过程中加入严格的数学规则来修复这些错误，强迫其保持表面平滑或颜色一致。最近，科学家们转向了经过数百万张图像训练的人工智能模型，希望这些系统能够正确地“幻觉”出缺失的细节。然而，这些基于图像的 AI 模型往往无法通过三维逻辑的测试。因为它们是基于平面图像进行训练的，所以并不真正理解一个场景在不同角度下同时呈现的样子。它们可能会让一栋建筑从正面看非常完美，但当你移动到侧面时，AI 可能会在本该是墙壁的地方画了一扇窗户，从而产生令人感到突兀的不一致性。因此，目标在于寻找一种方法，用对三维空间的真实理解来引导这些强大的 AI 想象力。

一个研究团队开发了一种名为 GaussVid 的新方法来解决这一特定问题。他们并没有尝试直接修复 33D 模型，也没有仅仅依赖于平面图像 AI，而是将重建过程视为一项视频修复任务。他们意识到，如果你在相机运动的开始和结束时都有一个清晰的场景视图，那么 AI 就可以被教导如何高精度地填充中间那些模糊、扭曲的帧。为了实现这一点，该团队首先建立了一个庞大的训练库。他们提取了数千段真实的视频片段，并刻意对其进行了降质处理，以模拟在照片过少的情况下构建 3D 模型时所产生的精确幽灵错误和模糊感。这创造了一个配对的数据集，使计算机既能看到“损坏”的版本，也能看到完美的原始版本，从而让它学会如何修复损伤。

其创新的核心在于他们如何教导 AI 理解相机的位置。以往利用 AI 处理 3D 任务的尝试通常会先尝试估计物体的 3D 形状，希望利用该形状作为引导。研究人员发现这种方法存在缺陷，因为在视角稀疏的情况下，估计出的形状往往带有噪声且不准确，这只会进一步干扰 AI。相反，GaussVid 完全绕过了这种猜测。它将相机的确切、已知位置输入给 AI，随着相机在场景中移动。该系统将这些相机信息分解为两个截然不同的部分：相机的朝向方向和距离场景中心的距离。然后，它将这些几何数据直接注入 AI 的处理层，作为一个刚性的、无噪声的骨架来固定视频生成过程。这确保了当 AI 填充缺失细节时，它会遵循真实的几何结构，无论观众选择哪个角度，都能保持物体的一致性。

为了使学习过程有效，研究人员并没有一次性将所有困难的例子都交给 AI。他们设计了一个课程，从简单的任务开始，即缺失的视图距离较近且误差较轻微。随着 AI 掌握了这些任务，难度逐渐增加，引入了更宽的视图间隙和更严重的扭曲。这种循序渐进的方法防止了系统在学习基本重建规则之前，就被最混乱的例子所压垮。结果是令人瞩目的。在针对从室内房间到室外景观等各种场景的测试中，这种新方法生成的图像比以往的技术更加清晰且在几何上更加准确。它成功地消除了困扰早期模型的漂浮伪影和模糊结构，恢复了如书架边缘和木材纹理等精细细节。

这项研究表明，通过将基于视频的 AI 模型与精确的已知相机数据相结合，即使在原始输入极其有限的情况下，实现高质量 3D 场景重建也是可能的。研究人员展示了他们的方法不仅修复了视觉错误，还保持了所有视角下结构的一致性，而这正是仅靠图像的 AI 模型所难以实现的。通过将问题视为一个受引导的视频修复任务，而非盲目的 3D 猜测，该团队为从稀疏数据创建稳健、无伪影的数字环境提供了一条可靠的路径。这项工作表明，提升 3D 重建质量的关键可能不在于构建更复杂的 3D 模型，而在于教导我们的 AI 工具以绝对清晰的方式理解相机在空间中的旅程。

技术摘要：GaussVid

问题陈述

虽然 3D 高斯泼溅（3DGS）在密集多视图监督下的新视角合成方面取得了显著成功，但在稀疏视图下的重建经常会出现严重的伪影。这些问题包括几何歧义、过拟合、“漂浮物”（floating artifacts）、结构模糊以及对未见视角的泛化能力差。

现有解决方案通常分为两类，但都存在局限性：

基于正则化的方法： 这些方法施加几何先验（例如深度平滑度、法线一致性）或外观约束。然而，它们对噪声仍然敏感，并且在极端稀疏视图设置下的改进非常有限。
基于扩散的方法： 最近的方法利用 2D 图像扩散模型或视频扩散模型作为先验。虽然 2D 先验提高了语义真实性，但缺乏显式的 3D 感知，导致跨视图不一致和几何畸变。视频先验提供了时间一致性，但通常依赖于估计的 3D 几何（例如通过 VGGT）作为调节信号。在稀疏视图下，这些估计的几何结构往往是嘈杂且具有歧义的，为扩散过程提供了微弱甚至误导性的引导。

方法论：GaussVid

作者提出了 GaussVid，一种全新的 3D 感知视频修复框架，旨在增强稀疏 3DGS 重建。其核心理念是将稀疏 3DGS 修复视为一个帧条件重建问题，即利用以干净锚帧和显式相机几何为条件的视频扩散模型，来恢复高质量的中间帧。

1. 数据构建 (GaussVid 数据集)

由于现有的数据集无法提供带有相机位姿的成对的伪影损坏视频剪辑与干净视频剪辑，作者从 DL3DV 中的约 5,000 个场景中构建了一个大规模数据集：

伪影模拟： 他们进行了受控的 3DGS 优化，特意在早期（第 8,000 次迭代时）终止优化，以捕捉自然的稀疏视图伪影（漂浮物、模糊），防止模型进入严重的过拟合状态。
片段采样： 他们使用“干净–噪声–干净”策略采样 5 帧剪辑。第一帧和最后一帧作为干净的锚帧 ( $I_s, I_e$ )，而中间的三帧则是待修复的损坏渲染帧 ( $\hat{F}$ )。
难度控制： 通过改变稀ality间隔 ( $n$ ) 来创建一个难度课程，涵盖从轻微到严重的伪影程度。

2. 3D 感知视频修复模型

该方法基于 Wan2.1-VACE（一种首帧到末帧条件的视频模型）进行构建，并利用特定的 3D 感知机制对其进行了扩展：

相机调节的几何先验： 该模型不再依赖于估计的 3D 几何（因为估计值存在噪声），而是直接以相机位姿（从渲染过程中已知）为条件。这些位姿被编码为 Plücker 坐标（射线方向和矩）。
Plücker Token 编码器：
- 分解： Plücker 场被分解为两个独立的流：矩流（对平移敏感）和方向流（对旋转敏感）。
- 交叉门控融合： 这两个流由专门的 3D 卷积处理，并通过交叉门控进行融合，以保留它们各自独特的物理属性。
双流相机注入：
- 为了防止噪声视频特征破坏几何先验，作者采用了双流机制。
- 噪声不变调制： 相机 token 独立于扩散步长进行调制（使用固定的零步长），将几何视为无噪声的先验。
- 非对称注意力： 一种非对称掩码允许视频 token 关注相机 token（吸收几何上下文），同时防止相机 token 关注噪声视频 token。这保护了几何信号免受伪影模式的影响。

3. 训练策略

该模型在**流匹配（flow matching）**框架内进行优化，并采用了两种关键的稳定策略：

渐进式潜空间重建损失： 对估计的干净潜空间应用辅助 L1 损失。该损失采用渐进式加权，侧重于重建最准确的低噪声水平下的监督。
难度感知课程学习： 训练过程逐渐向模型展示难度递增的样本（较大的稀疏间隔 $n$ ）。这防止了模型在学习基础重建模式之前，就被高难度的噪声梯度所淹没。

核心贡献

新颖的公式化与数据集： 本文将稀疏 3DGS 修复定义为一个帧条件重建问题，并构建了一个具有多样化相机轨迹和可控伪影难度的规模化成对数据集。
3D 感知视频先验： 作者引入了一个相机注入模块，将 Plücker 坐标编码为独立的矩流和方向流。通过双流、非对称注意力机制进行集成，提供了一个可靠、无噪声的几何先验，即使在视图变得更加稀疏时也不会退化。
稳定微调： 提出了一种结合了课程学习调度和渐进式潜空间重建损失的渐进式训练策略，以稳定扩散模型的适配过程。

结果

在 DL3DV 和 Zip-NeRF 基准测试上进行了广泛实验，并与基于优化的方法 (FSGS, CoR-GS)、2D 扩散先验 (DiFix3D) 以及视频扩散先验 (4DSloMo, GSFIXER) 进行了对比。

定量性能： GaussVid 在 PSNR 和 SSIM 上达到了最先进的性能，表明其具有卓越的像素级保真度和结构一致性。它还保持了极具竞争力的 LPIPS 分数（感知质量），优于那些会产生幻觉内容或丢失几何一致性的方法。
定性改进： 该方法有效地消除了漂浮物和结构畸变，同时保留了精细细节（如栏杆边缘、纹理）并确保了多视图一致性。
消融实验：
- 去除相机调节会导致性能显著下降，证实了显式 3D 感知的必要性。
- 将 Plücker 坐标分解为矩流和方向流比单体编码能获得更好的结果。
- 课程学习和渐进式损失策略被证明是互补的：课程学习处理大规模结构性伪影，而渐进式损失则精细化纹理。

意义

本文声称 GaussVid 是一个通用的增强框架，可以无缝集成以改进现有的稀疏 3DGS 方法。通过通过相机感知调节，弥合 2D 视频生成与 3D 多视图约束之间的鸿沟，该方法克服了以往基于扩散的方法中固有的视图不一致问题。此外，修复后的帧可以反馈用于精细化 3DGS 表示本身，为从稀疏输入实现更高质量的 3D 重建提供了路径。这项工作证明，利用具有显式、无噪声几何先验的视频扩散模型，是解决稀疏视图重建歧义的一种可行且有效的策略。