💻 computer science

MVGS: Multi-view Regulated Gaussian Splatting for Novel View Synthesis

本文提出了 MVGS，一种新颖的多视图正则化高斯泼溅（Multi-view Regulated Gaussian Splatting）框架，该框架通过引入多视图优化策略、跨内参引导以及自适应多视图加密方案，克服了单视图 3DGS 训练中的过拟合和几何不准确问题，从而实现了卓越的新视角合成与 3D 重建。

原作者： Xiaobiao Du, Yida Wang, Xin Yu

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaobiao Du, Yida Wang, Xin Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭几张 2D 照片来构建一个完美的 3D 雕像模型。在计算机图形学领域，这被称为新视角合成（Novel View Synthesis）：即从一个从未见过的角度，创造出一张全新的、逼真的物体图像。

最近，一种名为 3D 高斯泼溅（3D Gaussian Splatting, 3DGS） 的方法成为了明星选手。它使用成千上万个微小的、模糊的“云团”（高斯分布）来构建 3D 模型，这些云团看起来就像闪闪发光的亮片。它速度极快，且效果出色。然而，该论文指出，目前这些“云团”的训练方式存在一个重大缺陷。

以下是问题的简单拆解以及作者提出的解决方案：MVGS。

问题所在：“单人陪审团”

目前的标准方法是通过一次只给模型看一张照片的方式来进行训练。

类比： 想象一位雕塑家正在雕刻一座雕像，但他每次只能看一眼雕像的单张照片，看上一瞬间后就必须做出改变。然后，他再切换到另一张照片。
结果： 雕塑家会感到困惑。“等等，那个凸起是在左边还是右边？”因为他一次只看一个角度，他会犯错，导致那些“闪光云团”被错放在了错误的地方，最终生成的雕像看起来很模糊，或者带有奇怪的漂浮伪影（比如幽灵般的色块）。论文称之为“不稳定的梯度”。

解决方案：“集体陪审团”（MVGS）

作者提出了 MVGS（多视图正则化高斯泼溅）。与其一次只看一张照片，不如强迫计算机在学习时同时观察许多张照片。

类比： 现在，想象一群雕塑家围在雕像周围，同时从不同的角度进行观察。在做出任何一次切割之前，他们必须达成一致。如果一个雕塑家说：“把那个云团向左移动一点，”但其他人说：“不行，从我们的角度看，那样会破坏形状，”那么这个移动就会被拒绝或进行调整。
益处： 这种“集体共识”确保了 3D 模型从任何角度看都是一致的。它平滑了学习过程，防止模型产生困惑或做出疯狂的猜测。

三个“秘密配方”

为了让这个“集体陪审团”完美运作，论文引入了三个具体的技巧：

1. “缩放”策略（跨内参引导 / Cross-intrinsic Guidance）

问题： 如果你试图在看一个微小、模糊的缩略图时去学习面部的精细细节，你会做得一塌糊涂。
解决方法： 系统首先使用低分辨率（模糊）图像进行训练，并利用许多不同的角度。这有助于模型快速掌握“大局观”和整体形状。一旦形状稳固，系统就会切换到高分辨率（清晰）图像来添加精细细节。
类比： 这就像先用粗马克笔勾勒肖像的轮廓以确定比例，然后再换用细头笔来画睫毛。

2. “人群控制”策略（多视图跨射线加密 / Multi-view Cross-ray Densification）

问题： 有时，照片之间的重叠并不多（比如看汽车的前部和后部）。模型会在中间部分难以填补空白，因为它在那里没有足够的“闪光云团”。
解决方法： 系统会检测照片出现分歧或图像效果不佳的地方。然后，它会自动在这些不同相机视角交汇的特定 3D 区域内，长出更多的闪光云团。
类比： 如果建筑队注意到两组工人交接处的墙面有缝隙，他们不会只是等待，而是立即增派更多的砖块来填补那个特定的缝隙，从而保证墙体坚实。

3. “共识”数学（梯度求和 / Gradient Summation）

问题： 当你结合来自不同角度的信息时，你需要确保数学计算不会相互抵消。
解决方法： 系统不是对所有相机的反馈进行取平均值（这可能会稀释信号），而是将反馈累加起来。
类比： 如果五个人在推一辆车，如果你计算他们的平均力量，你可能会认为他们只有一个人那么大的力气。但如果你将他们的力量求和，你会意识到他们正以五个人的力量在推。这给了模型一个更强、更清晰的信号，告诉它如何修正 3D 形状。

结果

论文声称，通过使用这种“集体陪审团”方法：

质量更好： 新视角看起来更清晰，减少了模糊点或幽灵般的漂浮物。
效率更高： 尽管计算机需要观察更多的照片，但最终的 3D 模型实际上需要的“闪光云团”更少，因为它们被放置得更加精准。
通用性强： 这种方法可以像“即插即用”的升级包一样工作。你可以采用现有的 3D 模型（如 3DGS、Scaffold-GS 或处理动态场景的 4DGS），并将这种新的训练方法接入其中，从而瞬间提升其表现。

简而言之，MVGS 阻止了 3D 模型基于单一、令人困惑的角度进行猜测，并通过同时倾听所有角度的声音，强制它构建出一个一致且高质量的现实。

技术摘要：MVGS —— 用于新视角合成的多视图正则化高斯泼溅

1. 问题陈述

现有的基于高斯的神经视角合成（NVS）方法，例如 3D 高斯泼溅（3DGS），通常依赖于单视图优化范式。在这种方法中，3D 高斯核在每次迭代时仅使用来自单个摄像机视角的梯度进行更新。作者观察到，这种范式会导致梯度不稳定，从而导致次优的渲染质量、伪影（如浮游物和畸变），以及难以重建精细细节，尤其是在视角变化剧烈、存在强反射或视图间重叠极少的场景中。此外，标准的单尺度训练往往收敛至次优解，且现有方法在视角重叠有限时难以拟合 2D 训练视图。

2. 方法论

本文提出了 MVGS（多视图正则化高斯泼溅），这是一个即插即用的优化框架，旨在通过在整个训练过程中强制执行多视图一致性来增强现有的基于高斯的方法。该方法由三个核心组件组成：

A. 多视图正则化训练 (MVRL)

MVGS 不再基于单个视图更新 3D 高斯，而是同时聚合来自多个视图 ( $M$ ) 的梯度。

梯度聚合： $M$ 个视图的损失梯度是求和而非取平均： $\frac{\partial \mathcal{L}_{\text{MV}}}{\partial \boldsymbol{\theta}} = \sum_{m=1}^M \frac{\partial \mathcal{L}_m}{\partial \boldsymbol{\theta}}$ 。
理论依据： 作者通过方差界限分析证明，多视图梯度聚合能够抑制噪声（不相关梯度）并放大相干结构信号（相关梯度）。这导致了更稳定的梯度下降过程，并确保 3D 高斯在整体上得到优化，以满足来自不同视角的约束。

B. 跨内参引导 (CIG)

为了解决单尺度训练中收敛不佳的问题，作者提出了利用图像金字塔的由粗到精的训练方案。

机制： 训练从低分辨率图像开始（通过重新配置内参 $K$ ，特别是焦距和主点），并逐步过渡到高分辨率。
策略： 在低分辨率阶段，引入更多的多视图图像以提供全局约束和鲁棒的初始化。在这一粗略阶段估计的 3D 高斯随后会被继承并在高分辨率阶段进行精细化。这使得模型能够先捕捉全局结构，然后再专注于精细细节。

C. 多视图跨射线致密化

为了处理剧烈的视角变化和极小的重叠，作者引入了一种由两部分组成的动态致密化策略：

多视图增强致密化 (MVAD)： 该模块根据摄像机视图之间的差异调整致密化阈值。如果视图显著不同（重叠极小），则降低阈值以鼓励致密化，从而确保存在足够的 3D 高斯来拟合变化的视角。
跨射线致密化 (CRD)： 该策略针对来自多个视图的射线在 3D 空间中相交的区域。通过分析多个视图的损失图、从高损失区域投射射线并识别交汇体积（长方体），该方法有选择地在这些重叠区域致密化 3D 高斯。这增强了对渲染多个视角至关重要的区域的多视图一致性。

3. 核心贡献

论文将其贡献总结如下：

MVGS 框架： 一种即插即用的多视图正则化优化方法，通过施加多视图相干约束来平滑梯度更新，提升现有基于高斯方法的 NVS 性能。
跨射线致密化策略： 一种用于在剧烈变化的视角下获取充足 3D 高斯的新颖方法，缓解了视角差异问题并促进了多视图学习。
通用优化方案： 大量实验证明，MVGS 在包括静态物体 NVS、反射物体 NVS、动态 4D NVS 和大规模场景重建在内的各种任务中，一致地提升了最先进的性能。

4. 实验结果

作者在多个数据集（Mip-NeRF 360, Tanks&Temples, Deep Blending, Shiny Blender, D-NeRF, BungeeNeRF）上进行了广泛实验，并将该方法与 3DGS、Scaffold-GS、3D-HGS 以及各种 NeRF 变体等基线方法进行了对比。

定量性能： 将 MVGS 集成到 3DGS、Scaffold-GS 和 3D-HGS 中，使其在通用、反射和动态场景中均达到了最先进的 PSNR、SSIM 和 LPIPS 分数。例如，在 Mip-NeRF 360 数据集上，3DGS + MVGS 实现了 29.61 的 PSNR，而基线为 28.69。
定性改进： 视觉对比显示，伪影（浮游物、畸变、过度平滑）显著减少，并且能更好地重建精细细节、镜面反射和透明表面。
效率与收敛性： 虽然由于多视图处理导致训练时间增加，但该方法实现了更快的收敛和更稳定的损失曲线。值得注意的是，改进后的模型通常需要更少的高斯参数即可达到更高的质量，这表明其具有更紧凑且高效的表示。
消融实验： 实验证实，每个组件（MVRL、CRD、MVAD、CIG）都对最终性能有增量贡献。研究还揭示了存在一个最优的多视图输入数量；视图过多可能会导致在特定区域出现过拟合。

5. 重要性与主张

论文声称 MVGS 提供了一种通用且普适的解决方案，用于增强基于高斯的方法，而无需依赖预训练模型或复杂的架构变更。

稳定性： 通过通过多视图相干性调节梯度，该方法解决了单视图优化固有的不稳定性。
多样性： 该方法在从静态物体到动态 4D 场景及大规模环境的多种场景中均有效。
即插即用： 该方法可以集成到现有的基于高斯的流水线中，以立即提升性能。
局限性： 作者谦虚地承认，与单视图范式相比，多视图约束带来了更高的计算成本和更长的训练时间。他们建议未来的工作可以专注于自适应多视图选择，以平衡效率与性能。

总之，作者认为 MVGS 代表了使高斯泼溅在现实应用中更加鲁棒和高保真迈出的重要一步，因为它从根本上将优化范式从单视图转向了多视图正则化学习。