💻 computer science

MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization

本文提出了 MeshSplats 方法，通过将高斯点云转换为网格面片，使预训练的高斯泼溅模型能够利用光线追踪技术进行渲染，从而在无需额外训练或仅需少量优化的情况下，获得阴影、反射等高级光照效果并提升重建质量。

原作者： Rafał Tobiasz, Grzegorz Wilczyński, Marcin Mazur, Sławomir Tadeja, Weronika Smolak-Dyżewska, Przemysław Spurek

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Rafał Tobiasz, Grzegorz Wilczyński, Marcin Mazur, Sławomir Tadeja, Weronika Smolak-Dyżewska, Przemysław Spurek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 MeshSplats 的新技术。为了让你轻松理解，我们可以把 3D 场景的构建想象成**“用乐高积木搭房子”**。

1. 背景：两种不同的“搭积木”方式

在计算机图形学（也就是制作 3D 电影、游戏）的世界里，主要有两种搭房子的方法：

传统方法（网格 Mesh）： 就像用平整的三角形瓷砖拼贴出一个物体。
- 优点： 非常规整，电脑可以很容易地计算光线怎么在这些瓷砖上反射、怎么产生阴影（就像真实的物理世界）。
- 缺点： 很难直接“画”出来。如果你只有一张 2D 照片，想把它变成这种整齐的瓷砖房子，非常困难，就像试图把一团乱麻强行理成整齐的砖块。
新方法（高斯泼溅 Gaussian Splatting, GS）： 就像用无数团彩色的、半透明的“棉花糖”（高斯球）堆叠起来。
- 优点： 只要给你几张 2D 照片，电脑就能很快学会怎么把这些“棉花糖”堆成逼真的 3D 物体，效果极好，速度飞快。
- 缺点： 这些“棉花糖”是散乱的，没有固定的形状。传统的“光线追踪”技术（用来做真实阴影和反射的）看不懂这种散乱的棉花糖，所以很难做出像电影里那样逼真的光影效果。

现在的痛点是： 我们想要“棉花糖”那种容易训练、效果好的特点，又想要“瓷砖”那种能做真实光影、方便编辑的优点。

2. MeshSplats 的解决方案：把“棉花糖”变成“瓷砖”

MeshSplats 就像是一个神奇的“变形工厂”。它的工作流程是这样的：

第一步：先造“棉花糖”
它先用传统的 GS 技术，把 2D 照片变成一堆彩色的“棉花糖”（高斯球）。这一步很快，效果也很好。
第二步：魔法变身（核心创新）
这是 MeshSplats 最厉害的地方。它把这堆散乱的“棉花糖”，直接转换成了一个个三角形的小面片（Mesh）。
- 想象一下，它把每一团“棉花糖”都压扁，然后切成几个三角形，拼成一个小网。
- 这些三角形保留了原来“棉花糖”的颜色和透明度。
第三步：结果
现在，你手里不再是一堆散乱的“棉花糖”，而是一张由无数小三角形组成的**“网”**。

3. 这个“变形”带来了什么好处？

一旦变成了这种“三角形网”，它就能做以前“棉花糖”做不到的事情了：

真正的“光影魔法”： 因为它是三角形组成的，传统的光线追踪技术（Ray Tracing）就能看懂它了。这意味着你可以轻松做出真实的阴影、反射（比如玻璃上的反光），就像在 Blender 或 Nvdiffrast 这些专业软件里一样。
可以随意“捏”形状： “棉花糖”很难手动修改，但“三角形网”是标准的 3D 模型格式。你可以像玩泥巴一样，在 Blender 里直接拖动、编辑这些三角形，甚至把它们扔进游戏引擎里做物理碰撞（比如让水溅到物体上）。
不需要重新训练： 它不需要从头开始学，而是直接把训练好的“棉花糖”模型拿来“变身”，变身完就能用。

4. 两种使用模式

论文还提到了两种玩法：

模式一（快速变身）： 直接把“棉花糖”变成“三角形网”。
- 比喻： 就像把一堆散沙直接压成砖块。速度快，效果不错，但砖块的形状可能有点不规则，适合直接看。
模式二（带模具变身）： 先有一个大概的“模具”（外部工具生成的粗略模型），然后把“棉花糖”贴在这个模具上，变成更整齐的“瓷砖”。
- 比喻： 就像先有个泥塑模型，再在上面贴瓷砖。这样做出来的形状更精准，方便你以后拿着刻刀去精细雕刻（手动编辑）。

5. 总结

简单来说，MeshSplats 就是一个翻译官。

它把一种**“容易生成但难处理光影”的语言（高斯泼溅/棉花糖），翻译成了“容易处理光影且方便编辑”**的语言（网格/三角形）。

以前： 想要光影好，就得用难训练的网格；想要训练快，就得用难处理光影的棉花糖。
现在： 用 MeshSplats，你可以先快速用“棉花糖”训练出好效果，然后一键把它变成“网格”，既保留了高质量，又获得了处理真实光影和手动编辑的能力。

这就好比，你先用 3D 打印快速做出了一个粗糙的模型（棉花糖），MeshSplats 帮你把它瞬间打磨成光滑、规整、可以上漆和做特效的成品（网格），让它在各种专业软件里都能完美运行。

以下是基于论文《MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization》的详细技术总结：

1. 研究背景与问题 (Problem)

高斯泼溅 (Gaussian Splatting, GS) 是近年来 3D 计算机图形学领域的突破性技术，它通过将场景表示为一系列可微分的 3D 高斯原语（具有均值、协方差、不透明度和颜色），实现了高质量的重建和实时渲染。然而，现有的 GS 方法存在以下核心局限性：

渲染范式限制：GS 主要基于光栅化 (Rasterization) 技术，而非光线追踪 (Ray Tracing)。这导致其难以处理非相干光线（incoherent rays），从而限制了高级光照效果（如精确的阴影、反射、折射）的生成。
生态兼容性差：由于 GS 依赖专用的渲染器，难以直接集成到标准的图形学工具链（如 Blender、Nvdiffrast）中，限制了其在物理模拟、交互式编辑和复杂光照场景中的应用。
现有解决方案的不足：虽然已有尝试将 GS 与光线追踪结合（如 3DGRT, RaySplats），但这些方法通常仍需要专用的渲染环境，或者依赖复杂的蒙特卡洛采样，缺乏通用性和灵活性。

核心目标：开发一种方法，能够将训练好的 GS 模型直接转换为网格 (Mesh) 格式，使其能够利用现有的光线追踪渲染器进行渲染，同时保留 GS 的几何细节和视觉质量。

2. 方法论 (Methodology)

论文提出了 MeshSplats，一种将高斯泼溅转换为网格表示的“包装器 (Wrapper)"方法。该方法支持两种主要模式，并包含精细的微调流程：

A. 核心转换机制 (Transformation)

MeshSplats 的核心是将高斯原语（椭圆体或椭圆）离散化为三角形网格面。

针对扁平高斯 (Flat Gaussians)：
- 利用高斯的旋转矩阵 $R$ 和缩放参数 $S$ ，计算椭圆的两个主轴向量。
- 在椭圆边界生成 $N$ 个顶点（实验中设为 8 个），构建一个以椭圆中心为原点的三角形扇 (Triangle Fan)。
- 属性继承：网格顶点的颜色直接继承自对应高斯的颜色（使用 RGB 而非球谐函数 SH 以兼容标准渲染器）；不透明度 (Opacity) 也继承自高斯，并在边界处通过乘数进行缩放，以模拟高斯的不透明度衰减。
针对 3D 高斯 (3D Gaussians)：
- 将高斯视为椭球体，利用三个主轴向量构建三个正交的椭圆面。
- 在三个正交面上分别生成三角形扇，共享交点处的顶点以减少冗余。
- 这种方法能捕捉完整的 3D 结构，但会增加显存占用和渲染时间。

B. 两种应用场景 (Two Scenarios)

GS 优先模式 (GS Prior)：
- 直接对训练好的 GS 模型进行转换。
- 特点：转换速度快，无需额外训练即可生成可渲染的网格。
- 局限：生成的网格是“不相交的三角形汤 (disjoint triangle soup)"，几何结构不够精确，难以进行手动编辑（类似点云操作）。
网格优先模式 (Mesh Prior)：
- 引入外部工具估计的几何网格作为先验（Geometry Mesh）。
- 机制：MeshSplats 在几何网格表面生成第二层不相交的彩色三角形。每个新三角形的顶点被参数化为几何网格面顶点的凸组合（ $\alpha_1 m_1 + \alpha_2 m_2 + \alpha_3 m_3$ ）。
- 特点：生成的网格严格贴合几何形状，支持手动编辑和物理模拟，同时保留了高斯的光照属性。

C. 优化与微调 (Optimization & Fine-tuning)

转换后的网格可能存在伪影（如细节丢失）。MeshSplats 提供了一个专门的优化管道：

损失函数：结合 $L_1$ 损失和结构相似性 (SSIM)，类似于 3DGS 的训练目标。
优化策略：
- 优化顶点颜色和不透明度（学习率较高）。
- 优化顶点位置（学习率极低，确保几何稳定性）。
剪枝 (Pruning)：定期移除不透明度低于阈值的冗余面和顶点，降低显存占用。

D. 渲染流程

转换后的模型可直接在 Nvdiffrast 或 Blender (EEVEE) 中渲染。

利用 深度剥离 (Depth Peeling) 技术处理透明度和重叠几何体，确保多层网格的正确合成。
支持标准的光线追踪光照、阴影和反射计算。

3. 主要贡献 (Key Contributions)

提出 MeshSplats 方法：一种新颖的转换框架，能够将基于扁平高斯或 3D 高斯的模型直接转换为可光线追踪的网格表示，无需重新训练整个场景。
打破渲染生态壁垒：使 GS 场景能够直接在 Blender、Nvdiffrast 等标准图形工具中渲染，实现了高级光照效果（阴影、反射）和物理交互（如水流、碰撞）。
优化管道：设计了一套针对网格面的专用优化算法，有效减少了转换带来的伪影，提升了几何精度和照片级真实感。
双重模式支持：既支持快速转换（GS Prior）用于高质量渲染，也支持结合外部几何先验（Mesh Prior）用于可编辑的 3D 资产生成。

4. 实验结果 (Results)

定量评估：
- 在 Mip-NeRF360、Tanks and Temples 和 Deep Blending 数据集上进行了测试。
- 在 Mip-NeRF360 和 Tanks and Temples 上，MeshSplats 的 PSNR、SSIM 和 LPIPS 指标与最先进的基于光栅化的方法（如 3DGS, RaySplats）相当。
- 在 Deep Blending（室内复杂几何）数据集上，MeshSplats 表现优于多个基线模型，证明了其在处理复杂室内几何和透明效果方面的优势。
- 与 SuGaR（另一种将 GS 转为网格的方法）相比，MeshSplats 在 PSNR 和 SSIM 上显著更优，因为它直接参数化颜色而非依赖 UV 纹理。
定性评估：
- 生成的网格在 Blender 中渲染时，视觉效果与原始 3DGS 非常接近。
- 成功实现了动态光照下的阴影、反射以及物理交互（如物体与水的互动）。
- 优化后的模型消除了“漂浮物 (floaters)"，并细化了高频细节（如自行车辐条）。
局限性：
- 在大面积低纹理区域（如天空），基于网格的插值可能难以完美模拟高斯平滑的衰减，导致几何碎片化或不一致的不透明度伪影。

5. 意义与影响 (Significance)

连接传统与现代：MeshSplats 成功弥合了基于高斯泼溅的现代神经渲染技术与传统基于网格的光线追踪渲染管线之间的鸿沟。
赋能下游应用：使得 GS 场景能够直接应用于需要物理模拟、精确阴影、反射以及交互式编辑的领域（如游戏开发、VR/AR、电影特效）。
无需专用渲染器：消除了对专用 GS 渲染器的依赖，降低了技术门槛，促进了 3D 内容生产流程的标准化。
可编辑性：通过引入网格先验模式，解决了 GS 难以进行手动几何编辑的痛点，为生成可编辑的 3D 资产提供了新途径。

综上所述，MeshSplats 不仅是一种转换工具，更是一种扩展了高斯泼溅应用边界的关键技术，使其能够融入更广泛的计算机图形学工作流。