From Volume Rendering to 3D Gaussian Splatting: Theory and Applications

本文综述了从体渲染到 3D 高斯泼溅（3DGS）的理论演进与应用，在介绍其高效光栅化原理及新视角合成优势的同时，深入探讨了其内存占用、光照烘焙及次级光线效应等局限性，并总结了其在表面重建、数字人建模、动画及内容生成等领域的广泛应用。

要点

这篇论文其实是在讲计算机图形学领域的一场**“革命”：我们如何把一堆普通的照片，变成可以在任何角度观看、甚至能跑能跳的3D 世界**。

以前，我们要么用很慢的“神经网络”（NeRF）来模拟光线，要么用传统的“多边形网格”（像乐高积木一样拼物体）。但这篇论文介绍的主角叫**"3D 高斯泼溅”（3D Gaussian Splatting，简称 3DGS），它就像是一个“会飞的彩色光点云”**，既快又美。

下面我用几个生活中的比喻来拆解这篇论文的核心内容：

1. 核心概念：从“迷雾”到“光点雨”

想象一下，你想重建一个房间。

• 以前的方法（NeRF）：就像是在房间里充满了一团看不见的迷雾。你需要问这团迷雾：“这里有没有物体？是什么颜色？”计算机要在这个巨大的迷雾里到处采样，非常慢，而且很难实时看到效果。
• 3DGS 的方法：它不再用迷雾，而是直接往房间里撒了一把“魔法光点”（也就是 3D 高斯球）。
  • 每个光点都有自己的位置、大小、形状（有的扁，有的圆）和颜色。
  • 这些光点像雨滴一样，直接“泼”在屏幕上。
  • 优势：因为光点只存在于有物体的地方（不像迷雾要填满整个空间），所以计算机处理起来极快，能像玩游戏一样实时渲染出逼真的画面。

2. 它是如何工作的？（训练过程）

这个过程就像是在玩一个**“猜谜游戏”**：

1. 起步：先给你几张照片，计算机用算法（SfM）找出照片里物体的大概位置，撒下一层稀疏的“种子光点”。
2. 试错：计算机把这些光点“投影”到屏幕上，看看拼出来的图和你给的照片像不像。
3. 调整：
   • 如果拼出来的图太模糊，它就把光点变大（分裂）或者复制更多光点（克隆）去填补细节。
   • 如果某个光点一直没用（比如它飘在空荡荡的房间里），它就把那个光点删掉（修剪）。
   • 通过不断的“调整 - 对比 - 再调整”，这些光点最终会完美地贴合物体的形状和颜色。

3. 现在的挑战与升级（论文的“补丁”部分）

虽然 3DGS 很快很美，但它也有几个“小毛病”，论文里介绍了很多聪明的解决办法：

• 内存太大（太占地方）：

  • 比喻：为了拼出一个逼真的杯子，可能需要 50 万个光点，这太占电脑内存了。
  • 解决：就像把“散装大米”换成“压缩饼干”。新的方法用更少的点，或者把纹理信息存进一个小公式里，大大减少了体积。

• 反光和阴影（像塑料假人）：

  • 比喻：原来的 3DGS 把光线“烤”在了光点上。如果你换个角度看，或者换个灯光，物体看起来还是老样子，像涂了蜡的假人，没有真实的光影变化。
  • 解决：给光点加上**“物理皮肤”**（比如材质、粗糙度）。现在的光点能模拟真实的反光，甚至能计算光线在物体之间的反弹（二次反射），让金属看起来像金属，水看起来像水。

• 从照片变模型（表面重建）：

  • 比喻：原来的光点是一团雾，很难直接把它变成可以打印的 3D 模型（网格）。
  • 解决：让光点**“变扁”**，像硬币一样（2D 圆盘），或者结合数学公式，把这些光点“捏”成光滑的 3D 模型表面。

4. 它能做什么？（应用场景）

这篇论文展示了 3DGS 的超能力：

• 复活动态物体：以前只能做静止的雕像，现在可以模拟水流、爆炸、甚至人的动作。光点被赋予了物理属性，可以像真实的粒子一样流动、碰撞。
• 数字人（Avatar）：可以生成逼真的 3D 虚拟人。不仅能换衣服、换表情，还能在不同的灯光下（比如从白天变到晚上）自动调整光影，非常自然。
• 从很少的照片重建：以前需要几十张照片才能重建，现在哪怕只有几张甚至一张照片，配合 AI 预测，也能“脑补”出完整的 3D 场景。
• AI 生成内容：结合现在的 AI 绘画（扩散模型），你可以输入文字（比如“一只戴帽子的青蛙”），AI 就能直接生成一个 3D 的、可旋转的青蛙模型。

总结

这篇论文就像是一份**"3D 高斯泼溅”的进化指南**。它告诉我们：
以前我们是用慢吞吞的迷雾来模拟世界，现在我们可以用成千上万颗聪明的彩色光点来构建世界。这些光点不仅跑得快（实时渲染），而且越来越聪明（能处理光影、动态、稀疏数据）。

这项技术正在让3D 内容的创作变得像拍照片一样简单，未来我们看到的虚拟世界、游戏、甚至元宇宙，可能都是由这些“光点雨”构成的。

技术摘要

论文技术总结：从体渲染到 3D 高斯泼溅

1. 研究背景与问题 (Problem)

3D 重建（从具有已知位姿的图像中重建 3D 场景）是视觉计算中的长期难题。近年来，该领域正经历由神经辐射场 (NeRFs) 和 3D 高斯泼溅 (3D Gaussian Splatting, 3DGS) 带来的根本性变革。

• NeRF 的局限性：NeRF 使用神经网络隐式表示场景的几何（体密度）和辐射度。虽然能生成高质量的新视角合成（NVS），但其全局表示需要遍历整个空间（包括空白区域）进行查询，导致计算成本高、训练慢，且难以实现实时渲染。
• 3DGS 的挑战：虽然 3DGS 通过显式建模 3D 高斯集合实现了实时渲染和高质量细节，但仍存在以下关键问题：
  • 内存占用高：复杂场景需要数十万甚至上百万个高斯点。
  • 光照烘焙：原始方法将光照效果直接“烘焙”到高斯属性中，难以支持重光照（Relighting）。
  • 次级射线支持有限：难以模拟反射、折射等次级光线效果。
  • 稀疏视图重建困难：在输入图像较少时容易陷入局部最优。

2. 方法论 (Methodology)

论文首先从数学角度推导了 3DGS，随后综述了针对其局限性的改进方法及各类应用。

A. 理论基础：从体渲染到 3DGS

• 体渲染方程：传统体渲染通过求解光线传输的常微分方程（ODE）来计算沿光线的累积辐射度。NeRF 使用神经网络参数化密度 $\sigma$ 和颜色 $c$，通过数值积分近似求解。
• 3DGS 的推导：
  • 显式表示：3DGS 将场景表示为一系列带颜色的 3D 高斯集合 $g_i = \{\mu_i, \Sigma_i, \sigma_i, c_i\}$（中心、协方差矩阵、不透明度、RGB 颜色）。
  • 体积泼溅 (Volume Splatting)：为了避免在空白空间进行昂贵的积分查询，3DGS 采用基于光栅化的“泼溅”技术。
    1. 投影：将 3D 高斯通过相机内参和外参投影到 2D 图像平面，利用一阶近似（雅可比矩阵）将其转换为 2D 高斯。
    2. 排序与混合：沿视线对高斯进行深度排序，利用 Alpha 混合（Alpha-compositing）公式计算像素颜色。
  • 优化流程：
    1. 初始化：利用 SfM（运动恢复结构）生成的稀疏点云初始化高斯中心 $\mu$ 和颜色 $c$。
    2. 可微渲染：通过最小化渲染图像与输入图像之间的光度损失（Photometric Loss），利用梯度下降更新高斯参数。
    3. 自适应密度控制：在训练过程中动态调整高斯数量。对欠拟合区域进行克隆 (Clone) 或分裂 (Split)，对过拟合或低不透明度的高斯进行剪枝 (Prune)。

B. 关键扩展与改进 (Extensions)
针对原始 3DGS 的不足，论文综述了以下主要改进方向：

• 内存优化：如 SCAFFOLD 使用 MLP 表征纹理属性并引入锚点，减少高斯数量。
• 抗混叠与多分辨率：MIP-Splatting 引入 2D 和 3D 高斯滤波器，解决焦距或距离变化引起的高频伪影。
• 光照与材质 (Specularity)：
  • 原始 3DGS 使用发射 - 吸收模型，无法重光照。
  • GaussianShader / 3DGS-DR / IRGS：引入经典反射和着色概念，嵌入 BRDF 参数（反照率、粗糙度、法线等），支持物理基于渲染 (PBR) 和重光照。
  • 次级射线：结合光线追踪技术模拟反射和折射。
• 野外场景 (In-the-Wild)：针对遮挡、瞬态物体和光照变化，WildGaussians、GS-W 等方法利用 DINO 特征、2D 可见性图和深度正则化来抑制瞬态干扰，实现鲁棒重建。
• 表面重建 (Surface Reconstruction)：
  • 原始 3DGS 难以直接提取网格。
  • 2DGS：将 3D 高斯“压扁”为 2D 圆盘，提高几何定位精度。
  • GSDF / GSPull：结合神经符号距离函数 (SDF) 提取高质量网格。
• 动画与动态场景：
  • PhysGaussian：将高斯视为离散物理粒子，结合连续介质力学进行物理模拟。
  • 4D-GS：使用时空结构编码器捕捉随时间变化的变形。
• 虚拟化身 (Avatars)：结合 FLAME 或 SMPL 人体模型，通过 MLP 或变形模块预测高斯参数，实现可编辑、可重光照的全身或头部虚拟化身。
• 稀疏视图与生成式模型：
  • 前馈网络 (FFN)：如 PixelSplat, MVSplat, NoPoSplat，直接预测高斯参数，无需迭代优化，支持单图或稀疏视图重建。
  • 扩散模型 (Diffusion)：利用多视图扩散模型作为先验（如 LGM, DreamGaussian），从文本或单图生成 3D 高斯场景，甚至扩展到 4D 动态内容。

3. 主要贡献 (Key Contributions)

1. 数学推导：提供了从体渲染方程到 3DGS 泼溅公式的直观数学推导，阐明了其理论基础。
2. 全面综述：系统梳理了 3DGS 的扩展技术，涵盖了内存优化、抗混叠、物理光照、表面重建、动态场景及虚拟化身等关键领域。
3. 应用展望：详细展示了 3DGS 在表面重建、动画、Avatar 建模及前馈 3D 重建中的实际应用，强调了其高效渲染和适合前馈流水线的特性。

4. 结果与性能 (Results)

• 渲染效率：3DGS 实现了实时渲染（Real-time rendering），在保持高细节的同时，速度远超 NeRF。
• 重建质量：在标准数据集上，3DGS 的新视角合成质量（PSNR, SSIM）达到或超过了 NeRF 水平。
• 鲁棒性提升：改进后的方法（如 WildGaussians, MIP-Splatting）显著提升了在复杂光照、遮挡和不同分辨率下的重建鲁棒性。
• 生成能力：结合扩散模型和 FFN，实现了从单图、文本或视频直接生成高质量 3D/4D 内容，大幅降低了重建门槛。

5. 意义与未来展望 (Significance & Future)

• 范式转变：3DGS 标志着 3D 重建从隐式神经表示向显式几何表示的回归，同时保留了可微分的优化能力，解决了实时性与质量的平衡问题。
• 应用潜力：由于其高效性，3DGS 非常适合游戏、VR/AR、数字孪生等需要实时交互的领域。
• 开放问题：
  • 确定最优的高斯数量以平衡质量与存储。
  • 改进泼溅公式本身的近似误差。
  • 开发更鲁棒的前馈重建模型，以应对任意数量输入视图的稀疏场景。
  • 进一步提升动态场景和复杂物理交互的模拟能力。

总结：该论文不仅清晰地阐述了 3DGS 的核心原理，还全面总结了其从基础理论到前沿应用的演进路径，指出了当前技术的瓶颈及未来的研究方向，是理解 3D 高斯泼溅技术生态的重要指南。