Splat the Net: Radiance Fields with Splattable Neural Primitives

该论文提出了“可泼洒神经基元”（Splattable Neural Primitives）这一新型体素表示法，通过将有界神经密度场编码为浅层神经网络，实现了无需射线追踪的精确解析积分，从而在保持与 3D 高斯泼洒（3D Gaussian Splatting）相当的高质量与新视角合成速度的同时，将所需基元数量减少了 10 倍、参数量减少了 6 倍。

要点

这篇论文介绍了一种名为 "Splat the Net" 的新方法，它旨在解决 3D 场景建模中的一个核心矛盾：如何既让画面看起来极其逼真（高表达力），又能让电脑跑得飞快（高效率）？

为了让你轻松理解，我们可以把构建 3D 世界想象成用乐高积木拼出一座宏伟的城堡。

1. 过去的两种“拼法”都有缺点

在计算机图形学里，主要有两种拼城堡的方法，但都有各自的痛点：

• 方法 A：神经网络法（NeRF）

  • 比喻：这就像是用无限细的、看不见的魔法丝线来编织城堡。
  • 优点：极其逼真！你可以拼出任何复杂的形状，比如丝绸的褶皱、烟雾的缭绕，细节满分。
  • 缺点：太慢了！因为丝线太细太密，电脑要一根一根地数（这叫“光线步进”），就像要在迷宫里走一遍才能知道前面是什么。拼好一个画面可能需要几秒钟甚至几分钟，根本没法实时看。

• 方法 B：高斯泼溅法（3DGS）

  • 比喻：这就像是用几百万个小小的、半透明的彩色气球来堆砌城堡。
  • 优点：速度极快！电脑不需要去数丝线，只需要把这些气球“拍”（Splat）在屏幕上，像泼油漆一样，瞬间就能拼出画面。
  • 缺点：太笨重了！为了拼出复杂的形状（比如一个弯曲的茶壶把手），你需要几百万个气球。而且气球是圆滚滚的，很难拼出尖锐的棱角或复杂的内部结构。为了拼好一个场景，你需要存几百万个气球的数据，非常占内存。

2. 我们的新发明：会“变形”的智能气球（Splatable Neural Primitives）

这篇论文提出的新方法，就是把“魔法丝线”的智慧装进“彩色气球”里。

• 核心创意：
  我们不再使用普通的、死板的圆形气球。我们发明了一种**“智能气球”**。

  • 外表：它看起来还是一个椭圆形的“气球”（为了保持泼溅法的高速）。
  • 内心：但每个气球内部都藏着一个微型的大脑（浅层神经网络）。

• 它是如何工作的？

  • 普通气球：只能告诉你“这里有个红色的圆”。
  • 智能气球：当你问它“在这个位置密度是多少？”时，它的小脑瓜会瞬间算一下，告诉你“这里密度高，那里密度低，甚至能模拟出弯曲的把手形状”。
  • 数学魔法：作者发现了一种数学技巧，可以直接算出这个“智能气球”在穿过光线时的总效果，不需要像以前那样一根根光线去试（不需要光线步进）。这就像你不需要数清气球里有多少个分子，直接看它的“总积分”就能知道它挡住了多少光。

3. 这个新方法的厉害之处

想象一下，以前你需要100 万个普通气球才能拼出一个复杂的茶壶，而现在，你只需要10 万个智能气球就能拼出同样甚至更完美的茶壶。

• 更少的数量：因为每个气球更“聪明”、更“能装”，所以需要的总数大大减少（论文说是 10 倍）。
• 更小的体积：虽然每个气球里多了一点“大脑”代码，但总数少了那么多，整体占用的内存反而更小（论文说是 6 倍）。
• 同样的速度：因为不需要去数光线，它依然保持了“泼溅法”那种实时渲染的超快速度。
• 更好的质量：它能拼出普通气球拼不出来的复杂细节，比如茶壶弯曲的把手、树叶的纹理，画面更清晰。

4. 总结：为什么这很重要？

这就好比以前我们要造一辆法拉利，要么用无数根细铁丝慢慢编（慢但精致），要么用几百万个塑料块硬堆（快但粗糙）。

现在，我们发明了一种**“智能塑料块”。它既保留了塑料块堆得快的优点，又拥有了铁丝编织得精致**的能力。

一句话总结：
这项技术让电脑在几秒钟内就能生成电影级画质的 3D 场景，而且不需要巨大的存储空间。这对于未来的VR 游戏、元宇宙、自动驾驶模拟等领域来说，是一个巨大的飞跃，因为它让高质量的 3D 内容变得既快又省。

技术摘要

1. 研究背景与问题 (Problem)

背景：
辐射场（Radiance Fields）是建模 3D 场景外观的主流表示方法。目前主要存在两类技术路线，但它们各自存在明显的局限性：

1. 神经辐射场 (NeRFs)： 基于神经网络（如 MLP），具有极高的表达能力，能编码复杂的几何和外观。然而，其渲染过程依赖光线步进（Ray Marching），需要对每条视线进行大量采样和积分，计算成本高昂，难以实现实时渲染。
2. 基于原语的方法 (Primitive-based, e.g., 3D Gaussian Splatting - 3DGS)： 使用简单的解析函数（如 3D 高斯）作为原语。通过**泼溅（Splatting）**技术将 3D 原语投影到 2D 图像平面，渲染速度极快（实时）。但其表达能力受限于原语的解析形式（通常是各向异性的椭球），为了拟合复杂几何往往需要数百万个原语，导致内存占用大且难以精确表示复杂结构。

核心问题：
现有的辐射场表示存在一种“二元对立”：神经表示表达力强但渲染慢，原语表示渲染快但表达力弱。如何设计一种既能保持神经网络的高表达能力，又能利用原语方法的高效泼溅渲染机制，从而打破这一权衡？

---

2. 方法论 (Methodology)

作者提出了一种新的体素表示方法：可泼溅神经原语 (Splattable Neural Primitives)。

2.1 核心表示 (Representation)

• 结构定义： 每个原语 $P_i$ 被限制在一个椭球体 (Ellipsoid) $B$ 内。
• 密度场参数化： 椭球内部的体密度 $\sigma(x)$ 不再由简单的解析公式定义，而是由一个浅层神经网络 $f_\sigma$ 参数化。
  • 网络结构：单隐藏层，宽度为 $N_\sigma$，使用周期性激活函数（Periodic Activation，如 $\cos$），类似于傅里叶特征。
  • 公式：$\sigma(x) = f_\sigma(\frac{x - x_B}{\|s_B\|_\infty})$，其中 $x_B$ 是中心，$s_B$ 是缩放向量。
• 颜色表示： 使用球谐函数 (Spherical Harmonics, SH) 表示视角相关的颜色。

2.2 渲染机制 (Rendering)

这是该方法最关键的创新点，解决了神经场无法直接泼溅的难题：

• 解析积分 (Analytical Integration)： 传统的神经场渲染需要沿视线进行数值积分（光线步进）。作者利用浅层网络（单隐藏层 + 周期性激活）的数学特性，推导出了沿任意视线的线积分的闭式解 (Closed-form solution)。
• 泼溅核计算：
  1. 计算视线与椭球的交点（进入时间 $t_{in}$ 和离开时间 $t_{out}$）。
  2. 利用推导出的原函数 $S(t)$，直接计算沿视线的密度积分：$\hat{\alpha} = S(t_{out}) - S(t_{in})$。
  3. 根据积分结果计算不透明度核 $\alpha = 1 - \exp(-\hat{\alpha})$。
• 优势： 这一过程完全避免了光线步进（Ray Marching），且计算出的泼溅核是透视准确 (Perspectively accurate) 的（不像 3DGS 那样依赖仿射近似）。

2.3 训练与优化 (Training)

• 初始化： 网络权重遵循特定的分布初始化（参考 NeRF 相关文献）。
• 种群控制 (Population Control)： 由于 3DGS 的基于梯度的分裂/克隆策略不直接适用于神经权重，作者提出基于网络权重梯度幅值的策略。当梯度超过阈值时分裂或克隆原语，低梯度原语被剪枝。
• 几何正则化： 引入正则化项惩罚原语形状的极端各向异性，防止训练发散。

---

3. 主要贡献 (Key Contributions)

1. 提出了“可泼溅神经原语”： 首次将神经密度场直接作为体素原语，并通过浅层网络设计实现了沿视线的精确解析积分，成功将神经表达的灵活性与泼溅渲染的高效性结合。
2. 消除了光线步进： 通过闭式积分公式，实现了无需采样、无需光线步进的实时渲染，同时保持了神经场的多视图一致性。
3. 极高的压缩效率与表达力：
   • 在保持与 3DGS 相当甚至更优的图像质量（PSNR/SSIM）的同时，原语数量减少了 10 倍。
   • 参数量减少了 6 倍（因为每个神经原语虽然比高斯多几个参数，但总数大幅减少）。
   • 能够用更少的原语拟合复杂的几何结构（如茶壶把手、叶片边缘），而 3DGS 往往需要大量高斯球堆叠才能勉强拟合。
4. 无需复杂框架： 这些优势直接源于表示法本身的设计，无需依赖复杂的控制框架或额外的适应机制。

---

4. 实验结果 (Results)

作者在多个基准数据集上进行了广泛评估：

• 合成数据集 (Synthetic NeRF)：

  • 在受限内存预算下（如 0.1MB - 4MB），SplatNet 的 PSNR 显著优于 3DGS。
  • 在无限内存下，性能与 3DGS 相当，但使用的原语数量仅为 3DGS 的 1/10。
  • 可视化： 能够用极少的原语（如 8 个）重建出复杂的茶壶把手和叶片细节，而 3DGS 需要数百个原语且边缘模糊。

• 真实场景数据集 (Mip-NeRF 360, Tanks & Temples, Deep Blending)：

  • 质量： 在 PSNR、SSIM 和 LPIPS 指标上，SplatNet 与 3DGS 及其他基于泼溅的方法（如 GES, BetaGS）处于同一水平，甚至在某些场景下更优。
  • 速度： 实现了实时渲染（在 RTX 4090 上约 115-178 FPS），比纯神经方法（如 Mip-NeRF 360）快 100 倍以上。
  • 内存： 模型内存占用显著低于 3DGS（例如在 Mip-NeRF 360 上，3DGS 需 734MB，SplatNet 仅需 93MB）。

• 消融实验：

  • 验证了浅层网络配合周期性激活函数的必要性（相比 AutoInt 等深度积分方法，保证了多视图一致性）。
  • 证明了几何正则化对稳定训练和提升视觉质量的作用。

---

5. 意义与影响 (Significance)

• 打破性能瓶颈： 该工作证明了“神经表达力”与“泼溅渲染效率”并非不可兼得。它填补了纯神经辐射场（慢但强）和纯解析原语（快但弱）之间的空白。
• 推动实时 3D 重建： 由于大幅减少了存储需求（参数少、原语少）并保持了实时渲染速度，该方法非常适合在移动设备、VR/AR 等对内存和算力敏感的场景中部署。
• 理论扩展性： 论文展示了该方法可以扩展到动态场景（通过增加时间维度输入）和重光照任务（Relighting），表明这种“可积分神经原语”的设计具有通用的扩展潜力。
• 未来方向： 虽然训练收敛速度略慢于 3DGS（因优化景观复杂），但为后续研究提供了新的优化策略方向（如随机预处理技术）。

总结：
《Splat the Net》通过巧妙的数学设计（浅层神经网络的闭式积分），成功创造了一种新的辐射场表示。它既保留了神经网络拟合复杂函数的能力，又继承了 3D Gaussian Splatting 的实时渲染特性，同时大幅降低了存储成本，是 3D 视觉领域的一项重要进展。