Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields

该论文提出了“傅里叶泼溅”（Fourier Splatting），一种利用傅里叶编码描述符参数化平面基元以实现任意封闭形状的新型辐射场渲染方法，它通过运行时截断傅里叶系数即可在单模型下实现多细节层次的可扩展渲染，并配合直过估计器和 HYDRA 优化策略，在带宽受限场景下实现了兼具高保真度与实时性的视图合成。

要点

这篇论文介绍了一种名为**“傅里叶泼溅”（Fourier Splatting）**的新技术，它能让电脑生成极其逼真、且可以随意调整清晰度的 3D 场景。

为了让你轻松理解，我们可以把这项技术想象成**“用乐高积木拼画”和“用橡皮泥捏形状”**的进化版。

1. 背景：以前的“乐高”太笨重了

想象一下，你想在电脑里画一个逼真的 3D 花园。

• 旧方法（3D 高斯泼溅，3DGS）： 就像是用无数个小**圆球（乐高积木）**来堆砌。如果你想画一片树叶，你就得用成千上万个微小的圆球去拼。
  • 缺点： 如果圆球不够多，树叶看起来就是模糊的；如果圆球太多，电脑就卡死了。而且，如果你想把画面变模糊（比如为了省流量），你就得把很多圆球直接扔掉，画面就会变得坑坑洼洼，像被咬了一口的饼干。

2. 新发明：傅里叶泼溅（Fourier Splatting）

这篇论文提出了一种全新的“积木”——傅里叶泼溅。它不再是圆球，而是一团可以随意变形的“智能橡皮泥”。

核心魔法一：形状可以“无限”变形

以前的积木只能是圆的。现在的“智能橡皮泥”表面画着傅里叶曲线（听起来很数学，其实就像画圆圈的魔法）。

• 简单版： 如果你只画一个圈，它就是一团圆形的橡皮泥（像以前的圆球）。
• 复杂版： 如果你加上更多的“魔法线条”（高频系数），这团橡皮泥就能变成星星、花朵、甚至复杂的树叶形状！
• 比喻： 就像你捏橡皮泥，以前只能捏成圆球，现在你可以捏出任何你想要的复杂形状，而且捏得越精细，细节就越丰富。

核心魔法二：一键调节清晰度（真正的“可缩放”）

这是这项技术最厉害的地方。

• 以前的做法： 想要低清晰度？只能把很多积木扔掉。结果画面就缺胳膊少腿。
• 傅里叶泼溅的做法： 想象这团橡皮泥上覆盖了一层**“滤镜”**。
  • 高清模式： 打开所有滤镜，橡皮泥展现出最复杂的边缘和纹理（比如树叶的锯齿）。
  • 省流模式： 你不需要扔掉橡皮泥，只需要关掉几个“高频滤镜”。橡皮泥瞬间变得平滑圆润，但整体形状还在，不会消失，只是细节变少了。
• 比喻： 就像看一张高清照片，你可以随时把它变成模糊的素描，但照片里的物体不会突然消失，只是变得柔和了。这对于网速慢的时候特别有用，可以瞬间降低画质而不破坏画面结构。

核心魔法三：聪明的“分身术”（HYDRA 策略）

在训练电脑生成这些形状时，有时候橡皮泥会“偷懒”，只停留在简单的圆形，或者在复杂的角落（比如树丛深处）不够用。

• 问题： 电脑不知道哪里需要更复杂的形状。
• 解决（HYDRA）： 作者设计了一个聪明的策略叫HYDRA。当发现某个地方的橡皮泥太简单、无法描述复杂的细节时，它会自动把这团橡皮泥**“分裂”**成几块更小的、更简单的橡皮泥，或者教它如何把复杂的形状拆解成几个简单的部分。
• 比喻： 就像你画一幅复杂的画，如果画不好一棵大树，你就把它拆成“树干”和“树冠”两部分分别画，而不是死磕一个整体。

核心魔法四：让橡皮泥“长”出来（直通估计器）

在训练过程中，如果橡皮泥的边缘画歪了，电脑需要知道“往哪边改”。

• 问题： 以前的方法，一旦橡皮泥边缘画错了，电脑就不知道该怎么修正，因为边缘外面的区域是“死区”，没有信号。
• 解决： 作者用了一种**“直通估计器”。这就像给橡皮泥边缘装了一个“隐形雷达”**。即使橡皮泥还没长到那个位置，雷达也能告诉电脑：“嘿，往那边再长一点点！”这样橡皮泥就能准确地覆盖住它该覆盖的地方，不会缩成一团。

3. 总结：为什么这很酷？

这项技术就像给 3D 世界装上了**“自适应分辨率”**的引擎：

1. 更逼真： 它能用更少的“积木”画出更复杂的形状（比如真实的树叶、复杂的建筑边缘），比以前的圆球积木效果好得多。
2. 更灵活： 你可以根据网速，随时在“超高清”和“流畅模式”之间切换，画面不会崩坏，只是细节变少。
3. 更智能： 它能自动把复杂的形状拆解，哪里需要细节就自动分裂，哪里简单就保持原样。

一句话总结：
以前的 3D 渲染是用无数个小圆球堆出来的，想变清晰就得加球，想变模糊就得扔球；而傅里叶泼溅是用可变形的智能橡皮泥，想清晰就展开细节，想模糊就收拢细节，既省空间又保质量，让 3D 世界在慢速网络下也能流畅运行。

技术摘要

1. 研究背景与问题 (Problem)

背景：

• 3D Gaussian Splatting (3DGS) 通过显式的高斯原语光栅化实现了实时渲染，彻底改变了新视角合成（Novel View Synthesis, NVS）领域。
• 然而，现有的基于原语的方法（包括 3DGS 及其变体）存在一个核心限制：视觉保真度严格依赖于原语的数量。
• 为了降低质量（例如在带宽受限或低算力场景下），现有方法通常采用**剪枝（Pruning）**策略，即直接删除部分原语。这导致质量下降是离散的，且往往伴随着几何结构的丢失（如物体消失或出现空洞）。
• 现有的平面原语（Planar Primitives）方法虽然改善了表面一致性，但依然受限于静态的几何表达能力（通常是固定的圆盘或椭圆），无法在单个原语内部表达复杂的几何细节。

核心问题：
如何设计一种**内在可扩展（Inherently Scalable）**的辐射场原语，使得同一个训练好的模型可以在运行时通过调整参数来连续地改变细节层次（Level-of-Detail, LoD），而无需重新训练或进行后处理压缩，同时保持高质量的几何重建？

---

2. 方法论 (Methodology)

作者提出了 Fourier Splatting，这是一种基于傅里叶编码描述符的广义平面原语（Surfel）。

2.1 傅里叶编码原语 (Fourier Splatting Primitive)

• 参数化边界： 每个原语不再是一个固定的椭圆或圆盘，而是一个具有任意封闭边界的平面元（Surfel）。其边界 $r_i(\theta)$ 在局部切平面内由傅里叶级数参数化：
  $$r_i(\theta) = R_i \cdot \left| \sum_{k=0}^{K-1} c_{i,k} e^{i k \theta} \right|$$
  其中，$R_i$ 是外接圆半径，$c_{i,k}$ 是复数系数（包含幅度和相位）。
• 可扩展性机制：
  • 低阶 ($K=1$)： 退化为标准圆盘。
  • 高阶 ($K>1$)： 随着频率分量 $k$ 的增加，原语可以表达越来越复杂的闭合曲线形状。
  • 运行时缩放： 在渲染时，只需截断傅里叶系数（即减少 $K$ 的保留数量），即可在不重新训练的情况下降低原语的几何复杂度，实现平滑的 LoD 过渡。
• 幅度归一化： 为了防止边界超出外接圆，作者引入了平方 $L_1$ 归一化约束，确保所有频率分量的幅度之和不超过 $R_i$。

2.2 可微渲染与梯度扩展 (Differentiable Rendering & STE)

• 前向传播： 使用基于极坐标的幂窗函数（Power Window）计算像素不透明度。只有位于傅里叶边界内的像素才有效。
• 反向传播挑战： 硬截断（Hard Clamping）导致边界外的像素梯度为零，使得优化器倾向于通过扩大外接圆半径 $R_i$ 来覆盖区域，而不是学习复杂的边界形状。
• 直通过估计器 (Straight-Through Estimator, STE)：
  • 为了解决上述问题，作者在反向传播中引入 STE。
  • 前向传播保持硬截断（保证渲染图像正确）。
  • 反向传播使用一个平滑的代理函数（Smooth Surrogate），使得边界外部的像素也能产生非零梯度。
  • 这使得傅里叶系数能够从边界外的像素接收信号，从而学习收缩或扩张边界形状，而不是单纯依赖 $R_i$。

2.3 优化与致密化策略 (Optimization & Densification)

• MCMC 框架： 基于 3DGS-MCMC 的随机梯度朗之万动力学（SGLD）框架进行优化。
• HYDRA (Hybrid Decomposition for Rendering-Aware Preservation)：
  • 针对平面原语在 MCMC 框架下难以处理复杂几何的问题，提出了一种混合分解策略。
  • 尺度保持分裂： 对于小原语，直接分裂为两个。
  • 学习瓣分解 (Learned Lobe Decomposition)： 对于具有复杂多瓣边界的大原语，使用一个预训练的 MLP 将原语根据边界形状分割成多个子原语。这允许将复杂的几何形状分解为更简单的组成部分，同时保持概率分布的一致性。
• 死亡准则： 基于不透明度、混合权重和可见帧数来移除无效原语。

---

3. 主要贡献 (Key Contributions)

1. 任意形状的平面原语： 提出了基于傅里叶边界参数化的新型平面原语，能够表达任意封闭形状，显著提高了对复杂几何和细粒度细节的表达能力。
2. 内在可扩展性 (Inherent Scalability)： 首次实现了辐射场原语的内在可扩展性。通过运行时截断傅里叶系数，可以连续调整细节层次（LoD），无需重新训练或后处理，直接控制率失真权衡。
3. MCMC 兼容的致密化策略 (HYDRA)： 提出了 HYDRA 策略，结合直通过估计器（STE），解决了复杂平面原语在 MCMC 优化框架下的训练不稳定和几何分解问题。
4. SOTA 性能： 在标准基准测试中，该方法在平面原语方法中取得了最先进的渲染质量，并在感知指标上可与领先的体素化（Volumetric）方法相媲美。

---

4. 实验结果 (Results)

• 数据集： 在 Mip-NeRF 360（室内外场景）和 Tanks and Temples 数据集上进行了评估。
• 定量指标：
  • 在 Mip-NeRF 360 上，Fourier Splatting 在 PSNR、SSIM 和 LPIPS 指标上均优于其他平面原语方法（如 2DGS, Triangle Splatting）。例如，平均 PSNR 比 Triangle Splatting 高出 0.67 dB。
  • 在 Tanks and Temples 上，取得了所有测试基线中最好的 LPIPS 分数，PSNR 和 SSIM 也极具竞争力。
  • 性能甚至超过了部分基于体素的方法（如 3DGS）。
• 定性分析：
  • 能够更忠实地恢复细结构、高频纹理和锐利轮廓，减少了 3DGS 常见的模糊现象。
  • 相比三角形光栅化，减少了原语形状可见的伪影。
• 可扩展性分析：
  • 展示了随着傅里叶系数截断，图像质量呈现单调且平滑的下降。
  • 与基于剪枝的 LoD 方法（如 Octree-GS）相比，Fourier Splatting 在降低细节时不会导致物体突然消失或出现空洞，而是保持几何结构的完整性，仅降低几何复杂度。

---

5. 意义与影响 (Significance)

• 范式转变： 将辐射场的可扩展性从“原语数量”的维度转移到了“单个原语表达能力”的维度。这为带宽受限环境下的高保真渲染提供了新的解决方案。
• 动态适应性： 允许根据网络带宽或计算能力动态调整渲染质量，而无需准备多个不同分辨率的模型。
• 几何保真度： 证明了平面原语结合傅里叶描述符可以超越传统的高斯或三角形，成为表达复杂场景几何的有效工具。
• 未来方向： 为基于原语的渲染在压缩、传输和自适应流媒体应用中的进一步研究奠定了基础。

总结： Fourier Splatting 通过引入傅里叶编码的边界参数化，成功打破了传统光栅化方法中“质量依赖原语数量”的瓶颈，提供了一种既高效又具有内在可扩展性的新视角合成框架。