💻 computer science

Spherical Voronoi: Directional Appearance as a Differentiable Partition of the Sphere

本文提出球面沃罗诺伊（SV），这是一个统一且可微分的框架，它将方向域划分为可学习区域，以克服球谐函数在三维高斯泼溅中的局限性，从而实现对漫反射外观和高频镜面反射的稳定优化。

原作者： Francesco Di Sario, Daniel Rebain, Dor Verbin, Marco Grangetto, Andrea Tagliasacchi

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Francesco Di Sario, Daniel Rebain, Dor Verbin, Marco Grangetto, Andrea Tagliasacchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对论文《Spherical Voronoi》的解释。

全局概览：从各个角度绘制世界

想象一下，你正在教计算机绘制一个 3D 场景，要求完美到你可以围绕它走动，并在闪亮的勺子、玻璃窗或湿润的汽车上看到反射。这被称为“新视角合成”（Novel View Synthesis）。

问题在于光线很棘手。它以复杂的方式从表面反射。如果你看着一个闪亮的球体，当你移动头部时，反射会瞬间改变。当前的方法往往难以处理这些快速、剧烈的变化，导致反射模糊或出现奇怪的“振铃”伪影（就像旧电视上的雪花噪点）。

这篇论文引入了一种名为**球面沃罗诺伊（Spherical Voronoi, SV）**的新工具来解决这个问题。可以把它想象成一种更聪明的方法来组织物体周围的“天空”，这样计算机就能确切知道，对于你观察的每一个角度，应该绘制什么颜色。

问题所在：旧工具过于笨拙

为了理解为什么 SV 如此特别，让我们看看科学家之前使用的两种工具：

球谐函数（Spherical Harmonics，即“平滑的模糊”）：
- 类比： 想象试图只用一朵柔软、蓬松的云来画一道尖锐、锯齿状的闪电。你可以得到大致的形状，但边缘总是模糊的。如果你试图强行让云看起来尖锐，它就会开始抖动和摇晃（这被称为“吉布斯振铃”）。
- 问题： 这种方法非常适合柔和、漫射的光线（如阴天），但在捕捉尖锐、镜面般的反射时却表现糟糕。
球面高斯函数（Spherical Gaussians，即“挑剔的画家”）：
- 类比： 想象试图用成千上万个微小的、独立的颜料斑点来画一幅画。每个斑点都是一个完美的圆形。要画出一条锐利的线，你需要将它们完美地排列在一起。
- 问题： 如果你稍微移动一个斑点，整幅画就会偏移。很难教会计算机如何正确排列这些斑点而不让它们困惑或陷入糟糕的排列中。这就像试图在狂风中平衡一座纸牌屋。

解决方案：球面沃罗诺伊（即“智能披萨切片”）

作者提出了球面沃罗诺伊，它充当天空的动态、智能分区。

类比： 想象一个披萨。与其试图一次性在整个披萨上作画，不如将披萨切成片。
- 在旧方法中，切片要么太大且模糊（球谐函数），要么边缘混乱且难以定义（高斯函数）。
- 球面沃罗诺伊根据“站点”（就像插在每片披萨中心的图钉）将披萨切成片。
- 工作原理： 披萨上的每一点都属于离其最近的图钉所在的那一片。计算机学习将这些图钉放在哪里。
- 神奇之处： 切片之间的“切割”不是一条生硬、锯齿状的线。它是一种“柔和”的过渡，计算机可以根据需要将其平滑或锐化。如果反射需要锐利（如镜子），计算机会使切片非常紧密；如果需要柔和（如哑光墙壁），切片则会柔和地融合。

为什么这更好？

不再有模糊的闪电： 它可以绘制清晰、锐利的反射，而不会出现奇怪的抖动伪影。
易于训练： 与“挑剔的画家”（高斯函数）不同，这些“披萨切片”非常稳定。计算机可以轻松地找出移动图钉的位置以获得完美的画面，而不会陷入困境或感到困惑。

使用该工具的两种方式

论文展示了使用这种新“披萨刀”系统的两种主要方式：

1. 标准视图（仅观察）

作用： 对于普通的 3D 场景，他们用 SV 替换了旧的“模糊云”方法。
结果： 计算机现在能比以前更好地看到高频细节（如砖墙的纹理或汽车上的锐利高光）。这就像从低分辨率屏幕升级到 4K 屏幕。

2. 反射探针（即“魔法镜子”）

挑战： 当物体很亮时，它会反射附近的物体（如勺子反射附近的叉子）和远处的物体（如天空）。标准方法经常将这两者混淆，导致反射看起来模糊或错误。
SV 解决方案： 作者在场景周围放置了“光探针”。可以将这些想象成散布在房间里的智能镜子。
- 每面镜子都持有其紧邻区域内光线的微小、完美地图，并按那些智能的“披萨切片”（球面沃罗诺伊）进行切割。
- 当计算机渲染一个闪亮表面时，它会询问最近的镜子：“你看到了什么？”
- 它根据距离的远近，混合来自附近镜子的答案。
结果： 这创造了极其逼真的反射。如果你移动一把椅子，勺子中的反射会瞬间且正确地改变，因为勺子附近的“智能镜子”更新了它们的视角。

核心结论

该论文声称，球面沃罗诺伊是一种在 3D 场景中表示光线和颜色的更优越的方法。

它是显式的： 你可以确切地看到光线是如何组织的（不像某些“黑盒”AI 方法）。
它是高效的： 它不需要巨大的计算量即可实时运行。
它是准确的： 它在几乎每一项测试中都击败了之前的最先进方法，特别是对于闪亮、反射性物体。

简而言之，他们找到了一种将天空切割成完美、可调节碎片的方法，使计算机能够渲染出闪亮、逼真的世界，而不会出现模糊或故障。

技术摘要：球面 Voronoi

问题陈述

辐射场方法，特别是 3D 高斯泼溅（3DGS），在新视角合成方面取得了显著成功。然而，它们对视依赖外观的建模通常依赖于球谐函数（SH）。尽管 SH 因其全局支撑和正交性而具有计算效率高且易于优化的特点，但它们存在根本性局限：

高频失效：SH 难以表示高频信号，例如锐利的镜面高光（glints），除非使用数量大得令人望而却步的系数。
伪影：尝试用 SH 重建不连续或锐利函数会导致吉布斯振铃伪影。
镜面反射：SH 从根本上无法捕捉镜面反射，而这对真实感的光泽表面至关重要。

替代的显式表示，如球面高斯（SG）和球面贝塔（SB），提供了更好的局部化能力，并能建模不连续性。然而，它们引入了显著的优化复杂性。它们的紧支撑导致梯度不稳定、对初始化敏感，并倾向于收敛到局部极小值，使得它们在实践中难以优化。

方法论

作者提出了球面 Voronoi（SV），这是一种受可微 Voronoi 图启发的球面函数新显式表示。SV 将方向域划分为具有平滑边界的可学习区域，为外观建模提供了一个统一框架。

1. 球面 Voronoi 表示

与全局基（SH）或重叠核（SG/SB）不同，SV 将球面上的函数 $f(\omega)$ 建模为与 $K$ 个方向站点 $s_k$ 相关联的值的加权组合：
$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$
权重 $w_k$ 通过 softmax 函数计算：
$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$

参数：每个站点具有方向 $s_k$ 、值 $c_k$ 和温度参数 $\tau_k$ 。
自适应性：温度 $\tau$ 控制划分的锐度。低 $\tau$ 产生平滑过渡，而高 $\tau$ 趋近于硬 Voronoi 镶嵌。这使得 SV 能够同时表示平滑的漫射光照和锐利的镜面波瓣。
优化稳定性：softmax 公式确保了所有站点都有明确定义的梯度，避免了 SG 和 SB 在波瓣未对齐时出现的“竞争”和病态更新。

2. 在辐射场中的应用

作者在两种不同的设置中应用了 SV：

A. 视向参数化（漫射外观）
在标准辐射场流程中，SV 取代了视向表示（通常是 SH）。每个高斯原语都配备了可学习的 SV 站点和值。这为视依赖颜色提供了比低阶 SH 更具表现力的基，无需神经解码器即可提高漫射和中等光泽表面的重建质量。

B. 基于反射的参数化（镜面外观）
为了解决 SH 在建模反射方面的失效，作者扩展了 SV，使用可学习光探针来处理空间变化的反射。

延迟渲染流程：基于 2DGS，该方法将几何与照明分离。几何传递渲染位置、法线、粗糙度和漫射颜色的缓冲区。
光探针：在整个场景中学习一组空间分布的探针。每个探针将局部反射场编码为显式的 SV 函数，并在反射视向 $\omega_r$ 中进行查询。
空间插值：对于表面点，模型查询 $k$ 个最近邻探针，并根据逆距离插值它们的 SV 贡献。
粗糙度控制：表面粗糙度 $R$ 调节 SV 温度 $\tau$ （ $\tau = (1-R)\tau_{max} + R\tau_{min}$ ）。低粗糙度（光泽表面）导致高 $\tau$ （锐利反射），而高粗糙度（漫射表面）导致低 $\tau$ （宽波瓣）。
远场与近场：最终的镜面颜色是可学习的远场立方贴图（远距离照明）与近场探针插值（局部互反射）的混合。

3. 加速

为了缓解每个像素评估数千个 SV 站点的计算成本，作者引入了一种基于立方贴图的划分方案。球面被离散化为低分辨率立方贴图，其中每个纹素预先分配了一小组候选站点。在运行时，softmax 仅在该局部候选集上计算，将复杂度从 $O(K)$ 降低到 $O(|S(t)|)$ 。

主要贡献

球面 Voronoi 表示：一种基于可微软 Voronoi 划分的球面函数新显式表示。它克服了 SH 的带限限制以及 SG/SB 的优化不稳定性。
方向辐射建模：将 SV 应用于高斯泼溅中的视依赖辐射，在多个基准测试中证明了其重建质量相比标准球面基具有一致的改进。
反射建模：一种完全显式且可微的公式，用于使用 Voronoi 光探针处理空间变化的反射。这在不依赖隐式神经解码器的情况下，在反射基准测试中实现了最先进（SOTA）的结果。

实验结果

该论文在合成和真实世界数据集上评估了 SV：

辐射建模（视向）：在包括 Mip-NeRF 360、NeRF-Synthetic、DeepBlending 和 Tanks&Temples 在内的基准测试中，SV 在 PSNR、SSIM 和 LPIPS 方面始终优于 SH、SG、SB，甚至优于强大的神经基线 Zip-NeRF。
反射建模：在反射数据集（Ref-NeRF、GlossySynthetic、Ref-Real）上，基于 SV 的方法实现了最先进（SOTA）的性能。它在 Ref-NeRF 和 GlossySynthetic 上超越了使用 MLP 解码器处理近场反射的 Ref-GS，并在 Ref-Real 上保持竞争力。
消融研究：
- 在参数数量固定的情况下，SV 始终比 SG、SB 和基于立方贴图的探针产生更高的重建精度。
- 该方法保持了实时渲染速度（为标准 3DGS 速度的 0.45 倍），比其他反射建模方法（如 Ref-GS）更快。
- 训练时间具有竞争力（为标准 3DGS 的 2.43 倍），显著低于 GaussianShader 等重型公式。

意义

该论文认为，精心设计的显式表示可以作为神经外观模型强大且高效的替代方案。通过利用球面的自适应分解以及球面 Voronoi 稳定的优化行为，该方法在保持可解释性和实际渲染性能的同时，实现了高质量的视依赖效果和镜面反射。这项工作表明，为了克服光度准确性的停滞以及无法再现复杂光泽表面的问题，必须对辐射场方向分量的建模方式进行根本性改变。