技术摘要：浮动辐射网络 (Floating Radiance Networks, FlaRe)

问题陈述

神经场景表示的最新进展已实现了照片级的视角合成，但在连续神经场（continuous neural fields）的表达能力与显式几何（explicit geometry）的效率、可寻址性及图形兼容性之间，仍然存在着持久的权衡。

• 神经辐射场 (NeRFs) 将场景建模为连续的体积函数，实现了极高的视觉保真度，但受限于高昂的密集射线步进（ray marching）成本，且难以与传统的图形管线集成。
• 3D 高斯泼溅 (3DGS) 通过显式的各向异性基元（anisotropic primitives）和光栅化实现了实时渲染。然而，其每个基元有限的属性系数并不能在每个基元的足迹内定义一个连续的空间辐射函数，这限制了其在无需专门扩展的情况下模拟复杂视图相关效应（如反射和折射）的能力。
• 现有的混合方法 通常将神经特征与显式结构相结合，但仍受限于特定的渲染过程、跨场景元素聚合特征，或需要针对编辑、光线追踪或几何提取进行特定任务的扩展。

核心挑战在于如何将局部连续辐射与独立可寻址、可进行光线追踪的几何体相结合，从而创建一个统一的场景模型，架起神经渲染与传统图形学之间的桥梁。

方法论：浮动辐射网络 (FlaRe)

FlaRe 引入了一种基于浮动平面广义高斯基元 (floating planar generalized Gaussian primitives) 的神经场景表示，每个基元都携带一个紧凑的局部神经辐射函数。

1. 场景表示

场景由 $N$ 个各向异性平面广义高斯基元组成。每个基元 $i$ 由以下参数化：

• 几何属性： 一个可训练的中心 $\mu_i$，一个奇异协方差矩阵 $\Sigma_i$（由旋转四元数 $q_i$ 和缩放 $s_i$ 导出），以及一个形状参数 $\kappa_i$。
• 外观属性： 一个视图无关的常数颜色 $c_{const,i}$，一个常数不透明度 $\alpha_{const,i}$，以及一个可训练的潜特征描述符 $z_i \in \mathbb{R}^{96}$。
• 核函数 (Kernel)： 不透明度由各向同性平面广义高斯核调制，定义为：
  $$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$$
  该公式允许比经典高斯核具有更锐利的边界和更高的曲率表面。至关重要的是，归一化坐标下的各向同性核特性使得无论形状参数 $\kappa$ 如何，都可以使用单一的规范多边形 (canonical polygon)，从而简化了硬件加速的求交测试。

2. 共享全局自动解码器 (Shared Global Auto-Decoder)

不同于存储静态逐基元颜色的方法，FlaRe 使用一个共享的轻量级自动解码器 MLP 来预测空间变化和视图相关的颜色与不透明度。

• 输入： 解码器接收逐基元的潜特征描述符 $z_i$、局部表面坐标 $(u, v)$ 以及观察方向 $\vec{d}$。
• 编码：
  • LUT 编码： 局部坐标 $(u, v)$ 通过一个无碰撞的多分辨率查找表 (LUT) 编码进行映射。这取代了高维哈希网格查找，通过直接的一对一映射减少了开销，同时保持了与基于哈希编码的功能等效性。
  • 位置编码： 观察方向通过标准位置编码进行编码。
• 输出： 网络预测 $c_{MLP,i}$（颜色）和 $\alpha_{MLP,i}$（不透明度）。
• 架构： 一个包含两个隐藏层（使用 Hardswish 激活函数）和一个输出层的轻量级网络，输出层分支为四个通道（三个 ReLU，一个 Sigmoid）。

3. 渲染与光线追踪

FlaRe 专为硬件加速的光线追踪而设计：

• 求交： 光线使用标准的 GPU 光线-三角形求交算法与基元的规范多边形代理进行求交。
• 合成： 对于每条光线，收集有序的交点。最终像素颜色通过 Alpha 合成计算得出：
  $$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$$
  其中有效不透明度 $\alpha_i$ 受广义高斯核值调制。
• 递归能力： 由于该表示是显式可进行光线追踪的，因此原生支持用于反射、折射、透明度和阴影的二次光线，而无需重新训练或将场景转换为其他格式。

4. 编辑与操作

• 几何编辑： 基元是可独立寻址的。变形代理网格（proxy mesh）可以实现直接的几何操作。系统可以在无需重新训练的情况下，从变形后的几何体中恢复更新后的高斯参数（中心、旋转、缩放）。
• 网格提取： 显式平面结构支持通过 TSDF（截断符号距离场）融合进行网格提取，并辅以深度畸变和法线一致性正则化。
• 风格化： 外观编辑直接在学习到的描述符空间 ($z_i$) 中进行，允许进行能够保留场景结构的图像引导风格迁移。

关键贡献

1. 统一表示： 引入了浮动辐射网络，它将显式的可光线追踪平面基元与连续的局部神经辐射函数相结合。
2. 紧凑公式： 设计了一个集成了逐基元潜特征描述符、共享自动解码器、无碰撞多分辨率 LUT 编码以及硬件兼容网格代理的系统。
3. 多功能能力： 展示了递归光线追踪、基元变形、网格提取以及外观风格化，所有这些功能都在单一表示内实现。

实验结果

实验在标准基准测试（Mip-NeRF 360, Tanks and Temples, Deep Blending）上进行，并与辐射场 (RF)、基于高斯的方法 (GS) 和显式神经场 (ENF) 进行了比较。

• 新视角合成： FlaRe 实现了极具竞争力的质量，通常在 PSNR 上优于 3DGS、3DGRT 及其他 ENF 基准。在 Mip-NeRF 360 上，它取得了第二高的 PSNR。在 Deep Blending 上，它领先于 ENF 组。
• 效率： FlaRe 提供了强大的质量-效率权衡。它在质量上超越了 IRIS，同时使用了显著更少的内存并实现了交互式渲染。在两个基准测试中，它的表现均优于 Radiance Meshes，且内存占用降低了约 12 倍。
• 视觉保真度： 定性结果显示，由于在每个光线-基元交点处进行连续的辐射预测，Flaere 在重建反射和镜面高光方面比 3DGS 和 Radiance Meshes 更为忠实。
• 基元削减： 在激进的基元削减预算下，FlaRe 能够匹配或超越 PUP-3DGS 和 LP-3DGS 等基准，表明其局部神经描述符即使在基元较少时也能保持强大的外观表达能力。
• 图形能力： 该方法成功演示了递归光线追踪（嵌套反射、折射）、与传统网格的无缝集成以及直接的网格提取。

意义与主张

论文将 FlaRe 定位为迈向统一场景表示的一步，这种表示不需要为单一渲染范式进行专门定制。通过将高保真神经渲染、递归光线追踪、几何操作和外观编辑整合到一个模型中，FlaRe 解决了当前神经场景表示研究中的碎片化问题。

作者声称，这种方法弥合了神经渲染与传统图形学之间的鸿za，使得：

• 直接光线查询： 表示本身是可直接查询的，消除了为反射或阴影等效果而需要单独的任务特定场景模型的必要。
• 可编辑性： 显式结构允许直接变形和网格提取，而无需重新训练。
• 紧凑性： 使用共享解码器和紧凑描述符使得能够以较少的基元实现高质量的重建，优于纯粹的栅格化或体积化方法。

论文也承认了局限性，指出有限的平面基元可能会限制大型无界室外场景中的远场几何精度，且训练和交互式渲染需要具备硬件加速光线追踪能力的现代 GPU。