💻 computer science

3DSS: 3D Surface Splatting for Inverse Rendering

本文介绍了3D表面点喷（3DSS），这是一种可微分渲染器，它利用基于覆盖率的合成模型和定向表面样本，联合恢复形状、空间变化的材质和光照，以实现高质量的逆渲染，同时原生地衔接基于网格的工作流程。

原作者： Mae Younes, Adnane Boukhayma

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Mae Younes, Adnane Boukhayma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一盒成千上万张微小、扁平的彩色贴纸（称为surfels）。每张贴纸都有特定的颜色、特定的朝向角度以及特定的尺寸。你的目标是在三维空间中排列这些贴纸，使得从任意角度拍摄它们时，照片看起来都像一个真实、有光泽的三维物体（比如茶壶或汽车）。

这就是**3DSS（3D Surface Splatting）**的核心思想，这是一种用于“逆渲染”的新方法。逆渲染就像一位侦探，看着一张成品照片，试图推断出三件事：

形状：这个物体在三维空间中是什么样子的？
材质：它是由闪亮的金属、粗糙的塑料还是柔软的织物制成的？
光照：拍照时太阳或灯位于何处？

以下是 3DSS 如何解决这一难题的简单类比说明：

1. 旧方法的问题

在此之前，解决这一难题主要有两种方法，但两者都有缺陷：

网格方法（折纸法）：想象试图用一张折叠成三角形的单张纸来构建一个形状。它看起来锐利且真实，但如果你想改变形状，就必须切割和粘贴纸张。如果你试图让它过于精细，纸张就会变得皱巴巴且杂乱无章。它很僵硬，难以修复。
体素方法（雾气法）：想象物体是由浓雾构成的。你可以轻易地塑造雾气，但因为它是雾气，光线会在内部混合。如果你试图推断材质，“雾气”会让它看起来像模糊的混合色，而不是清晰的表面。很难分辨实际表面在哪里。

2. 3DSS 的解决方案：“智能贴纸”法

3DSS 采用了第三种方式：Surface Splatting。它不使用刚性 sheets 或雾状云团，而是使用成千上万张独立的贴纸。

贴纸（Surfels）：每张贴纸都是表面的一小部分。它知道自身的位置、自身的角度（法线）以及自身的材质属性（是闪亮的吗？是红色的吗？）。
魔法技巧（可微性）：系统是“可微的”，这意味着它能从错误中学习。如果它生成的照片与真实照片不匹配，系统就知道如何精确地微调贴纸（移动它们、旋转它们或改变它们的颜色）以更接近真相。它是通过数学方式完成的，无需切割或粘贴任何东西。

3. 它如何处理重叠（“层叠蛋糕”类比）

这个难题中最困难的部分是贴纸重叠时。如果你看一个盒子的角落，你可能会在视野中看到前墙和侧墙重叠。

旧方法：以前的方法试图为每个像素只选择一张贴纸（即离相机最近的那张）。这导致了锯齿状、像素化的边缘，并使人们无法看到前层后面的内容。
3DSS 方法：3DSS 使用一种巧妙的排序技巧，称为区间分组（Interval Grouping）。想象贴纸是按深度排序的。如果两张贴纸在深度上足够接近，3DSS 就会意识到它们属于同一层（比如前墙）。如果深度之间存在间隙，它就知道它们属于不同层（比如侧墙）。
结果：它构建了一个由贴纸组成的“层叠蛋糕”。它将它们平滑地混合在一起。这产生了完美的平滑边缘（抗锯齿），并允许系统透过看起来透明的边缘看到后面的层，就像在现实生活中一样。

4. 它如何处理光照（“预先上色”类比）

在许多系统中，计算机试图在混合所有贴纸之后计算光照。这就像混合不同的颜料，然后试图找出原始颜色是什么。这既混乱又不准确。

3DSS 则反其道而行之：前向着色（Forward Shading）。

在贴纸被排列成图像之前，系统会为每张单独的贴纸计算光照。它会问：“如果这张特定的贴纸在这里，在这种特定的光照下，它会是什么颜色？”
它在贴纸堆叠之前就为每张贴纸涂上最终颜色。然后，它只需堆叠已经上色的贴纸。这确保了材质（如闪亮金属与哑光塑料）保持真实，不会在混合时变得“浑浊”。

5. 结果

作者在名为Stanford-ORB的基准测试中测试了 3DSS，该测试使用了茶壶、汽车和盐瓶等物体的真实照片。

新视角：当他们要求系统展示一个从未见过的物体的新角度时，与使用刚性网格或雾状体素的方法相比，3DSS 生成了更清晰、更锐利的图像。
新光照：当他们要求系统展示物体在不同光照下（例如移动太阳）的样子时，3DSS 正确呈现了反射和阴影，而其他方法往往在材质上出错。
形状：它重建的三维形状与现有最佳方法一样准确，但没有网格方法的“皱纸”问题。

为什么这很重要

该论文声称，3DSS 是第一种成功将Surface Splatting引入逆渲染领域的方法。它弥合了基于点的方法（易于移动和更改）的灵活性与基于表面的方法（锐利边缘、正确材质）的逼真度之间的差距。

最重要的是，因为最终结果只是一组定向点，所以它可以轻松转换回标准的三维网格（三角形模型），游戏引擎和三维软件可以立即使用。这就像将一堆智能贴纸瞬间变成一个坚固、可用的三维模型。

技术摘要：用于逆渲染的 3D 表面点渲染（3DSS）

问题陈述

逆渲染旨在从多视角照片中重建几何、材质和光照，以生成可编辑、可重光照的资源。当前的可微渲染范式面临互补的局限性：

三角形网格光栅化器： 虽然能利用显式几何生成清晰图像，但在拓扑演化方面存在困难。优化过程常导致退化元素、自相交和断裂流形，需要谨慎的正则化处理。
体积渲染器（NeRFs/3DGS）： 它们提供了无连接性的灵活性和高保真的新视角合成质量。然而，其图像形成是沿光线而非在表面处合成辐射度。这种体积混合将材质属性（如法线）在不同图元间混合，导致像素值不对应任何单一物理表面的反射率，从而削弱了基于物理的分解。
表面点渲染（Surface Splatting）： 历史上在可微逆渲染中缺席，表面点渲染（特别是椭圆加权平均或 EWA）提供了一个中间方案：它使用具有显式表面语义的定向点样本（surfels），但缺乏针对可见性和表面分离的可微分公式。经典方法依赖硬性的、不连续的深度测试（三元 z-buffering）来分离表面，这与基于梯度的优化不兼容，并阻碍了在重叠边缘处的正确抗锯齿处理。

方法论：3D 表面点渲染（3DSS）

3DSS 引入了首个专为基于物理的逆渲染设计的可微表面点渲染器。它将场景表示为未结构化的定向 surfel 图元集合，并通过 EWA 点渲染重建连续表面。

1. Surfel 表示与光栅化

每个 surfel 由中心位置、两个切向量（编码方向和各向异性缩放）以及着色属性（反照率、金属度、粗糙度）定义。表面法线隐式地从切向量的叉积中推导得出。

T 矩阵： 渲染器使用 4×4 T 矩阵将 surfel 参数化映射到裁剪空间，以数值稳定的方式实现解析射线-surfel 相交和边界框计算。
前向着色： 与延迟着色不同，3DSS 在光栅化之前使用分裂求和（split-sum）的基于图像的照明（IBL）模型对每个 surfel 进行着色。这避免了着色重建属性（例如平均法线）时的非交换性问题，并保持光栅化内核紧凑。

2. 多层表面分离（深度区间分组）

核心创新在于对表面分离的重构。3DSS 将表面分离视为一个区间合并问题，而非二元/三元深度测试：

每个 surfel 根据其深度和核范围占据一个深度区间 $[z - \varepsilon_z, z + \varepsilon_z]$ 。
图元按其区间起点（ $z_{start}$ ）排序。
如果 surfel 的深度区间重叠，则将其分组为表面层。组内运行最大深度与下一个图元起点之间的间隙表明存在新的表面层。
这使得单次光栅化传递中每个像素可以拥有任意数量的表面层，从而在不进行硬性决策的情况下解决自遮挡和可见性不连续问题。

3. 基于覆盖率的合成

渲染器直接从每层内累积的 EWA 重建权重中推导不透明度：

覆盖不透明度： 层的累积权重 $W_k$ 通过平滑函数（ $1 - \exp(-\gamma \cdot W_k / 2\pi)$ ）映射为覆盖不透明度 $\alpha_k$ 。该权重自然产生于信号重建过程。
合成： 层使用标准的“覆盖（over）”操作符从前到后进行合成，其中前序层的剩余透射率决定了深层的可见性。
梯度流： 该机制确保即使在稀疏覆盖的边缘（轮廓线）处，单个 surfel 原本可能产生恒定的归一化颜色，但小于 1 的覆盖不透明度会调节最终像素值。这为物体边界处的几何优化提供了信息丰富的梯度。

4. 抗锯齿与密度控制

对象空间 MIP 滤波： 为防止采样混叠，3DSS 采用对象空间 MIP 滤波器。它在 surfel 中心预计算逆协方差矩阵和归一化因子，近似射线 - 点渲染相交的雅可比矩阵。这在不产生每像素全雅可比评估的算术成本的情况下抑制了高频信号。
自适应密度控制： 该方法通过密度感知的分裂准则维持“单位划分”假设（重叠支撑）。它将 surfel 的尺度与局部样本间距（而非全局场景阈值）进行比较，并直接从 T 矩阵的反向传递中累积屏幕空间梯度范数，以识别需要细化的区域。

主要贡献

多层表面分离： 一种通过区间合并将排序后的图元划分为任意表面层的算法，取代了二元/三元深度测试，并支持每个像素多层。
基于覆盖率的可微合成： 一种模型，其中每层不透明度源自累积的 EWA 权重，产生抗锯齿的轮廓线并在稀疏边缘处提供信息丰富的梯度，这是单层公式无法提供的。
高效的对象空间 MIP 滤波器： 一种中心预计算的近似方法，以极小的视觉损失和最小的计算开销抑制采样混叠。
与网格工作流的桥梁： 优化后的表示（定向点样本）与成熟的网格重建算法（例如屏蔽泊松表面重建）原生兼容，促进了从基于点的逆渲染到基于网格工作流的直接管道。

结果

在 Stanford-ORB 基准测试（14 个物体，7 个场景，包含真值扫描、HDR 图像和实测光照）上进行了评估，3DSS 与基于网格的（NVDiffRec）、隐式的（NeRF, NeRFactor）以及基于高斯点渲染的（3DGS-based）基线进行了比较。

新视角合成： 3DSS 在所有指标（PSNR、SSIM、LPIPS）上取得了最高分数，优于基于网格和隐式的基线。基于点的表示的拓扑灵活性使其比固定网格的网格方法能够更好地恢复细节。
新场景重光照： 3DSS 实现了最先进的结构相似性（SSIM）和感知（LPIPS）分数，超越了 NVDiffRec 和隐式方法。它更忠实地重现了高光反射和漫反射着色，特别是在高镜面反射的物体上。
几何重建： 3DSS 在几何分数（深度、法线、Chamfer 距离）上与最强的基线（NVDiffRec, InvRender）相当。定性分析显示，与基于网格的方法相比，其表面法线更平滑且更连贯。
固定几何验证： 当从具有固定几何形状的真值扫描中采样 surfel 时，渲染器产生了高保真的着色，证实了 surfel 表示与现有网格资源的兼容性以及着色管道的物理合理性。

意义与主张

论文声称，3DSS 通过将基于点方法的无连接性灵活性与网格光栅化器的表面正确的图像形成相结合，在可微渲染中占据了一个独特且极具实用价值的位置。

可微性： 通过将表面分离和不透明度表述为连续、可微的过程，3DSS 实现了对形状、空间变化的 BRDF 和光照的联合优化，而无需受限于网格的拓扑约束或体积混合的物理模糊性。
工作流集成： 该方法在基于点的逆渲染和下游基于网格的工作流之间提供了“直接桥梁”，因为优化后的 surfel 可以直接输入到标准的表面重建算法中。
表面点渲染的复兴： 这项工作表明，此前因可见性不连续而受阻的表面点渲染可以成功适应逆渲染，为占主导地位的和体积范式提供了一种可行的替代方案。

作者指出了局限性，包括使用了简化的分裂求和 IBL 着色模型（缺乏全局光照）以及假设表面不透明，但强调渲染后端与着色模型无关，允许未来扩展到更复杂的光传输。