想象一下，你正试图雕刻一座完美、光滑的巨龙雕像，但你手里只有几张从几个角度拍摄的模糊照片。在计算机图形学领域，这就是“3D重建”所面临的挑战。长期以来，计算机一直擅长制作从任何角度看都显得真实的图像，这种技巧被称为“新视角合成”。但当你试图将这些漂亮的图像转化为一个可以拿在手里、进行编辑或在视频游戏中使用的高质量3D物体时，情况就会变得一团糟。计算机构建出的形状往往看起来像一团漂浮的尘埃云或一张皱巴巴的纸，充满了孔洞和不属于那里的奇怪碎片。这是一个大问题，因为机器人、虚拟现实和数字艺术家需要的是干净、坚实的形状，而不仅仅是漂亮的图片。
为了理解新的解决方案，我们需要了解计算机用来构建这些形状的两种工具。第一种是“高斯泼溅”（Gaussian Splat），它就像一团有颜色的、蓬松的3D烟雾。计算机可以通过排列数百万个这样的烟雾团来让场景看起来很真实，但因为它们只是烟雾团，所以无法形成一个坚实的表面；它们更像是一朵云，而不是一座雕像。第二种工具是“符号距离场”（Signed Distance Field, SDF），它就像一张隐形的地图，能精确告诉你空间中任何一点距离物体表面的距离。如果你在物体内部，数值为负；如果你在物体外部，数值为正。通过寻找这个数值为零的位置，你就可以描绘出物体的完美皮肤。问题在于，这两种工具通常无法很好地协同工作：烟雾团太混乱，无法引导地图；而地图又太僵硬，无法修复烟雾团。
于是，高斯雕刻（Gaussian Sculpting）登场了，这是一种能够同时修复“粘土”和“工具”的顶级雕塑家的方法。它不再仅仅是排列烟雾团并寄希望于稍后出现某种形状，而是将这些烟雾团直接锚定在一个不断生长、演化的表面上。想象一下，有一群聪明的小蚂蚁（即高斯点）搬着砖块来筑墙。在旧的方法中，蚂蚁只会随机堆放砖块，然后由人类在后期进行平滑处理，结果往往发现墙已经盖歪了。而在“高斯雕刻”中，蚂蚁被粘在随着墙体生长而移动的墙面上。它们不能随处漂浮；它们必须紧贴在表面上。如果墙面弯曲，蚂蚁也会随之弯曲。这确保了用于生成图像的“烟雾团”与正在构建的“表面”完美对齐。
论文介绍了一个巧妙的两步训练过程，以确保这一过程在不会让计算机产生困惑的情况下实现。这就像一场舞蹈，其中一个舞伴领舞，另一个舞伴跟随，但它们会仔细地切换角色。首先，计算机固定墙面的形状（表面），并要求蚂蚁调整位置以使画面看起来完美。然后，它将蚂蚁的位置固定住，并利用它们的完美对齐来微调墙面的形状，使其变得更好。这种来回往复的过程防止了计算机陷入错误的猜测循环。研究人员还为蚂蚁制定了严格的规则：它们必须保持高耸且可见（不在阴影中隐藏）、大小必须与它们站立的砖块相匹配，并且必须均匀分布，以免墙面的任何部分被遗漏。
结果显示，这种方法相比以往的尝试有了显著的改进。在对从简单玩具到复杂现实世界扫描件的各种物体进行测试时，“高斯雕刻”产生了更干净的形状，具有更少的漂浮错误和缺失部分。即使在照片仅从少数几个角度拍摄的情况下，它也能恢复细节，而其他方法在这种情况下的表现往往会失败或产生“幽灵”伪影。团队发现，通过将烟雾团紧紧束缚在表面上，并使用一种智能的、分步优化的过程，他们可以创建出不仅视觉上准确，而且几何结构坚实且可用于现实世界的3D模型。虽然这个过程仍然需要一定的时间和计算能力，但它成功解决了将模糊的数据云转化为清晰、可用的3D雕像这一棘手问题。
技术摘要：高斯雕刻 (Gaussian Sculpting)
问题陈述
尽管 3D 高斯泼溅 (3DGS) 已实现了令人印象深刻的实时新视角合成，但在恢复精确、水密的表面方面仍面临困难，尤其是在视角受限的情况下。高斯原语（primitives）固有的不规则性导致了几何误差、漂浮伪影以及难以手动修正的不完整结构。现有的方法通常将表面重建视为后处理步骤（例如，对优化后的高斯进行 Marching Cubes），这使得几何与外观优化脱节。这种解耦导致生成的表面对噪声高度敏感，且无法忠实地与底层几何对齐。此外，近期的场优化高斯方法往往受到离散化误差的影响，例如出现漂浮表面和细长三角形（sliver triangles），因为不规则的高斯分布无法自然地与三角形网格对齐。
方法论
作者提出了 Gaussian Sculpting，这是一个完全可微、端到端的框架，它优化的是符号距离函数 (SDF) 而非直接优化高斯原语。其核心思想是将高斯锚定在一个演化的可微表面上，使其能够引导 SDF 优化，而非仅仅作为几何的主要来源。
核心组件：
隐式场表示与可微提取：
- SDF 使用多层感知器 (MLP) 进行隐式表示，提供了连续的几何结构，并相比于离散的基于体素的 SDF 具有更好的分辨率控制能力。
- 该框架扩展了 FlexiCubes，以支持多分辨率网格和 SDF 输入，从而实现具有更好拓扑一致性的可微等值面提取。
受表面约束的高斯模型：
- 高斯不再被视为独立的变量，而是实例化在提取出的网格之上。
- 参数化： 高斯中心被定义为三角形顶点的凸组合。其方向与面法线及边缘方向相关联，其尺度则基于三角形边长进行初始化。
- 约束： 为了确保高斯渲染与底层表面之间的一致性，引入了三个特定约束：
- 尺度约束 (Scale Constraint)： 确保高斯保持在与面对齐的最小包围椭圆 (MEE) 内，以防止过度重叠。
- 分布约束 (Distribution Constraint)： 包括边界规避、距离正则化和覆盖损失，以防止退化放置并确保在三角形面上实现稳定的覆盖。
- 不透明度约束 (Opacity Constraint)： 通过反向 Sigmoid 函数将高斯不透明度固定在接近 1 的水平，以防止低不透明度的高斯遮挡错误的几何结构，从而确保稳定的渲染监督。
双层优化策略：
- 为了稳定训练并防止不可靠的梯度污染几何优化，采用了双层循环：
- 内层循环： 在固定表面几何的条件下优化高斯参数（位置、尺度、颜色）。使用高斯的脱离副本（detached copy）来防止梯度在此阶段回传至 SDF。
- 外层循环： 使用由优化后的高斯计算出的光度损失来更新 SDF 和表面几何。
- 这种梯度隔离确保了渲染监督能够引导几何，而不会被高斯的即时状态所破坏。
分辨率控制：
- 采用了一种类八叉树的自适应细分方案。在空白区域使用粗糙体素，而在与表面相交的体素中则细分为更精细的网格。这在保留所需细节的同时，降低了内存消耗。
主要贡献
- 端到端框架： 提出了 Gaussian Sculpting，它将 SDF 优化和受约束的高斯渲染统一到了一个单一的可微流水线中。
- 几何感知高斯： 识别了标准高斯渲染与表面几何之间的不一致性，并通过引入严格的几何和不透明度约束来解决，从而使高斯与底层网格对齐。
- 稳定优化： 开发了一种带有梯度隔离和渐进式细分的双层训练策略，这稳定了几何细化过程并防止了伪影传播。
- 卓越的重建效果： 与之前的 NeRF 类和基于高斯的方法相比，该方法展示了更干净、更完整且拓扑规则的网格，有效地减少了漂浮伪影并恢复了缺失区域。
实验结果
该方法在 NeRF Synthetic 和 OmniObject3D 数据集上进行了评估，对比了包括 NeRF 变体 (NeuS, VolSDF)、基于 3DGS 的方法 (2DGS, PGSR, GOF) 以及联合方法 (GSDF, 3DGSR) 在内的广泛基准模型。
- 定量性能： Gaussian Sculpting 在两个数据集的大多数场景中均实现了最低的倒角距离 (Chamfer Distance, CD)。例如，在 OmniObject3D 上，它实现了 9.09 (x10⁻³) 的平均 CD，优于次优方法 (GOF 为 14.91)，并在核桃和南瓜等其他方法失败或产生巨大误差的挑战性物体上显著降低了误差。
- 网格质量： 与基准方法相比，该方法生成的网格产生的细长三角形显著减少，且形状更加规则。不同于产生杂乱或不规则三角形分布的方法，Gaussian Sculpting 更接近 Delaunay 三角剖分原则。
- 鲁棒性： 该方法在恢复视角缺失区域的几何连续性方面表现出鲁棒性，而这是 TSDF 融合和其他基于高斯的方法常见的失效点。
- 消融实验： 实验证实，不透明度约束对于防止漂浮伪影至关重要，而尺度和分布约束对于准确的表面对齐和网格质量至关重要。研究还表明，使用神经隐式 SDF 和梯度隔离优于离散 SDF 和非隔离训练。
重要性与声明
论文声称 Gaussian Sculpting 解决了从有限视角 RGB 图像中获取水密、干净且可连续优化的网格这一根本挑战。通过将表面重建重新表述为一个由受约束高斯引导的 SDF 优化问题，该方法克服了后处理提取和直接高斯优化带来的几何不一致性。
作者将他们的工作定位为当前最先进方法中普遍存在的“漂浮伪影”和“几何不完整性”问题的解决方案。他们断言，其框架即使在相对较低的分辨率下也能实现强大的重建质量，并生成更适合下游任务（如游戏资产建模和 AR/VR）的、可编辑且结构化的几何模型。
承认的局限性：
作者指出，双层优化导致了较长的重建时间（每个场景 6–18 小时）和高 GPU 显存占用，目前限制了该框架仅适用于物体级场景。此外，对于几何线索模糊的高反射材料和细微纹理，渲染监督仍然具有挑战性。未来的工作拟在于减少运行开销并改进对反射表面的处理。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。