DiffSoup: Direct Differentiable Rasterization of Triangle Soup for Extreme Radiance Field Simplification

这是一篇关于计算机图形学和计算机视觉领域的学术论文《DiffSoup: Direct Differentiable Rasterization of Triangle Soup for Extreme Radiance Field Simplification》（DiffSoup：用于极端辐射场简化的直接可微三角形汤光栅化）的技术总结。

1. 研究背景与问题 (Problem)

• 背景：辐射场重建（Radiance Field Reconstruction）旨在从多视角 RGB 图像中恢复高质量的 3D 表示。近年来，3D 高斯泼溅（3D Gaussian Splatting, 3DGS）等技术实现了实时渲染和高保真度，但它们通常依赖于数百万个图元（primitives），导致模型体积巨大，难以在移动设备、VR/AR 等受限平台上进行高效传输和渲染。
• 核心挑战：
  1. 极端简化需求：需要在保持高视觉保真度的同时，将图元数量减少几个数量级（例如从数百万减少到 2 万个以下）。
  2. 不透明三角形优化的困难：传统的图形管线擅长渲染带纹理的不透明三角形，但在基于梯度的优化中，不透明三角形存在两个主要问题：
     • 遮挡导致的梯度中断：三角形完全遮挡后方表面，导致颜色在轮廓处不连续，阻碍平滑梯度传播。
     • 二值不透明度的不可微性：为了在标准光栅化管线中渲染，需要二值不透明度（Binary Opacity，即要么完全透明要么完全不透明），但二值函数在数学上是不可微的，难以直接用于端到端训练。
  3. 现有方法的局限：现有的可微光栅化方法通常使用“软化”（mollifier/blur）处理边缘，这会模糊高频细节；或者依赖体素/点云等体积原语，难以直接集成到标准的实时渲染管线中。

2. 方法论 (Methodology)

作者提出了 DiffSoup，一种基于“三角形汤”（Triangle Soup，即高度非结构化的少量三角形集合）的辐射场表示方法，结合神经纹理和二值不透明度，通过直接可微光栅化进行优化。

核心组件：

1. 表示形式 (Representation)：

   • 三角形汤：使用少量（通常 < 20,000 个）非结构化三角形。
   • 神经纹理：每个三角形携带可学习的特征向量（Color & Alpha features），通过重心坐标（barycentric coordinates）映射到三角形表面。
   • 二值不透明度：在运行时，通过阈值判断（$\alpha > 0.5$）将特征转换为二值不透明度，从而支持标准深度测试（Depth Testing）渲染。

2. 随机不透明度掩膜 (Stochastic Opacity Masking)：

   • 核心创新：为了解决二值不透明度不可微的问题，作者受隐式表面重建启发，引入了一种随机过程。
   • 机制：在光栅化片段生成阶段，为每个片段采样一个均匀分布的随机阈值 $\tau \in [0, 1]$。只有当片段的预测不透明度 $\alpha > \tau$ 时，该片段才被视为“可见”。
   • 数学原理：这种方法将像素颜色视为一个随机变量。通过似然比梯度估计（Likelihood-ratio gradient estimation），可以推导出关于不透明度参数 $\alpha$ 的无偏梯度。
   • 优势：
     • 无需软化（blur），直接优化二值不透明度，保留高频细节。
     • 梯度信号鲁棒，即使在严重遮挡下也能工作。
     • 计算出的像素颜色是精确的（Exact pixel color），而非模糊后的颜色。

3. 可见性不连续性的处理 (Handling Visibility Discontinuities)：

   • 除了不透明度，三角形边缘的移动也会引起可见性突变。DiffSoup 扩展了现有的**边缘梯度（Edge Gradient）**方法，不仅检测三角形 ID 的变化，还检测由随机不透明度掩膜引起的三角形内部可见性边界，从而获得稳定的几何运动梯度。

4. 多分辨率纹理参数化 (Multi-resolution Texture Parameterization)：

   • 为了避免纹理空间中的不相关三角形干扰优化，作者采用了类似“网格颜色”（Mesh Color）的方法，在三角形内部递归细分网格，并在不同分辨率层级上存储可学习特征。
   • 训练初期使用粗粒度网格，后期切换到细粒度网格（Coarse-to-fine），以提高优化稳定性。

5. 神经延迟着色 (Neural Deferred Shading)：

   • 为了建模视角依赖的外观而不增加存储负担，三角形存储的是特征向量而非直接的颜色。运行时，通过一个轻量级的共享 MLP，结合特征向量和观察方向，计算出最终的 RGB 颜色。

3. 主要贡献 (Key Contributions)

1. 定义了极端辐射场简化问题：提出使用少量带纹理的三角形汤来表示 3D 场景，旨在解决跨平台（特别是移动端）的高效渲染和传输问题。
2. 提出了 DiffSoup 方法：
   • 通过随机不透明度掩膜实现了不透明三角形光栅化的直接可微性。
   • 无需软化处理，即可在严重遮挡下获得鲁棒的梯度，并精确还原像素颜色。
   • 扩展了边缘梯度方法以处理由不透明度掩膜引起的隐式不连续性。
3. 实现了高性能与高保真度：
   • 在仅使用约 15,000 个三角形的情况下，重建质量优于现有的百万级图元方法（在特定指标下）或同数量级的基线方法。
   • 能够直接在消费级笔记本电脑（如 MacBook Pro M3）和智能手机（如 iPhone 15）上实现实时渲染（>60 FPS），无需专用 GPU。

4. 实验结果 (Results)

• 数据集：在 MipNeRF360（真实场景）和 NeRF-Synthetic/Shelly（合成场景）上进行评估。
• 重建质量：
  • 在 15K 图元预算下，DiffSoup 在 PSNR、SSIM 和 LPIPS 指标上均优于 3DGS、Triangle Splatting 和 TexGS（Textured Gaussians）。
  • 特别是在边缘锐度和细节保留方面表现优异，能够重建清晰的轮廓和精细结构（如树叶、纹理细节）。
• 渲染效率：
  • 速度：得益于标准深度测试光栅化，DiffSoup 在 NVIDIA RTX 4090 上的渲染速度比 3DGS 快一个数量级（例如在 1/4 分辨率下达到 13.7K FPS）。
  • 跨平台：在 MacBook Pro (M3 Pro) 和 iPhone 15 上均能流畅运行，而 3DGS 等基于体素/点云的方法在这些设备上难以达到实时帧率。
• 存储与内存：
  • 模型体积显著减小。在 15K 三角形预算下，DiffSoup 的显存占用和存储大小远低于 TexGS 和 MobileNeRF（后者通常需要数十万甚至数百万个面）。
  • 支持 8-bit PNG 压缩，便于网络传输。
• 对比 MobileNeRF：
  • MobileNeRF 虽然也能生成网格，但通常需要大量面（>150K）且难以控制面数，或者在简化后丢失细节。DiffSoup 从随机初始化或粗略网格初始化出发，仅需 15K 三角形即可达到甚至超越 MobileNeRF 的重建质量，且训练时间更短（约 10-15 分钟 vs 数小时）。

5. 意义与未来展望 (Significance)

• 技术突破：DiffSoup 成功打破了“可微渲染”与“标准实时渲染管线”之间的壁垒。它证明了可以通过随机采样技术直接优化二值不透明度的不透明几何体，无需依赖体积渲染或模糊处理。
• 实际应用价值：
  • 跨平台 3D 内容：使得高保真 3D 场景能够无缝部署到移动端、VR/AR 设备，无需昂贵的硬件支持。
  • 网络传输：极小的模型体积（MB 级别）使得在线流式传输 3D 内容成为可能。
  • 数字孪生与游戏：为需要低多边形预算但高视觉保真度的应用场景（如游戏资产、数字孪生）提供了新的解决方案。
• 局限性：
  • 由于采用单层不透明渲染，对于极度透明或极细结构（如头发、毛发）的表示能力不如体素方法（如 Adaptive Shells）。
  • 目前主要依赖深度测试，对于复杂的半透明混合效果支持有限。

总结：DiffSoup 是一种极具创新性的方法，它通过巧妙的随机化策略解决了不透明三角形优化的梯度难题，实现了在极低图元预算下的高保真 3D 重建，并完美兼容现有的图形硬件管线，为 3D 内容的轻量化和跨平台化开辟了新路径。