CLONE: A 3DGS-Based Closed-Loop Differentiable Optimization Framework for Single-Image Normal Estimation

技术摘要：CLONE —— 一种基于 3DGS 的闭环可微优化框架

问题陈述
单幅图像表面法线估计是一个本质上病态的几何问题，因为从单个 2D 观测推断 3D 结构存在多种可能的解。现有方法存在根本性的局限性：

• 判别式方法过度依赖昂贵的密集真值法线标签，且缺乏内在的几何建模，导致在分布偏移下泛化能力较差。
• 生成式方法（如扩散模型）利用了强大的分布先验，但往往缺乏显式的几何变量，也缺乏将图像空间误差传播回 3D 几何的稳定、可微路径。
• 显式几何方法（如 3D 高斯泼溅/3DGS 变体）提供了可微渲染，但在单视角设置下，往往无法将法线估计表述为一个闭环优化问题，缺乏足够的约束来在没有多视角监督的情况下唯一确定几何结构。

核心挑战在于缺乏一种统一的可微优化机制，能够同时强制执行解的歧义约束和几何一致性，且无需地面真值法线标签。

方法论
作者提出了 CLONE（用于单幅图像法线估计的闭环可微优化框架），它将法线估计从直接回归任务重新表述为由重投影一致性驱动的几何优化问题。该框架无需像素级法线监督，仅利用图像-3D 模型对进行操作。

1. 基于 3DGS 的显式表示与解析法线：
   场景使用 3D 高斯泼溅（3DGS）进行参数化。不同于用于颜色重建的标准 3DGS，CLONE 通过高斯协方差矩阵（$\Sigma = U\Lambda U^\top$）的特征分解显式地推导出表面法线。对应于最小特征值的特征向量定义了局部表面法线。这提供了一条从 3D 几何参数到表面方向的连续、可微路径。

2. 可微光照与重投影：
   为了在没有法线标签的情况下连接 3D 几何与 2D 观测，作者引入了一个可微光照模型。他们构建了一个连续映射，将表面法线与图像辐射度联系起来，该映射使用可学习的光照调制核（一个带有高斯包络的振荡核）。这使得模型能够模拟局部几何变化如何影响像素强度。通过计算渲染图像（由高斯贡献混合生成）与输入图像之间的重投影损失（$L_{photo}$），使得梯度能够直接从图像空间的误差流回 3D 几何参数。

3. 条件扩散启发式细化：
   为了解决高斯基元固有的过度平滑问题，采用了单步确定性扩散启发式网络。该模块并非采用会截断梯度的多步生成过程，而是作为一个噪声调节的残差细化算子。它获取初始 3DGS 法线，并在固定步长注入噪声，然后使用 U-Net 预测精细化的法线图。这保留了扩散模型的结构归纳偏置，同时保持了端到端的全可微性。

4. 跨域门控融合：
   门控机制协调了 3DGS 分支的全局几何一致性与扩散分支的高频细节恢复。

• 特征层面： 几何特征（来自 3DGS）与纹理特征（来自扩散编码器）通过自适应注意力引导的门控机制进行对齐与融合。
• 输出层面： 空间自适应门控权重（$g$）融合初始几何法线（$n_{3dgs}$）与精细化法线（$n_{diff}$）。最终融合法线为 $n_{fuse} = \text{stopgrad}(g) \odot n_{3dgs} + (1 - \text{stopgrad}(g)) \odot n_{diff}$。这确保了光度损失可以监督两个分支，而不会引起梯度冲突。

5. 统一优化目标：
   系统使用复合损失函数进行端到端优化：

• 光度损失 ($L_{photo}$)： 确保图像重建的一致性。
• 尺度正则化 ($L_{scale}$)： 约束高斯特征值以防止退化形状。
• 法线一致性 ($L_{normal}$)： 在门控权重倾向于几何先验的区域，鼓励精细化法线接近几何法线。
• 方向正则化 ($L_{dir}$)： 将可学习的主方向与几何法线对齐。

核心贡献

• 范式转变： 本文将单幅图像法线估计重新表述为一个闭环可微优化问题，通过使用重投影误差作为主要的监督信号，消除了对地面真值法线标签的需求。
• 解析法线建模： 提出了一种从 3D 高斯协方差中解析推导法线的方法，在连续几何空间中进行优化，而非仅仅依赖于 2D 特征回归。
• 可微细化： 设计了一种单步确定性扩散启发式网络，用于增强高频细节，同时避免了与多步扩散采样相关的梯度截断问题。
• 统一流水线： 3DGS 参数化、可微渲染与条件扩散细化的集成创建了稳定的梯度流，有效地缓解了该问题的病态性。

实验结果
该方法在 Google Scanned Objects (GSO)、Omniobject3D 和 Wonder3D 三个基准测试上进行了评估，训练时仅使用 RGB-3D 模型对（无法线标签）。

• 定量性能： CLONE 实现了最先进的性能，超越了监督式的判别方法和生成式 3D 重建基准。其平均角度误差 (MAE) 为 13.2°，超过了第二名（Wonder3D++）0.3°。它在平均中值角度误差 (MedAE) 以及严格阈值下的准确度（例如，在 <11.25° 时的准确度为 63.2%）方面也处于领先地位。
• 定性分析： 视觉对比表明，CLONE 能有效恢复精细的几何细节（例如键盘按键、叶脉、羽毛纹理），并在薄结构和复杂接合处保持一致的法线，而基准方法在这些地方容易出现过度平滑、伪影或轮廓破碎的问题。
• 鲁棒性： 与基准方法相比，由于具备显式的 3D 几何约束，该方法对输入噪声、光照变化和视角变化表现出更强的鲁棒性。
• 消融实验： 移除任何核心组件（3DGS 初始化、跨域对齐、门控融合或扩散细化）都会导致性能显著下降，证实了闭环设计的必要性。

意义与主张
作者声称 CLONE 提供了一种新的单幅图像法线估计范式，该范式独立于昂贵的法线标注。通过利用大规模图像-3D 模型对和闭环可微优化框架，该方法将问题从数据驱动的映射任务转变为以几何为中心的优化任务。论文断言，这种方法通过直接将图像级误差转化为 3D 几何的优化信号，成功解决了该问题的病态性，在不需要任何法线标签的情况下，达到了媲美甚至超过全监督基准方法的性能。这验证了显式 3D 表示结合可微渲染在高效标注的 3D 几何学习中的潜力。