ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

1. 研究背景与问题 (Problem)

从图像重建 3D 资产长期以来面临三大挑战，且传统流程通常将它们分开处理：

• 几何重建 (Geometry)：从图像恢复 3D 形状。
• 材质估计 (Material)：恢复随空间变化的物理材质（PBR 材质，如反照率、粗糙度、金属度）。
• 光照恢复 (Illumination)：恢复环境光照。

核心痛点：

1. 病态问题 (Ill-posed Problem)：单视图重建中，材质和光照是高度耦合的。同一种 2D 外观可能由无数种“材质 + 光照”的组合产生，导致单视图方法难以解耦，常出现材质预测不准确、法线不可靠、无法真实重光照（Relighting）的问题。
2. 现有方法的局限性：
   • 生成式模型 (Diffusion)：几何 fidelity 高，但推理速度慢，且容易产生幻觉。
   • 大型重建模型 (LRMs)：速度快，但通常仅预测全局材质参数（而非空间变化材质），缺乏环境光照估计，且多基于单视图优化，导致材质 - 光照解耦失败。
   • 逆渲染 (Inverse Rendering)：基于优化的方法需要密集多视图和长推理时间，难以处理稀疏视图。

目标：构建一个统一的、前馈（Feed-forward）的端到端流水线，在不到 1 秒的时间内，从稀疏多视图图像中同时重建完整的 3D 几何、空间变化的 PBR 材质以及环境光照，实现可重光照的 3D 资产生成。

---

2. 核心方法论 (Methodology)

ReLi3D 的核心洞察是：多视图约束 (Multi-view Constraints) 是解决材质 - 光照解耦病态问题的关键。通过多视角的一致性，可以大幅缩小可行解空间。

2.1 整体架构

系统采用双路径 (Two-path) 架构，由共享的跨视图 Transformer 驱动：

1. 输入：任意数量的带掩码的输入图像 $(I_i, M_i, C_i)$。
2. 特征融合 (Cross-view Fusion)：
   • 使用 DINOv2 提取图像特征，结合相机参数进行调制。
   • 引入Hero View（主视图） 作为查询流 (Query Stream)，其他视图作为记忆流 (Memory)。
   • 通过双流交错 Transformer (Two-stream Interleaved Transformer) 进行交叉条件化，生成统一的三平面 (Triplane) 特征表示。
3. 双路径预测：
   • 路径 A (几何 + 外观)：基于统一三平面特征，预测网格几何结构 (Mesh) 和空间变化的 PBR 材质参数（反照率 $\rho$、粗糙度 $r$、金属度 $m$、法线扰动 $n_{bump}$）。使用 Flexicubes 提取网格，并通过快速 UV 展开进行纹理化。
   • 路径 B (光照估计)：利用掩码感知的 Token 和对象 Transformer 输出，预测高效的 RENI++ 潜在代码，解码为连贯的 HDR 环境光照图。该路径支持从背景直接观测或从物体反射间接推断光照。

2.2 关键技术创新

• 多视图光照解耦 (Multi-view Illumination Disentanglement)：
  • 不同于以往仅依赖单视图或简单 MLP 的方法，ReLi3D 利用多视图推理。
  • 随机背景掩码训练：在训练时随机遮挡部分视图的背景。这迫使网络学习两种互补任务：当背景可见时直接读取光照；当背景被遮挡时，必须通过物体表面的反射和阴影间接推断光照。这极大地提高了在真实世界（背景常被裁剪或过曝）中的鲁棒性。
• 可微分蒙特卡洛渲染 (Differentiable MC+MIS)：
  • 引入基于物理的蒙特卡洛 (MC) 渲染器，结合多重重要性采样 (MIS)。
  • 该渲染器将两条路径紧密耦合，强制预测的材质和光照必须通过物理光传输方程共同解释观测图像。
  • 支持混合域训练：结合合成 PBR 数据（有真值监督）和真实世界 RGB 数据（无材质真值，仅靠图像重建监督），实现了跨域泛化。

---

3. 主要贡献 (Key Contributions)

1. 首个统一的前馈流水线：实现了从稀疏多视图图像到完整 3D 资产（几何 + 空间变化 PBR 材质 + HDR 环境光照）的端到端重建，推理速度仅需 0.3 秒。
2. 基于多视图的解耦机制：首次证明多视图约束是解决单视图材质 - 光照病态问题的有效机制，显著提升了材质预测的准确性和重光照 fidelity。
3. 双路径架构设计：
   • 共享的跨视图 Transformer 确保了几何与外观的一致性。
   • 独立的光照路径结合 RENI++ 和背景掩码策略，实现了鲁棒的环境光照估计。
4. 混合域训练协议：通过结合合成 PBR 数据和真实世界数据，并利用可微分渲染器进行监督，解决了真实世界数据缺乏材质真值的问题，实现了强大的泛化能力。
5. 开源与复现：发布了代码、权重及数据集生成脚本，推动社区发展。

---

4. 实验结果 (Results)

实验在多个数据集（GSO, Stanford ORB, UCO3D, Polyhaven）上进行了评估，对比了 SF3D, SPAR3D, Hunyuan3D, 3DTopia-XL 等 SOTA 方法。

• 材质与光照解耦性能 (核心优势)：
  • PBR 材质：在反照率 (Albedo)、粗糙度 (Roughness) 和金属度 (Metallic) 的重建上，ReLi3D 在所有指标上均排名第一。例如，反照率 PSNR 达到 25.00 dB (SF3D 为 18.42 dB)。
  • 重光照 (Relighting)：在未见过的 HDR 环境中进行重光照测试，ReLi3D 表现最佳。即使竞争对手使用真值环境图输入，ReLi3D 依然胜出，证明了其材质分解的准确性。
  • 环境估计：即使是单视图也能准确恢复天空颜色和太阳方向；多视图输入能进一步修正光照方向，尤其在暗光环境下表现优异。
• 几何重建：
  • 在保持极快推理速度（平均 0.31 秒）的同时，几何重建质量达到 SOTA 水平。
  • 多视图输入显著提升了几何指标（如 F-score@0.5 提升至 0.993）。
• 速度与效率：
  • 比生成式方法（如 Hunyuan3D）快 100 倍 以上。
  • 在 174k 个对象上训练（远少于其他大规模方法的训练数据量），得益于多视图约束提供的强监督信号。
• 真实世界泛化：
  • 在 Stanford ORB 和 UCO3D 等真实世界数据集上，ReLi3D 在所有指标（3D 重建、图像质量、材质预测）上均优于基线，且随着输入视图数量增加，性能持续提升。

---

5. 意义与局限性 (Significance & Limitations)

意义

• 工业级应用潜力：将原本需要数小时优化或分离多个步骤的重建任务，压缩到亚秒级的单次前馈推理，使得“即时 3D 资产数字化”成为可能。
• 物理一致性：通过物理渲染监督，生成的资产具有真实的物理属性，支持在任意光照条件下进行高质量重光照，填补了当前快速重建模型在材质真实性上的空白。
• 范式转变：证明了多视图约束在解耦逆渲染问题中的核心作用，为未来的 3D 视觉研究提供了新的方向。

局限性

• 分辨率限制：受限于三平面 (Triplane) 的分辨率（$3 \times 40 \times 384 \times 384$），纹理和几何细节不如高分辨率扩散模型精细。
• 极端光照失效：在环境光照超出 RENI++ 先验分布（如多个极强点光源）或存在强烈自阴影时，可能出现光照“烘焙”进材质图的情况。
• 透明物体：目前主要针对不透明物体，透明物体的显式网格重建仍是挑战。
• 相机姿态依赖：假设输入图像具有准确的相机姿态，姿态估计错误会导致模糊伪影。

总结

ReLi3D 通过创新的双路径架构和基于物理的混合域训练，成功解决了稀疏视图下 3D 重建中材质与光照解耦的难题。它不仅速度快，而且生成的资产具备生产级的物理真实性和重光照能力，是 3D 内容生成领域的一项重大突破。