ICTPolarReal: A Polarized Reflection and Material Dataset of Real World Objects

这篇论文介绍了一个名为 ICTPolarReal 的大规模真实世界偏振反射与材质数据集，旨在解决逆渲染（Inverse Rendering）和材质理解领域中真实测量数据稀缺的问题。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心挑战：准确建模真实世界材质的光照反射特性是逆渲染的核心难题。现有的方法严重依赖合成数据集（Synthetic Datasets），这些数据集通常使用简化的光照模型和有限的材质真实性（如忽略多重散射、偏振和次表面散射）。
• 现有局限：
  • 合成数据与真实观测之间存在显著差异，导致在合成数据上训练的模型难以泛化到非受控光照或真实照片。
  • 现有的真实世界数据集（如 Multi-Illumination Dataset）缺乏对内在图像分解（Intrinsic Decomposition）的测量数据，无法直接用于监督训练。
  • 缺乏能够同时提供多视角、多光照、偏振信息以及物理验证材质参数（如漫反射/镜面反射分离、法线、反照率）的大规模真实数据集。

2. 方法论与系统构建 (Methodology)

作者构建了一个基于 Light Stage 的高精度数据采集系统，并提出了完整的数据处理流程：

A. 采集系统 (Capture System)

• 硬件配置：
  • 光源：346 个 LED 光源，安装在测地线穹顶上，支持 OLAT (One-Light-At-A-Time) 模式，确保角度覆盖均匀。
  • 相机：8 台同步的 RED Komodo 6K 全局快门相机。
  • 偏振配置：光源和相机均配备线性偏振片。光源采用交叉/平行偏振交替排列的六边形布局，相机配备可旋转偏振片。
• 采集过程：
  • 每个物体在 8 个视角下，针对 346 个光照方向进行采集。
  • 每个光照方向下，分别采集 交叉偏振 (Cross-polarized, $I_\perp$) 和 平行偏振 (Parallel-polarized, $I_\parallel$) 两幅图像。
  • 分辨率高达 $6144 \times 3240$，总图像数超过 120 万张。

B. 数据处理与物理分离 (Material Processing)

利用马吕斯定律（Malus's Law）和偏振物理特性，从采集数据中物理分离漫反射和镜面反射：

• 反射分离公式：
  • 漫反射分量：$I_d = 2 I_\perp$
  • 镜面反射分量：$I_s = 2(I_\parallel - I_\perp)$
• 材质参数推导：
  • 基于朗伯余弦定律（Lambert's cosine law）求解漫反射反照率（Diffuse Albedo, $\rho_d$）和表面法线（Surface Normal, $n$）。
  • 通过积分计算镜面反射反照率（Specular Albedo, $\rho_s$）。
• 光照增强：利用采集的 OLAT 数据，结合环境贴图（HDRI）权重，可以合成任意光照条件下的图像，同时保持漫反射和镜面反射的真值分离。

C. 数据集规模

• 对象：218 个日常物体，涵盖金属、陶瓷、塑料、织物、木材、玻璃、有机果蔬等多种材质。
• 维度：包含 5 个采集维度——物体、光照、偏振、多视角、材质属性。

3. 关键贡献 (Key Contributions)

1. 首个大规模真实偏振反射数据集：提供了首个可直接监督深度神经网络进行材质分解和物理神经渲染的真实世界数据集，填补了合成数据与真实物理测量之间的空白。
2. 物理可解释的分解：通过偏振技术，在受控光照下物理分离了漫反射和镜面反射，提供了精确的 Ground Truth（反照率、法线、反射分量）。
3. 双重工作流验证：
   • PBR 工作流：预测漫反射反照率、镜面反照率和法线。
   • 偏振工作流：预测交叉和平行偏振分量，利用偏振作为物理线索来解耦反射。
4. 广泛的评估：在逆渲染（内在分解）、前向渲染（重光照）和稀疏视角 3D 重建三个任务上进行了全面评估。

4. 实验结果 (Results)

研究者在 Objaverse（合成数据）和 Light Stage（真实数据）上对比了 SOTA 模型（如 RGB2X, Diffusion Renderer, DR-IR, Lotus-D 等）：

• 内在图像分解 (Intrinsic Decomposition)：
  • 在真实数据上，经过该数据集微调的模型在 MSE 和 PSNR 上显著优于仅使用合成数据训练的基线模型。
  • 特别是在复杂光照下，模型能更准确地分离漫反射和几何分量，减少了阴影和反光带来的干扰。
• 重光照 (Relighting)：
  • 在 HDRI 和 OLAT 光照下，该数据集训练的模型在阴影对齐、高光稳定性和全局色彩平衡方面表现更佳。
  • 定量指标显示，PSNR 从基线的 ~18.5 dB 提升至 27.8 dB，SSIM 从 0.51 提升至 0.90。
• 稀疏视角 3D 重建 (Sparse-view 3D Reconstruction)：
  • 利用逆模型预测的“去镜面反射”图像（Diffuse-only）作为 Dust3r 和 Mast3r 的输入，显著改善了 3D 重建的几何一致性。
  • 预测的漫反射图像消除了视角相关的镜面高光，解决了 Lambertian 假设被违反的问题，重建误差（MSE）显著降低，PSNR 甚至高于原始采集的漫反射图像（得益于扩散模型的去噪能力）。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 为物理基础的材质理解建立了新的基准，使模型能够真正泛化到真实世界场景。
  • 证明了偏振信息在解耦反射、提升逆渲染和 3D 重建质量方面的巨大潜力。
  • 提供了从真实测量到神经渲染的完整闭环，推动了从“合成训练”向“真实测量监督”的范式转变。
• 局限性：
  • 采集环境受限，仅适用于静态物体，难以测量高透明、动态或强各向异性材质。
  • 未捕捉次表面散射（Subsurface Scattering）参数。
  • 未来工作将致力于扩展到更复杂的材质和野外（in-the-wild）采集。

总结：该论文通过构建一个包含 218 个物体、120 万 + 张高分辨率图像的大规模偏振数据集，成功解决了真实世界材质反射建模的数据匮乏问题。实验证明，利用该数据集训练的模型在材质分离、重光照和 3D 重建任务上均取得了显著的性能提升，为计算机视觉和图形学领域的物理感知研究奠定了坚实基础。