ICTPolarReal: A Polarized Reflection and Material Dataset of Real World Objects

1. El Problema

El modelado preciso de cómo los materiales del mundo real reflejan la luz sigue siendo un desafío central en el renderizado inverso (descomposición intrínseca de imágenes).

• Falta de datos reales: Existe una escasez crítica de datos de reflectancia medidos físicamente en el mundo real.
• Limitaciones de los datos sintéticos: Los enfoques actuales dependen en gran medida de conjuntos de datos sintéticos generados por CGI. Estos suelen tener modelos de iluminación simplificados y un realismo material limitado (ignorando efectos como la polarización, la dispersión múltiple y el transporte subsuperficial).
• Falta de generalización: Como resultado, los modelos entrenados exclusivamente con datos sintéticos a menudo fallan al generalizar a fotografías reales o condiciones de iluminación no controladas. Además, los pocos conjuntos de datos reales existentes carecen de descomposiciones intrínsecas medidas, lo que impide el entrenamiento supervisado de modelos de descomposición.

2. Metodología

Los autores presentan un sistema de captura y procesamiento diseñado para medir físicamente la reflectancia superficial de objetos cotidianos.

• Sistema de Captura (Light Stage):
  • Utilizan una cúpula geodésica equipada con 346 fuentes de luz LED y 8 cámaras sincronizadas (RED Komodo 6K).
  • Polarización: Tanto las luces como las cámaras están equipadas con polarizadores lineales. Se capturan dos observaciones por cada dirección de luz y vista: una con polarización cruzada (cross-polarized) y otra con polarización paralela (parallel-polarized).
  • Iluminación OLAT: Se utiliza el método "One Light At A Time" (una luz a la vez), activando secuencialmente las 346 luces para cubrir el hemisferio de iluminación.
• Procesamiento y Separación Física:
  • Aprovechando la ley de Malus y la diferencia entre las componentes de luz polarizada cruzada y paralela, el sistema separa físicamente la reflexión difusa de la reflexión especular.
  • Fórmulas clave: La radiancia difusa ($I_d$) y especular ($I_s$) se calculan a partir de las intensidades medidas ($I_\perp$ y $I_\parallel$):
    • $I_d = 2 I_\perp$
    • $I_s = 2I_\parallel - 2I_\perp$
  • A partir de estas secuencias, derivan atributos materiales físicamente interpretables: albedo difuso, albedo especular y normales de superficie.
• Aumento de Iluminación: El dataset permite sintetizar iluminación arbitraria (HDRI) proyectando mapas de entorno sobre la esfera de direcciones de luz calibradas y sumando ponderadamente las capturas OLAT.

3. Contribuciones Clave

• Nuevo Dataset a Gran Escala: Se introduce el primer dataset del mundo real que proporciona descomposición difusa-especular densa y atributos materiales para más de 218 objetos cotidianos (desde metales y cerámicas hasta plásticos, telas y productos orgánicos).
• Dimensiones de Adquisición: El dataset abarca cinco dimensiones: multivista, multi-iluminación, polarización, separación de reflectancia y atributos de material.
• Escala de Datos: Contiene más de 1.2 millones de imágenes de alta resolución (6144×3240) con separación difusa-especular y normales derivadas analíticamente.
• Capacidad de Supervisión Directa: A diferencia de datasets anteriores, este permite la supervisión directa para redes neuronales que realizan descomposición de materiales y renderizado neuronal basado en física.
• Flujos de Trabajo Híbridos: Se proponen dos enfoques de modelado:
  1. Basado en PBR: Predicción de albedo, normales y especularidad.
  2. Basado en Polarización: Predicción de componentes de imagen polarizada (cruzada/paralela) para desentrelazar la reflexión, incluso a partir de entradas no polarizadas.

4. Resultados y Evaluación

Los autores entrenaron y evaluaron modelos de renderizado inverso y directo (basados en arquitecturas de difusión como RGB2X) utilizando su dataset.

• Descomposición Intrínseca:
  • Los modelos entrenados o ajustados con sus datos reales mostraron mejoras significativas en la separación de materiales y la fidelidad de la iluminación en comparación con modelos entrenados solo con datos sintéticos (como DR-IR o RGB2X base).
  • Bajo iluminación HDRI y OLAT, el modelo propio logró las métricas más altas (PSNR, SSIM) y los errores más bajos (MSE, LPIPS).
• Relighting (Reiluminación):
  • El modelo mejoró la continuidad de las sombras y el equilibrio de color global. En objetos reales, la energía de los destellos (highlights) se mantuvo estable a través de diferentes direcciones de luz.
  • El flujo de trabajo basado en polarización demostró una mayor consistencia de iluminación y menos ruido en regiones brillantes.
• Reconstrucción 3D de Vista Escasa:
  • La separación de componentes difusos y especulares es crucial para la correspondencia multivista.
  • Al usar las imágenes difusas predichas por el modelo inverso (entrenado con polarización) como entrada para algoritmos de reconstrucción (Dust3r, Mast3r), se obtuvieron geometrías más consistentes y menores errores de reproyección en comparación con el uso de imágenes crudas, que sufren de artefactos especulares.

5. Significado e Impacto

• Fundamento Físico: Este trabajo establece una nueva base para la comprensión de materiales basada en física, permitiendo que los modelos de visión por computadora generalicen más allá de los regímenes de entrenamiento sintético.
• Puente entre Síntesis y Realidad: Proporciona el "ground truth" físico necesario para cerrar la brecha de dominio entre los renderizados sintéticos y las fotografías reales.
• Aplicaciones Futuras: Facilita tareas avanzadas como la edición de imágenes realista, la realidad aumentada (donde la consistencia de iluminación es vital) y la reconstrucción 3D robusta en entornos no controlados.
• Limitaciones: El sistema actual está restringido a objetos estáticos en un entorno controlado, lo que dificulta la medición de materiales altamente transparentes, dinámicos o anisotrópicos, y no captura parámetros subsuperficiales. El trabajo futuro apunta a expandir la captura a materiales más complejos y adquisición "in-the-wild".

En resumen, este paper no solo ofrece un recurso de datos masivo y único, sino que demuestra empíricamente que la incorporación de mediciones físicas reales (específicamente polarización) es fundamental para avanzar en el estado del arte del renderizado inverso y la comprensión de escenas 3D.