Resumen Técnico: Renderizado Inverso de Pantalla Polarimétrica Instantánea

Declaración del Problema

El renderizado inverso —la estimación de geometría y apariencia (albedo, rugosidad, metalicidad, normales) a partir de imágenes— sigue siendo un desafío significativo, particularmente en configuraciones instantáneas requeridas para flujos de trabajo de escritorio ligeros. Si bien las configuraciones de múltiples cuadros o múltiples fuentes de luz (por ejemplo, etapas de luz, optimización basada en NeRF) han logrado resultados de alta calidad, a menudo son poco prácticas para entornos dinámicos o restringidos debido a los altos presupuestos de información y las limitaciones temporales. Los enfoques de disparo único existentes luchan por desentrañar la geometría de la reflectancia y el tipo de material (dieléctrico vs. metálico) porque una sola imagen típicamente carece de restricciones suficientes para separar los componentes difusos y especulares o resolver ambigüedades de material.

Metodología

Los autores proponen Renderizado Inverso de Pantalla Polarimétrica Instantánea, un marco de alimentación directa (feed-forward) instantáneo que integra pistas espectro-polarimétricas para recuperar mapas de Renderizado Basado en Física (PBR) por píxel. El sistema comprende tres componentes acoplados:

1. Sistema de Imagen: Adquisición Espectro-Polarimétrica

La configuración de hardware consiste en un monitor LCD estándar y una cámara de polarización RGB aumentada con una Placa de Onda Cuarteada (QWP).

• Iluminación: El LCD emite un patrón binario RGB linealmente polarizado. Debido a la naturaleza de cristal líquido de la pantalla, actúa como una fuente de luz polarizada programable. El patrón codifica tres direcciones de iluminación distintas simultáneamente a través de los canales espectrales Rojo, Verde y Azul (por ejemplo, el canal Rojo iluminado desde la derecha, el Verde desde la izquierda, el Azul desde arriba).
• Captura: La cámara captura una única imagen RAW. El arreglo de micro-polarizadores en el sensor recupera los componentes de Stokes lineales ($S_0, S_1, S_2$). La QWP añadida modula la luz entrante para permitir la recuperación del componente de polarización circular ($S_3$), lo cual es crítico para distinguir la reflectancia metálica de la dieléctrica.
• Descomposición: La única imagen RAW capturada se descompone en nueve mediciones espectro-polarimétricas por píxel:
  • Tres canales espectrales ($R, G, B$).
  • Tres estados de polarización por canal: No polarizado (dominante difuso), Linealmente Polarizado (dominante especular) y Circularmente Polarizado (pista de metalicidad).
  • Esto produce una representación $3 \times 3$ que codifica direcciones de iluminación espaciales y propiedades de material en un solo disparo.

2. Red de Renderizado Inverso de Alimentación Directa

Una arquitectura codificador-decodificador basada en transformadores procesa los nueve mapas de medición para predecir parámetros PBR ($n, k, r, m$) en una sola pasada hacia adelante.

• Arquitectura: El codificador utiliza una columna vertebral de Transformador de Visión (ViT) (DINO v2) para convertir los mapas de entrada en tokens de parche. Emplea mecanismos de auto-atención entrelazada para agregar información a través de cuatro dimensiones:
  1. Espacial: Dentro de cada observación.
  2. Espectral: A través de los tres canales de color que comparten el mismo estado de polarización.
  3. Cruz-observación: A través de las nueve mediciones.
  4. Polarimétrica: A través de los tres estados de polarización que comparten el mismo canal espectral.
• Decodificador: Un módulo de atención cruzada agrega características de todas las entradas en un descriptor fusionado, que luego se pasa a cabezas de predicción para emitir normales de superficie, albedo, rugosidad y metalicidad.

3. Expansión de pBRDF Basada en Datos

Para abordar la escasez de Funciones de Distribución de Reflectancia Bidireccional Polarimétrica (pBRDF) medidas para el entrenamiento, los autores proponen un método de expansión generativa:

• Compresión PCA: Las pBRDF medidas (de Baek et al. [2020]; Moon et al. [2025]) se descomponen en componentes de intensidad y polarimétricos utilizando Análisis de Componentes Principales (PCA).
• Variedad Generativa: Se entrena un generador de pesos (VAE condicional) para mapear los parámetros PBR de Disney al espacio de pesos PCA.
• Síntesis: Nuevas pBRDF físicamente válidas se sintetizan muestreando pesos de la variedad aprendida condicionada a parámetros PBR aleatorios, y luego reconstruyendo la matriz de Mueller mediante inversión PCA. Esto crea un conjunto de datos sintético a gran escala y diverso para el entrenamiento.

Contribuciones Clave

1. Sistema de Imagen Pantalla-Cámara: Una configuración novedosa que combina multiplexado espectral (direcciones de iluminación RGB) y decodificación de polarización lineal-circular en una sola instantánea, produciendo nueve mediciones espectro-polarimétricas distintas.
2. Transformador de Alimentación Directa: Una arquitectura de red que mapea directamente estas nueve mediciones a mapas PBR espacialmente variables (normales, albedo, rugosidad, metalicidad) sin optimización iterativa.
3. Método de Expansión de pBRDF: Un enfoque basado en datos que expande un conjunto limitado de pBRDF medidas en un conjunto de datos diverso y físicamente válido muestreando en una variedad generativa aprendida, permitiendo el entrenamiento robusto de la red de renderizado inverso.

Resultados y Evaluación

El método fue evaluado en conjuntos de datos sintéticos y del mundo real utilizando una configuración de escritorio.

• Rendimiento Cuantitativo:
  • Datos Sintéticos: El método superó a las líneas base (DiffusionRenderer, RGB-X, LINO-PBR) en todas las métricas, logrando un PSNR de 23.90 para el albedo y un MAE de 11.45° para las normales. Redujo significativamente la ambigüedad en la estimación de metalicidad en comparación con métodos que carecían de pistas de polarización circular.
  • Datos Reales: En capturas reales, el método logró un PSNR invariante a la escala de 20.15, superando a las líneas base de disparo único y igualando el rendimiento de una variante de LINO-PBR de múltiples disparos (4 luces), a pesar de utilizar solo un solo cuadro de entrada.
• Análisis Cualitativo:
  • Desentrañamiento Difuso-Especular: La descomposición espectral y de polarización separó efectivamente los componentes difusos y especulares, evitando la "cocción" de la iluminación en los mapas de albedo observada en las líneas base de imagen única.
  • Desambiguación Metálica: La inclusión de pistas de Polarización Circular (CP) permitió a la red distinguir correctamente las superficies metálicas de las dieléctricas, una tarea donde las líneas base sin entrada CP a menudo fallaban, llevando a una reiluminación incorrecta.
  • Reiluminación: Los mapas PBR recuperados permitieron una reiluminación robusta bajo diversas condiciones, incluidas luces puntuales rotatorias y mapas de entorno complejos, preservando la identidad del material y el comportamiento de los destellos.
  • Escenas Dinámicas: La naturaleza instantánea del método permitió el renderizado inverso cuadro a cuadro de secuencias dinámicas (por ejemplo, un rostro en movimiento) sin requerir alineación temporal.

Significado y Afirmaciones

El artículo afirma que integrar pistas espectrales y polarimétricas dentro de una sola captura instantánea proporciona una señal física rica que complementa los priores aprendidos, permitiendo un renderizado inverso preciso en flujos de trabajo de escritorio ligeros.

• Escalabilidad: El enfoque ofrece una solución escalable para el renderizado inverso que no depende de configuraciones de captura multi-disparo controladas o etapas de luz complejas.
• Validez Física: Al aprovechar las propiedades físicas de la polarización (específicamente la distinción entre polarización lineal y circular para la clasificación de materiales), el método logra un desentrañamiento más físicamente válido de la geometría y la reflectancia que los métodos pasivos de imagen única.
• Eficiencia de Datos: El método propuesto de expansión de pBRDF aborda el cuello de botella crítico de la escasez de datos en el renderizado inverso polarimétrico, permitiendo el entrenamiento de modelos de aprendizaje profundo en conjuntos de datos de materiales diversos y fundamentados físicamente.

Los autores reconocen limitaciones, incluida la sensibilidad a comportamientos ópticos no ideales (diafonía, ruido), dificultades con materiales que tienen respuestas de polarización débiles (por ejemplo, espejos) y restricciones impuestas por la cobertura del conjunto de datos de pBRDF medido. Sin embargo, afirman que su método representa un paso significativo hacia el renderizado inverso de disparo único práctico para escenas dinámicas y del mundo real.