Resumo Técnico: Renderização Inversa de Display Polarimétrico de Instantâneo

Declaração do Problema

A renderização inversa — a estimativa de geometria e aparência (albedo, rugosidade, metalicidade, normais) a partir de imagens — permanece um desafio significativo, particularmente em configurações de instantâneo exigidas para fluxos de trabalho leves em desktop. Embora configurações de múltiplos quadros ou múltiplas luzes (por exemplo, estágios de luz, otimização baseada em NeRF) tenham alcançado resultados de alta qualidade, elas são frequentemente impraticáveis para ambientes dinâmicos ou restritos devido a orçamentos de informação elevados e restrições temporais. Abordagens de tiro único existentes lutam para desvendar a geometria da refletância e do tipo de material (dielétrico versus metálico) porque uma única imagem geralmente carece de restrições suficientes para separar componentes difusos e especulares ou resolver ambiguidades de material.

Metodologia

Os autores propõem a Renderização Inversa de Display Polarimétrico, um framework feed-forward de instantâneo que integra pistas espectro-polarimétricas para recuperar mapas de Renderização Baseada em Física (PBR) por pixel. O sistema compreende três componentes acoplados:

1. Sistema de Imagem: Aquisição Espectro-Polarimétrica

A configuração de hardware consiste em um monitor LCD padrão e uma câmera de polarização RGB aumentada com uma Placa de Quarto de Onda (QWP).

• Iluminação: O LCD emite um padrão binário RGB linearmente polarizado. Devido à natureza de cristal líquido do display, ele atua como uma fonte de luz polarizada programável. O padrão codifica três direções de iluminação distintas simultaneamente através dos canais espectrais Vermelho, Verde e Azul (por exemplo, canal Vermelho iluminado da direita, Verde da esquerda, Azul do topo).
• Captura: A câmera captura uma única imagem RAW. O array de micro-polarizadores no sensor recupera os componentes de Stokes lineares ($S_0, S_1, S_2$). A QWP adicionada modula a luz incidente para permitir a recuperação do componente de polarização circular ($S_3$), que é crítico para distinguir refletância metálica de dielétrica.
• Decomposição: A única imagem RAW capturada é decomposta em nove medições espectro-polarimétricas por pixel:
  • Três canais espectrais ($R, G, B$).
  • Três estados de polarização por canal: Não polarizado (dominante difuso), Linearmente Polarizado (dominante especular) e Circularmente Polarizado (pista de metalicidade).
  • Isso resulta em uma representação $3 \times 3$ que codifica direções de iluminação espaciais e propriedades de material em um único tiro.

2. Rede de Renderização Inversa Feed-Forward

Uma arquitetura codificador-decodificador baseada em transformadores processa os nove mapas de medição para prever parâmetros PBR ($n, k, r, m$) em uma única passagem forward.

• Arquitetura: O codificador utiliza uma espinha dorsal Vision Transformer (ViT) (DINO v2) para converter mapas de entrada em tokens de patch. Emprega mecanismos de atenção auto-intercalada para agregar informações através de quatro dimensões:
  1. Espacial: Dentro de cada observação.
  2. Espectral: Através dos três canais de cor compartilhando o mesmo estado de polarização.
  3. Cruz-observação: Através de todas as nove medições.
  4. Polarimétrica: Através dos três estados de polarização compartilhando o mesmo canal espectral.
• Decodificador: Um módulo de atenção cruzada agrega características de todas as entradas em um descritor fundido, que é então passado para cabeças de previsão para outputar normais de superfície, albedo, rugosidade e metalicidade.

3. Expansão de pBRDF Orientada a Dados

Para abordar a escassez de Funções de Distribuição de Refletância Bidirecional Polarimétrica (pBRDFs) medidas para treinamento, os autores propõem um método de expansão generativa:

• Compressão PCA: pBRDFs medidas (de Baek et al. [2020]; Moon et al. [2025]) são decompostas em componentes de intensidade e polarimétricos usando Análise de Componentes Principais (PCA).
• Variedade Generativa: Um gerador de pesos (VAE condicional) é treinado para mapear parâmetros PBR Disney para o espaço de pesos PCA.
• Síntese: Novas pBRDFs fisicamente válidas são sintetizadas amostrando pesos da variedade aprendida condicionada a parâmetros PBR aleatórios, e então reconstruindo a matriz de Mueller via inversão PCA. Isso cria um conjunto de dados sintético em grande escala e diversificado para treinamento.

Contribuições Principais

1. Sistema de Imagem Display-Câmera: Uma configuração novel que combina multiplexação espectral (direções de iluminação RGB) e decodificação de polarização linear-circular em um único instantâneo, produzindo nove medições espectro-polarimétricas distintas.
2. Transformador Feed-Forward: Uma arquitetura de rede que mapeia diretamente essas nove medições para mapas PBR espacialmente variáveis (normais, albedo, rugosidade, metalicidade) sem otimização iterativa.
3. Método de Expansão de pBRDF: Uma abordagem orientada a dados que expande um conjunto limitado de pBRDFs medidas em um conjunto de dados diversificado e fisicamente válido amostrando em uma variedade generativa aprendida, permitindo treinamento robusto da rede de renderização inversa.

Resultados e Avaliação

O método foi avaliado em conjuntos de dados sintéticos e do mundo real usando uma configuração de desktop.

• Desempenho Quantitativo:
  • Dados Sintéticos: O método superou as linhas de base (DiffusionRenderer, RGB-X, LINO-PBR) em todas as métricas, alcançando um PSNR de 23,90 para albedo e um MAE de 11,45° para normais. Reduziu significativamente a ambiguidade na estimativa de metalicidade comparado a métodos que carecem de pistas de polarização circular.
  • Dados Reais: Em capturas reais, o método alcançou um PSNR invariante de escala de 20,15, superando linhas de base de tiro único e igualando o desempenho de uma variante LINO-PBR de múltiplos tiros (4 luzes), apesar de usar apenas um quadro de entrada único.
• Análise Qualitativa:
  • Desvencilhamento Difuso-Especular: A decomposição espectral e de polarização separou efetivamente componentes difusos e especulares, prevenindo o "forno" (baking) de iluminação em mapas de albedo visto em linhas de base de imagem única.
  • Desambiguação Metálica: A inclusão de pistas de Polarização Circular (CP) permitiu que a rede distinguisse corretamente superfícies metálicas de dielétricos, uma tarefa onde linhas de base sem entrada CP frequentemente falhavam, levando a reluzimento incorreto.
  • Reluzimento: Os mapas PBR recuperados permitiram reluzimento robusto sob condições diversas, incluindo luzes pontuais rotativas e mapas de ambiente complexos, preservando a identidade do material e o comportamento de realces.
  • Cenas Dinâmicas: A natureza de instantâneo do método permitiu renderização inversa quadro a quadro de sequências dinâmicas (por exemplo, um rosto em movimento) sem exigir alinhamento temporal.

Significado e Alegações

O artigo alega que integrar pistas espectrais e polarimétricas dentro de uma única captura de instantâneo fornece um sinal físico rico que complementa priores aprendidos, permitindo renderização inversa precisa em fluxos de trabalho leves de desktop.

• Escalabilidade: A abordagem oferece uma solução escalável para renderização inversa que não depende de configurações de captura controlada de múltiplos tiros ou estágios de luz complexos.
• Validade Física: Ao aproveitar as propriedades físicas da polarização (especificamente a distinção entre polarização linear e circular para classificação de material), o método alcança um desvencilhamento mais fisicamente válido de geometria e refletância do que métodos passivos de imagem única.
• Eficiência de Dados: O método proposto de expansão de pBRDF aborda o gargalo crítico de escassez de dados em renderização inversa polarimétrica, permitindo o treinamento de modelos de aprendizado profundo em conjuntos de dados de materiais diversos e fundamentados fisicamente.

Os autores reconhecem limitações, incluindo sensibilidade a comportamentos ópticos não ideais (crosstalk, ruído), dificuldades com materiais tendo respostas de polarização fracas (por exemplo, espelhos) e restrições impostas pela cobertura do conjunto de dados de pBRDF medido. No entanto, eles afirmam que seu método representa um passo significativo em direção à renderização inversa prática de tiro único para cenas dinâmicas e do mundo real.