Resumo Técnico: VENI: Codificador Variacional para Iluminação Natural

Declaração do Problema

A renderização inversa é um problema mal posto, pois uma única imagem pode ser gerada por múltiplas combinações de forma, material e iluminação. Embora os humanos utilizem fortes priors aprendidos sobre espaços de iluminação para resolver isso, as abordagens computacionais existentes frequentemente falham em modelar adequadamente a iluminação natural. Os métodos atuais de estado da arte enfrentam duas limitações primárias:

1. Falta de Equivariância de Rotação: Muitos modelos desconsideram a natureza esférica e de rotação-equivariante dos ambientes de iluminação. Embora alguns trabalhos recentes (por exemplo, RENI++) tentem abordar isso, eles frequentemente dependem de projeções 2D (mapas equirretangulares ou cube maps) que introduzem distorção, ou falham em manter a equivariância no codificador.
2. Propriedades de Espaço Latente Deficientes: Os priors de rotação-equivariantes existentes, como o RENI++, utilizam uma arquitetura de "autodecoder". Nesta configuração, os códigos latentes são inicializados aleatoriamente para cada imagem e otimizados conjuntamente com o modelo. Isso leva a um espaço latente não único, onde imagens semelhantes podem ser representadas por códigos latentes vastamente diferentes. Além disso, essa abordagem não escala para grandes conjuntos de dados porque um novo código latente deve ser otimizado para cada imagem individual.

Metodologia

Os autores propõem o VENI (Variational Encoder for Natural Illumination), um autoencoder variacional (VAE) de rotação-equivariante projetado para modelar a iluminação natural na esfera sem depender de projeções 2D. A arquitetura consiste em três componentes principais:

1. Camada Totalmente Conectada SO(2)-Equivariante

Para lidar com as simetrias específicas da iluminação externa natural, os autores estendem o framework de Vector Neurons. Enquanto os Vector Neurons padrão fornecem SO(3)-equivariância, os ambientes de iluminação natural possuem uma direção "para cima" canônica, tornando apenas as rotações em torno do eixo vertical (SO(2)) fisicamente significativas. Os autores projetam uma nova camada totalmente conectada SO(2)-equivariante que:

• Separa a entrada em componentes equivariantes (dimensões x, y) e componentes invariantes (dimensão z e cor).
• Combina operações invariantes e equivariantes dentro de um único neurônio.
• Garante que as dimensões invariantes (cor, eixo vertical) permanam invariantes a rotações no plano xy, enquanto ainda influenciam as dimensões equivariantes.
• Esta camada demonstra ser superior aos Vector Neurons padrão quando aplicada dentro de um modelo SO(2)-equivariante.

2. Codificador de Transformer de Visão com Vector Neuron (VN-ViT)

O núcleo do codificador é um Vision Transformer adaptado para dados esféricos e rotação-equivariância:

• Representação de Entrada: Em vez de projeções 2D, o modelo opera diretamente no domínio 3D. Os patches são amostrados como faixas verticais na esfera. Para manter a equivariância sem o uso de codificação posicional (que a quebraria), valores de cor são concatenados com os vetores de direção 3D dos pixels amostrados.
• Arquitetura: Todos os componentes padrão do ViT são substituídos por seus equivalentes de Vector Neuron. Um "token de classe" aprendível é preposto às embeddings dos patches; este token é aprendível apenas nas dimensões invariantes para preservar a equivariância.
• Saída: A saída do transformer é projetada via duas camadas totalmente conectadas SO(2)-equivariantes para produzir a média ($\mu$) e a variância ($\sigma$) para o código latente.

3. Amostragem e Decoder de Rotação-Equivariante

• Amostragem: Para garantir que o espaço latente seja de rotação-equivariante, os autores amostram de uma distribuição normal esférica isotrópica 3D definida por um vetor de média 3D e uma variância 1D, em vez de amostrar três distribuições 1D independentes.
• Decoder: O modelo adota o decoder do RENI++, um campo neural condicional de rotação-equivariante. Ele recebe um vetor de direção e o vetor latente 3D como entrada para gerar a cor. O condicionamento é alcançado codificando a direção relativa ao código latente e utilizando camadas invariantes de Vector Neuron.

Estratégia de Treinamento

O modelo é treinado em uma combinação de conjuntos de dados para lidar com a ampla faixa dinâmica da luz natural:

• Dataset RENI++: 1.694 imagens HDR equirretangulares de alta qualidade (cenas externas).
• Dataset StreetLearn: 43.310 imagens LDR 360° do Google Street View, convertidas para HDR.
• Aprendizado por Currículo (Curriculum Learning): O modelo é primeiro pré-treinado no grande conjunto de dados StreetLearn e depois ajustado (fine-tuned) no menor e mais qualificado conjunto de dados RENI++.
• Funções de Perda: O treinamento utiliza uma perda em escala logarítmica para corresponder à percepção visual humana, um erro de gradiente absoluto médio (MAGE) para capturar detalhes de alta frequência, uma perda invariante de escala, uma perda de similaridade de cosseno para precisão de cor e um termo de divergência de Kullback-Leibler (KLD) ajustado para distribuições isotrópicas 3D.

Contribuições Principais

1. Nova Arquitetura de Codificador: Um transformer de visão panorâmica de rotação-equivariante (VN-ViT) possibilitado por uma nova extensão SO(2)-equivariante para Vector Neurons, permitindo o processamento direto de sinais esféricos sem a distorção da projeção 2D.
2. Espaço Latente Bem Comportado: Um prior de iluminação natural de rotação-equivariante que produz um espaço latente único, superando os problemas de não-unicidade de abordagens baseadas em autodecoder como o RENI++.
3. Escalabilidade: Ao codificar imagens via um forward pass em vez de otimizar códigos latentes por imagem, o método escala para grandes conjuntos de dados.
4. Avaliação Abrangente: Avaliação extensa usando métricas intuitivas de unicidade do espaço latente e consistência de reconstrução.

Resultados

O artigo avalia o VENI contra o RENI++ através de várias dimensões latentes ($D=27, 147, 300$):

• Qualidade de Reconstrução: O VENI supera o RENI++, particularmente em configurações de baixa dimensão ($D=27$), alcançando maior PSNR, SSIM e menores scores de LPIPS tanto em espaços de tom mapeados LDR quanto em espaços lineares HDR.
• Unicidade do Espaço Latente: Os autores demonstram que o espaço latente do VENI é significativamente mais único. Quando dois códigos latentes são otimizados para a mesma imagem, a interpolação entre eles produz resultados consistentes para o VENI, enquanto o RENI++ mostra divergência significativa (MSE de 0.04 vs 1.46 para $D=27$).
• Interpolação: Resultados qualitativos mostram que o VENI permite interpolações suaves e semanticamente significativas (por exemplo, transição de amanhecer para meio-dia) sem introduzir artefatos como fontes de luz espúrias ou ruído, que são observados nas interpolações do RENI++.
• Escalabilidade: Experimentos mostram que o VENI mantém o desempenho ao ser treinado no grande conjunto de dados StreetLearn, enquanto o RENI++ (que requer otimização por imagem) não consegue escalar para tais conjuntos de dados de forma eficaz.

Significância

O artigo afirma que o VENI aborda limitações críticas nos atuais priors de iluminação natural ao combinar rotação-equivariância com um espaço latente bem estruturado e único. Ao se afastar do paradigma de autodecoder para um codificador variacional, o modelo garante que imagens semelhantes mapeiem para códigos latentes semelhantes, facilitando a interpolação suave e permitindo o uso de conjuntos de dados de larga escala. Isso resulta em um prior mais robusto para tarefas de renderização inversa, capaz de lidar com as complexas regularidades estatísticas da iluminação externa natural enquanto respeita as restrições físicas da geometria esférica.