Resumo Técnico: PIXLRelight

Definição do Problema

O reiluminação de imagem única visa modificar a iluminação de uma fotografia para corresponder a uma condição de iluminação alvo especificada pelo usuário. Embora motores de renderização baseados em física (PBR) (por exemplo, Blender, Unreal Engine) ofereçam controle preciso sobre o tipo, posição, cor e intensidade da luz, aplicar esse controle a fotografias "in-the-wild" (no mundo real) é fundamentalmente difícil devido ao desafio de recuperar geometria, materiais e transporte de luz a partir de uma única imagem.

As abordagens existentes sofrem de três limitações principais:

1. Controle Limitado: Métodos condicionados a mapas de ambiente HDR, texto ou imagens de referência lutam para expressar iluminação espacialmente localizada e multi-fonte, comum em cenas internas.
2. Acúmulo de Erros: Pipelines inverso-então-positivo que estimam G-buffers e os re-renderizam frequentemente falham em codificar pistas necessárias (por exemplo, transparência, espalhamento subsuperficial), fazendo com que os erros se compundam entre as etapas.
3. Custo Computacional: Abordagens que combinam PBR com renderização neural (por exemplo, Careaga e Aksoy [5]) frequentemente exigem otimizações de renderização diferenciável por imagem, custosas, para ajustar ambientes de iluminação 3D, limitando a diversidade dos dados de treinamento e a velocidade de inferência.

Metodologia

Os autores propõem o PIXLRelight, uma abordagem baseada em transformer feed-forward que une a controlabilidade do PBR e a síntese de imagem aprendida através de uma interface compartilhada de condicionamento intrínseco. A ideia central é desacoplar o que a iluminação alvo deve ser de como ela é aplicada a uma fotografia real.

1. Interface de Condicionamento Intrínseco

O método utiliza um modelo de formação de imagem intrínseco onde uma imagem $I$ é decomposta em:
$$I = A \odot S + R$$
Onde $A$ é o albedo difuso, $S$ é o sombreamento difuso e $R$ é o resíduo não difuso (realces especulares, transparência, etc.).

A condição de iluminação alvo é representada não por uma imagem RGB, mas pela concatenação canal a canal dos mapas intrínsecos alvo: $C_T = [A_T; S_T; R_T]$. Esta interface é consistente tanto no treinamento quanto na inferência:

• Treinamento: $C_T$ é extraído de fotografias reais, pareadas e multi-iluminação, usando um modelo de decomposição intrínseco congelado (Marigold-IID-Lighting [20]).
• Inferência: $C_T$ é gerado traçando caminhos (path-tracing) em uma reconstrução 3D grosseira da cena de entrada sob luzes PBR especificadas pelo usuário. Crucialmente, o modelo nunca vê a imagem RGB renderizada; ele vê apenas os buffers intrínsecos, que carregam pistas precisas para a iluminação desejada enquanto absorvem as imperfeições da reconstrução 3D subjacente.

2. Arquitetura

O PIXLRelight é um transformer feed-forward projetado para previsão densa:

• Codificadores Assimétricos: A imagem de origem ($I_S$), dominada por detalhes de alta frequência, é tokenizada por um Vision Transformer (ViT). A pilha intrínseca ($C_T$), dominada por estruturas suaves e de baixa frequência, é tokenizada por um ConvNeXt.
• Fusão: Os tokens de origem e condicionamento são fundidos por localização espacial através de uma pequena MLP antes de entrar em um tronco transformer compartilhado.
• Cabeça de Modulação: Em vez de regressar diretamente a imagem RGB alvo, a rede prevê uma modulação afim por pixel da imagem de origem. A saída é calculada como $\hat{I}_T = \text{clip}((1 + g) \odot I_S + b, 0, 1)$, onde $g$ (ganho) e $b$ (viés) são mapas aprendidos. A rede é inicializada para produzir a identidade ($g=0, b=0$), aprendendo apenas a transformação residual de iluminação. Isso preserva os detalhes fotorealistas da origem por construção.

3. Estratégia de Treinamento e Inferência

• Treinamento: O modelo é treinado de ponta a ponta em conjuntos de dados pareados multi-iluminação (MIIW, BigTime, VIDIT) usando perdas fotométricas e perceptuais. Nenhuma pipeline de renderização inverso-então-positivo ou otimização por imagem é necessária. Para simular artefatos do tempo de inferência, a pipeline de treinamento aplica ampliações de corrupção estocástica ao condicionamento intrínseco $C_T$.
• Inferência:
  1. Estimar profundidade métrica (Depth Anything 3) e materiais (Marigold-IID-Appearance) a partir da imagem de origem.
  2. Construir uma malha texturizada e importá-la para o Blender.
  3. Autorar a iluminação desejada usando luzes PBR arbitrárias.
  4. Renderizar a cena no Cycles para extrair os buffers intrínsecos alvo ($A_T, S_T, R_T$).
  5. Alimentar a imagem de origem e os buffers intrínsecos no PIXLRelight para gerar a imagem reiluminada em uma única passagem forward.

Contribuições Principais

1. Interface de Condicionamento Intrínseco: Um mecanismo de condicionamento unificado usando decomposição de aparência alvo (albedo, sombreamento, resíduo) que serve como ponte entre fotografias reais e renderizações PBR.
2. Estratégia de Treinamento Direto: Uma abordagem de treinamento de ponta a ponta em fotografias pareadas multi-iluminação que elimina a necessidade de pipelines de renderização inverso-então-positivo ou otimização por imagem.
3. Modelo PIXLRelight: Um transformer feed-forward que alcança qualidade de reiluminação state-of-the-art com tempo de inferência sub-0,1s, permitindo autoria de iluminação interativa.

Resultados

Desempenho Quantitativo

Avaliado na divisão de teste MIT Multi-Illumination Images in the Wild (MIIW), o PIXLRelight supera significativamente as bases existentes (DiffusionRenderer, UniRelight, RGBX, Ouroboros, V-RGBX):

• PSNR: 29,18 dB (vs. 19,38 dB para o próximo melhor, Ouroboros).
• SSIM: 0,893 (vs. 0,763).
• LPIPS: 0,195 (vs. 0,438).
• Velocidade: 0,09 segundos por imagem, o que é pelo menos uma ordem de magnitude mais rápido que todas as bases (a próxima mais rápida sendo 0,62s).

Desempenho Qualitativo

• Controlabilidade: Em experimentos usando iluminação traçada por caminhos e autorada pelo usuário (Blender), o PIXLRelight transfere com sucesso efeitos de iluminação complexos (por exemplo, sombras laterais, brilhos internos quentes, holofotes focados) enquanto preserva os detalhes fotográficos da imagem de origem.
• Robustez: Ao contrário das bases que se desviam da origem ou falham em representar fontes de campo próximo, o PIXLRelight mantém a fidelidade da identidade. É robusto a erros grosseiros de geometria e materiais inerentes à reconstrução 3D de imagem única, porque o RGB de origem e os intrínsecos alvo são processados através de ramos separados.

Significado e Alegações

O artigo afirma que o PIXLRelight traz com sucesso o controle de iluminação física da computação gráfica para fotografias "in-the-wild". Ao separar a especificação da iluminação alvo de sua aplicação, o método permite controle de iluminação arbitrário no estilo PBR sem a sobrecarga computacional da otimização por imagem. Os autores enfatizam que essa abordagem alcança qualidade state-of-the-art enquanto roda em menos de um décimo de segundo, tornando viável a autoria de iluminação interativa em fotografias reais. O método baseia-se na premissa de que a decomposição intrínseca fornece uma ponte suficiente entre domínios reais e sintéticos, permitindo que o modelo absorva artefatos de reconstrução enquanto transfere com precisão pistas de iluminação.