Resumo Técnico: DiFaReli++: Reiluminação de Rosto com Difusão e Sombras Projetadas Consistentes

Declaração do Problema

A reiluminação de rostos em uma única vista no ambiente real é uma tarefa desafiadora que exige o ajuste do sombreamento facial a novas condições de iluminação, levando em conta fenômenos físicos complexos como iluminação global, espalhamento sub-superficial e oclusão própria (sombras projetadas). Os métodos existentes de última geração geralmente dependem de decomposição de imagem intrínseca, estimando forma 3D, albedo e parâmetros de iluminação para renderizar novamente a imagem. No entanto, essa abordagem é propensa a erros em cenários do mundo real, onde a estimativa precisa de geometria (especialmente para cabelo, orelhas e áreas ocluídas) é difícil. Além disso, esses métodos frequentemente têm dificuldade em remover ou adicionar realisticamente realces fortes e sombras projetadas, levando a artefatos residuais e resultados fisicamente implausíveis. Adicionalmente, muitas abordagens de alto desempenho exigem dados extensivos de treinamento, como imagens multivista, dados de light stage ou verdade de iluminação (ground truth), que não estão prontamente disponíveis para aplicações no ambiente real.

Metodologia

Os autores propõem o DiFaReli++, um framework que dispensa a necessidade de decomposição intrínseca precisa e pode ser treinado exclusivamente em imagens 2D sem varreduras 3D, pares reiluminados ou verdade de iluminação. O núcleo do método aproveita um Modelo Implícito de Difusão com Remoção de Ruído Condicional (DDIM).

1. Codificação de Características e Desemaranhamento

Em vez de decompor a imagem em componentes físicos, o método codifica a imagem de entrada em um vetor de características que desemaranha a iluminação de outros atributos. Este vetor inclui:

• Iluminação: Coeficientes Harmônicos Esféricos (SH) estimados via o estimador pronto DECA.
• Forma e Câmera: Parâmetros de forma de rosto 3D (modelo FLAME) e pose da câmera, também provenientes do DECA.
• Identidade: Embeddings de características profundas do ArcFace.
• Sombra e Fundo: Um escalar para intensidade da sombra (na versão base) ou um mapa de sombras (no DiFaReli++), e máscaras de segmentação ou imagens de fundo.

2. Técnica de Condicionamento Inovadora

Uma inovação chave é o mecanismo de condicionamento para o DDIM, que separa as entradas em condições "espaciais" e "não espaciais":

• Condicionamento Espacial: Os parâmetros de iluminação e forma alvo são usados para renderizar uma referência de sombreamento (uma malha de rosto em tons de cinza). Esta referência, juntamente com um mapa de sombras e máscaras de segmentação, é alimentada em uma Rede Moduladora. A Rede Moduladora calcula pesos de modulação espacial por camada que são multiplicados com as saídas do bloco residual do DDIM. Isso permite que a rede aprenda implicitamente interações complexas entre luz e geometria, preservando a estrutura espacial.
• Condicionamento Não Espacial: Identidade, forma e parâmetros de câmera são processados via Perceptrons Multicamada (MLPs) e injetados no DDIM usando Normalização de Grupo Adaptativa (AdaGN) para preservar a identidade e a consistência estrutural.

3. Sombras Projetadas Consistentes (Específicos do DiFaReli++)

Para abordar a limitação do controle de intensidade de sombra escalar, o DiFaReli++ introduz uma estratégia de condicionamento por mapa de sombras:

• Treinamento: Um mapa de sombras é inferido usando um modelo DiFaReli pré-treinado para gerar versões de "sombra forte" e "sombra fraca" de uma imagem de entrada. A diferença de pixels entre essas versões é limiarizada para criar uma máscara binária de sombra, que é então escalada pela intensidade de sombra estimada.
• Inferência: No momento do teste, um mapa de sombras traçado por raio (ray-traced) é gerado a partir da profundidade estimada e da iluminação alvo. Este mapa guia o DDIM para sintetizar novas sombras projetadas fisicamente plausíveis que se alinham com a direção da iluminação alvo, garantindo consistência temporal em cenários de iluminação dinâmica.

4. Área Reiluminável Expandida

O framework expande a região reiluminável além do rosto, substituindo o condicionamento por pixels brutos de fundo por máscaras de segmentação (por exemplo, roupas, chapéus, pescoço). Isso permite que a rede reilumine partes não faciais enquanto preserva sua integridade estrutural, em vez de tratá-las como fundo estático.

5. Destilação de Disparo Único

Para superar a velocidade de inferência lenta dos modelos de difusão (que exigem múltiplos passos de remoção de ruído), os autores propõem um framework de reiluminação de disparo único. Uma rede supervisionada com a mesma arquitetura do DiFaReli++ é treinada em dados sintéticos gerados pelo modelo professor (DiFaReli++) usando uma simples perda L2. Esta rede destilada realiza a reiluminação em uma única passagem, alcançando um aumento de velocidade de 1.000× e, surpreendentemente, superando o modelo professor em métricas visuais.

Contribuições Principais

1. Um Framework de Última Geração: Um sistema de reiluminação facial baseado em DDIM condicional que produz resultados fotorrealistas sem exigir decomposição intrínseca precisa ou verdade 3D/iluminação.
2. Técnica de Condicionamento Inovadora: Um método que converte uma referência de sombreamento renderizada em pesos de modulação espacial para o DDIM, modelando efetivamente interações complexas entre luz e geometria.
3. Sombras Projetadas Consistentes: Uma extensão (DiFaReli++) que utiliza mapas de sombras inferidos e traçados por raio para gerar sombras projetadas consistentes temporalmente e fisicamente plausíveis sob iluminação dinâmica.
4. Escopo Expandido: A capacidade de reiluminar partes não faciais (roupas, chapéus) usando máscaras de segmentação, superando a limitação de apenas rosto de trabalhos anteriores.
5. Eficiência de Disparo Único: Uma rede destilada de disparo único que alcança métricas de desempenho superiores e um aumento massivo de velocidade em comparação com o modelo professor baseado em difusão.

Resultados

O método foi avaliado no benchmark Multi-PIE e no conjunto de dados FFHQ, comparando-se com métodos recentes de última geração (por exemplo, Total Relighting, DiffusionRig, IC-Light, HoloRelighting).

• Desempenho Quantitativo: O DiFaReli++ alcançou as melhores pontuações em todas as métricas (DSSIM, MSE, LPIPS) no conjunto de dados Multi-PIE para cenários de iluminação alvo tanto de mesmo sujeito quanto de sujeitos cruzados.
• Estudos com Usuários: Em três estudos com usuários (qualidade de reiluminação em partes faciais/não faciais, luzes em movimento e mapas HDR rotacionados), o método proposto foi preferido sobre todas as linhas de base na maioria das comparações (por exemplo, taxa de preferência de 70-72%).
• Melhorias Qualitativas: O método remove efetivamente sombras duras existentes e sintetiza novas que se alinham com a iluminação alvo. Preserva detalhes de alta frequência (cabelo, textura da pele) e lida melhor com acessórios e roupas do que os concorrentes.
• Velocidade: O modelo destilado de disparo único roda em aproximadamente 0,07 segundos por imagem (dados pré-processados), superando significativamente as técnicas de aceleração de difusão (DPM-Solver, UniPC) que exigem múltiplos passos e levam mais de 1 segundo.

Significado e Alegações

O artigo afirma que o DiFaReli++ representa um avanço significativo ao mudar o paradigma da decomposição física explícita para a aprendizagem implícita via modelos de difusão. Ao aproveitar uma técnica de condicionamento inovadora e inferência de mapa de sombras, o método alcança reiluminação fotorrealista com sombras projetadas consistentes em uma única passagem de rede.

Os autores enfatizam que sua abordagem é robusta em cenários "no ambiente real" onde a estimativa de geometria é pouco confiável. Eles observam que o modelo destilado de disparo único não apenas acelera a inferência, mas também supera o desempenho do modelo professor baseado em difusão, sugerindo que o processo de destilação permite que a rede estudante aprenda a tarefa de reiluminação de forma mais direta e eficaz. O trabalho abre a possibilidade de estender a reiluminação para corpos humanos completos e objetos, onde a decomposição intrínseca é ainda mais desafiadora.

Os autores reconhecem limitações, como a potencial falta de precisão física perfeita nas sombras geradas e a dependência da qualidade do estimador de luz (DECA) para a iluminação alvo, que pode ter dificuldades com condições de iluminação extremas ou incomuns (por exemplo, tons fortes de laranja ou verde) não bem representados nos dados de treinamento. No entanto, eles afirmam que o framework é flexível e pode ser adaptado a novos modelos de iluminação ou estimadores.