Resumo Técnico: Transporte de Características Consistente para Reluzimento de Imagens

Definição do Problema

O reluzimento de imagens (image relighting) visa modificar as condições de iluminação de uma imagem (por exemplo, direção, intensidade, cor e interação luz-material) enquanto preserva estritamente o conteúdo não relacionado à iluminação, como identidade, geometria e aparência do material. O artigo identifica três limitações primárias nas abordagens baseadas em difusão existentes:

1. Métodos baseados em controle: Embora ofereçam controlabilidade via sinais (ex: mapas de ambiente), dependem fortemente da precisão e completude desses sinais, o que é difícil de especificar para iluminações complexas.
2. Métodos baseados em decomposição: Tentam isolar fatores de iluminação via decomposição intrínseca, mas frequentemente sofrem com imprecisões na decomposição, levando a erros como sombreamento inconsistente ou mudanças de cor.
3. Tradução Direta de Imagem para Imagem: Tratam o reluzimento como um problema de tradução de nível de instância. Embora preservem a estrutura, carecem de um mecanismo explícito para modelar o deslocamento de características específicas da iluminação, resultando frequentemente em precisão e controlabilidade limitadas.

Além disso, o campo é limitado pela falta de conjuntos de dados de reluzimento de retratos diversificados e em larga escala, particularmente aqueles que apresentam efeitos de iluminação complexos e do mundo real.

Metodologia: Transporte de Características Consistente (CFT)

Os autores reformulam o reluzimento de imagens como um problema de transporte de características de iluminação. Eles introduzem o Transporte de Características Consistente (CFT), um princípio de treinamento construído sobre o Fluxo Retificado (Rectified Flow) que impõe explicitamente o transporte de características de iluminação consistente entre as distribuições de imagens de origem e destino.

Estrutura Central

O método modela as relações entre o ruído ($z_0$), a imagem de origem ($x_{src}$) e a imagem de destino ($x_{tgt}$). O objetivo de treinamento consiste em três componentes:

1. Geração de Ruído para Destino ($\mathcal{L}_1$): O modelo aprende a transportar amostras de uma distribuição a priori para a distribuição da imagem reluzida de destino, condicionada à imagem de origem e a uma descrição de iluminação ($c_{tgt}$).
2. Reconstrução de Ruído para Origem ($\mathcal{L}_2$): O modelo aprende a transportar amostras da distribuição a priori para a distribuição da imagem de origem sob uma condição neutra ($c_{src}$). Isso fortalece a preservação de conteúdo.
3. Transporte de Origem para Destino com Consistência de Iluminação ($\mathcal{L}_3$): Esta é a contribuição inovadora. Em vez de supervisionar diretamente o transporte de $x_{src}$ para $x_{tgt}$ (o que corre o risco de aprender correlações específicas da instância), o modelo é supervisionado usando um par de imagens alternativo $(x'_{src}, x'_{tgt})$ que compartilha a mesma transformação de iluminação, mas difere em identidade e conteúdo de cena.
   • O modelo prevê um campo de velocidade direta ($v_t^{direct}$) entre os espaços latentes de origem e destino usando a lei do paralelogramo.
   • A perda $\mathcal{L}_3$ minimiza a diferença entre este campo de velocidade previsto e o transporte de verdade fundamental derivado do par alternativo.
   • Isso força o modelo a aprender uma transformação de características de iluminação generalizável, em vez de se ajustar a diferenças de conteúdo específicas.

O objetivo final é uma soma ponderada: $\mathcal{L} = \mathcal{L}_1 + \mathcal{L}_2 + \alpha \cdot \mathcal{L}_3$.

Construção do Conjunto de Dados

Para suportar cenários de iluminação complexos, os autores construíram um Conjunto de Dados de Reluzimento de Retratos em larga escala contendo 34.695 pares de imagens (34.249 para treinamento, 446 para teste).

• Origem: Coletado de conjuntos de dados de retratos de código aberto existentes.
• Geração: As imagens candidatas reluzidas foram geradas usando modelos pré-treinados (Nano Banana, Seedream, RoboNeo) guiados por diversos prompts de texto cobrindo iluminação natural e artificial (ex: efeito Rembrandt, efeito Tyndall, luzes de neon).
• Filtragem: Um conjunto (ensemble) de três modelos (QwenVL, EditScore, GPT-4o) e seleção manual foram usados para filtrar a qualidade da iluminação, consistência de conteúdo e plausibilidade física.

Principais Resultados

O método foi avaliado contra baselines de controle, decomposição e tradução direta (incluindo IC-light, LBM, FlowEdit e Intrinsic Edit) usando métricas como SSIM, PSNR, LPIPS, FID e Irradiância Estimada (EI).

• Desempenho Quantitativo: O CFT superou consistentemente os métodos de estado da arte. Por exemplo, quando aplicado ao backbone Flux-Kontext, o CFT alcançou um SSIM de 0.9202 e um PSNR de 23.5105, superando significativamente o modelo pré-treinado original (SSIM 0.6386) e outros baselines.
• Melhorias Qualitativas: Os resultados visuais demonstraram uma iluminação mais coerente fisicamente, melhor preservação de identidade e geometria, e menos artefatos (ex: mudanças de cor) em comparação com métodos baseados em decomposição.
• Transferência de Aprendizado: Um modelo treinado com CFT no conjunto de dados construído generalizou bem para o "Conjunto de Dados de Multi-Iluminação" não visto, superando modelos treinados sem CFT, indicando que as características de iluminação aprendidas são robustas.
• Estudo com Usuários: Em um estudo com 30 voluntários, os métodos baseados em CFT receberam as pontuações mais altas em Qualidade de Iluminação, Consistência de Conteúdo, Plausibilidade Física e Estética da Imagem.
• Generalização: Os autores aplicaram o CFT a uma tarefa de Transferência de Estilo. Os resultados mostraram que o CFT melhorou a preservação estrutural e a fidelidade perceptual (maior SSIM/PSNR, menor LPIPS), embora tenha reduzido ligeiramente a diversidade da distribuição global (maior FID) devido à natureza determinística do transporte consistente.

Significância e Alegações

O artigo afirma que a principal significância deste trabalho reside em:

1. Reformular o Reluzimento: Mudar o paradigma de tradução de imagem genérica ou geração condicional para o transporte explícito de características de iluminação. Isso permite que o modelo isole variações de iluminação do conteúdo.
2. Princípio de Treinamento: A introdução do princípio de transporte de características consistente (usando pares alternativos com iluminação compartilhada para supervisão) desacopla efetivamente o aprendizado de iluminação do conteúdo específico da instância, levando a um reluzimento mais estável e consistente.
3. Recurso de Dados: A construção de um conjunto de dados de reluzimento de retratos diversificado e em larga escala aborda uma lacuna crítica nos recursos disponíveis para treinar modelos em efeitos de iluminação complexos.
4. Estratégia Unificada: A demonstração de que o CFT se generaliza para a transferência de estilo sugere que ele é uma estratégia unificada para tarefas de edição de imagem que exigem a modificação de atributos específicos enquanto preservam a estrutura subjacente.

Os autores concluem que o CFT fornece um framework robusto para alcançar uma preservação de conteúdo fiel, permitindo simultaneamente modificações de iluminação direcionadas, realistas e controláveis.