LightMover: Generative Light Movement with Color and Intensity Controls

Resumo Técnico: LightMover

1. Problema e Motivação

A manipulação de iluminação em uma única imagem real é um desafio significativo na visão computacional. A iluminação interage globalmente com a geometria, materiais e oclusão de uma cena. Métodos existentes falham em fornecer controle preciso e causal sobre fontes de luz individuais:

• Abordagens de Renderização Inversa: São fisicamente fundamentadas, mas computacionalmente caras, mal-postas (ill-posed) a partir de uma única imagem e carecem de controles intuitivos para mover ou recolorir luzes interativamente.
• Editores Baseados em Difusão (Geração de Imagem): Modelos como LightLab podem manipular tons e iluminação ambiente, mas não modelam o movimento espacial da luz. Modelos focados em objetos (ObjectMover) movem objetos, mas tratam a iluminação implicitamente, falhando em propagar sombras, cores e decaimento (falloff) corretamente quando a fonte de luz se move.
• Editores Gerais (Texto/Máscara): Modelos como SDEdit ou InstructPix2Pix realizam edições semânticas, mas carecem de uma parametrização explícita centrada na luz, dificultando o controle físico preciso de fontes individuais.

O objetivo é permitir que um usuário mova uma fonte de luz (ex: uma lâmpada), altere sua cor e intensidade em uma única foto, observando as mudanças realistas nas sombras, reflexos e na atmosfera da cena, sem a necessidade de re-renderizar a cena em 3D.

2. Metodologia

O LightMover é um framework baseado em difusão de vídeo adaptado para a manipulação de iluminação em imagens estáticas. Ele formula a edição de luz como um problema de previsão sequência-para-sequência no espaço de tokens visuais.

Arquitetura e Formulação:

• Base: Utiliza um modelo de transformador de difusão de vídeo pré-treinado (semelhante ao Sora), repurposado para síntese de imagem única.
• Entrada como "Pseudo-Video": As condições de entrada são codificadas como uma sequência de quadros de vídeo:
  1. Imagem de Referência ($I_{ref}$): A imagem original.
  2. Quadro do Objeto ($I_{obj}$): O objeto (fonte de luz) recortado e redimensionado.
  3. Mapa de Movimento ($I_{move}$): Um sinal espacial indicando a posição de origem e destino da luz (codificado em canais RGB).
  4. Controle de Cor ($I_{color}$): Um quadro global especificando o tom ou temperatura de cor desejado.
  5. Controle de Intensidade ($I_{intensity}$): Um quadro codificando a variação de exposição em "stops" fotográficos (onde +1 stop dobra a intensidade).
• Codificação Posicional Multi-Sinal (MSPE): Para que o modelo interprete corretamente cada quadro, é introduzida uma codificação posicional que integra quatro subsistemas: espacial (W, H), temporal (T), tipo de condição (C) e papel do quadro (R). Isso permite distinguir entre condições espaciais (movimento) e atributos não espaciais (cor/intensidade).

Otimização de Eficiência: Poda Adaptativa de Tokens (Adaptive Token Pruning)
Adicionar controles aumenta o comprimento da sequência, o que é custoso. O LightMover introduz um mecanismo de poda adaptativa:

• Poda Espacialmente Consciente: Para mapas de movimento (que têm estrutura espacial), os tokens são mantidos em alta resolução apenas nas regiões de interesse (objetos pequenos) e downsampleados no fundo.
• Downsampling Aprendido para Sinais Não Espaciais: Para cor e intensidade (que não têm estrutura espacial 2D), o modelo aprende taxas de compressão ótimas para reduzir o número de tokens.
• Resultado: Redução de 41% no comprimento da sequência de controle sem perda de fidelidade na edição.

Geração de Dados:
Para treinar o modelo, os autores criaram um pipeline escalável:

• Dados Sintéticos: Renderização física em Blender com 25 ambientes e 100 ativos de luz. As cenas são renderizadas com decomposição física (base ambiente + contribuição direta da luz), permitindo variações paramétricas infinitas de cor e intensidade.
• Dados Reais: Captura de pares de imagens reais com a mesma cena, mas com a fonte de luz fisicamente movida, removida ou com cor alterada.

3. Contribuições Principais

1. Framework Unificado de Difusão: Primeira abordagem que trata o controle de luz (posição, cor, intensidade) como uma tarefa sequência-para-sequência, permitindo manipulação granular de iluminação em uma única imagem.
2. Mecanismo de Poda Adaptativa: Uma técnica inovadora que codifica atributos não espaciais de forma compacta enquanto preserva a precisão espacial, melhorando drasticamente a eficiência computacional.
3. Pipeline de Dados e Treinamento Multi-tarefa: Um pipeline de renderização física escalável combinado com uma estratégia de treinamento multi-tarefa (movimento, cor, intensidade, inserção, remoção) que reforça mutuamente a capacidade do modelo de entender a física da iluminação.

4. Resultados e Avaliação

O modelo foi avaliado quantitativa e qualitativamente em benchmarks reais e sintéticos (LightMove-A e LightMove-B).

• Métricas Quantitativas: O LightMover superou consistentemente os State-of-the-Art (SOTA), incluindo editores baseados em LLM (Qwen-Image, Gemini-2.5-Flash-Image) e modelos de movimento de objetos (ObjectMover).
  • PSNR: Alcançou 20.38 (vs. 19.49 do ObjectMover) na tarefa de movimento de luz.
  • DINO e CLIP: Obteve os melhores scores de consistência semântica e perceptual (81.27 e 91.85, respectivamente).
• Qualidade Visual:
  • Física Coerente: O modelo gera sombras, reflexos e decaimento de luz (falloff) que mudam corretamente conforme a luz se move.
  • Controle Composicional: Suporta a alteração simultânea de posição, cor e intensidade com alta fidelidade.
  • Inserção/Remoção: Demonstra capacidade de remover uma fonte de luz e seus efeitos (sombras) ou inserir uma nova luz com integração física realista.
• Ablação: Estudos mostraram que o treinamento conjunto de tarefas (cor + intensidade + movimento) e o uso de dados sintéticos com decomposição física são cruciais para o desempenho. A poda adaptativa mantém a precisão enquanto reduz a latência.

5. Significado e Impacto

O LightMover representa um avanço significativo ao preencher a lacuna entre modelos generativos 2D puros e a renderização física 3D custosa.

• Eficiência: Demonstra que é possível aproximar o transporte de luz global complexo com alta eficiência usando priores de difusão de vídeo, sem a necessidade de reconstrução explícita de geometria 3D ou materiais.
• Aplicabilidade: Abre novas direções para edição de imagem escalável e fisicamente consciente, permitindo que usuários comuns realizem ajustes de iluminação profissionais (mood, sombras, reflexos) em fotos estáticas com controle paramétrico preciso.
• Paradigma "2.5D": O trabalho valida o uso de modelos de vídeo para raciocínio de iluminação em imagens únicas, sugerindo que a "ilusão" de profundidade e física pode ser aprendida diretamente de dados, sem a complexidade da renderização tradicional.

Em resumo, o LightMover oferece um controle generativo sem precedentes sobre a iluminação, permitindo que a luz seja tratada como um objeto manipulável com propriedades físicas coerentes dentro de um framework puramente 2D.