Resumo Técnico: LightCrafter

Declaração do Problema

O reluzimento de vídeo (video relighting) requer a edição da aparência da cena enquanto se preserva o conteúdo, a geometria, os materiais e o movimento, tudo isso mantendo a coerência temporal e a consistência física. As abordagens existentes geralmente se enquadram em dois paradigmas, ambos os quais enfrentam limitações significativas:

1. Renderização Inversa + Renderização Direta (Forward Rendering): Estes métodos reconstroem explicitamente as propriedades intrínsecas da cena (geometria, materiais, iluminação) e as renderizam novamente sob uma nova iluminação. Embora ofereçam controle preciso e consistência temporal, sofrem com reconstruções ruidosas devido à natureza mal posta da renderização inversa monocular. Erros na estimativa de geometria ou material propagam-se diretamente para o resultado, e eles têm dificuldade em modelar efeitos complexos como iluminação global.
2. Tradução Generativa de Vídeo para Vídeo (Video-to-Video Translation): Estes métodos formulam o reluzimento como uma tarefa generativa condicionada à iluminação alvo (ex: mapas de ambiente ou texto). Embora aproveitem fortes priors de difusão para o fotorealismo, frequentemente carecem de controle preciso sobre sombras e sombreamento, lutam com a consistência temporal de longo prazo devido a janelas de contexto limitadas e são prejudicados pela escassez de dados de treinamento pareados do mundo real.

Metodologia

Os autores propõem o LightCrafter, um pipeline híbrido que reformula o reluzimento de vídeo como uma tarefa de refinamento de vídeo condicionada a PBR. Em vez de traduzir diretamente um vídeo de entrada para um alvo reluzido, o método traduz um vídeo de proxy PBR (renderizado sob a iluminação alvo) para um resultado fotorealista.

O pipeline opera em três estágios principais:

1. Renderização Inversa (Recuperação de Cena)

Dado um vídeo de entrada monocular, o sistema recupera as intrínsecas da cena usando métodos prontos (off-the-shelf):

• Geometria e Câmera: Mapas de profundidade e parâmetros de câmera são extraídos (ex: via MegaSAM) para construir malhas alinhadas por pixel em coordenadas de mundo.
• Materiais: Mapas de albedo, normais e parâmetros de BRDF (rugosidade, metalicidade) são extraídos (ex: via DiffusionRenderer).
• Iluminação de Origem: Um mapa de ambiente é estimado e refinado via renderização diferenciável para corresponder ao vídeo de entrada.
  Isso resulta em um estado de cena recuperado $S$ e uma estimativa de iluminação de origem.

2. Renderização Direta (Geração de Proxy PBR)

Usando as intrínsecas recuperadas $S$ e uma iluminação alvo especificada pelo usuário $L_{target}$, um renderizador baseado em física gera um vídeo proxy $P$.

• O renderizador resolve a equação de renderização usando um lóbulo difuso Lambertiano e um lóbulo especular isotrópico (modelo de microfacet Cook-Torrance).
• Como a renderização é determinística e fundamentada na geometria recuperada, o proxy resultante é alinhado por frame e temporalmente consistente por construção.
• Crucialmente, o proxy captura a maioria das mudanças de iluminação estruturada (sombras, sombreamento, brilhos), mas retém artefatos provenientes da renderização inversa imperfeita (ex: cintilação, sombras serrilhadas, buracos de oclusão).

3. Refinamento de Difusão Condicionado a PBR

Um modelo de difusão de vídeo (inicializado a partir do CogVideoX-5B) é ajustado (fine-tuned) para refinar o proxy PBR ruidoso $P$ em um vídeo reluzido fotorealista.

• Objetivo de Treinamento: O modelo aprende a prever o ruído adicionado ao vídeo reluzido de verdade (ground-truth), condicionado à representação latente do proxy PBR.
• Correspondência de Artefatos: Para lidar com o descompasso entre treino e teste, os dados de treinamento são curados de modo que os proxies PBR contenham os mesmos tipos de artefatos (ruído, erros de geometria) que o modelo encontrará na inferência.
• Consistência de Longo Prazo: Para lidar com vídeos mais longos que a janela de treinamento do modelo, os autores utilizam tiling temporal com fusão de sobreposição (overlap-fused temporal tiling). O vídeo é dividido em janelas sobrepostas, denoisado e fundido no espaço de predição de ruído usando pesos de tent temporais. Isso garante uma trajetória de denoising única e coerente, evitando o desvio (drift) de iluminação entre as fronteiras dos blocos (chunks).

Estratégia de Curadoria de Dados

Os autores introduzem um novo pipeline de curadoria de dados para diminuir a lacuna entre dados sintéticos e do mundo real:

• Pares Sintéticos: Vídeos de verdade são renderizados, depois submetidos à renderização inversa e re-renderizados para criar pares de (PBR Ruidoso, Verdade Absoluta). Isso ensina o modelo a corrigir artefatos de reconstrução.
• Pseudo-Pares do Mundo Real: Vídeos reais são submetidos à renderização inversa e re-renderizados sob sua própria iluminação estimada. O par (Entrada Re-renderizada, Entrada Original) ensina o modelo a corrigir artefatos em aparências do mundo real sem exigir vídeos reluzidos de verdade.

Principais Contribuições

1. Pipeline Híbrido: Uma reformulação do reluzimento de vídeo como uma tarefa de refinamento onde um proxy PBR fornece controle de iluminação explícito e consistência temporal, enquanto um modelo de difusão lida com o fotorealismo e a correção de artefatos.
2. Superioridade do Proxy PBR: Os autores demonstram que a renderização PBR sozinha frequentemente supera métodos de ponta (state-of-the-art) de ponta a ponta em termos de controle de iluminação e consistência, validando a qualidade dos modernos renderizadores inversos.
3. Treinamento com Correspondência de Artefatos: Uma estratégia de curadoria de dados que expõe o modelo de difusão a artefatos de renderização realistas durante o treinamento, melhorando significativamente a generalização para condições de inferência.
4. Consistência de Longo Prazo: Um mecanismo de tiling temporal e fusão que permite o reluzimento consistente de vídeos arbitrariamente longos sem o desvio comum no processamento por blocos.
5. Edição de Downstream: O framework suporta naturalmente tarefas de edição de cena (mudanças de material, inserção de objetos, inserção de luz) simplesmente re-renderizando o proxy PBR com entradas modificadas, sem exigir o retreinamento do modelo de difusão.

Resultados Experimentais

O método foi avaliado em benchmarks sintéticos e do mundo real (MIT Multi-Illumination, DL3DV).

• Desempenho Quantitativo: O LightCrafter atinge o estado da arte em desempenho em PSNR, SSIM e LPIPS comparado a baselines como LightX, UniRelight e DiffusionRenderer. Ele supera significativamente os baselines em métricas de consistência temporal (T-CLIP, Warp-SSim).
• Resultados Qualitativos: O método produz sombras, brilhos e aparência global estáveis ao longo de sequências longas, enquanto os baselines exibem degradação visível, sombras inconsistentes e desvio de cor.
• Estudos de Ablação: Experimentos mostram que o treinamento com dados sintéticos e do mundo real é crítico. Remover dados do mundo real leva a estruturas alucinadas, enquanto remover dados sintéticos resulta em baixa precisão de reluzimento. A curadoria com correspondência de artefatos é essencial para corrigir artefatos do mundo real (in-the-wild).

Significância

O artigo afirma que o LightCrafter alcança um novo equilíbrio entre controlabilidade e fotorealismo no reluzimento de vídeo. Ao aproveitar o embasamento físico explícito da renderização PBR para estrutura e consistência, e o poder generativo dos modelos de difusão para refinamento, o método supera as limitações de renderização inversa pura (ruído/artefatos) e abordagens puramente generativas (falta de controle/desvio temporal). Os autores afirmam que esta abordagem permite o reluzimento consistente de longo prazo e se estende naturalmente para tarefas mais amplas de edição de cena, disponibilizando seu conjunto de dados, benchmarks e código para a comunidade.