Lighting-Consistent Object Transfer Across Radiance Fields

Resumo Técnico: Transferência de Objetos com Consistência de Iluminação entre Campos de Radiância (DOT3D)

Declaração do Problema
O 3D Gaussian Splatting (3DGS) permite a captura eficiente e a renderização em tempo real de cenas reais. No entanto, editar essas representações é desafiador porque os materiais e a iluminação estão emaranhados no momento da captura. Embora a composição de objetos de uma cena capturada em outra tenha aplicações em VFX, arquitetura e marketing, a transferência ingênua (copiar primitivas Gaussianas) resulta em saídas irreais. O principal modo de falha é a inconsistência de iluminação: o objeto transferido carece de sombras, reflexos e brilhos apropriados para o ambiente de destino, fazendo com que pareça colado em vez de integrado. As soluções existentes ou exigem modelagem 3D e estimativa de iluminação custosas, ou são limitadas à harmonização de imagens 2D, falhando em produzir resultados 3D consistentes entre múltiplas vistas.

Metodologia: DOT3D
Os autores propõem o DOT3D (Diffusion Object Transfer in 3D), um pipeline que extrai um objeto de uma cena 3DGS de origem, coloca-o em uma cena 3DGS de destino e harmoniza a iluminação para corresponder ao novo ambiente. O processo consiste em três etapas principais:

1. Composição Interativa de Objetos:

   • Segmentação: A cena de origem é reconstruída em 3DGS. Para extrair um objeto, o método atribui uma característica de classificação binária ($d=1$) a cada primitiva Gaussiana. Essas características são otimizadas usando uma perda de entropia cruzada binária contra máscaras 2D (geradas pelo BiRefNet) para segmentar o objeto em 3D.
   • Transferência: Usuários inserem interativamente o objeto segmentado em uma cena 3DGS de destino, ajustando posição, orientação e escala. Isso cria um "composto ingênuo" inicial, onde o objeto retém sua iluminação original, resultando em inconsistências visuais.

2. Harmonização de Vista Única (Modelo de Difusão):

   • O núcleo do método é um modelo de difusão ajustado (baseado no FLUX.1-schnell) que transforma as imagens compostas inconsistentes em vistas harmonizadas.
   • Entrada: O modelo recebe uma renderização do composto ingênuo, a máscara binária do objeto e a própria imagem composta.
   • Dados de Treinamento: Para treinar o modelo, os autores construíram um conjunto de dados heterogêneo composto por três fontes:
     • Dados Sintéticos: Cenas internas renderizadas no Blender com iluminação global de verdade absoluta (ground-truth), onde objetos são renderizados sob iluminação incompatível e colados em fundos.
     • Dados Gerados: Imagens criadas pelo FLUX, processadas com uma rede de remoção de objetos personalizada (treinada em dados sintéticos) para gerar fundos, e reluzidas via DiffusionRenderer para criar compostos inconsistentes.
     • Dados Reais: Imagens subamostradas do dataset ORIDa, aumentadas com reluzimento via DiffusionRenderer.
   • Processo: O modelo opera no espaço latente de um autoencoder variacional, regredindo a velocidade para transformar um latente ruidoso em uma imagem harmonizada que inclui sombras, reflexos e integração de iluminação corretos.

3. Consolidação Multi-Vista (Pós-Otimização 3DGS):

   • Como o modelo de difusão processa as vistas de forma independente, as imagens harmonizadas resultantes podem carecer de consistência 3D.
   • Os autores propõem uma etapa de pós-otimização para consolidar essas vistas de volta em uma única representação 3DGS.
   • Otimização: Partindo do 3DGS composto ingênuo, o método otimiza apenas as cores (todas as bandas de harmônicos esféricos) das primitivas Gaussianas usando uma perda perceptual (LPIPS).
   • Restrições: Efeitos dependentes de vista da cena de origem são resetados (bandas SH mais altas definidas como zero) para evitar artefatos de pontos de vista não vistos. A geometria e a opacidade permanecem fixas. Esta etapa garante que a cena final seja consistente entre múltiplas vistas enquanto preserva a harmonização de alta fidelidade gerada pelo modelo de difusão.

Principais Contribuições

• Um Modelo de Difusão Especializado: Um modelo ajustado para harmonização de iluminação 2D de inserção de objetos, treinado em um conjunto de dados heterogêneo combinando dados sintéticos, gerados e reais.
• Pós-Otimização 3DGS: Uma estratégia de consolidação que transforma vistas 2D harmonizadas independentemente em uma cena 3DGS consistente, otimizando as cores das Gaussianas com uma perda perceptual, evitando a necessidade de atualizações iterativas do dataset.
• Pipeline Interativo: Um fluxo de trabalho completo que permite aos usuários extrair, posicionar e harmonizar objetos entre cenas 3DGS com iluminação, sombras e reflexos consistentes.

Resultados e Avaliação
O método foi avaliado em uma variedade de datasets do mundo real (Mip-NeRF-360, DL3DV, Ref-NeRF, etc.) e cenas sintéticas de alta qualidade com ground truth.

• Desempenho Qualitativo: Comparado a métodos 2D (LBM, MV-CoLight, Nano Banana) e abordagens de renderização inversa 3D (Gaussian Shader, GS-IR, 3DGS-DR), o DOT3D produz resultados significativamente mais realistas. Métodos anteriores frequentemente falham em gerar sombras de contato, sofrem de sangramento de cor ou produzem superfícies excessivamente saturadas. O DOT3D consegue integrar objetos com sombras e reflexos plausíveis.
• Desempenho Quantitativo: Em cenas sintéticas com ground truth, o DOT3D supera as linhas de base de renderização inversa em todas as métricas (PSNR, SSIM, LPIPS, FID, KID). Por exemplo, alcança um PSNR de 22,53 comparado a 18,66 do segundo melhor método (Gaussian Shader).
• Consistência: Estudos de ablação sobre a consistência de iluminação através de diferentes poses do objeto demonstram que o método mantém a iluminação consistente em novas vistas.
• Ablações: O estudo confirma que o dataset sintético do Blender é o componente mais crítico para o treinamento do modelo de difusão. Além disso, mostra-se que a abordagem de pós-otimização de etapa única é mais eficaz e eficiente do que estratégias de atualização de dataset iterativas.

Significância e Alegações
O artigo afirma que o DOT3D fornece uma solução "visualmente atraente" que torna a transferência de objetos entre cenas 3DGS fácil de usar e melhora significamente a qualidade em relação aos métodos anteriores. Ao alavancar os priors de modelos de difusão para harmonização 2D e uma pós-otimização leve para consistência 3D, o método aborda o difícil problema inverso de harmonização de iluminação sem exigir reconstrução geométrica explícita ou estimativa de iluminação complexa. Os autores observam que, embora o método produza resultados "plausíveis" em vez de precisão física absoluta, ele permite o reuso realista de ativos em diferentes ambientes capturados. O trabalho é apresentado como um passo à frente para tornar as representações 3DGS editáveis para aplicações do mundo real, como VFX e design de interiores.