Resumo Técnico: CoIn - Inpainting 2D-3D Abrangente com Guia de Gaussian Splatting

1. Declaração do Problema

O inpainting de cenas 3D é crítico para reconstruir áreas corrompidas por oclusões, ruído de sensores ou visões limitadas. Embora métodos recentes utilizem Gaussian Splatting (3DGS) para edição 3D eficiente, as abordagens existentes enfrentam limitações significativas:

• Pipelines 3D-First: Métodos que reconstroem uma cena 3D antes do inpainting (ex: IMFine, 3DGIC) dependem fortemente de máscaras de segmentação multi-visão precisas. Máscaras inconsistentes entre visões levam ao desalinhamento geométrico, remoção excessiva de regiões não-alvo e segmentação 3D incorreta. Além disso, esses métodos são frequentemente restritos a tarefas de remoção de objetos e têm dificuldade com inserção de objetos.
• Pipelines 2D-First: Abordagens que realizam o inpainting 2D primeiro e depois impõem consistência 3D (ex: MVInpainter) frequentemente requerem ajuste fino em datasets específicos ou rótulos 3D precisos adicionais. O inpainting 2D puro sem guia resulta em severas inconsistências entre imagens multi-visão, causando geometrias imprecisas e desfoque na reconstrução 3D final.
• Limitações Gerais: As soluções atuais lutam para suportar máscaras de formatos arbitrários, lidar com tarefas diversas (tanto remoção quanto inserção) e manter estrita consistência multi-visão sem custos computacionais pesados ou otimização volumétrica complexa.

2. Metodologia

Os autores propõem o CoIn, um novo framework que une modelos de inpainting 2D e Gaussian Splatting 3D (3DGS) através de um pipeline de consistência de múltiplos estágios. Diferente das abordagens tradicionais 3D-first, o CoIn adota uma estratégia 2D-first aprimorada por um fluxo de informação bidirecional entre representações 2D e 3D.

Visão Geral do Pipeline

O método opera em quatro estágios:

1. Inpainting 2D Inicial: Um modelo Stable Diffusion (SD) pré-treinado gera imagens inpainted iniciais para todas as visões de entrada. Isso permite o uso de máscaras de formatos arbitrários e tarefas diversas como inserção de objetos, embora os resultados careçam de consistência entre visões.
2. Estágio Coarse (Reference Adaptive GS): Uma cena de Gaussian Splatting 3D é reconstruída a partir dos resultados 2D iniciais. Para estabilizar a cena e alinhá-la a uma visão de referência selecionada, os autores introduzem o Reference Adaptive GS com Feature Attention (Ref-GS).
   • Pesos Adaptativos: Pesos por visão são aplicados à perda de renderização, aumentando o peso da visão de referência e diminuindo o peso de visões inconsistentes.
   • Feature Attention: Âncoras de características dentro da região de inpainting são atualizadas via atenção unidirecional de âncoras vizinhas, melhorando a coerência de textura.
   • Regularização de Profundidade: Uma perda de profundidade é aplicada usando um estimador de profundidade monocular para garantir estabilidade geométrica.
3. Estágio de Guia (Consistency Loss Guidance): A cena 3D reconstruída guia o processo de inpainting 2D para impor consistência multi-visão.
   • GS-based Reference Feature Warping: Características da visão de referência e das visões atuais são projetadas em uma nuvem de pontos 3D e reprojetadas para um ponto de vista intermediário.
   • Função de Energia: Uma perda de consistência é formulada usando similaridade de cosseno para características de alta frequência (DINO) e similaridade L2 para características RGB. Esta função de energia é minimizada durante o processo de denoising da difusão (inspirado pelo FreeDoM), garantindo que as imagens geradas se alinhem com a geometria 3D.
4. Estágio Fine (Texture Enhancement): Um Texture-Enhancing Discriminator (TE-D) é empregado para refinar a cena 3D. Treinado adversariamente em pequenos patches de imagem, o TE-D transfere detalhes de textura de alta frequência do output de inpainting 2D inicial para as renderizações de GS, preservando a estrutura geométrica estabelecida no estágio anterior.

3. Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Framework CoIn: Um pipeline abrangente que integra perfeitamente síntese generativa 2D com reconstrução 3D explícita, suportando máscaras de formatos arbitrários e tarefas diversas (remoção e inserção).
2. Reference Adaptive GS (Ref-GS): Um novo módulo que atribui pesos adaptativos a cada visão para otimizar a cena 3DGS em direção a um ponto de vista de referência, utilizando atenção de características para manter a coerência estrutural.
3. Consistency Loss Guidance (CLG): Um mecanismo que utiliza o GS-based Reference Feature Warping para impor consistência 3D durante o processo de denoising da difusão, unindo a lacuna entre a geração 2D e a geometria 3D.
4. Texture Enhancing Discriminator (TE-D): Um componente adversarial que mitiga o desfoque em patches gerados ao aprender a distribuição de patches de imagens reais, melhorando significativamente o realismo fotométrico.

4. Resultados Experimentais

Os autores avaliaram o CoIn nos datasets SPIn-NeRF e IMFine, comparando-o com baselines de estado da arte, incluindo 3DGIC, GScream, MVIP-NeRF e IMFine.

• Desempenho Quantitativo: O CoIn alcançou desempenho de estado da arte na maioria das métricas (LPIPS, PSNR, FID) em ambos os datasets. Notavelmente, a diferença de desempenho entre o uso de máscaras de segmentação e máscaras de bounding-box foi mínima para o CoIn, demonstrando robustez a formatos de máscara.
• Inserção de Objetos: Em tarefas de inserção de objetos, o CoIn superou os baselines (Gaussian Editor, Infusion) em alinhamento semântico (CLIPdir) e estudos de preferência do usuário em relação à consistência multi-visão, qualidade visual e ausência de artefatos.
• Estudos de Ablação: Remover qualquer componente chave (Ref-GS, CLG ou TE-D) resultou em degradação significativa do desempenho. Especificamente, a ausência do TE-D levou a texturas excessivamente suaves, enquanto a falta do CLG causou resultados inconsistentes e artefatos.
• Análise Qualitativa: Os resultados visuais mostraram que o CoIn preservou com sucesso as regiões não-inpainted e gerou conteúdo de alta fidelidade com estrita consistência multi-visão, enquanto métodos 3D-first frequentemente falharam com máscaras inconsistentes, e outros métodos 2D-first exibiram instabilidade geométrica.

5. Significância e Alegações

O artigo afirma que o CoIn representa uma solução abrangente para os desafios do inpainting de cenas 3D ao utilizar efetivamente o fluxo de informação bidirecional entre os domínios 2D e 3D.

• Flexibilidade: Diferente de pipelines 3D-first que exigem segmentação precisa e são limitados à remoção, o CoIn suporta máscaras de formatos arbitrários e lida tanto com remoção quanto com inserção.
• Consistência: Ao integrar priors 3D no processo de geração 2D via Reference Feature Warping, o CoIn supera os problemas de inconsistência entre visões comuns em inpainting multi-visão 2D puro.
• Eficiência: O framework alcança resultados de alta qualidade com um processo de otimização eficiente (aprox. 2,5 horas por cena), evitando a computação pesada e os longos tempos de treinamento associados a métodos baseados em NeRF implícito.

Os autores concluem que o CoIn efetivamente une a flexibilidade semântica dos modelos generativos 2D com o rigor geométrico do Gaussian Splatting 3D, estabelecendo um novo padrão para tarefas de edição 3D.