Training-Free Instance-Aware 3D Scene Reconstruction and Diffusion-Based View Synthesis from Sparse Images

Resumo Técnico: Reconstrução 3D Livre de Treinamento e Síntese de Visão com Difusão

1. Problema e Motivação

A reconstrução fiel de cenas 3D a partir de imagens 2D é fundamental para áreas como realidade virtual (VR), realidade aumentada (AR) e desenvolvimento de jogos. No entanto, as abordagens atuais enfrentam desafios significativos:

• Dependência de Dados Densos: Métodos baseados em campos de radiação (como NeRF e 3DGS) exigem grandes conjuntos de imagens densas e poses de câmera precisas para funcionar bem.
• Custo Computacional: Eles geralmente requerem otimização específica para cada cena (per-scene optimization), o que é lento e inviável para aplicações em tempo real ou com dados escassos.
• Falta de Semântica e Edição: A maioria das técnicas não suporta manipulação estruturada no nível de instâncias de objetos (ex: remover um móvel específico) sem retreinamento.
• Cenário de Entrada Esparsa: Em cenários de captura casual (poucas imagens, sem poses conhecidas), os métodos existentes falham em manter a fidelidade da reconstrução ou suportar edição interativa.

O objetivo deste trabalho é preencher essa lacuna propondo um sistema livre de treinamento (training-free), capaz de reconstruir, entender semanticamente e renderizar cenas 3D internas a partir de um conjunto esparsa de imagens RGB sem poses, permitindo também edição de nível de objeto.

2. Metodologia

O sistema propõe um pipeline unificado composto por três módulos principais interconectados:

A. Reconstrução 3D Robusta (Geometria)

• Base: Utiliza o modelo MV-DUSt3R (uma arquitetura feed-forward baseada em transformadores) para prever mapas de profundidade e parâmetros de câmera a partir de imagens não calibradas, gerando uma nuvem de pontos inicial densa.
• Filtragem de Anomalias: Como a reconstrução inicial pode conter ruído ou geometria inconsistente devido a oclusões, o método introduz uma estratégia de remoção de anomalias baseada em warping.
  • Projeta pontos de uma visão para outra usando as transformações estimadas.
  • Verifica a consistência de profundidade: se um ponto projetado estiver "na frente" da superfície estimada na outra visão (violando a consistência geométrica), ele é marcado como outlier e removido.
  • O resultado é uma nuvem de pontos limpa e densa, pronta para processamento semântico.

B. Percepção de Instâncias 2D para 3D (Semântica)

• Segmentação 2D: Utiliza um modelo fundamental de segmentação (ex: SAM - Segment Anything Model) para gerar máscaras de instâncias em cada imagem de entrada.
• Unificação por Warping: Em vez de depender de modelos de rastreamento temporal (que falham em ambientes esparsos), o método propõe uma estratégia de unificação baseada em warping.
  • As máscaras 2D são projetadas para o espaço 3D e, subsequentemente, projetadas em outras visões.
  • Compara-se a sobreposição das máscaras projetadas (usando mIoU - Intersecção sobre União de Máscaras) entre diferentes visões.
  • Instâncias que se sobrepõem consistentemente são fundidas, criando uma representação 3D unificada e consistente de cada objeto, permitindo a manipulação de nível de instância.

C. Pipeline de Renderização Guiado por Difusão

• Projeção Inicial: A nuvem de pontos (limpa e segmentada) é projetada diretamente na visão de destino, gerando uma imagem RGB esparsa com lacunas (buracos) devido à cobertura limitada.
• Refinamento com Difusão: Para preencher essas lacunas e refinar texturas, utiliza-se o modelo de difusão See3D (um modelo 3D-consciente treinado em vídeos da internet).
  • O modelo usa as imagens projetadas esparsas e as imagens de referência originais como condições.
  • Realiza inpainting (preenchimento) das regiões faltantes, gerando imagens fotorrealistas mesmo com geometria incompleta.
• Renderização de Cenas Editadas: Para cenas editadas (ex: remoção de objeto), o pipeline aplica uma máscara de referência. As áreas das imagens de origem que correspondem ao objeto removido são zeradas antes de serem usadas como condição para o modelo de difusão, evitando artefatos e inconsistências geométricas.

3. Principais Contribuições

1. Pipeline Livre de Treinamento: Elimina a necessidade de otimização específica por cena ou estimativa de pose prévia, permitindo implantação prática em cenários com dados escassos.
2. Reconstrução e Percepção Unificadas: Integra reconstrução geométrica robusta (com filtragem de anomalias) e percepção semântica de instâncias (com unificação baseada em warping) em um único fluxo.
3. Renderização com Difusão 3D-Consciente: Propõe um método de renderização que combina projeção de nuvem de pontos com modelos de difusão para superar a limitação de dados esparsos, gerando visualizações de novas vistas fotorrealistas.
4. Edição de Nível de Objeto: Demonstra a capacidade de editar cenas (como remover objetos) modificando apenas a nuvem de pontos e regenerando a visão sem retreinar o modelo, algo difícil de alcançar com métodos baseados em campos de radiação.

4. Resultados Experimentais

Os autores avaliaram o método em conjuntos de dados como ScanNet e ScanNet++ com entradas esparsas (10-20 imagens):

• Segmentação de Instâncias: O método superou abordagens anteriores (como PE3R e DEVA), alcançando um AP (Average Precision) de 25.0, comparado a 20.2 do PE3R, demonstrando maior consistência na atribuição de instâncias entre visões.
• Precisão de Profundidade: A reconstrução geométrica obteve um RMSE de 0.209 e $\delta < 1.25$ de 0.981, superando o MV-DUSt3R base (RMSE 0.219) e outros métodos de profundidade, graças à estratégia de remoção de anomalias.
• Síntese de Novas Vistas: Na avaliação de renderização (PSNR, SSIM, LPIPS), o método alcançou 18.15 de PSNR, superando significativamente métodos baseados em 3DGS (que geralmente exigem poses e treinamento) e outras abordagens de síntese de visão.
• Edição: Visualizações mostraram que a remoção de objetos gera imagens limpas e consistentes, enquanto métodos concorrentes (como GaussianGrouping) falhavam em cenários esparsos, deixando grandes buracos ou removendo geometria incorreta.
• Eficiência: O pipeline é extremamente rápido, completando todo o processo (reconstrução + inferência) em cerca de 3.5 minutos em uma GPU NVIDIA 4090, comparado a horas ou dias para métodos de otimização como NeRF.

5. Significado e Impacto

Este trabalho estabelece uma nova direção para a geração e compreensão de conteúdo 3D. Ao desvincular a reconstrução 3D da necessidade de otimização lenta e de grandes conjuntos de dados, o método torna viável a criação de ambientes 3D interativos e editáveis a partir de fotos casuais. A integração de modelos generativos (difusão) com representações geométricas explícitas (nuvens de pontos) oferece um equilíbrio promissor entre fidelidade geométrica e qualidade visual, abrindo caminho para aplicações em edição de cenas, realidade aumentada e preservação digital de patrimônio sem a barreira de custos computacionais elevados.