GeoFusionLRM: Geometry-Aware Self-Correction for Consistent 3D Reconstruction

1. O Problema

A reconstrução 3D a partir de uma única imagem (Single-Image 3D Reconstruction) tem avançado rapidamente com o advento de Grandes Modelos de Reconstrução (LRMs - Large Reconstruction Models). No entanto, esses modelos ainda enfrentam desafios significativos:

• Inconsistências Geométricas: As malhas geradas frequentemente apresentam erros estruturais, como superfícies achatadas, bordas suavizadas indevidamente e detalhes faltantes.
• Desalinhamento de Detalhes: Há uma falta de coerência entre os detalhes geométricos da malha reconstruída e a imagem de entrada (condicionamento).
• Limitações de Priors: Métodos existentes dependem excessivamente de priores semânticos extraídos da imagem 2D, mas falham em capturar informações volumétricas precisas, especialmente em regiões oclusas ou voltadas para trás.
• Falhas em Métodos Atuais: Abordagens que sintetizam múltiplas vistas (como InstantMesh ou LGM) podem gerar vistas sintéticas geometricamente inconsistentes, levando a erros que são mascarados na saída RGB, mas visíveis nas normais da superfície ou na estrutura 3D real.

2. Metodologia: GeoFusionLRM

O artigo propõe o GeoFusionLRM, um framework de auto-correção consciente da geometria que refina a reconstrução em duas etapas, sem depender de supervisores externos ou sinais adicionais além da própria imagem de entrada.

A arquitetura funciona da seguinte forma:

1. Reconstrução Inicial: O modelo começa gerando uma malha inicial ($M^{(0)}$) a partir da imagem de entrada, utilizando um LRM de base (como o InstantMesh).
2. Extração de Cues Geométricos: A partir dessa malha inicial, o sistema renderiza mapas de profundidade ($D$) e normais ($N$) sob a mesma vista de condicionamento.
3. Codificador GeoFormer:
   • Um encoder dedicado, chamado GeoFormer, processa esses mapas de profundidade e normais.
   • O GeoFormer é inicializado a partir de um encoder ViT pré-treinado (DINO) e ajustado (fine-tuned) com supervisão geométrica para capturar consistência estrutural.
   • Ele transforma os mapas geométricos em tokens geométricos ($F_{geo}$).
4. Módulo GeoFuser (Fusão):
   • Este módulo funde os tokens semânticos originais da imagem ($F_{sem}$) com os tokens geométricos preditos ($F_{geo}$).
   • Utiliza uma rede leve (dois camadas feed-forward) para gerar resíduos corretivos: $F_{fused} = F_{sem} + f_\theta(F_{sem}, F_{geo})$.
   • Isso permite que o modelo corrija os erros residuais da primeira etapa, alinhando a geometria com a imagem de entrada.
5. Refinamento Iterativo: O processo é um ciclo de duas passagens: a primeira gera a malha bruta, e a segunda usa as cues geométricas da primeira para refinar a malha final.

3. Principais Contribuições

• Condicionamento Auto-Preditivo: Introduz um framework onde o modelo usa sua própria previsão de profundidade e normais para corrigir e refinar a reconstrução 3D, eliminando a necessidade de redes externas de estimativa de profundidade.
• GeoFormer Encoder: Propõe um encoder específico para geometria, inicializado com DINO e ajustado para entender a relação entre normais/profundidade e a estrutura 3D.
• Módulo GeoFuser: Desenvolve uma rede de fusão leve em nível de token que integra eficientemente características semânticas (RGB) e geométricas (profundidade/normais) para gerar condicionamento triplano refinado.
• Melhoria de Fidelidade: Demonstra que essa abordagem de auto-correção gera malhas mais precisas, com normais mais consistentes e melhor alinhamento com a imagem de entrada do que os métodos state-of-the-art.

4. Resultados

Os autores realizaram extensas avaliações quantitativas e qualitativas nos conjuntos de dados GSO (Google Scanned Objects) e OmniObject3D, comparando com modelos como OpenLRM, SPAR3D, LGM e InstantMesh.

• Métricas Quantitativas: O GeoFusionLRM obteve o melhor desempenho em todas as métricas (PSNR, SSIM, LPIPS) tanto para imagens RGB quanto para mapas de normais.
  • A melhoria foi particularmente notável nas métricas de normais, indicando uma recuperação geométrica superior, especialmente em superfícies curvas e estruturas finas.
  • Exemplo: No conjunto GSO, o método alcançou um PSNR de 26.39 para normais (vs. 25.83 do InstantMesh) e um LPIPS de 0.0592 (vs. 0.0625).
• Análise Qualitativa:
  • O modelo preservou detalhes finos (como bordas afiadas de tigelas e padrões de vasos decorativos) que outros modelos suavizavam ou distorciam.
  • Demonstrou capacidade superior de inferir geometria contínua em regiões escuras ou de baixa textura (ex: reconstrução de um chapéu), evitando a criação de "buracos" falsos comuns em outros métodos.
• Análise de Iteração: A melhoria ocorre principalmente na primeira iteração de refinamento. Iterações adicionais trazem retornos decrescentes, tornando uma configuração de duas passagens (inicial + 1 refinamento) o melhor equilíbrio entre qualidade e custo.

5. Significado e Limitações

• Significado: O GeoFusionLRM representa um avanço importante ao demonstrar que a auto-supervisão geométrica interna pode corrigir falhas fundamentais dos LRMs atuais. Ele resolve o problema de "alucinação" de texturas que mascaram defeitos geométricos, garantindo que a malha 3D seja estruturalmente coerente com a imagem de entrada.
• Limitações:
  • Custo Computacional: O processo de refinamento aumenta significativamente o custo de inferência (quase 4x o tempo e 2.2x os TFLOPs em comparação ao InstantMesh), devido às passagens adcionais do encoder.
  • Estruturas Finas: O modelo ainda luta com detalhes extremamente finos (como galhos muito finos de plantas), limitados pela resolução da representação triplano do backbone do InstantMesh.
• Futuro: Trabalhos futuros podem explorar a incorporação de priores geométricos globais (como simetria) no módulo de fusão para regularizar ainda mais a reconstrução.

Em resumo, o GeoFusionLRM oferece uma solução robusta para melhorar a fidelidade geométrica na reconstrução 3D de uma única imagem, estabelecendo um novo padrão de consistência entre a aparência visual e a estrutura 3D subjacente.