A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches

Título: Uma Comparação de Métodos de Estéreo Multi-Visão (MVS) para Reconstrução 3D Fotogramétrica: De Abordagens Tradicionais a Baseadas em Aprendizado

1. Problema

A reconstrução 3D fotogramétrica baseada em visão é fundamental para aplicações como digital twins, inteligência incorporada e mapeamento em larga escala. Embora os métodos tradicionais de Structure-from-Motion (SfM) e Estéreo Multi-Visão (MVS) ofereçam alta precisão geométrica, eles enfrentam desafios significativos em termos de velocidade, escalabilidade e robustez. Eles dependem de pipelines complexos e multi-estágios, são sensíveis a regiões sem textura ou repetitivas e podem falhar no registro de imagens em cenários desafiadores.

Recentemente, surgiram métodos de MVS baseados em aprendizado profundo (learning-based), divididos em abordagens guiadas por geometria e end-to-end. No entanto, há uma lacuna na literatura sobre comparações sistemáticas entre esses novos métodos e os frameworks tradicionais no contexto específico da fotogrametria aérea de alta precisão.

2. Metodologia

O estudo realiza uma avaliação comparativa abrangente entre um pipeline tradicional representativo (COLMAP) e uma variedade de métodos baseados em aprendizado, categorizados em:

• Métodos Guiados por Geometria: MVSNet, PatchmatchNet, MVSAnywhere, MVSFormer++. Estes utilizam poses de câmera estimadas externamente (geralmente pelo COLMAP) e constroem volumes de custo para estimar profundidade.
• Métodos End-to-End: Stereo4D, FoundationStereo, DUSt3R, MASt3R, Fast3R, VGGT. Estes inferem a estrutura 3D diretamente das imagens, sem modelagem geométrica explícita ou dependência de poses pré-calculadas.

Configuração Experimental:

• Datasets: Dois cenários aéreos foram utilizados:
  1. MARS-LVIG (Ilha): Imagens de UAV de alta resolução com ground truth derivado de nuvens de pontos LiDAR.
  2. Pix4D (Área Urbana): Imagens públicas com ground truth gerado pelo software Pix4Dmapper.
• Protocolo: Subconjuntos progressivos de imagens foram testados (2, 10, 20, 50 e 100 quadros). Todas as imagens foram redimensionadas para garantir condições de entrada justas.
• Métricas de Avaliação:
  • Tempo de Processamento: Eficiência computacional.
  • Precisão: Medida por Raiz Quadrática Média (RMS) e Distância Média (MD) em relação ao ground truth, normalizadas pela Resolução de Amostragem no Solo (GSD).
  • Cobertura: Porcentagem da superfície de referência reconstruída com sucesso dentro de uma tolerância definida (1 metro).
• Ferramentas: As métricas foram calculadas usando o software CloudCompare.

3. Principais Contribuições

• Avaliação Sistemática: Preenche a lacuna de estudos comparativos entre métodos tradicionais e baseados em aprendizado na fotogrametria aérea.
• Análise de Escalabilidade: Investiga como o desempenho de cada método escala com o aumento do número de imagens de entrada (de pares estéreo para centenas de imagens).
• Identificação de Limitações Práticas: Revela que, embora os métodos end-to-end sejam mais rápidos e robustos ao registro, eles ainda sofrem com artefatos geométricos (como "layering" ou camadas) em cenários complexos, limitando sua adoção imediata em mapeamento de alta precisão.
• Classificação de Desempenho: Estabelece que o VGGT oferece o melhor equilíbrio entre qualidade de reconstrução, cobertura e eficiência de tempo, enquanto o DUSt3R destaca-se em cenários com poucas visões (sparse-view).

4. Resultados Chave

• Tempo de Processamento:
  • Métodos tradicionais (COLMAP) e guiados por geometria (como MVSAnywhere) são computacionalmente caros e lentos, especialmente em grandes conjuntos de dados (ex: COLMAP levou mais de 1300s para 100 imagens).
  • Métodos end-to-end como Fast3R e VGGT demonstraram superioridade significativa em velocidade, sendo ordens de magnitude mais rápidos.
• Precisão Geométrica:
  • O COLMAP fornece resultados geometricamente consistentes, mas falha frequentemente no registro de imagens em áreas sem textura, levando a falhas na reconstrução.
  • DUSt3R obteve a melhor precisão em cenários com poucas imagens (2 visões), mas sua precisão degradou-se drasticamente à medida que o número de imagens aumentou, indicando problemas de consistência geométrica em sobreposições complexas.
  • VGGT manteve uma precisão mais estável e robusta ao aumentar o número de visões, superando outros métodos end-to-end em cenários de múltiplas visões.
• Cobertura e Robustez:
  • Métodos guiados por geometria falharam completamente quando o COLMAP não conseguia gerar um modelo esparso inicial.
  • Métodos end-to-end mostraram maior robustez no registro de imagens, conseguindo reconstruir cenas onde métodos tradicionais falharam.
  • No entanto, todos os métodos baseados em aprendizado apresentaram erros residuais maiores e artefatos visíveis (como camadas e deformações) em áreas de textura repetitiva (vegetação, telhados) e sem textura (água, rochas), especialmente em grandes conjuntos de imagens.

5. Significado e Conclusões

O artigo conclui que não existe um "método único" perfeito para todas as situações na fotogrametria aérea atual:

• Métodos Tradicionais ainda são superiores para precisão métrica absoluta em condições controladas, mas são lentos e frágeis.
• Métodos Guiados por Geometria dependem excessivamente da etapa inicial de SfM, herdando suas falhas.
• Métodos End-to-End representam o futuro para reconstrução rápida e robusta, oferecendo escalabilidade e capacidade de lidar com cenários onde o registro tradicional falha.

Limitações e Futuro:
Apesar do progresso, os métodos end-to-end ainda produzem erros de reconstrução grandes e inconsistências estruturais locais, o que limita sua aplicação em mapeamento de alta precisão. O trabalho sugere futuras direções focadas na integração de priors conscientes de pose (como trajetórias de SLAM) para melhorar a precisão em larga escala e o desenvolvimento de estratégias de inferência escaláveis para processar grandes coleções de imagens de forma eficiente.