A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches

Titolo

Confronto dei metodi Multi-View Stereo (MVS) per la ricostruzione 3D fotogrammetrica: Dall'approccio tradizionale a quello basato sull'apprendimento automatico.

1. Il Problema

La ricostruzione 3D fotogrammetrica è fondamentale per applicazioni avanzate come la creazione di gemelli digitali, l'intelligenza incorporata e la mappatura su larga scala. Sebbene i metodi tradizionali basati su Structure-from-Motion (SfM) e Multi-View Stereo (MVS) offrano alta accuratezza geometrica, affrontano sfide significative in termini di:

• Velocità e Scalabilità: I pipeline tradizionali (es. COLMAP) richiedono tempi di calcolo elevati e faticano a gestire grandi dataset in tempo reale.
• Robustezza: Sono sensibili a regioni senza texture, cambiamenti di illuminazione e fallimenti nella registrazione delle immagini, che possono portare a ricostruzioni incomplete o distorte.
• Gap nella letteratura: Nonostante il rapido sviluppo di metodi basati sul deep learning, mancano studi sistematici che confrontino queste nuove tecniche con i framework tradizionali nel contesto specifico della fotogrammetria aerea su larga scala.

2. Metodologia

Gli autori hanno condotto una valutazione comparativa tra un pipeline tradizionale rappresentativo e diversi approcci basati sull'apprendimento, suddivisi in due categorie principali:

• Metodo Tradionale:

  • COLMAP: Utilizzato come baseline, implementa un pipeline modulare (estrazione/accoppiamento feature, SfM incrementale, bundle adjustment, fusione stereo densa).

• Metodi Basati sull'Apprendimento (Learning-Based):

  • Guidati dalla Geometria (Geometry-Guided): Metodi come MVSNet, PatchmatchNet, MVSAnywhere, MVSFormer++. Questi integrano la geometria multi-vista tradizionale con volumi di costo appresi. Richiedono pose della camera e spettri sparsi pre-calcolati (spesso da COLMAP) come input.
  • End-to-End: Framework come Stereo4D, FoundationStereo, DUSt3R, MASt3R, Fast3R, VGGT. Questi modelli inferiscono direttamente la struttura 3D dalle immagini senza modellazione geometrica esplicita, sfruttando grandi modelli di visione (Large Vision Models).

Esperimenti e Dataset:
Due scenari aerei sono stati testati:

1. MARS-LVIG (Isola): Immagini ad alta risoluzione (5472x3648) con ground truth fornito da nuvole di punti LiDAR.
2. Pix4D (Area Urbana): 100 immagini (6000x4000) con ground truth generato da Pix4Dmapper.

Valutazione:
Le metriche includono:

• Tempo di elaborazione: Scalabilità al variare del numero di immagini (da 2 a 100).
• Accuratezza: Errore RMS (Root Mean Square) e MD (Mean Distance) normalizzati rispetto alla GSD (Ground Sampling Distance).
• Copertura: Percentuale della superficie ground truth ricostruita con successo.

3. Risultati Chiave

• Efficienza Computazionale:

  • COLMAP mostra costi computazionali molto elevati, specialmente nella fase di ricostruzione densa (es. >1300s per 100 immagini).
  • I metodi End-to-End (in particolare VGGT e Fast3R) offrono tempi di esecuzione significativamente inferiori e una scalabilità superiore. Fast3R è il più veloce, mentre VGGT bilancia bene velocità e qualità.
  • I metodi Guidati dalla Geometria falliscono se il pipeline COLMAP non riesce a generare una ricostruzione sparsa completa, ereditando le dipendenze del metodo tradizionale.

• Accuratezza Geometrica:

  • COLMAP fornisce risultati geometricamente coerenti ma può fallire nella registrazione delle immagini in scenari difficili.
  • DUSt3R eccelle in scenari con poche viste (sparse-view), ottenendo la massima accuratezza con 2 immagini. Tuttavia, la sua accuratezza degrada significativamente all'aumentare del numero di immagini, mostrando incoerenze geometriche.
  • VGGT dimostra la maggiore robustezza mantenendo un'accuratezza stabile al crescere del numero di input.
  • I metodi End-to-End tendono a presentare errori residui più grandi (specialmente in scenari complessi) e artefatti come "layering" (stratificazione) e disallineamenti locali, specialmente in aree senza texture (vegetazione, acqua).

• Copertura:

  • DUSt3R ottiene la copertura più alta con poche immagini (fino all'85% nell'isola con 2 immagini), ma crolla con input maggiori.
  • VGGT mantiene la copertura più stabile ed equilibrata attraverso diversi scenari e numeri di input.
  • I metodi guidati dalla geometria spesso non riescono a produrre risultati se la fase iniziale di SfM fallisce.

4. Contributi Principali

1. Valutazione Sistematica: Il primo confronto diretto e quantitativo tra pipeline tradizionali, metodi guidati dalla geometria e framework end-to-end su dataset fotogrammetrici aerei reali.
2. Analisi della Scalabilità: Dimostrazione di come le diverse architetture scalano al variare del numero di immagini, evidenziando i colli di bottiglia dei metodi tradizionali e le instabilità di alcuni metodi end-to-End su grandi dataset.
3. Identificazione dei Limiti: Evidenziazione del fatto che, sebbene i metodi end-to-End siano più veloci e robusti alla registrazione, soffrono ancora di errori geometrici e artefatti che ne limitano l'uso in applicazioni di mappatura ad alta precisione senza post-elaborazione.

5. Significato e Conclusioni

Il paper conclude che non esiste un "metodo migliore" universale, ma la scelta dipende dal requisito specifico:

• Per massima accuratezza geometrica in condizioni controllate, i metodi tradizionali (COLMAP) rimangono competitivi, nonostante i tempi lunghi.
• Per velocità, robustezza e scalabilità, i metodi End-to-End (specialmente VGGT) sono superiori, offrendo un buon compromesso tra qualità e tempo di elaborazione.
• I metodi Guidati dalla Geometria rimangono vincolati alla qualità della ricostruzione sparsa iniziale, limitandone l'uso autonomo.

Implicazioni Future:
Gli autori suggeriscono che per un utilizzo pratico nella mappatura aerea ad alta precisione, è necessario integrare priors consapevoli della posa (es. traiettorie SLAM) nei modelli end-to-End e sviluppare strategie di inferenza scalabili per gestire collezioni di immagini massicce, riducendo gli errori geometrici residui e gli artefatti di stratificazione.