A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches

Titel: Een Vergelijking van Multi-View Stereo Methoden voor Fotogrammetrische 3D-reconstructie: Van Traditioneel tot Leer-gebaseerde Benaderingen

Auteurs: Y. Li, G. Vosselman, F. Nex (Universiteit Twente, Nederland)

---

1. Het Probleem

Fotogrammetrische 3D-reconstructie is essentieel voor toepassingen zoals digitale tweelingen, omgevingsbegrip en embodied intelligence. Hoewel traditionele methoden (zoals Structure-from-Motion en Multi-View Stereo) hoge nauwkeurigheid bieden, kampen ze met significante beperkingen:

• Snelheid en Schaalbaarheid: Traditionele pijplijnen zijn computationeel intensief en niet geschikt voor real-time toepassingen.
• Robuustheid: Ze zijn gevoelig voor gebrek aan textuur, herhalende patronen en veranderingen in verlichting, wat leidt tot registratiefouten en onvolledige reconstructies.
• Complexiteit: Ze vereisen complexe, meervoudige stappen (feature-extractie, matching, bundeladjustment) die handmatige tuning en precieze camera-oriëntatie vereisen.

Recente ontwikkelingen in deep learning hebben geleid tot leer-gebaseerde MVS-methoden (Multi-View Stereo), maar er ontbreekt een systematische vergelijking tussen deze nieuwe methoden en gevestigde traditionele frameworks in de context van fotogrammetrie.

2. Methodologie

De auteurs voerden een uitgebreide vergelijkende evaluatie uit tussen drie categorieën van MVS-methoden:

1. Traditioneel: Vertegenwoordigd door COLMAP (een open-source SfM+MVS pijplijn).
2. Geometrie-gestuurd (Learning-based): Methoden die traditionele geometrie combineren met geleerde kostenvolumes (Cost Volumes), zoals MVSNet, PatchmatchNet, MVSAnywhere, en MVSFormer++. Deze vereisen vaak externe camera-pose schattingen (vaak van COLMAP).
3. End-to-End: Methoden die direct 3D-structuur infereren uit beelden zonder expliciete geometrische modellering, zoals DUSt3R, MASt3R, VGGT, Fast3R, FoundationStereo, en Stereo4D.

Experimenteel Opzet:

• Datasets:
  • MARS-LVIG: UAV-beelden van een eiland (149 beelden, 5472x3648 px) met LiDAR als ground truth.
  • Pix4D: Een publieke stedelijke scène (100 beelden, 6000x4000 px) met ground truth gegenereerd door Pix4Dmapper.
• Vergelijking: Methoden werden getest op subsets van 2, 10, 20, 50 en 100 beelden.
• Preprocessing: Alle beelden werden onvertrokken (undistorted) en geschaald naar 512 pixels voor consistentie. End-to-end methoden kregen onvertrokken beelden; stereo-methoden kregen rectified paren.
• Evaluatiemetrics:
  • Verwerkingstijd: Computationele efficiëntie.
  • Nauwkeurigheid: RMS (Root Mean Square) en MD (Mean Distance) ten opzichte van ground truth, genormaliseerd per GSD (Ground Sampling Distance).
  • Dekking (Coverage): Het percentage van het ground truth oppervlak dat succesvol is gereconstrueerd (binnen een tolerantie van 1 meter).

3. Belangrijkste Bijdragen

• Systematische Vergelijking: Dit is een van de eerste studies die traditionele, geometrie-gestuurde en end-to-end methoden direct tegen elkaar afzet in realistische fotogrammetrische scenario's (luchtvaart).
• Identificatie van Trade-offs: De studie kwantificeert de afweging tussen snelheid, nauwkeurigheid en dekking tussen de verschillende paradigma's.
• Analyse van Schaalbaarheid: Het toont aan hoe methoden presteren bij toenemende aantallen inputbeelden, een kritieke factor voor grootschalige mapping.
• Praktische Richtlijnen: Het biedt inzicht in welke methoden geschikt zijn voor specifieke scenario's (bijv. snelle inspectie vs. hoge precisie mapping).

4. Resultaten

Verwerkingstijd (Snelheid):

• Traditioneel (COLMAP): Zeer traag, met een exponentiële toename in rekentijd bij meer beelden (bijv. >1300 seconden voor 100 beelden).
• Geometrie-gestuurd: Hangt sterk af van COLMAP voor de initiële sparse reconstructie. Als COLMAP faalt, falen deze methoden ook. Ze zijn sneller dan COLMAP voor dense reconstructie, maar niet schaalbaar bij registratiefouten.
• End-to-End:
  • VGGT en Fast3R: Bieden de beste snelheid en schaalbaarheid, zelfs bij grote datasets.
  • DUSt3R en MASt3R: Vallen snel in snelheid naarmate het aantal beelden toeneemt (MASt3R duurde >3 uur voor 100 beelden).
  • Stereo4D/FoundationStereo: Zeer snel voor 2-beeld paren, maar niet geschikt voor multi-view geometrie.

Nauwkeurigheid:

• COLMAP: Levert geometrisch consistente resultaten, maar faalt vaak bij registratie in uitdagende scènes (weinig overlap, herhalende texturen).
• End-to-End:
  • DUSt3R: Presteert uitstekend bij spaarzame views (2 beelden) met hoge nauwkeurigheid en dekking. Echter, de nauwkeurigheid verslechtert aanzienlijk bij meer beelden (toename van RMS-fouten), wat wijst op inconsistenties in overlappende gebieden.
  • VGGT: Toont de beste robuustheid bij toenemend aantal views, met stabiele nauwkeurigheid.
  • MASt3R & Fast3R: Vertonen grotere fouten (hoge RMS/MD) en lokale misalignments.
• Foutpatronen: End-to-end methoden vertonen vaak "layering" (laagvorming) en vervormingen, vooral in gebieden zonder textuur (rotsen, water, vegetatie).

Dekking (Coverage):

• DUSt3R: Hoogste dekking bij weinig input (84,89% op het eiland met 2 beelden), maar stort in bij meer input.
• VGGT: Biedt de meest stabiele en gebalanceerde dekking over verschillende inputgroottes en scènes.
• COLMAP: Vaak beperkte dekking door registratiefouten in complexe omgevingen.

5. Betekenis en Conclusie

De studie concludeert dat er geen "one-size-fits-all" oplossing is, maar dat de keuze afhangt van de toepassing:

• Voor hoge precisie en controle: Traditionele methoden (COLMAP) blijven de gouden standaard voor geometrische consistentie, mits de registratie lukt, maar zijn te traag voor real-time toepassingen.
• Voor snelheid en robuustheid: End-to-end methoden, met name VGGT, bieden de beste balans tussen snelheid, dekking en redelijke nauwkeurigheid. Ze zijn superieur in situaties waar traditionele methoden falen door registratieproblemen.
• Beperkingen: End-to-end methoden produceren nog steeds aanzienlijke reconstructiefouten (residuals) en artefacten (zoals laagvorming), wat hun inzet voor hoog-precisie fotogrammetrie beperkt.

Toekomstperspectief:
De auteurs pleiten voor het integreren van pose-aware priors (zoals SLAM-trajecten) om de nauwkeurigheid van grootschalige reconstructies te verbeteren en schaalbare inferentie-strategieën te ontwikkelen voor het verwerken van zeer grote beeldcollecties.

Kortom, terwijl leer-gebaseerde methoden de snelheid en robuustheid van 3D-reconstructie drastisch verbeteren, blijft de geometrische precisie van traditionele methoden in veel gevallen overleggen, hoewel de kloof snel kleiner wordt.