Optimization of Monodepth2-Based Monocular Vision Measurement Method Using Prior Geometric Features and Semantic Segmentation

Technische Samenvatting: Optimalisatie van Monodepth2-gebaseerde Monoculaire Visuele Meting

Probleemstelling
Monoculaire visiesystemen bieden aanzienlijke voordelen in kosten en eenvoud voor grootschalige ruimtelijke metingen, maar lijden aan het onomkeerbare verlies van diepte-informatie tijdens 2D-beeldvorming. Bestaande op deep learning gebaseerde methoden voor monoculaire diepte-inschatting, met name ongesuperviseerde benaderingen zoals Monodepth2, kampen in praktische toepassingen met drie kritieke beperkingen:

1. Schaalinconsistentie: Globale diepte-inschatting mist vaak absolute diepte-referenties, wat leidt tot schaalambiguïteit en cumulatieve fouten.
2. Detailversmering: Lokale geometrische kenmerken, zoals objectranden en contouren, zijn gevoelig voor versmering, wat de reconstructie van fijne structurele informatie belemmert.
3. Verwarring tussen Voorgrond en Achtergrond: Standaardmethoden hebben moeite om doelspecifieke geometrische restricties te gebruiken om dieptekaarten adaptief te optimaliseren, wat vaak resulteert in fouten waarbij doelobjecten worden verward met de achtergrond.

Hoewel eerdere studies hebben geprobeerd geometrische priors te integreren, vertrouwen zij vaak op rigide sjablonen of vereenvoudigde aannames die niet flexibel genoeg zijn om complexe contourkenmerken dynamisch te modelleren.

Methodologie
Het artikel stelt een hybride framework voor dat semantische segmentatie en prior geometrische kenmerkrestricties integreert in de Monodepth2 ongesuperviseerde leerpipeline. De methodologie bestaat uit drie primaire stadia:

1. Globale Dieptebasis (Monodepth2):
   Het systeem maakt gebruik van het Monodepth2-framework, dat een zelfgesuperviseerde leerstrategie hanteert op basis van beeldreconstructie-restricties. Het gebruikt een encoder-decoder architectuur (gebaseerd op ResNet) om initiële dieptekaarten te genereren zonder dat dichte ground-truth diepte-labels vereist zijn. Dit vestigt een basislijn voor de ruimtelijke representatie.

2. Semantisch Gestuurde ROI-Extractie:
   Om verwarring tussen voorgrond en achtergrond aan te pakken, gebruikt de methode een UNet++ architectuur voor semantische segmentatie van afbeeldingen. Deze module isoleert het Region of Interest (ROI)—specifiek prefab betoncomponenten—van de achtergrond. Door de diepte-inschatting te concentreren op de gesegmenteerde ROI, behoudt het systeem lokale details en vermindert het fouten veroorzaakt door irrelevante scène-elementen.

3. Correctie via Prior Geometrische Kenmerken:
   Een module met vaste gewichten wordt geïntroduceerd om de geschatte dieptekaarten te corrigeren met behulp van bekende geometrische restricties.

• Geometrische Modellering: Het doeloppervlak wordt gemodelleerd als een ideaal rechthoek met bekende fysieke afmetingen ($W$ en $H$).
• Perspectieftransformatie: Het systeem brengt de geschatte vierhoek in de afbeelding terug naar een standaard rechthoek met behulp van perspectieftransformatie.
• Foutmodellering: Er wordt vanuit gegaan dat diepte-inschattingsfouten lineair groeien met de afstand. Een correctiecoëfficiënt ($k$) wordt berekend met behulp van least squares fitting om de afwijking tussen de geschatte pixelafmetingen en de bekende fysieke afmetingen te minimaliseren.
• Grid Partitionering: Om niet-uniforme foutverdeling aan te pakken, wordt de ROI verdeeld in een grid (bijv. $36 \times 30$). Correctiecoëfficiënten worden individueel berekend voor elke gridcel, wat lokale ruimtelijke regularisatie mogelijk maakt zonder de computationele complexiteit van dynamische gewichtsaanpassing.

Belangrijkste Bijdragen

• Integratie van Semantische en Geometrische Priors: Het artikel introduceert een collaboratieve optimalisatiebenadering die semantische segmentatie voor ROI-lokalisatie combineert met vaste-gewicht geometrische correctie voor diefteraffinatie.
• Fixed-Weight Correctiestrategie: In tegenstelling tot methoden die dynamische gewichtsaanpassing of rigide sjablonen vereisen, gebruikt deze benadering een computationeel efficiënte vaste-gewicht correctie gebaseerd op expliciete geometrische modellering (bijv. symmetrie en bekende afmetingen van betoncomponenten).
• Grid-gebaseerde Lokale Verfijning: De implementatie van een multi-scale grid partitioneringsstrategie maakt het mogelijk om de schaalinconsistentie in globale inschatting te mitigeren terwijl lokale geometrische details behouden blijven.

Experimentele Resultaten
De methode werd gevalideerd met een opstelling bestaande uit een Intel RealSense D415 diept camera (voor ground truth en RGB-acquisitie) en een smartphone camera (ter simulatie van monoculaire input). Experimenten werden uitgevoerd op standaard betonmonsters onder diverse operationele condities.

• Nauwkeurigheidsverbetering: Onder een $36 \times 30$ grid partitionering configuratie behaalde de voorgestelde methode een Mean Absolute Error (MAE) van 0,0071 en een Root Mean Square Error (RMSE) van 0,0096.
• Vergelijking: Deze resultaten vertegenwoordigen een verbetering van meer dan 96% vergeleken met conventionele methoden (Baseline MAE: 0,2416; RMSE: 0,2678).
• Robuustheid: De methode demonstreerde sub-millimeter nauwkeurigheid tijdens indoor testen. Het behield lage foutpercentages onder verschillende operationele condities, inclusief scenario's met meerdere onafhankelijke objecten en complexe achtergronden, waarmee het traditionele plane-fitting methoden (Mean Normal Plane, Least Squares en RANSAC) overtrof.
• Grid Sensitiviteit: Experimenten toonden aan dat het verhogen van de grid-dichtheid (van $12 \times 10$ naar $60 \times 50$) de correctiefouten progressief verminderde, wat de effectiviteit van fijnere grid-partities voor lokale detailoptimalisatie valideert.

Betekenis en Claims
De auteurs stellen dat dit werk een nieuw paradigma biedt voor kwantitatieve toepassingen in de bouwsector, specif kind voor de meting van prefab betoncomponenten. Door sub-millimeter nauwkeurigheid te bereiken onder single-image monoculaire condities, biedt de methode een robuuste oplossing voor intelligente constructie en industriële metrologie.

De studie erkent huidige beperkingen en merkt op dat de methode primair is gevalideerd op vlakke objecten en mogelijk uitdagingen kan ervaren bij gebogen of onregelmatige geometrieën. Daarnaast blijft de nauwkeurigheid van de ROI-extractie afhankelijk van de precisie van de semantische segmentatiegrenzen. Toekomstig werk wordt voorgesteld om de verificatie uit te breiden naar complexe geometrieën en om LiDAR-visie fusie te verkennen voor verbeterde robuustheid.