Iterative Hybrid Discrete-Continuous Viewpoint Planning for UAV Photogrammetry

Technische Samenvatting: Iteratieve Hybride Discrete-Continue Viewpoint-planning voor UAV-fotogrammetrie

Probleemstelling
Fotogrammetrie met onbemande luchtvaartuigen (UAV's) vertrouwt op cameranetwerken die voldoende oppervlaktebedekking, beeldoverlap, parallax en resolutie bieden om een hoogwaardige 3D-reconstructie te garanderen. Conventionele vliegpatronen, zoals de "lawnmower"-trajecten (maaierspatroon) vanuit het zenit (nadir), zijn echter vaak slecht aangepast aan complexe scènegroometrieën. Deze mismatch leidt tot lokale reconstructiefouten, onvolledige oppervlakken en onnauwkeurige modellen wanneer structuren worden waargenomen vanuit ongeschikte hoeken, te grote afstanden of met onvoldoende overlappende beelden. Hoewel bestaande methoden deze problemen aanpakken via online Next-Best-View (NBV)-benaderingen of modelgebaseerde planning, blijft er een behoefte aan een methode die de lokale reconstructiekwaliteit balanceert met de globale robuustheid van het beeldnetwerk zonder excessieve acquisitiekosten te veroorzaken.

Methodologie
Het artikel stelt een iteratieve hybride discrete-continue viewpoint-planningsmethode voor die een gericht vliegpad genereert op basis van een proxy-reconstructie. Het proces gaat uit van een acquisitie in twee fasen: een initiële exploratieve vlucht (bijv. een lawnmower-patroon) creëert een grove proxy-mesh, die vervolgens wordt gebruikt om een tweede, geoptimaliseerde vlucht te plannen.

De methodologie werkt via de volgende fasen:

1. Reconstructie-heuristieken: De planner evalueert oppervlaktepunten en viewpoint-sets met behulp van specifieke fotogrammetrische scores:

   • Punt-niveau scores: Deze schatten de reconstructiekwaliteit in op basis van frontaliteit (uitlijning met oppervlaktenormalen), beeldafstand (naleving van de beoogde Ground Sampling Distance), parallax (hoekvariatie) en het aantal multi-view observaties.
   • Viewpoint-set scores: Deze evalueren de globale netwerkeigenschappen door het belonen van zichtbaarheid (aantal geobserveerde punten), paarsgewijze overlap (gedeelde scène-inhoud tussen beelden) en grafiekconnectiviteit (het waarborgen dat het beeldnetwerk één enkel verbonden component vormt).
   • Een globale objectieffunctie combineert deze lokale en globale scores.

2. Hybride Discrete-Continue Planning:

   • Generatie van kandidaten: Het systeem identificeert zwak geobserveerde oppervlakteregio's en genereert kandidaat-viewpoints rond deze regio's. Dit omvat het samplen van frontale beelden en zijdelingse beelden met gespecificeerde hoekverschuivingen, beperkt door camera- en gimballimieten.
   • Toevoeging van viewpoints: Nieuwe kandidaten worden iteratief toegevoegd om een minimaal aantal observaties te garanderen en zwakke regio's te herstellen, maar alleen als ze de globale objectieffunctie verbeteren.
   • Geclusterde Continue Optimalisatie: Om poses te verfijnen, maakt de methode gebruik van de Covariance Matrix Adaptation Evolution Strategy (CMA-ES). Viewpoints worden verdeeld in ruimtelijke clusters om de dimensionaliteit te verminderen. CMA-ES is gekozen boven gradiëntgebaseerde of Nelder-Mead-methoden omdat de reconstructie-objectieffunctie niet-convex, niet-differentieerbaar en discontinu is vanwege discrete veranderingen in zichtbaarheid.
   • Viewpoint Culling: Redundante viewpoints worden verwijderd. Als een viewpoint geen punten observeert of overmatige overlap creëert zonder de globale score te verbeteren, wordt deze weggegooid om de beeldacquisitie te minimaliseren.

3. Twee-niveau Viewpoint Ontwerp: De uiteindelijke set combineert twee soorten viewpoints:

   • Close-range detail viewpoints: Gegenereerd rond specifieke zwakke regio's om de lokale resolutie en reconstructiekwaliteit te verbeteren.
   • Model-coverage viewpoints: Gegenereerd om grotere delen van het proxy-model te kaderen, wat zorgt voor globale context en de stabiliteit van het beeldnetwerk.

4. Trajectordering: De resulterende ongeordende set van viewpoints wordt omgezet in een uitvoerbaar vliegpad door een Travelling Salesman Problem (TSP) op te lossen om een efficiënte traversatievolgorde te bepalen.

Belangrijkste Bijdragen
Het artikel identificeert drie primaire bijdragen:

• Een reconstructie-objectieffunctie die lokale fotogrammetrische kwaliteitsmetingen integreert met globale beeldnetwerkeigenschappen (zichtbaarheid, overlap en connectiviteit).
• Een hybride discrete-continue planner die viewpoints iteratief toevoegt, optimaliseert (via geclusterde CMA-ES) en verwijdert.
• Een twee-niveau viewpoint ontwerppstrategie die close-range detailviews voor lokale nauwkeurigheid balanceert met bredere model-coverage views voor globale robuustheid.

Resultaten
De methode werd geëvalueerd op drie synthetische scènes afgeleid van real-world modellen: de Tu Duc's Tomb, de Kerk van St. Sophia en de Metropolitaanse Kathedraal van Mexico-Stad. De voorgestelde aanpak werd vergeleken met Smith et al. [1] en Yan et al. [13].

• Nauwkeurigheid en Volledigheid: De voorgestelde methode verbeterde over het algemeen zowel de reconstructienauwkeurigheid als de volledigheid. Het behaalde de beste 90e-percentiel fout over alle scènes en de hoogste volledigheid bij de 0,075 m drempelwaarde. Voor de Tomb en de Kerk-scènes presteerde het beter dan de baselines bij de striktere 0,050 m drempelwaarde, hoewel Yan et al. [13] een iets betere prestatie lieten zien bij 0,050 m voor de Kerk.
• Efficiëntie: De methode behaalde deze kwaliteitsverbeteringen met aanzienlijk minder beelden dan Yan et al. [13] en evenveel of minder beelden dan Smith et al. [1]. Bij consequentie waren de alignment-tijden aanzienlijk lager dan die van Yan et al. en vergelijkbaar met die van Smith et al., wat een gunstige afruil laat zien tussen reconstructiekwaliteit en acquisitiekosten.
• Visueel Bewijs: Foutvisualisaties gaven aan dat de voorgestelde methode minder ernstige foutregio's rond complexe gevels en ingangen produceerde in vergelijking met de baselines.

Betekenis en Beperkingen
Het artikel beweert dat de voorgestelde methode een superieure afruil biedt tussen reconstructiekwaliteit en acquisitie-efficiëntie door lokale details te balanceren met globale netwerkrobuustheid. Het adresseert effectief de beperkingen van vaste trajecten door zich aan te passen aan de scènegroometrie via een iteratieve, proxy-gebaseerde aanpak.

De auteurs erkennen echter bescheiden een belangrijke beperking: de afhankelijkheid van de methode van de kwaliteit van de initiële proxy-reconstructie. Regio's die ontbreken of slecht gereconstrueerd zijn in de proxy (zoals interne geometrieën) worden mogelijk niet geprioriteerd tijdens de tweede vluchtplanning. Het artikel suggereert dat toekomstig werk proxy-reconstructiebeelden zou kunnen gebruiken om gemiste details te detecteren en termen voor vluchttijd en vluchtkwaliteit in de optimalisatie-objectieffunctie kan integreren om de praktische UAV-trajectefficiëntie verder te verbeteren.