Robust structure from motion for aerial-ground images via detector-free feature matching and multi-view track refinement
Dit artikel stelt een robuust Structure from Motion-framework voor de integratie van lucht- en grondbeelden voor, dat een rotatiebewuste detector-vrije matching-netwerk combineert, voorzien van een Omnidirectionele State Space Block en quadtree-aandacht, met multi-view track-verfijning om de nauwkeurigheid van pose-schatting en de precisie van 3D-reconstructie onder ernstige variaties in gezichtspunt en schaal aanzienlijk te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het bouwen van een nauwkeurig driedimensionaal model van een stad is als het proberen te leggen van een enorme puzzel waarbij de stukjes uit twee totaal verschillende werelden komen. De ene set stukjes is van hoog bovenaf genomen, kijkend op daken en straten, terwijl de andere set vanaf de grond is vastgelegd, kijkend naar gevels en deuropeningen van gebouwen. Decennialang hebben landmeters drones gebruikt om over steden te vliegen en camera's op voertuigen om door hen heen te rijden, in de hoop deze beelden te versmelten tot één enkele, perfecte digitale tweeling. De uitdaging is echter dat deze twee perspectieven zo verschillend zijn in schaal, hoek en belichting dat de computerprogramma's die ontworpen zijn om ze aan elkaar te naaien, vaak falen. Ze hebben moeite met het vinden van dezelfde baksteen of hetzelfde raam in zowel het bovenaanzicht als het straatbeeld, waardoor het uiteindelijke model gefragmenteerd is of zelfs hele secties mist. Zonder een manier om deze verre gezichtspunten betrouwbaar met elkaar te verbinden, blijft het creëren van hoogwaardige stedelijke modellen een moeilijke en vaak onvolledige taak.
Om dit op te lossen, hebben onderzoekers een nieuw systeem ontwikkeld dat fungeert als een universele vertaler voor deze slecht afgestemde afbeeldingen. In plaats van te vertrouwen op traditionele methoden die zoeken naar specifieke, onderscheidende punten zoals hoeken of randen — die vaak verdwijnen of er totaal anders uitzien wanneer ze van bovenaf versus van onderaf worden bekeken — scant deze nieuwe aanpak de volledige afbeelding als een continue informatiestroom. Het team heeft een gespecialiseerd computernetwerk gecreëerd dat geen specifieke kenmerkpunten hoeft te vinden. In plaats daarvan leert het de textuur en structuur van een gebouw te herkennen, ongeacht hoe het gedraaid is of hoe ver de camera verwijderd is. Door de afbeelding gelijktijdig in acht verschillende richtingen te scannen, bouwt het systeem een mentale kaart die stabiel blijft, zelfs wanneer het gebouw ondersteboven of op zijn zij staat. Dit stelt het systeem in staat om verbindingen te vinden tussen een dronefoto en een foto op straatniveau die eerdere software volledig over het hoofd zou zien.
Zodra het systeem deze verbindingen vindt, krijgt het een tweede hindernis te overwinnen: het consistent houden van deze verbindingen over tientallen of honderden afbeeldingen heen. Bij een typische reconstructie moet een enkel punt op een gebouw worden gevolgd terwijl de camera van de ene naar de andere hoek beweegt. Oudere methoden raken het spoor van deze punten vaak kwijt, waardoor het 3D-model uiteenvalt in losstaande eilanden. De onderzoekers hebben een verfijningsstap geïntroduceerd die fungeert als een kwaliteitscontroleur. Deze controleert alle verbindingen die tussen verschillende beeldparen zijn gevonden en koppelt deze aan elkaar op basis van hoe zeker het systeem is van elke match. Als een punt in meerdere afbeeldingen wordt gezien, verbindt het systeem de meest betrouwbare waarnemingen tot één enkele, continue track. Dit zorgt ervoor dat het uiteindelijke model niet slechts een verzameling verspreide fragmenten is, maar een samenhangende structuur waarbij elk deel is verankerd aan de buren.
De resultaten van deze nieuwe methode zijn opmerkelijk wanneer deze wordt getest tegenover echte gegevens uit steden in Duitsland, Zwitserland en China. Wanneer de onderzoekers hun systeem vergeleken met de huidige standaard, vond de nieuwe aanpak bijna twee keer zoveel correcte verbindingen tussen lucht- en grondbeelden. In tests die maten hoe goed het systeem de positie van de camera kon bepalen, verbeterde de nieuwe methode de nauwkeurigheid met bijna 94 procent vergeleken met de vorige beste technologie. Nog belangrijker is dat wanneer deze verbindingen werden gebruikt om 3D-modellen te bouwen, het nieuwe systeem modellen produceerde die aanzienlijk completer en nauwkeuriger waren. Het slaagde erin om tot tien keer meer 3D-punten te genereren dan traditionele methoden, waardoor details werden ingevuld die voorheen verloren gingen. De uiteindelijke modellen waren niet alleen dichter, maar ook geometrisch nauwkeuriger, met fouten die met bijna een derde werden verminderd ten opzichte van bestaande technieken.
Dit werk toont aan dat door de manier waarop computers naar overeenkomsten in afbeeldingen kijken te veranderen, we de fysieke beperkingen van het bekijken van een stad vanuit verschillende hoogtes kunnen overwinnen. Het systeem vereist geen speciale apparatuur of vooraf bestaande kaarten; het leert simpelweg de stad te zien als een eenheid, ongeacht de hoek. Door de hemel en de straat succesvol te versmelten, biedt deze methode een betrouwbaar pad naar het creëren van de uitgebreide, hoogprecisie digitale kaarten die stadsplanners en ingenieurs nodig hebben om onze complexe gebouwde omgevingen te begrijpen en te beheren. De technologie bewijst dat zelfs wanneer perspectieven radicaal verschillend zijn, een gedeeld begrip van de scène mogelijk is, waardoor een gebroken puzzel wordt omgezet in een compleet beeld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.