Gravity-aware partially calibrated absolute pose estimation from affine- or rotation-covariant features
Dit artikel introduceert twee efficiënte solvers, UP1PfAC en UP2PfORI, die gebruikmaken van door IMU afgeleide zwaartekrachtvectoren en lokale geometrische informatie van affiene of rotatie-covariantiekenmerken om snelle en nauwkeurige schattingen van de absolute pose en brandpuntsafstand te bereiken met minder correspondenties dan traditionele methoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert je weg te vinden door een enorme, onbekende stad met alleen een foto van een oriëntatiepunt en een kaart. Voor een computer staat deze taak bekend als absolute pose-schatting: precies bepalen waar een camera zich bevindt en welke kant hij op wijst op basis van één enkele afbeelding. Deze capaciteit vormt de ruggengraat van moderne augmented reality, waardoor digitale overlays stevig aan de echte wereld kunnen blijven kleven, en het is essentieel voor drones en robots om te navigeren zonder te verdwalen. Jarenlang vertrouwden deze systemen op het matchen van specifieke punten in een afbeelding met een vooraf opgebouwd 3D-model van de wereld. Echter, dit proces vereist vaak veel overeenkomstige punten om betrouwbaar te werken, en het heeft moeite wanneer de interne instellingen van de camera, zoals het zoomniveau of de brandpuntsafstand, onbekend zijn. Bovendien negeren traditionele methoden vaak de subtiele geometrische aanwijzingen die verborgen liggen in de manier waarop kenmerken in de afbeelding worden beschreven; ze behandelen elk punt als een simpel stipje in plaats van een vorm met richting en schaal.
Een team van onderzoekers van Ericsson Research en de Universiteit van Zaragoza heeft een nieuwe aanpak ontwikkeld die dit probleem efficiënter oplost door visuele gegevens te combineren met informatie van een standaard bewegingssensor die in de meeste smartphones te vinden is. Door het visuele beeld te versmelten met de kennis van de sensor over de zwaartekracht, hebben zij een systeem gecreëerd dat de positie van een camera en het onbekende zoomniveau kan bepalen met veel minder visuele aanwijzingen dan voorheen. Hun werk introduceert twee nieuwe methoden die deze locatie kunnen berekenen met ofwel één gedetailleerd beeldkenmerk, ofwel slechts twee kenmerken die hun oriëntatie behouden. Deze doorbraak betekent dat apparaten zichzelf sneller en met grotere nauwkeurigheid kunnen lokaliseren, zelfs wanneer de interne instellingen van de camera zijn veranderd of vooraf niet bekend zijn.
De kern van het probleem ligt in hoe computers de relatie begrijpen tussen een 3D-wereld en een 2D-foto. Traditioneel, om te bepalen waar een camera zich bevindt, heeft een systeem ten minste drie of vier punten nodig om te matchen tussen de afbeelding en de 3D-kaart. Als de brandpuntsafstand van de camera ook onbekend is, neemt het aantal vereiste punten toe, wat de berekening trager maakt en gevoeliger voor fouten wanneer de data ruis bevat. De onderzoekers realiseerden zich dat ze deze zware vereiste konden omzeilen door gebruik te maken van twee krachtige informatiebronnen die voorheen onderbenut waren. Ten eerste gebruikten ze de zwaartekrachtvector geleverd door de inertial measurement unit van het apparaat, een kleine chip die versnelling en oriëntatie meet. Deze sensor vertelt de computer welke kant beneden is, wat effectief twee graden van onzekerheid over de kanteling van de camera wegneemt. Ten tweede maakten ze gebruik van de rijke geometrische gegevens die besloten liggen in moderne feature descriptors. In plaats van alleen een punt te zien, beschrijven deze descriptors hoe een klein deel van de afbeelding wordt uitgerekt of gedraaid, wat extra beperkingen biedt die helpen het puzzelstukje op te lossen met minder monsters.
Om hun ideeën te testen, hebben de onderzoekers nieuwe wiskundige regels afgeleid die de positie van de camera, de onbekende brandpuntsafstand en de richting van de zwaartekracht met elkaar verbinden. Ze bouwten twee specifieke solvers om deze regels te verwerken. De eerste solver, die ze UP1PfAC noemen, kan de volledige camerapose en brandpuntsafstand bepalen met slechts één enkele affine correspondentie. In eenvoudige termen betekent dit dat het slechts één kenmerk nodig heeft dat beschrijft hoe een klein gebied van de afbeelding wordt getransformeerd, inclusief de schaal en rotatie. De tweede solver, UP2PfORI, vereist twee kenmerken die gevoelig zijn voor oriëntatie maar niet noodzakelijkerwijs voor schaal. In hun experimenten genereerden de onderzoekers duizenden synthetische scènes om de stabiliteit van deze nieuwe instrumenten te testen. Ze ontdekten dat de solvers ongelooflijk stabiel waren en fouten produceerden die zo klein waren dat ze bijna onzichtbaar waren op een standaard schaal, zelfs zonder toegevoegde ruis. Toen ze realistische fouten introduceerden, zoals lichte onnauwkeurigheden in de overeenkomstige punten of kleine trillingen in de zwaartekrachtsensor, presteerden de nieuwe methoden beter dan bestaande state-of-the-art technieken, waarbij ze een hoge nauwkeurigheid behielden waar oudere methoden begonnen te wankelen.
De echte test kwam toen de onderzoekers hun solvers toepasten op echte gegevens van twee beroemde datasets: de Cambridge Landmarks en de Aachen Day-Night collectie. Deze datasets bevatten afbeeldingen van historische gebouwen en stadscentra, genomen met verschillende camera's en onder verschillende lichtomstandigheden. Het team integreerde hun nieuwe solvers in een standaard lokalisatiepijplijn die een robuuste methode gebruikt om slechte data te filteren. De resultaten lieten zien dat hun aanpak niet alleen de nauwkeurigheid van de beste bestaande methoden evenaarde, maar dit ook aanzienlijk sneller deed. In de Cambridge-dataset verminderden hun solvers de tijd die nodig is om een locatie te vinden, terwijl ze ook de precisie van de rotatie- en brandpuntsafstand-schattingen verbeterden. In de meer uitdagende Aachen-dataset, die afbeeldingen bevat die 's nachts en met verschillende apparaten zijn genomen, vonden hun methoden consistenter de juiste locatie dan de voorheen beste semi-gekalibreerde benaderingen. Het snelheidsvoordeel was bijzonder opvallend; de nieuwe solvers voltooiden hun berekeningen in een fractie van de tijd die nodig was door oudere algoritmen die meer datapunten nodig hadden.
Dit werk demonstreert dat door te luisteren naar de subtiele geometrische fluisteringen in feature descriptors en dit te combineren met de stabiele hand van een zwaartekrachtsensor, computers de wereld kunnen navigeren met veel minder inspanning. De onderzoekers ontdekten dat hun single-feature solver bijzonder effectief was, waarbij de rijke informatie in affine kenmerken werd ingezet om als een sterke gids te fungeren, terwijl de two-feature solver een gebalanceerd alternatief bood voor apparaten die mogelijk geen toegang hebben tot dergelijke gedetailleerde descriptors. De studie bevestigt dat deze nieuwe instrumenten niet alleen theoretische verbeteringen zijn, maar praktische oplossingen die de rommelige realiteit van de echte wereld kunnen aan, van ruisgevoelige sensoren tot imperfecte beeldmatches. Door het aantal benodigde monsters te verminderen en de berekening te versnellen, banen deze onderzoeken de weg voor een nieuwe generatie energiezuinige, hoogprecisie lokalisatiesystemen. Dit is cruciaal voor de toekomst van extended reality-headsets, drones en robots, die in een fractie van een seconde moeten weten waar ze zich bevinden om naadloos te kunnen functioneren in onze gedeelde fysieke ruimtes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.