Technische Samenvatting: Planar-SfM

Probleemstelling

Structure from Motion (SfM)-systemen hebben traditioneel moeite met scènes die gedomineerd worden door vlakke oppervlakken, zoals binnenstadions voor sport of architecturale omgevingen. In dergelijke scenario's worden standaard methoden op basis van epipolaire geometrie problematisch vanwege een twee-parameters ambiguïteit, wat leidt tot een slecht gestelde schattingsproblematiek die gevoelig is voor fouten door uitschieters (outliers) in correspondenties. Terwijl bestaande pipelines vlakke oppervlakken vaak als een beperking beschouwen, betoogt dit artikel dat zij juist een kans bieden voor robuuste geometrische beperkingen.

Methodologie

Het voorgestelde framework, Planar-SfM, herformuleert het probleem door scènes te behandelen als collecties van vlakke oppervlakken. Het maakt gebruik van homografie-decompositie om relatieve camerapozen te schatten, zelfs in scenario's met een enkel vlak waar traditionele methoden falen. De pipeline bestaat uit vier hoofdfases:

1. Homografie Pose-Graph Constructie:
   Het systeem verwerkt invoerbeelden (verondersteld gekalibreerd te zijn) om kenmerken (features) te detecteren en te matchen. Voor elk beeldpaar $(i, j)$ schat het meerdere homografieën ($H_{ij}$) in, waarbij elke homografie overeenkomt met een zichtbaar vlak oppervlak. De scène wordt gemodelleerd als een pose-graph $G=(V, E)$, waarbij knopen camera's vertegenwoordigen en randen (edges) homografieën vertegenwoordigen. Elke homografie wordt gedecodeerd om een relatieve pose $(R_{ij}, c_{ij})$ en een oppervlaktenormaal $n_{ij}$ te verkrijgen.

2. Edge Similarity Scoring:
   Om betrouwbare homografieën te onderscheiden van homografieën die voortkomen uit incorrecte correspondenties, berekent de methode een gelijkenismatrix $S$. Deze score evalueert de consistentie tussen incidentele multi-edges op basis van:

   • Visueel Bewijs: Het aantal kenmerkpunten dat inliers zijn in beide homografieën.
   • Structureel Bewijs: De hoekgelijkenis tussen de oriëntatie afgeleid van homografie-decompositie en een hulp-oriëntatie die is geschat via de essentiële matrix (die plane-onafhankelijk is).
   • Geometrische Consistentie: De hoekgelijkenis tussen de oppervlaktenormalen die door de homografieën zijn geschat.

3. Graph Embedding en Pruning:
   De multi-edges van de pose-graph worden geëmbed in de reële lijn met behulp van een spectrale embedding-benadering. Dit brengt randen in kaart naar een scalaire waarde $h$, zodanig dat consistente randen (met hoge gelijkenisscores) dicht bij elkaar worden geplaatst. Het algoritme identificeert vervolgens een minimum-range spanning tree op deze gewogen graaf. Deze stap filtert effectief onbetrouwbare randen (outliers) eruit, terwijl een maximaal consistente set verbindingen behouden blijft die nodig is voor de pose-reconstructie.

4. Pose Schatting:
   Gebruikmakend van de gefilterde spanning tree, aggregeert de methode meerdere homografie-gebaseerde schattingen voor elke rand tot een enkele relatieve pose-schatting via vertrouwensgewogen middeling.

   • Oriëntatie: Wordt hersteld door propagatie door de spanning tree.
   • Positie: Omdat een boomstructuur (tree) niet de nodige rigiditeit bezit voor absolute positie-reconstructie, wordt de spanning tree iteratief uitgebreid naar een bi-geconnecteerde graaf door randen toe te voegen die de embedding-inconsistentie minimaliseren. Absolute posities worden vervolgens hersteld met behulp van least-unsquared-deviations optimalisatie.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

• Een Embedding Framework: Een nieuwe methode om onbetrouwbare homografie-gebaseerde pose-schattingen te filteren, wat bewegingsherstel mogelijk maakt in uitdagende single-plane scenario's waar traditionele epipolaire methoden falen.
• Multi-Plane Aware Strategie: Een techniek die onafhankelijke schattingen van verschillende vlakke regio's (of segmentaties van een enkel vlak) benut om de nauwkeurigheid te verbeteren in zowel vlakke als algemene 3D-scènes.
• Uitputtende Evaluatie: Demonstraties van superieure prestaties op sterk vlakke datasets en competitieve of state-of-the-art resultaten op algemene ongeconstraineerde scènes.

Experimentele Resultaten

De methode werd geëvalueerd op twee datasets:

1. OTE (Overtime Elite) Basketball Dataset: Een real-world sportuitzending scenario met 46 gekalibreerde camera's rond een basketbalveld.
   • Resultaat: Planar-SfM presteerde beter dan de GLOMAP baseline bij $3^\circ$ en $5^\circ$ foutdrempels (86,55% vs 84,72% en 95,55% vs 91,12% AUC, respectievelijk), terwijl het competitief bleef bij de $1^\circ$ drempel.
2. IMC Phototourism Dataset: Acht buitenlocaties vastgelegd onder ongeconstraineerde omstandigheden.
   • Resultaat: De methode bereikte state-of-the-art prestaties over alle drempels ($3^\circ, 5^\circ, 10^\circ$), waarmee zowel klassieke methoden (COLMAP, PixSfM) als learning-based benaderingen (VGGSfM, DFSfM) werden overtroffen.

Ablatie-studie:
Experimenten op de OTE-dataset bevestigden dat zowel het vertrouwen-scoring mechanisme als de graaf-pruning (spanning tree selectie) cruciaal zijn. Het uitschakelen van een van beide componenten resulteerde in een dramatische daling in nauwkeurigheid, wat hun complementaire rollen in de filtering van uitschieters valideert.

Betekenis

Het artikel beweert dat door vlakke oppervlakken te zien als een bron van geometrische beperkingen in plaats van een beperking, het mogelijk is om een verenigde SfM-benadering te ontwikkelen die effectief is voor zowel sterk vlakke als algemene 3D-omgevingen. De betekenis ligt in het vermogen om robuuste camerapozen te herstellen in scenario's (zoals binnenstadions voor sport) waar standaard epipolaire geometrie gedegenereerd is, terwijl tegelijkertijd een hoge prestatie wordt behouden in algemene ongeconstraineerde settings.