Seeing Across Skies and Streets: Feedforward 3D Reconstruction from Satellite, Drone, and Ground Images

Technische Samenvatting: Cross3R – Feedforward 3D-reconstructie vanuit satelliet-, drone- en grondbeelden

Probleemstelling
Cross-view lokalisatie tradtioneel om de pose van een camera op grondniveau te bepalen ten opzichte van een nadir-satellietbeeld. Bestaande methoden zijn fundamenteel beperkt tot schatting van 3-DoF (Degrees of Freedom) – het herwinnen van alleen de $(x, y)$-positie en de yaw-hoek. Deze beperking ontstaat omdat een enkel nadir-satelliettegel geen directe aanwijzingen biedt voor roll, pitch of hoogte, waardoor modellen afhankelijk zijn van aannames over planaire beweging en nul-tilt. Deze aannames falen in real-world omgevingen met hellingen, hellingen, ongelijk terrein of gekantelde camera-opstellingen, wat leidt tot scherpe degradaties in nauwkeurigheid en robuustheid. Bovendien zijn standaard feedforward 3D-reconstructiemodellen ontworpen voor beeldcollecties die op ongeveer gelijke hoogtes zijn vastgelegd en worstelen met het uitlijnen van point clouds en poses over het extreme viewpoint-gat tussen satelliet (top-down), UAV (oblique) en grond (perspectief) views.

Methodologie: Cross3R
De auteurs stellen Cross3R voor, een flexibel feedforward foundation model dat is ontworpen om gezamenlijk een cross-view 3D point cloud, de 6-DoF poses van alle invoercamera's en de on-tile lokalisatie van perspectiefcamera's in één forward pass te herstellen. Het model accepteert een satelliettegel gepaard met één of twee perspectiefviews (UAV en/of grond).

• Kerninzicht: De introductie van één UAV-beeld fungeert als een geometrische brug. Het onthult 3D-structuur die onzichtbaar is vanuit de nadir-view en levert de nodige aanwijzingen voor roll, pitch en hoogte die satellietbeelden alleen niet kunnen leveren. Cruciaal vereist deze aanpak alleen ruimtelijke overlap tussen de UAV- en grondcamera's, niet bekende relatieve poses.
• Architectuur: Opgebouwd op het $\pi3$-model introduceert Cross3R drie belangrijke wijzigingen om de tri-view-dispariteit te hanteren:
  1. Encoder: Injecteert Fourier-positionele embeddings van het genormaliseerde pixelrooster van de satelliet direct in satelliettokens om de orthografische roosterstructuur vanaf de eerste laag te coderen. Het verdubbelt ook de grootte van de register-tokenbank om satelliettokens te ontkoppelen van perspectieftokens.
  2. Alternating Attention: Fuseert verborgen staten over lagen met softmax-gewogen gates, waardoor het model tegelijkertijd toegang heeft tot zowel fijne lokale geometrie (vroege lagen) als grove globale lay-out (late lagen).
  3. Decoding Heads:
     • Satelliettak: Dwingt een expliciete orthografische geometrische prior af. Een geleerde scalair $\rho$ koppelt de per-pixelschaal van de satelliettegel aan het tafereel. In plaats van $(x, y)$ te voorspellen, voorspelt het model pixelcoördinaten $(u, v)$ geschaald met $\rho$, wat interne schaalconsistentie garandeert.
     • Perspectieftakken (UAV/Grond): Satellietfeatures worden gecomprimeerd en broadcast-gevoegd aan perspectieftokens voor de gedeelde point- en camerahoofden, waardoor expliciete begeleiding vanuit het satellietcoördinatenstelsel wordt geboden.
• Trainingsdoel: Het model wordt getraind met een gewogen som van vier verlies termen: geometrisch diepteverlies ($L_{geo}$), oppervlaktenormaalverlies ($L_{norm}$), betrouwbaarheidskaartverlies ($L_{conf}$) en cameraposeverlies ($L_{cam}$).
• Per-sample herdefinitie van hoogte: Om training te stabiliseren, anchoren de auteurs hoogtes lokaal opnieuw. Grondcamera's worden ingesteld op $y=0$, UAV's op relatieve hoogtes ($30\text{--}120$ m), en de satellietcamera wordt herdefinieerd tot een constante $150$ m (net boven de maximale UAV-hoogte) in plaats van zijn ware $\sim5.726$ m hoogte. Dit voorkomt gradiëntinstabiliteit veroorzaakt door enorme translatievectoren.

Belangrijkste bijdragen

1. Cross3R-model: Een feedforward-model dat het 3-DoF-plafond van eerdere cross-view methoden doorbreekt, waardoor volledige 6-DoF-pose-schatting en dichte 3D-reconstructie mogelijk wordt vanuit satelliet-, UAV- en grondbeelden.
2. CrossGeo-dataset: Een grootschalige, tri-view dataset bestaande uit 277.812 beelden (46.302 samples) verspreid over 85 wereldwijd verspreide scènes. Het is de eerste publieke benchmark die gepaarde satelliet-, UAV- en grondviews biedt met volledige 6-DoF-pose en dichte metrische diepte. De data is afkomstig van Google Maps, Google Earth en Google Street View.
3. Prestatiewinsten: Het model toont aan dat het toevoegen van een UAV-view de grond-naar-satelliet lokalisatie aanzienlijk verbetert, het viewpoint-gat effectief overbrugt en verticale structuur herstelt.

Experimentele resultaten

• CrossGeo-evaluatie: Cross3R presteert consequent beter dan feedforward 3D-baselines (inclusief $\pi3$, VGGT en AerialMD) in point-cloud-reconstructie (Acc-mean, $\delta@\tau$) en 6-DoF-camerapose-schatting (RRA, RTA, AUC). Het bereikt ook superieure cross-view lokalisatienauwkeurigheid, waarbij het de translatiefout van de beste baseline ($\pi3^*$) halveert en de PCK@2m-score bijna verviervoudigt.
• KITTI Zero-Shot: Ondanks dat het alleen is getraind op CrossGeo (zonder KITTI-data), presteert Cross3R op de meeste metrieken beter dan gespecialiseerde cross-view methoden die direct op KITTI zijn getraind (LM, SliceMatch, CCVPE), inclusief laterale recall en oriëntatie-recall.
• AnyVisLoc (OOD): Op een real-world out-of-distribution testset van UAV-foto's bereikt Cross3R de beste grond- en UAV-translatiefouten en de beste grond-yawfout, wat robuustheid toont tegen echte luchtfotografie ondanks training op gerenderde UAV-data.
• Ablatiestudies:
  • De UAV-view blijkt cruciaal voor grondlokalisatie, vooral wanneer de UAV zich op een gemiddelde hoogte bevindt met een bijna-nadir viewpoint.
  • Het verwijderen van de orthografische head ($\rho$) zorgt ervoor dat cross-view lokalisatie instort, wat zijn rol als essentiële schakel voor schaalconsistentie bevestigt.
  • Het gebruik van de ruwe satelliet-hoogte ($\sim5.700$ m) leidt tot trainingsdivergentie, wat de noodzaak van de strategie voor herdefinitie van hoogte valideert.
  • Data-skaleringsexperimenten tonen monotoon prestatieverbeteringen met meer data, wat suggereert dat het model aanzienlijke ruimte heeft voor verdere schaling.

Betekenis en claims
Het artikel claimt dat Cross3R met succes satelliet-, drone- en grond-point clouds, cameraposes en cross-view lokalisatie in één keer herstelt, waardoor de beperkingen van planaire aannames in real-world terrein worden overwonnen. Door een UAV-beeld te benutten als een intermediair viewpoint, levert de methode de ontbrekende verticale aanwijzingen die nodig zijn voor 6-DoF-schatting. De auteurs benadrukken dat hoewel het huidige model beperkt is tot drie beelden per forward pass en pinhole-invoer, de voorgestelde acquisitiepijplijn en netwerkontwerp een nieuw paradigma vestigen voor schaalbare, datagedreven cross-view 3D-reconstructie. Het werk onderstreept het potentieel voor toepassingen in autonoom rijden op ruwe wegen, robotnavigatie en zoek- en reddingsoperaties, terwijl het privacybeperkingen erkent door alleen metadata (pano_ids) vrij te geven in plaats van ruwe straatniveau-beelden.