Seeing Across Skies and Streets: Feedforward 3D Reconstruction from Satellite, Drone, and Ground Images

Riepilogo Tecnico: Cross3R – Ricostruzione 3D Feedforward da Immagini Satellitari, da Droni e da Terra

Enunciato del Problema
La localizzazione cross-view tradizionalmente mira a determinare la posa di una telecamera a livello del suolo rispetto a un'immagine satellitare nadir. I metodi esistenti sono fondamentalmente limitati alla stima a 3 gradi di libertà (DoF) – recuperando solo la posizione $(x, y)$ e l'angolo di imbardata (yaw). Questa limitazione nasce dal fatto che una singola tessera satellitare nadir non fornisce indizi diretti per rollio, beccheggio o altitudine, costringendo i modelli a fare affidamento su assunzioni di moto planare e inclinazione nulla. Queste assunzioni falliscono in ambienti reali caratterizzati da pendii, rampe, terreni irregolari o supporti per telecamere inclinati, portando a degradazioni nette di accuratezza e robustezza. Inoltre, i modelli standard di ricostruzione 3D feedforward sono progettati per collezioni di immagini catturate a quote approssimativamente simili e faticano ad allineare nuvole di punti e pose attraverso il divario estremo di punto di vista tra viste satellitari (dall'alto), UAV (oblique) e terrestri (prospettiche).

Metodologia: Cross3R
Gli autori propongono Cross3R, un modello fondazionale feedforward flessibile progettato per recuperare congiuntamente una nuvola di punti 3D cross-view, le pose a 6 DoF di tutte le telecamere di input e la localizzazione sulla tessera delle telecamere prospettiche in un singolo passaggio in avanti. Il modello accetta una tessera satellitare accoppiata con una o due viste prospettiche (UAV e/o terra).

• Idea Centrale: L'introduzione di una singola immagine UAV funge da ponte geometrico. Rivela una struttura 3D invisibile dalla vista nadir e fornisce gli indizi necessari per rollio, beccheggio e altitudine che le sole immagini satellitari non possono fornire. Crucialmente, questo approccio richiede solo la sovrapposizione spaziale tra le telecamere UAV e quelle terrestri, non pose relative note.
• Architettura: Costruito sul modello $\pi3$, Cross3R introduce tre modifiche chiave per gestire la disparità tri-view:
  1. Codificatore (Encoder): Inietta embedding posizionali di Fourier della griglia normalizzata dei pixel del satellite direttamente nei token satellitari per codificare la struttura della griglia ortografica fin dal primo strato. Raddoppia anche la dimensione del banco dei token registro per disaccoppiare i token satellitari dai token prospettici.
  2. Attenzione Alternata: Fonde gli stati nascosti attraverso gli strati utilizzando gate ponderati con softmax, consentendo al modello di accedere contemporaneamente sia alla geometria locale fine (strati iniziali) sia alla disposizione globale grossolana (strati finali).
  3. Teste di Decodifica:
     • Ramo Satellitare: Impone un prior geometrico ortografico esplicito. Uno scalare appreso $\rho$ lega la scala per-pixel della tessera satellitare alla scena. Invece di prevedere $(x, y)$, il modello prevede le coordinate dei pixel $(u, v)$ scalate per $\rho$, garantendo coerenza interna della scala.
     • Rami Prospettici (UAV/Terra): Le caratteristiche satellitari vengono compresse e aggiunte per broadcast ai token prospettici prima delle teste condivise per punti e telecamere, fornendo una guida esplicita dal sistema di coordinate satellitare.
• Obiettivo di Addestramento: Il modello è addestrato con una somma ponderata di quattro termini di perdita: perdita di profondità geometrica ($L_{geo}$), perdita di normali superficiali ($L_{norm}$), perdita della mappa di confidenza ($L_{conf}$) e perdita di posa della telecamera ($L_{cam}$).
• ridefinizione dell'Altitudine per Campione:** Per stabilizzare l'addestramento, gli autori riancorano le altitudini localmente. Le telecamere terrestri sono impostate a $y=0$, gli UAV a quote relative ($30\text{--}120$ m) e la telecamera satellitare è ridefinita a una costante di $150$ m (appena sopra la massima altitudine UAV) invece della sua vera altitudine di $\sim5.726$ m. Questo previene l'instabilità del gradiente causata da vettori di traslazione massicci.

Contributi Chiave

1. Modello Cross3R: Un modello feedforward che rompe il limite a 3 DoF dei precedenti metodi cross-view, abilitando la stima completa della posa a 6 DoF e la ricostruzione 3D densa da immagini satellitari, da UAV e da terra.
2. Dataset CrossGeo: Un dataset tri-view su larga scala composto da 277.812 immagini (46.302 campioni) distribuiti su 85 scene globali. È il primo benchmark pubblico che fornisce viste satellitari, UAV e terrestri accoppiate con pose complete a 6 DoF e profondità metrica densa. I dati provengono da Google Maps, Google Earth e Google Street View.
3. Miglioramenti delle Prestazioni: Il modello dimostra che l'aggiunta di una vista UAV migliora significativamente la localizzazione da terra a satellite, colmando efficacemente il divario di punto di vista e recuperando la struttura verticale.

Risultati Sperimentali

• Valutazione CrossGeo: Cross3R supera costantemente i baseline 3D feedforward (inclusi $\pi3$, VGGT e AerialMD) nella ricostruzione di nuvole di punti (Acc-mean, $\delta@\tau$) e nella stima della posa della telecamera a 6 DoF (RRA, RTA, AUC). Raggiunge anche una precisione di localizzazione cross-view superiore, dimezzando l'errore di traslazione del miglior baseline ($\pi3^*$) e quasi quadruplicando il punteggio PCK@2m.
• KITTI Zero-Shot: Nonostante sia addestrato solo su CrossGeo (senza dati KITTI), Cross3R supera i metodi cross-view specializzati addestrati direttamente su KITTI (LM, SliceMatch, CCVPE) nella maggior parte delle metriche, inclusa la recall laterale e la recall di orientamento.
• AnyVisLoc (OOD): Su un set di test reale fuori distribuzione di fotografie UAV, Cross3R ottiene i migliori errori di traslazione per terra e UAV e il miglior errore di imbardata (yaw) per terra, dimostrando robustezza alla fotografia aerea reale nonostante sia stato addestrato su dati UAV renderizzati.
• Studi di Ablazione:
  • La vista UAV si rivela critica per la localizzazione terrestre, in particolare quando l'UAV è a quota moderata con una vista quasi nadir.
  • La rimozione della testa ortografica ($\rho$) fa collassare la localizzazione cross-view, confermando il suo ruolo come collegamento essenziale per la coerenza della scala.
  • L'uso dell'altitudine satellitare grezza ($\sim5.700$ m) porta a una divergenza dell'addestramento, validando la necessità della strategia di ridefinizione dell'altitudine.
  • Gli esperimenti di scalatura dei dati mostrano miglioramenti monotoni delle prestazioni con l'aumento dei dati, suggerendo che il modello ha un significativo margine per un'ulteriore scalatura.

Significato e Affermazioni
Il documento afferma che Cross3R recupera con successo nuvole di punti, pose di telecamere e localizzazione cross-view per satelliti, droni e terra in un singolo colpo, superando i limiti delle assunzioni planari nei terreni reali. Sfruttando un'immagine UAV come punto di vista intermedio, il metodo fornisce gli indizi verticali mancanti necessari per la stima a 6 DoF. Gli autori sottolineano che, sebbene il modello attuale sia limitato a tre immagini per passaggio in avanti e a input a foro stenopeico, la pipeline di acquisizione proposta e il design della rete stabiliscono un nuovo paradigma per la ricostruzione 3D cross-view scalabile e basata sui dati. Il lavoro evidenzia il potenziale per applicazioni nella guida autonoma su strade accidentate, nella navigazione robotica e nelle operazioni di ricerca e soccorso, riconoscendo al contempo i vincoli sulla privacy rilasciando solo metadati (pano_ids) invece di immagini grezze a livello stradale.