Feed-Forward Gaussian Splatting from Sparse Aerial Views

Riepilogo Tecnico: Splatting Gaussiano Feed-Forward da Viste Aeree Sparse (AnyCity)

Enunciato del Problema
Ricostruire scene urbane su larga scala a partire da viste aeree sparse rappresenta una sfida critica per i gemelli digitali e la pianificazione urbana. Tuttavia, le acquisizioni aeree sparse soffrono di un grave squilibrio di evidenze dovuto a pose della camera top-down e oblique poco inclinate, distorte. Mentre i tetti e le zone aperte vengono osservati ripetutamente, le facciate verticali, gli edifici distanti e le strutture occluse ricevono scarso supporto multi-vista. I metodi feed-forward esistenti di Splatting Gaussiano 3D (3DGS), che regressano rappresentazioni deterministiche direttamente da input sparsi, spesso falliscono in questo contesto, producendo ghosting, facciate fuse e texture allungate. Al contrario, i recenti metodi generativi che fanno molto affidamento su prior spesso mancano di una chiara separazione tra geometria osservata e contenuto generato, portando a strutture plausibili ma geometricamente incoerenti.

Metodologia: AnyCity
Gli autori propongono AnyCity, un framework di ricostruzione generativa fondato sull'osservazione, progettato per affrontare questo squilibrio. L'idea centrale è trattare la ricostruzione aerea sparsa come un problema di raffinamento generativo controllato, in cui i prior generativi assistono solo i contenuti debolmente vincolati, preservando al contempo la geometria supportata dalle osservazioni. La pipeline opera in un singolo passaggio feed-forward senza ottimizzazione per scena.

1. Impalcatura Supportata dall'Osservazione:
   Il modello prevede inizialmente un latente di geometria ($Z_{geo}$) a partire da immagini aeree sparse senza posa, utilizzando un backbone feed-forward multi-vista. Questo latente ancora le strutture affidabili direttamente supportate dalle osservazioni di input. Durante la prima fase di addestramento, questo percorso viene ottimizzato mediante perdite fotometriche e geometriche leggere (allineamento della profondità e appiattimento delle normali) per sopprimere i Gaussiani fluttuanti e la fusione delle facciate.

2. Token di Completamento Aereo:
   Per gestire i contenuti debolmente vincolati (ad esempio, facciate, edifici distanti), il modello introduce token di completamento aereo. Questi token leggono il contesto dall'impalcatura supportata dall'osservazione e prevedono un aggiornamento residuo a cancello ($\Delta Z$) per il latente di geometria. Ciò garantisce che l'impalcatura rimanga responsabile della geometria affidabile, mentre il ramo di completamento gestisce le regioni ambigue.

3. Iniezione di Prior Video a Cancello:
   Per fornire indicazioni fini sull'aspetto urbano, AnyCity utilizza un backbone di diffusione video congelato (Wan 2.2) adattato al dominio aereo tramite LoRA. Le caratteristiche del prior video vengono proiettate nello spazio dei token di completamento. Crucialmente, un cancello a livello di token modula la forza con cui ogni token di completamento si focalizza sul prior video. Ciò consente al prior generativo di rifinire i contenuti debolmente vincolati senza modificare direttamente il flusso principale della geometria o alterare le osservazioni affidabili.

4. Strategia di Addestramento:
   Il modello impiega un approccio di addestramento progressivo in due fasi:

   • Fase I: Stabilizza l'impalcatura supportata dall'osservazione utilizzando perdite geometriche.
   • Fase II: Attiva il ramo di completamento, il prior video e la condizione a cancello. Questa fase utilizza una distillazione da denso a sparso, in cui un modello "insegnante" addestrato su viste dense guida il "studente" (input sparso) sulle strutture perse dalle osservazioni sparse. Una perdita di preservazione dell'osservazione garantisce che il raffinamento residuo non alteri la geometria già supportata dagli input sparsi.

Contributi Chiave

• Framework AnyCity: Un framework di ricostruzione generativa feed-forward specificamente mirato a viste urbane aeree sparse e senza posa, capace di gestire sovrapposizioni limitate, parallasse debole ed evidenze di scena disuguali.
• Prior Video Adattato all'Aereo: L'introduzione di un prior di diffusione video instradato attraverso token di completamento aereo condizionati dall'impalcatura. Questa progettazione consente alle indicazioni generative di rifinire i contenuti debolmente vincolati prima della decodifica Gaussiana, piuttosto che formare direttamente la scena, mantenendo così la coerenza geometrica.
• Addestramento Progressivo e Preservazione dell'Osservazione: Una strategia di addestramento che prima stabilizza l'impalcatura supportata dall'osservazione e poi supervisiona il raffinamento tramite prior video utilizzando distillazione da denso a sparso e obiettivi di preservazione dell'osservazione. Ciò impedisce al modello di allucinare strutture dove esistono evidenze affidabili.
• Validazione Empirica: Una valutazione estesa su scene sintetiche, nel dominio aereo, con texture UAV e scene reali dimostra miglioramenti coerenti rispetto alle linee di base feed-forward esistenti, in particolare nelle regioni debolmente vincolate.

Risultati
Gli esperimenti mostrano che AnyCity raggiunge una qualità di sintesi di nuove viste superiore rispetto alle linee di base feed-forward generalizzabili (ad esempio, NoPoSplat, FLARE, AnySplat) su diversi conteggi di viste di input (2, 4 e 16 viste).

• Quantitativo: Sui dataset GoogleEarth e CityNerf, AnyCity supera le linee di base in PSNR, SSIM e LPIPS. Ad esempio, con 4 viste su GoogleEarth, raggiunge un PSNR di 18,466 rispetto a 17,256 di AnySplat.
• Qualitativo: Il metodo produce rendering più fotorealistici con una migliore continuità delle facciate e meno artefatti fluttuanti.
• Efficienza: A differenza dei metodi di ottimizzazione per scena (ad esempio, CityGaussianV2) che richiedono minuti o ore, AnyCity ricostruisce il 3DGS finale in secondi (ad esempio, ~3,4s per 32 viste) senza richiedere pose della camera precise o inizializzazione SfM.
• Diagnostica: L'analisi per regione conferma che il metodo migliora significativamente le regioni debolmente vincolate (facciate, edifici distanti) mantenendo un'alta fedeltà nelle regioni supportate dall'osservazione.

Significato e Affermazioni
Il documento afferma che AnyCity colma con successo il divario tra l'efficienza della ricostruzione feed-forward e il potere generativo dei modelli di diffusione, specificamente adattato alle sfide uniche delle immagini aeree. Disaccoppiando la geometria affidabile supportata dall'osservazione dal raffinamento generativo, il metodo evita le trappole "plausibili ma incoerenti" degli approcci puramente generativi. Gli autori posizionano AnyCity come un passo verso una ricostruzione urbana 3D scalabile e senza posa, in grado di operare efficacemente in condizioni di squilibrio di evidenze tipiche della raccolta dati aerea. Il lavoro evidenzia che i prior generativi sono più efficaci quando utilizzati come condizionatori latenti per aggiornamenti residui piuttosto che come generatori diretti di scene.