Riepilogo Tecnico: SeasonScapes

Enunciato del Problema

La ricostruzione 3D su larga scala di paesaggi a partire da viste sparse e non vincolate rimane una sfida significativa nella visione artificiale. I metodi esistenti faticano con errori di calibrazione della telecamera, copertura limitata della scena e alta complessità della scena che coinvolge illuminazione dinamica e variazioni dell'aspetto stagionale. Sebbene esistano dataset su larga scala per ambienti urbani statici, vi è una lacuna notevole in dataset di alta qualità e ricchi temporalmente per paesaggi montani naturali e illimitati che catturino sia gli spostamenti stagionali che i cicli di illuminazione diurni. Inoltre, i sistemi tradizionali basati su mesh (ad esempio Google Earth) si affidano a geometrie statiche e texture satellitari mescolate, fallendo nel modellare l'aspetto dipendente dalla vista o condizioni di illuminazione diverse con coerenza fotometrica.

Metodologia

Gli autori propongono SeasonScapes, un framework e un dataset progettati per ricostruire paesaggi 3D su larga scala e rilluminabili a partire da immagini sparse di webcam. La pipeline integra dati multimodali (webcam, immagini satellitari e modelli di elevazione) attraverso le seguenti fasi:

1. Preprocessing dei Dati e Inizializzazione

• Geometria di Base: Il processo inizia con un Modello Digitale di Elevazione (IDEM) a bassa risoluzione e un'immagine a colori satellitare ($I_S$) della regione target (ad esempio, Alpi Bernesi). Una nuvola di punti 3D viene generata mappando le altezze dei pixel dall'IDEM e colorandole con $I_S$. Una mesh 3D ($M$) viene costruita utilizzando la ricostruzione di superficie di Poisson.
• Svolgimento UV: La superficie della mesh viene svolta utilizzando la libreria xatlas per creare una mappa texture UV, separando l'archiviazione della texture dalla geometria.
• Allineamento Webcam: I feed panoramici delle webcam (cilindrici a 360°) vengono suddivisi in 4–6 immagini prospettiche sub. Queste vengono bilanciate nel colore per la coerenza e allineate con la mesh 3D.
• Ottimizzazione della Telecamera: Le pose iniziali della telecamera sono derivate dalle coordinate GPS ma vengono affinate tramite un approccio basato sull'apprendimento. Gli autori stabiliscono manualmente corrispondenze 2D–3D e ottimizzano i parametri intrinseci (lunghezza focale) ed estrinseci (rotazione) minimizzando la perdita di pixel L1 tra i punti 3D proiettati e i punti dell'immagine 2D target.

2. Texturing della Mesh 3D e Inpainting

Per affrontare le occlusioni e la copertura sparsa, il framework impiega un processo di texturing in due fasi:

• Pittura Iniziale: Le immagini delle webcam preelaborate vengono proiettate sulla mappa UV della mesh. Viene utilizzata una strategia di sovrapposizione progressiva, dove le nuove texture vengono mescolate con quelle esistenti basandosi su una maschera UV, assicurando che le regioni precedentemente dipinte siano preservate.
• Inpainting Iterativo: Per le regioni non coperte dalle viste delle webcam, il sistema utilizza un modello di diffusione consapevole della profondità (ControlNet) per riempire le aree mancanti.
  • Traiettoria: Il sistema definisce un percorso di vista nuovo con pose specifiche.
  • Condizionamento: Per ogni passaggio, viene renderizzata un'immagine RGBD. Viene generata una maschera non colorata utilizzando il filtraggio dello spazio colore HSV per identificare le regioni mancanti.
  • Diffusione: Una pipeline ControlNet condiziona l'inpainting sulla mappa di profondità, su un IP-Adapter (per la guida dell'aspetto dalle webcam vicine) e su un prompt testuale.
  • Proiezione: L'immagine generata e riempita viene proiettata nuovamente sulla mappa texture UV locale e sovrapposta alla texture precedente.

3. Rappresentazione 3D Rilluminabile

La fase finale comporta l'addestramento di un modello Wild Gaussian (un'estensione dello 3D Gaussian Splatting) utilizzando il dataset completato e temporalmente diversificato.

• Embedding Dinamici: Il modello incorpora embedding temporali per catturare variazioni stagionali e diurne.
• MLP dell'Aspetto: Un Perceptron Multistrato (MLP) trasforma gli attributi di colore di base di ciascun Gaussian in base alla direzione del raggio di vista e al tempo, consentendo la ricostruzione di proprietà dinamiche della scena e capacità di rilluminazione.

Contributi Chiave

1. Dataset SeasonScapes: Un dataset multimodale su larga scala e di alta qualità che copre 3.000 km² di terreno alpino. Include oltre 85.000 immagini webcam da 32 località attraverso 13 timestamp, catturando cicli stagionali completi e cambiamenti diurni. Fornisce annotazioni precise dei timestamp e corrispondenze 2D–3D calibrate tra immagini a livello del suolo e dati satellitari georeferenziati.
2. Framework SeasonScapes: Una pipeline innovativa per la creazione di paesaggi 3D rilluminabili. Gestisce in modo unico scene su larga scala e illimitate introducendo traiettorie di inpainting lineari o a spline cubica tra le coordinate GPS ed eseguendo la pittura consapevole delle occlusioni tramite indicizzazione UV e rendering di profondità, piuttosto che affidarsi esclusivamente al filtraggio basato sulle normali.
3. Modellazione Dinamica Rilluminabile: L'integrazione di embedding dinamici nell'addestramento di Gaussian rilluminabili, consentendo una modellazione efficace dei cambiamenti temporali (stagioni e ora del giorno) in scene esterne su larga scala.

Risultati e Valutazione

Gli autori hanno valutato la pipeline su tre scene di test diverse: Grindelwald (piccola scala), Jungfrau (scala media) e Alpi Bernesi (grande scala).

• Metriche Quantitative: Le prestazioni sono state misurate utilizzando LPIPS, PSNR e SSIM. La scena di Grindelwald ha raggiunto un LPIPS di 0,159, mentre le scene più grandi di Jungfrau e Bernesi hanno mostrato valori LPIPS più elevati (rispettivamente 0,191 e 0,216). Gli autori attribuiscono il degrado delle prestazioni nelle scene più grandi all'aumentata proporzione di regioni non viste che richiedono sintesi.
• Studi di Ablazione: La rimozione della fase di pittura iniziale ha comportato un calo significativo delle prestazioni (fino al 33,1% in LPIPS per Grindelwald), evidenziando la necessità dell'approccio in due fasi. La rimozione del controllo di profondità ha portato a "allucinazioni montane" nelle regioni distanti, mentre l'IP-Adapter si è dimostrato principalmente capace di modulare le tonalità di colore.
• Confronto Qualitativo: Rispetto a Google Earth, l'approccio SeasonScapes ha dimostrato una colorazione superiore su pareti rocciose ripide catturando meglio viste quasi ortogonali, evitando la distorsione e la perdita di dettagli comuni nelle prospettive satellitari dall'alto. Il metodo ha mostrato anche una maggiore adattabilità alle variazioni stagionali.

Significato e Limitazioni

Il documento posiziona SeasonScapes come un passo avanti nella creazione di gemelli digitali di ambienti naturali che non sono solo geometricamente accurati, ma anche fotometricamente coerenti nel tempo. Combinando dati di webcam sparsi con prior di diffusione, il metodo consente la modellazione di transizioni ambientali a lungo termine e cambiamenti di illuminazione a breve termine, avanzando oltre le ricostruzioni statiche basate solo su satelliti.

Gli autori riconoscono le attuali limitazioni:

• Il processo manuale di corrispondenza 2D–3D è dispendioso in termini di tempo.
• ControlNet fatica a riempire regioni mancanti molto piccole.
• Gli output dei Gaussian rilluminabili mostrano occasionalmente artefatti sfocati, probabilmente dovuti a errori di calibrazione e ai vincoli di espressività del framework Wild Gaussian.

Il lavoro fornisce una base per applicazioni nel monitoraggio ambientale, nella modellazione meteorologica e nel turismo virtuale, offrendo una rappresentazione più dinamica e realistica dei paesaggi naturali rispetto ai dataset statici esistenti.