Riepilogo Tecnico: TerraDiT-Ω

Definizione del Problema

Sebbene i modelli generativi abbiano fatto progressi significativi nella sintesi di immagini naturali, l'applicazione al telerilevamento (RS) rimane complessa a causa della peculiare complessità strutturale delle scene satellitari. A differenza delle immagini naturali, le scene satellitari sono definite da disposizioni dense e interconnesse di piccole geometrie semanticamente distinte. Gli approcci esistenti tentano di colmare questo divario adattando i framework per immagini naturali utilizzando o raster densi (ad esempio, maschere di segmentazione) o prompt sparsi (ad esempio, annotazioni puntuali). Tuttavia, questi metodi soffrono di due limitazioni fondamentali:

1. Degradazione Geometrica: La conversione dei primitivi geospaziali nativi (vettori) in raster basati su pixel appiattisce le complesse relazioni spaziali, come sovrapposizioni di cavalcavia o zone di uso del suolo intersecanti, portando a una perdita di fedeltà strutturale.
2. Disallineamento del Workflow: Le mappe semantiche dense richiedono sforzi di annotazione proibitivi (una media di 2,5 ore per tile), mentre i segnali sparsi come i prompt puntuali sottospecificano configurazioni geometriche cruciali. Ciò costringe i professionisti a implementare architetture separate per diversi budget di annotazione, ostacolando workflow di GeoAI scalabili ed end-to-end.

I modelli attuali faticano anche a gestire i diversi gradi di dettaglio strutturale tra i differenti formati di input, affidandosi spesso a token apprendibili generici che non riescono a catturare i specifici priori geometrici di oggetti ruotati o allungati comuni nel RS.

Metodologia

Gli autori propongono TerraDiT-Ω, un framework di controllo spaziale unificato che genera immagini satellitari direttamente da primitivi geospaziali nativi (poligoni, polilinee, bounding box e punti) senza richiedere la conversione di formato. Il sistema si basa su un backbone di tipo Flow-based Latent Diffusion Transformer (DiT).

Componenti Core

1. Unified Primitive Encoder:

   • Questo modulo mappa diversi formati geospaziali in una rappresentazione condivisa.
   • Elabora poligoni, polilinee, bounding box e punti utilizzando mappature di caratteristiche di Fourier, concatenate con caption di istanza codificate da un modello LongCLIP congelato.
   • I primitivi mancanti sono rappresentati da embedding nulli appresi, consentendo al modello di gestire budget di annotazione misti o parziali.

2. Geometry-Aware Local Attention (GALA):

   • Per affrontare i limiti dell'apprendimento spaziale implicito, gli autori introducono GALA, un meccanismo di condizionamento che inietta espliciti indizi geometrici nello spazio di attenzione.
   • MetaRBF+: Per ogni token di istanza, questo modulo predice i parametri di un prior Gaussiano anisotropo ruotato $(\sigma_x, \sigma_y, \theta)$. A differenza dei precedenti prior allineati agli assi (ad esempio, in TerraDiT-Σ), ciò consente al meccanismo di attenzione di adattarsi a geometrie orientate e allungate.
   • Modulazione Spatial Geometry Field (SGF): Per condizioni geometriche più ricche (poligoni, polilinee, box), il modello calcola un campo spaziale denso.
     • Per poligoni e box, viene utilizzato un Campo di Distanza Segnato (SDF) con decadimento sigmoidale per creare confini netti.
     • Per le polilinee, una funzione di contrasto basata sulla distanza espande il supporto della linea per catturare lo spessore visivo (ad esempio, per i fiumi).
   • Il prior di attenzione finale è un prodotto normalizzato del kernel Gaussiano e del campo geometrico spaziale, che modula moltiplicativamente i logit di attenzione tra i token dell'immagine e quelli dei primitivi. Ciò assicura che i punti inducano un focus locale morbido, mentre i poligoni e le polilinee impongano una rigorosa aderenza geometrica.

3. Training e Dati:

   • Il modello è addestrato sul dataset Git-10M, utilizzando dati vettoriali OpenStreetMap (OSM) per i primitivi e contesto globale di testo/geolocalizzazione.
   • L'addestramento prevede un framework di diffusione a tempo continuo con predizione della velocità, allineamento della rappresentazione (REPA) utilizzando un encoder DINOv3 specifico per i satelliti, e strategie di dropout adattivo per garantire la robustezza attraverso diversi livelli di densità di annotazione.

Contributi Chiave

1. Framework Unificato: TerraDiT-Ω è il primo framework generativo che opera direttamente su qualsiasi primitivo geospaziale nativo, consentendo una sintesi controllabile allo stato dell'arte attraverso uno spettro di budget di annotazione che vanno dai punti sparsi ai poligoni precisi.
2. Geometry-Aware Local Attention (GALA): Il meccanismo di condizionamento proposto preserva esplicitamente gli indizi geometrici nei primitivi vettoriali, migliorando significativamente la fedeltà in scene densamente strutturate modellando la rotazione e i vincoli spaziali.
3. Versatile Synthetic Data Augmentation: L'unica architettura unificata supporta la generazione di dati sintetici per molteplici task downstream (segmentazione, rilevamento, estrazione di strade, classificazione) senza richiedere pipeline specifiche per task o rasterizzazione.

Risultati Sperimentali

Gli autori hanno valutato TerraDiT-Ω su tre dataset hold-out: Git-Rand-15k (campionamento globale casuale), Git-Spatial-15k (holdout spaziale) e Git-Dense-3.5k (scene ad alta densità).

• Qualità di Sintesi: TerraDiT-Ω supera costantemente i modelli di immagini generali (ad esempio, SDXL, PixArt) e i precedenti baseline geospaziali (ad esempio, GeoSynth-OSM, VectorSynth, TerraDiT-Σ) in termini di metriche FID, sFID e LPIPS. Notevolmente, le prestazioni scalano con la complessità dell'annotazione; il modello ottiene i migliori risultati quando condizionato sull'intero set di primitivi ($\Omega$).
• Fedeltà Spaziale: Le metriche quantitative (SSIM) e le visualizzazioni qualitative dimostrano che TerraDiT-Ω mantiene la corretta connettività relazionale (ad esempio, cavalcavia, reti stradali) dove i baseline basati su raster falliscono. Il modello riduce efficacementamente le allucinazioni di layout fornendo dettagli geometrici esatti.
• Utilità Downstream: I dati sintetici generati da TerraDiT-Ω migliorano le prestazioni downstream su quattro task chiave del RS:
  • Object Detection (DIOR): Miglioramento di mAP@50-95 e mAP@50.
  • Land-Cover Segmentation (OpenEarthMap): Aumento di mIoU e punteggi F1.
  • Road Graph Extraction (City-Scale): Miglioramento della connettività topologica (TOPO) e della geometria locale (APLS).
  • Scene Classification (AID): Significativi guadagni di accuratezza, particolarmente in regimi di dati scarsi.
• Studi di Ablazione: Rimuovere la rotazione ($\theta$) o la modulazione SGF degrada le prestazioni, confermando la necessità di un esplicito modellamento geometrico. GALA supera altri meccanismi di attenzione (GSA, IMA, ALA) nell'aderire a geometrie complesse.

Significato e Claim

Il paper sostiene che TerraDiT-Ω rappresenti un passo significativo verso workflow di GeoAI robusti ed end-to-end. Eliminando la necessità di conversione di formato tra primitivi vettoriali e maschere raster, il framework colma il divario tra annotazioni dense costose e prompt sparsi imprecisi.

Gli autori sottolineano che il loro approccio è naturalmente compatibile con le fonti di dati geospaziali esistenti (come OSM) e supporta layout controllabili attraverso diversi budget di annotazione. Questa flessibilità permette la generazione di dati sintetici ad alta fedeltà che migliorano direttamente le prestazioni dei modelli downstream senza l'overhead computazionale di precalcolare maschere dense o la perdita geometrica della rasterizzazione. Il lavoro posiziona la soluzione come un framework versatile e unificato per la sintesi di immagini satellitari che si allinea con le realtà strutturali del telerilevamento.