Riepilogo Tecnico: TerraDiT

Problematica

I modelli esistenti di generazione di immagini satellitari controllate affrontano un collo di bottiglia significativo: si affidano a mappe spaziali dense a livello di pixel (come maschere di segmentazione o layout di OpenStreetMap) per guidare la generazione. Sebbene efficaci per il controllo, l'acquisizione di tali annotazioni dense è lunga, costosa e spesso semanticamente limitata a set di concetti fissi. Al contrario, i modelli standard di text-to-image mancano del controllo spaziale fine necessario per applicazioni specializzate di telerilevamento come la progettazione urbana e il monitoraggio ambientale. È necessario un framework generativo che offra un controllo spaziale flessibile e favorevole alla notazione, senza l'overhead computazionale e di acquisizione dati tipico della supervisione densa a livello di pixel.

Metodologia

Gli autori introducono TerraDiT, un Diffusion Transformer (DiT) progettato per la generazione di immagini da testo-a-satellite con controllo basato su punti. L'approccio integra diverse scelte di progettazione specifiche del dominio:

1. Architettura e Strategia di Addestramento

TerraDiT si basa sull'architettura DiT (nello specifico il backbone SiT) e utilizza il Flow Matching per la modellazione generativa. L'addestramento segue una procedura in tre fasi per minimizzare i costi computazionali garantendo al contempo la stabilità:

• Fase 1 (Incondizionata): Il modello apprende la distribuzione complessiva delle immagini satellitari ad alta risoluzione.
• Fase 2 (Condizionamento Testuale): La generazione da testo-a-satellite viene introdotta utilizzando LongCLIP come encoder testuale. Il modello incorpora token densi e una singola rappresentazione di embedding, quest'ultima aggiunta all'embedding del tempo di flow.
• Fase 3 (Condizionamento a Punti): Il modello viene addestrato per la generazione condizionata a punti. Ogni query di punto consiste in una coordinata 2D e un prompt testuale libero. Le coordinate sono codificate tramite codifica sine-cosine 2D seguita da un MLP, e il testo è codificato tramite LongCLIP.

2. Attenzione Locale Adattiva (Adaptive Local Attention - ALA)

Un'innovazione centrale è il modulo Adaptive Local Attention (ALA), progettato per regolarizzare la cross-attention tra i token latenti dell'immagine e i prompt puntuali. ALA comprende due componenti:

• Modulo MetaRBF: Un blocco di MultiHead Attention seguito da uno strato feed-forward che predice i parametri di estensione spaziale ($\sigma_x, \sigma_y$) per ogni query di punto. Questi parametri definiscono una funzione di base radiale (RBF) 2D centrata sulla posizione del punto.
• Blocco di Attenzione Locale: I kernel RBF predetti modulano i punteggi di cross-attention, permettendo al modello di prestare attenzione localmente attorno a ogni query di punto pur rispettando l'estensione spaziale prevista del concetto. Ciò evita che il modello imponga vincoli di posa rigidi, consentendo variazioni semantiche diverse.

3. Allineamento della Rappresentazione e Geolocalizzazione

• Allineamento della Rappresentazione Satellitare: Ispirandosi a REPA, gli autori allineano le rappresentazioni nascoste del DiT con un encoder pre-addestrato specifico per i satelliti (DINOv3) durante l'addestramento. Una proiezione lineare mappa le rappresentazioni dei blocchi DiT nello spazio DINOv3 per migliorare l'apprendimento delle caratteristiche specifiche del dominio.
• Condizionamento della Geolocalizzazione: Il modello sfrutta gli embedding RANGE per la consapevolezza della geolocalizzazione, integrati tramite normalizzazione adattiva del layer.

4. Dataset

Il modello è addestrato su una versione aumentata del dataset Git-10M (2 milioni di immagini al livello di zoom 17). Per abilitare il condizionamento basato su punti, gli autori co-registrano i dati vettoriali di OpenStreetMap (OSM) con le immagini satellitari, campionando casualmente 10–50 punti per immagine insieme ai relativi tag OSM e alle coordinate relative.

Contributi Chiave

1. TerraDiT-XL/2-$\alpha$: Un modello generativo di stato dell'arte per la generazione da testo-a-satellite che stabilisce una solida base per la sintesi di telerilevamento controllata.
2. TerraDiT-XL/2-$\Sigma$: Un DiT condizionato a punti che consente un controllo spaziale e semantico fine utilizzando input minimi basati su punti, offrendo un'alternativa flessibile alla supervisione densa a livello di pixel.
3. Adaptive Local Attention (ALA): Un modulo innovativo che regolarizza efficacementamente la cross-attention per le condizioni basate su punti, risultando in una generazione precisa e spazialmente coerente senza vincoli di forma rigidi.
4. Analisi Sistematica del Design: Uno studio completo dei fattori specifici del dominio per i DiT satellitari, inclusi le strategie di condizionamento, gli encoder di geolocalizzazione e l'allineamento della rappresentazione con encoder specifici per i satelliti.

Risultati Sperimentali

Gli autori hanno valutato TerraDiT su quattro dataset: due split in-domain tenuti fuori dal set di addestramento (Git-Rand-15k, Git-Spatial-15k) e due dataset out-of-domain (RSICD, FMoW).

• Performance: Le varianti di TerraDiT hanno superato i modelli generativi di telerilevamento allo stato dell'arte (es. GeoSynth, DiffusionSat, Text2Earth) e i modelli general-purpose (SD3, PixArt) in tutte le metriche (FID, LPIPS, SSIM, CLIP). Nello specifico, la variante condizionata a punti (TerraDiT-XL/2-$\Sigma$) ha ottenuto il FID più basso (12.01 su Git-Rand-15k) e il SSIM più alto, superando la variante solo testuale.
• Qualità Qualitativa: Le visualizzazioni dimostrano che TerraDiT genera immagini ad alta fedeltà che riflettono accuratamente la semantica della query puntuale. A differenza dei controlli basati su mappe, le query puntuali permettono diverse variazioni strutturali mantenendo la coerenza semantica.
• Inpainting Training-Free: In un compito di inpainting zero-shot su regioni urbane, TerraDiT-XL/2-$\Sigma$ ha ottenuto un FID superiore (16.81) e un SSIM (0.7000) rispetto ai baseline geospaziali, dimostrando un efficace allineamento semantico locale con annotazioni minime.
• Efficienza: I modelli hanno raggiunto la minore latenza per la generazione di singole immagini rispetto ad altri modelli generativi di telerilevamento.

Significato e Rivendicazioni

L'articolo sostiene che TerraDiT rappresenti un avanzamento significativo nella modellazione generativa per il telerilevamento, colmando il divario tra la flessibilità della generazione da testo-a-immagine e il controllo spaziale richiesto dalle immagini satellitari. Sostituendo le mappe dense e costose a livello di pixel con query puntuali semanticamente ricche, gli autori argomentano che TerraDiT fornisce un framework più favorevole alla notazione e computazionalmente efficiente. Il lavoro dimostra che i Diffusion Transformer, se combinati con l'allineamento della rappresentazione specifica del dominio e nuovi meccanismi di attenzione, possono catturare efficacemente le complesse distribuzioni delle immagini satellitari, superando i tradizionali approcci basati su UNet sia nella realtà percettiva che nella coerenza strutturale.