Technische Samenvatting: TerraDiT

Probleemstelling

Bestaande gecontroleerde generatieve modellen voor satellietbeelden kampen met een significante flessenhals: ze vertrouwen op dichte, pixel-niveau ruimtelijke kaarten (zoals segmentatiemaskers of OpenStreetMap-lay-outs) om de generatie te sturen. Hoewel effectief voor controle, is het verwerven van deze dichte annotaties tijdrovend, duur en vaak semantisch beperkt tot vaste conceptensets. Daartegenover staan standaard tekst-naar-beeldmodellen die de fijne ruimtelijke controle missen die nodig is voor gespecialiseerde toepassingen in remote sensing, zoals stedelijk ontwerp en milieumonitoring. Er is behoefte aan een generatief framework dat flexibele, annotatievriendelijke ruimtelijke controle biedt zonder de computationele en data-acquisitie-overhead van dichte pixel-niveau supervisie.

Methodologie

De auteurs introduceren TerraDiT, een Diffusion Transformer (DiT) ontworpen voor tekst-naar-satellietbeeldgeneratie met puntgebaseerde controle. De aanpak integreert verschillende domeinspecifieke ontwerpkeuzes:

1. Architectuur en Trainingsstrategie

TerraDiT is gebouwd op de DiT-architectuur (specifiek de SiT-backbone) en maakt gebruik van Flow Matching voor generatieve modellering. Het trainingsproces volgt een drie-fasen procedure om de computationele kosten te minimaliseren en tegelijkertijd stabiliteit te waarborgen:

• Fase 1 (Onvoorwaardelijk): Het model leert de algemene distributie van hoogresolutie satellietbeelden.
• Fase 2 (Tekst-conditionering): Tekst-naar-satellietgeneratie wordt geïntroduceerd met behulp van LongCLIP als de tekstencoder. Het model incorporeert dichte tokens en een enkele embedding-representatie, waarbij de laatste wordt toegevoegd aan de flow-timestep embedding.
• Fase 3 (Punt-conditionering): Het model wordt getraind voor punt-gecontroleerde generatie. Elke punt-query bestaat uit een 2D-coördinaat en een vrije tekstuele prompt. Coördinaten worden gecodeerd via 2D sine-cosine encoding gevolgd door een MLP, en tekst wordt gecodeerd via LongCLIP.

2. Adaptive Local Attention (ALA)

Een kerninnovatie is de Adaptive Local Attention (ALA) module, ontworpen om de cross-attention tussen latente beeldtokens en punt-prompts te reguleren. ALA bestaat uit twee componenten:

• MetaRBF Module: Een MultiHead Attention-blok gevolgd door een feed-forward laag die de ruimtelijke omvangparameters ($\sigma_x, \sigma_y$) voorspelt voor elke punt-query. Deze parameters definiëren een 2D Radial Basis Function (RBF) gecentreerd rond de locatie van het punt.
• Local Attention Block: De voorspelde RBF-kernels moduleren de cross-attention scores, waardoor het model lokaal rond elk punt kan attenderen terwijl het de voorspelde ruimtelijke omvang van het concept respecteert. Dit voorkomt dat het model strikte pose-beperkingen oplegt, wat diverse semantische variaties mogelijk maakt.

3. Representatie-uitlijning en Geolocatie

• Satelliet-representatie-uitlijning: Geïnspireerd door REPA, lijnen de auteurs de verborgen representaties van de DiT uit met een vooraf getrainde satelliet-specifieke encoder (DINOv3) tijdens de training. Een lineaire projectie brengt de DiT-block-representaties naar de DINOv3-ruimte om domeinspecifieke feature-lering te verbeteren.
• Geolocatie-conditionering: Het model maakt gebruik van RANGE embeddings voor geolocatie-bewustzijn, geïntegreerd via adaptive layer normalization.

4. Dataset

Het model wordt getraind op een uitgebreide versie van de Git-10M dataset (2 miljoen afbeeldingen op zoomniveau 17). Om punt-gebaseerde conditionering mogelijk te maken, hebben de auteurs OpenStreetMap (OSM) vector-data gecoregistreerd met satellietbeelden, waarbij willekeurig 10–50 punten per afbeelding zijn gesampled samen met de bijbehorende OSM-tags en relatieve coördinaten.

Belangrijkste Bijdragen

1. TerraDiT-XL/2-$\alpha$: Een state-of-the-art tekst-naar-satellietbeeld generatief model dat een sterke fundering legt voor gecontroleerde remote sensing synthese.
2. TerraDiT-XL/2-$\Sigma$: Een punt-geconditioneerde DiT die fijne ruimtelijke en semantische controle mogelijk maakt met minimale punt-gebaseerde inputs, wat een flexibel alternatief biedt voor dichte pixel-niveau supervisie.
3. Adaptive Local Attention (ALA): Een nieuwe module die de cross-attention voor punt-gebaseerde condities effectief reguleert, wat resulteert in precieze en ruimtelijk coherente generatie zonder strikte vormbeperkingen.
4. Systematische Ontwerpanalyse: Een uitgebreide studie naar domeinspecifieke factoren voor satellietbeeld DiTs, inclusief conditioneringstrategieën, geolocatie-encoders en representatie-uitlijning met satelliet-specifieke encoders.

Experimentele Resultaten

De auteurs hebben TerraDiT geëvalueerd op vier datasets: twee in-domain held-out splits (Git-Rand-15k, Git-Spatial-15k) en twee out-of-domain datasets (RSICD, FMoW).

• Prestaties: TerraDiT-varianten presteerden beter dan state-of-the-art remote sensing generatieve modellen (bijv. GeoSynth, DiffusionSat, Text2Earth) en algemene modellen (SD3, PixArt) over alle metrieken (FID, LPIPS, SSIM, CLIP). Specifiek bereikte de punt-geconditioneerde variant (TerraDiT-XL/2-$\Sigma$) de laagste FID (12.01 op Git-Rand-15k) en de hoogste SSIM, waarmee het de tekst-alleen variant overtrof.
• Kwalitatieve Kwaliteit: Visualisaties tonen aan dat TerraDT beelden met hoge getrouwheid genereert die de semantiek van de punt-queries accuraat reflecteren. In tegen tegenstelling tot kaart-gebaseerde controles, laten punt-queries diverse structurele variaties toe terwijl de semantische consistentie behouden blijft.
• Training-vrije Inpainting: In een zero-shot inpainting taak op stedelijke regio's behaalde TerraDiT-XL/2-$\Sigma$ een superieure FID (16.81) en SSIM (0.7000) vergeleken met geospatiale baselines, wat effectieve lokale semantische uitlijning met minimale annotatie aantoont.
• Efficiëntie: De modellen behaalden de laagste latentie voor single-image generatie vergeleken met andere remote sensing generatieve modellen.

Betekenis en Claims

Het artikel beweert dat TerraDT een significante vooruitgang vertegenwoordigt in remote sensing generatieve modellering door de kloof te overbruggen tussen de flexibiliteit van tekst-naar-beeld generatie en de ruimtelijke controle die vereist is voor satellietbeelden. Door dichte, dure pixel-niveau kaarten te vervangen door semantisch rijke punt-queries, stellen de auteurs dat TerraDT een meer annotatievriendelijk en computationeel efficiënt framework biedt. Het werk demonstreert dat Diffusion Transformers, wanneer gecombineerd met domeinspecifieke representatie-uitlijning en nieuwe attention-mechanismen, effectief de complexe distributies van satellietbeelden kunnen vastleggen, waarbij ze traditionele UNet-gebaseerde benaderingen overtreffen in zowel perceptuele realisme als structurele consistentie.