Resumo Técnico: TerraDiT

Declaração do Problema

Os modelos generativos de imagens de satélite controlados existentes enfrentam um gargalo significativo: eles dependem de mapas espaciais densos ao nível de pixel (como máscaras de segmentação ou layouts do OpenStreetMap) para guiar a geração. Embora eficazes para o controle, a aquisição dessas anotações densas é demorada, cara e frequentemente limitada semanticamente a conjuntos de conceitos fixos. Por outro outro lado, os modelos padrão de texto-para-imagem carecem do controle espacial refinado necessário para aplicações especializadas de sensoriamento remoto, como design urbano e monitoramento ambiental. Há uma necessidade de um framework generativo que ofereça controle espacial flexível e amigável à anotação, sem o overhead computacional e de aquisição de dados da supervisão densa ao nível de pixel.

Metodologia

Os autores apresentam o TerraDiT, um Diffusion Transformer (DiT) projetado para a geração de imagens de satélite via texto com controle baseado em pontos. A abordagem integra diversas escolhas de design específicas do domínio:

1. Arquitetura e Estratégia de Treinamento

O TerraDiT é construído sobre a arquitetura DiT (especificamente o backbone SiT) e utiliza Flow Matching para modelagem generativa. O treinamento segue um procedimento de três estáções para minimizar os custos computacionais enquanto garante a estabilidade:

• Estágio 1 (Incondicional): O modelo aprende a distribuição geral de imagens de satélite de alta resolução.
• Estágio 2 (Condicionamento de Texto): A geração de texto-para-satélite é introduzida utilizando o LongCLIP como o codificador de texto. O modelo incorpora tokens densos e uma representação de embedding única, sendo esta última adicionada ao embedding do tempo de fluxo (flow timestep).
• Estágio 3 (Condicionamento de Ponto): O modelo é treinado para geração condicionada por pontos. Cada consulta de ponto consiste em uma coordenada 2D e um prompt de texto livre. As coordenadas são codificadas via codificação seno-cosseno 2D seguida por um MLP, e o texto é codificado via LongCLIP.

2. Atenção Local Adaptativa (ALA)

Uma inovação central é o módulo de Atenção Local Adaptativa (ALA), projetado para regularizar a atenção cruzada (cross-attention) entre os tokens de imagem latentes e os prompts de pontos. O ALA compreende dois componentes:

• Módulo MetaRBF: Um bloco de MultiHead Attention seguido por uma camada feed-forward que prevê parâmetros de extensão espacial ($\sigma_x, \sigma_y$) para cada consulta de ponto. Esses parâmetros definem uma Função de Base Radial (RBF) 2D centrada na localização do ponto.
• Bloco de Atenção Local: Os kernels RBF previstos modulam os scores de atenção cruzada, permitindo que o modelo atenda localmente ao redor de cada consulta de ponto enquanto respeita a extensão espacial prevista do conceito. Isso evita que o modelo imponha restrições rígidas de pose, permitindo variações semânticas diversas.

3. Alinhamento de Representação e Geolocalização

• Alinhamento de Representação de Satélite: Inspirado pelo REPA, os autores alinham as representações ocultas do DiT com um codificador pré-treinado exclusivo para satélite (DINOv3) durante o treinamento. Uma projeção linear mapeia as representações dos blocos do DiT para o espaço DINOv3 para melhorar o aprendizado de características específicas do domínio.
• Condicionamento de Geolocalização: O modelo utiliza embeddings RANGE para consciência de geolocalização, integrados via normalização de camada adaptativa.

4. Dataset

O modelo é treinado em uma versão aumentada do dataset Git-10M (2 milhões de imagens no nível de zoom 17). Para permitir o condicionamento baseado em pontos, os autores co-registram dados vetoriais do OpenStreetMap (OSM) com imagens de satélite, amostrando aleatoriamente de 10 a 50 pontos por imagem junto com suas tags OSM associadas e coordenadas relativas.

Principais Contribuições

1. TerraDiT-XL/2-$\alpha$: Um modelo generativo de texto-para-satélite de estado da arte que estabelece uma base sólida para a síntese de sensoriamento remoto controlada.
2. TerraDiT-XL/2-$\Sigma$: Um DiT condicionado por pontos que permite controle espacial e semântico refinado usando entradas mínimas baseadas em pontos, oferecendo uma alternativa flexível à supervisão densa ao nível de pixel.
3. Atenção Local Adaptativa (ALA): Um módulo inovador que efetivamente regulariza a atenção cruzada para condições baseadas em pontos, resultando em uma geração precisa e espacialmente coerente sem restrições rígidas de forma.
4. Análise de Design Sistemática: Um estudo abrangente de fatores de design específicos do domínio para DiTs de imagens de satélite, incluindo estratégias de condicionamento, codificadores de geolocalização e alinhamento de representação com codificadores específicos de satélite.

Resultados Experimentais

Os autores avaliaram o TerraDiT em quatro datasets: duas divisões retidas in-domain (Git-Rand-15k, Git-Spatial-15k) e dois datasets out-of-domain (RSICD, FMoW).

• Desempenho: As variantes do TerraDiT superaram os modelos generativos de sensoriamento remoto de estado da arte (ex: GeoSynth, DiffusionSat, Text2Earth) e modelos de propósito geral (SD3, PixArt) em todas as métricas (FID, LPIPS, SSIM, CLIP). Especificamente, a variante condicionada por pontos (TerraDiT-XL/2-$\Sigma$) alcançou o menor FID (12.01 no Git-Rand-15k) e o maior SSIM, superando a variante apenas de texto.
• Qualidade Qualitativa: Visualizações demonstram que o TerraDiT gera imagens de alta fidelidade que refletem com precisão a semântica da consulta de ponto. Diferente dos controles baseados em mapas, as consultas de ponto permitem diversas variações estruturais enquanto mantêm a consistência semântica.
• Inpainting sem Treinamento (Training-Free): Em uma tarefa de inpainting zero-shot em regiões urbanas, o TerraDiT-XL/2-$\Sigma$ alcançou um FID superior (16.81) e SSIM (0.7000) comparado aos baselines geoespaciais, demonstrando um alinhamento semântico local eficaz com anotação mínima.
• Eficiência: Os modelos alcançaram a menor latência para geração de imagem única em comparação com outros modelos generativos de sensoriamento remoto.

Significância e Alegações

O artigo afirma que o TerraDiT representa um avanço significativo na modelagem generativa de sensoriamento remoto ao preencher a lacuna entre a flexibilidade da geração de texto-para-imagem e o controle espacial necessário para imagens de satélite. Ao substituir mapas densos e caros ao nível de pixel por consultas de pontos semanticamente ricas, os autores argumentam que o TerraDiT fornece um framework mais amigável à anotação e computacionalmente eficiente. O trabalho demonstra que os Diffusion Transformers, quando combinados com alinhamento de representação específico do domínio e novos mecanismos de atenção, podem capturar efetivamente as distribuições complexas de imagens de satélite, superando as abordagens tradicionais baseadas em UNet tanto em realismo perceptual quanto em consistência estrutural.