Resumen Técnico: TerraDiT

Planteamiento del Problema

Los modelos generativos de imágenes satelitales controladas existentes enfrentan un cuello de botella significativo: dependen de mapas espaciales densos a nivel de píxel (como máscaras de segmentación o diseños de OpenStreetMap) para guiar la generación. Aunque son efectivos para el control, la adquisición de estas anotaciones densas es costosa, consume mucho tiempo y suele estar limitada semánticamente a conjuntos de conceptos fijos. Por el contrario, los modelos estándar de texto a imagen carecen del control espacial detallado necesario para aplicaciones especializadas de teledetección, como el diseño urbano o el monitoreo ambiental. Existe la necesidad de un marco generativo que ofrezca un control espacial flexible y amigable con la anotación sin la sobrecarga computacional y de adquisición de datos de la supervisión densa a nivel de píxel.

Metodología

Los autores presentan TerraDiT, un Transformer de Difusión (DiT) diseñado para la generación de imágenes de texto a satélite mediante control basado en puntos. El enfoque integra varias decisiones de diseño específicas del dominio:

1. Arquitectura y Estrategia de Entrenamiento

TerraDiT se basa en la arquitectura DiT (específicamente el backbone SiT) y utiliza el Coincidencia de Flujo (Flow Matching) para el modelado generativo. El entrenamiento sigue un procedimiento de tres etapas para minimizar los costos computacionales y asegurar la estabilidad:

• Etapa 1 (Incondicional): El modelo aprende la distribución general de las imágenes satelitales de alta resolución.
• Etapa 2 (Condicionamiento de Texto): Se introduce la generación de texto a satélite utilizando LongCLIP como codificador de texto. El modelo incorpora tokens densos y una representación de embedding única, la cual se añade al embedding del paso de flujo (flow timestep).
• Etapa 3 (Condicionamiento de Puntos): El modelo se entrena para la generación condicionada por puntos. Cada consulta de punto consiste en una coordenada 2D y un prompt textual de forma libre. Las coordenadas se codifican mediante codificación de seno-coseno 2D seguida de un MLP, y el texto se codifica mediante LongCLIP.

2. Atención Local Adaptativa (ALA)

Una innovación central es el módulo de Atención Local Adaptativa (ALA), diseñado para regularizar la atención cruzada entre los tokens de imagen latentes y los prompts de puntos. ALA consta de dos componentes:

• Módulo MetaRBF: Un bloque de Atención de Cabezales Múltiples (MultiHead Attention) seguido de una capa de alimentación hacia adelante (feed-forward) que predice los parámetros de extensión espacial ($\sigma_x, \sigma_y$) para cada consulta de punto. Estos parámetros definen una Función de Base Radial (RBF) 2D centrada en la ubicación del punto.
• Bloque de Atención Local: Los kernels RBF predichos modulan las puntuaciones de atención cruzada, permitiendo que el modelo atienda localmente alrededor de cada consulta de punto mientras respeta la extensión espacial predicha del concepto. Esto evita que el modelo imponga restricciones estrictas de pose, permitiendo variaciones semánticas diversas.

3. Alineación de Representación y Geolocalización

• Alineación de la Representación Satelital: Inspirados en REPA, los autores alinean las representaciones ocultas del DiT con un codificador especializado únicamente en satélites (DINOv3) durante el entrenamiento. Una proyección lineal mapea las representaciones de los bloques DiT al espacio de DINOv3 para mejorar el aprendizaje de características específicas del dominio.
• Condicionamiento de Geolocalización: El modelo aprovecha los embeddings RANGE para la conciencia de geolocalización, integrados mediante normalización de capa adaptativa.

4. Conjunto de Datos

El modelo se entrena en una versión aumentada del conjunto de datos Git-10M (2 millones de imágenes en nivel de zoom 17). Para permitir el condicionamiento basado en puntos, los autores co-registran datos vectoriales de OpenStreetMap (OSM) con imágenes satelitales, muestreando aleatoriamente de 10 a 50 puntos por imagen junto con sus etiquetas OSM asociadas y coordenadas relativas.

Contribuciones Clave

1. TerraDiT-XL/2-$\alpha$: Un modelo generativo de texto a satélite de vanguardia que establece una base sólida para la síntesis de teledetección controlada.
2. TerraDiT-XL/2-$\Sigma$: Un DiT condicionado por puntos que permite un control espacial y semántico detallado utilizando entradas mínimas basadas en puntos, ofreciendo una alternativa flexible a la supervisión densa a nivel de píxel.
3. Atención Local Adaptativa (ALA): Un módulo novedoso que regulariza eficazmente la atención cruzada para condiciones basadas en puntos, resultando en una generación precisa y espacialmente coherente sin restricciones estrictas de forma.
4. Análisis de Diseño Sistemático: Un estudio exhaustivo de los factores de diseño específicos del dominio para los DiT de imágenes satelitales, incluyendo estrategias de condicionamiento, codificadores de geolocalización y alineación de representación con codificadores específicos de satélite.

Resultados Experimentales

Los autores evaluaron TerraDiT en cuatro conjuntos de datos: dos divisiones retenidas dentro del dominio (Git-Rand-15k, Git-Spatial-15k) y dos fuera del dominio (RSICD, FMoW).

• Desempeño: Las variantes de TerraDiT superaron a los modelos generativos de teledetección de vanguardia (p. ej., GeoSynth, DiffusionSat, Text2Earth) y a los modelos de propósito general (SD3, PixArt) en todas las métricas (FID, LPIPS, SSIM, CLIP). Específicamente, la variante condicionada por puntos (TerraDiT-XL/2-$\Sigma$) logró el FID más bajo (12.01 en Git-Rand-15k) y el SSIM más alto, superando a la variante de solo texto.
• Calidad Cualitativa: Las visualizaciones demuestran que TerraDiT genera imágenes de alta fidelidad que reflejan con precisión la semántica de la consulta de punto. A diferencia de los controles basados en mapas, las consultas de puntos permiten diversas variaciones estructurales manteniendo la consistencia semántica.
• Inpainting Sin Entrenamiento (Training-Free Inpainting): En una tarea de inpainting zero-shot en regiones urbanas, TerraDiT-XL/2-$\Sigma$ logró un FID superior (16.81) y un SSIM (0.7000) comparado con los modelos base geoespaciales, demostrando una alineación semántica local efectiva con una anotación mínima.
• Eficiencia: Los modelos lograron la menor latencia para la generación de una sola imagen en comparación con otros modelos generativos de teledetección.

Significado y Reivindicaciones

El artículo afirma que TerraDiT representa un avance significativo en el modelado generativo de teledetección al cerrar la brecha entre la flexibilidad de la generación de texto a imagen y el control espacial requerido para las imágenes satelitales. Al reemplazar los mapas densos y costosos a nivel de píxel con consultas de puntos semánticamente ricas, los autores argumentan que TerraDiT proporciona un marco más amigable con la anotación y computacionalmente eficiente. El trabajo demuestra que los Transformers de Difusión, cuando se combinan con la alineación de representación específica del dominio y mecanismos de atención novedosos, pueden capturar eficazmente las distribuciones complejas de las imágenes satelitales, superando a los enfoques tradicionales basados en UNet tanto en realismo perceptual como en consistencia estructural.