Resumen Técnico: SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

Planteamiento del Problema

Los modelos fundacionales multimodales han avanzado significativamente gracias a los grandes conjuntos de datos ópticos, pero los recursos comparables para el Radar de Apertura Sintética (SAR) siguen siendo escasos. Los conjuntos de datos SAR-ópticos existentes dependen principalmente de productos de detección de rango terrestre (GRD) de baja resolución y solo de intensidad (por ejemplo, Sentinel-1). Estos conjuntos de datos descartan las mediciones de valores complejos (fase y amplitud) y la geometría de adquisición nativa, perdiendo así información física crítica como el layover (retraso), la sombra y el acortamiento (foreshortening). En consecuencia, los recursos actuales ofrecen un apoyo limitado para el aprendizaje de representaciones que aprovechen plenamente las propiedades físicas específicas de SAR. Existe una falta distintiva de conjuntos de datos a gran escala que combinen imágenes SAR de muy alta resolución (VHR) de un solo vistazo complejo (SLC), observaciones ópticas alineadas y descripciones de lenguaje natural en geometría nativa de rango de deslizamiento (slant-range).

Metodología

Los autores presentan SARLO-80, un conjunto de datos multimodal construido a partir de adquisiciones de tipo spotlight de acceso abierto de la constelación de satélites Umbra. El proceso de creación del conjunto de datos involucra los siguientes pasos clave:

1. Selección de Datos de Origen: Los autores seleccionaron 2,565 escenas de Datos Complejos Independientes del Sensor (SICD) de Umbra, que cubren 72 países y entornos diversos (urbano, rural, costero, montañoso). Estas escenas presentan polarización VV o HH, ángulos de incidencia de 10° a 70°, y resoluciones nativas que oscilan entre 20 cm y 2 m.
2. Remuestreo en el Dominio de la Frecuencia: Para estandarizar los datos preservando la estructura de la señal compleja, todas las escenas fueron remuestreadas a una cuadrícula de rango de deslizamiento fija de 80 cm. Esto se logró mediante operaciones de Transformada Rápida de Fourier (FFT) 2D: recortando la banda central para el submuestreo o mediante el relleno de ceros (zero-padding) para el sobremuestreo, seguido de una FFT inversa. Esto asegura un remuestreo consistente con Shannon–Nyquist sin distorsiones geométricas.
3. Geolocalización y Segmentación (Tiling): Se computó una cuadrícula de geolocalización densa para cada escena, mapeando los píxeles SAR a coordenadas de Tierra Centrada, Tierra Fija (ECEF) y WGS84 (latitud, longitud, altitud). Las escenas estandarizadas fueron luego segmentadas en parches de 1024 × 1024 píxeles con traslape (paso de 512).
4. Alineación Óptica: Se recuperaron teselas ópticas de alta resolución (Google Satellite TMS, zoom 19) y se deformaron (warped) sobre la cuadrícula de rango de deslizamiento de SAR. Esto se realizó utilizando una transformación afín 2D de primer orden estimada a partir de las correspondencias de las esquinas entre el recorte SAR y la imagen óptica, seguida de una interpolación bilineal. Este enfoque mantiene el SAR en su geometría nativa mientras proporciona contrapartes ópticas alineadas por píxel.
5. Generación de Descripciones (Captions): Se generaron tres variantes de descripción (SHORT, MID, LONG) para cada tesela óptica utilizando el modelo CogVLM2. Los prompts fueron diseñados para describir características estructurales evitando términos de color y especulaciones. Posteriormente, se utilizó un Modelo de Lenguaje Grande (LLM) para el post-procesamiento y la normalización de las descripciones para asegurar la consistencia.
6. Almacenamiento de Datos: El conjunto de datos se libera como un WebDataset (~1.42 TB) que contiene tríos: arreglos SAR complejos, vistas previas de amplitud y descripciones de texto. Las imágenes ópticas no se redistribuyen; en su lugar, se proporciona metadato para reconstruirlas bajo demanda, cumpliendo con las restricciones de licencias de terceros.

Contribuciones Clave

• Primer Conjunto de Datos VHR SLC SAR-Óptico-Texto a Gran Escala: SARLO-80 contiene 119,566 tríos que cubren 257 ubicaciones en 72 países. Es el primer recurso público que combina datos SAR SLC VHR (de valor complejo), imágenes ópticas alineadas y lenguaje natural a resolución submetrica.
• Geometría Nativa de Rango de Deslizamiento (Slant-Range): A diferencia de otros conjuntos de datos que reproyectan el SAR al rango terrestre, este conjunto de datos preserva la geometría nativa de rango de deslizamiento y las señales de valor complejo. Esto permite un remuestreo post-hoc teóricamente sólido y retiene fenómenos físicos como el layover y la sombra sin artefactos de distorsión geométrica.
• Resolución Estandarizada de 80 cm: El conjunto de datos proporciona una representación uniforme de 80 cm de rango de deslizamiento, cerrando la brecha entre los productos GRD gruesos (típicamente de 10–30 m) y los datos brutos del sensor.
• Benchmarking Reproducible: Los autores liberan divisiones fijas de entrenamiento/validación/prueba (disjuntas por paso de satélite para evitar la fuga de datos), código completo de preprocesamiento y código de evaluación de línea base.

Resultados Experimentales

Los autores realizaron experimentos de línea base para demostrar la utilidad del conjunto de datos para la recuperación cruzada de modalidades (cross-modal retrieval) y la generación condicional, sin pretender alcanzar el estado del arte.

• Generación de Texto a SAR: Utilizando un modelo de difusión latente ajustado (SDXL), los autores evaluaron diferentes estrategias de entrenamiento. Un modelo entrenado con tres variantes de descripción y una fase final de optimización de tiempo (timestep-optimization) (M_C3_TO) logró la pérdida de entrenamiento más baja y la autocorrelación local más baja (0.38 frente a 0.21 para el SAR real), lo que indica una mejor restauración de la estructura de moteado (speckle) de alta frecuencia en comparación con los modelos que usan descripciones únicas. Los resultados cualitativos mostraron una mayor coherencia en estructuras portuarias, texturas de bosques y límites de ríos.
• Recuperación Cruzada de Modalidades: Los experimentos utilizando arquitecturas CLIP congeladas mostraron un rendimiento pobre (R@10 < 10%), resaltando la significativa brecha de modalidad entre los modelos ópticos pre-entrenados y la retrodispersión de SAR. Sin embargo, el ajuste fino completo (full fine-tuning) mejoró significativamente el rendimiento de la recuperación, con la arquitectura ViT-L/14 logrando un R@10 del 28.47% (Imagen a Texto) y 28.86% (Texto a Imagen). Esto confirma que la adaptación de dominio es necesaria para alinear el VHR SLC SAR con el lenguaje natural.

Significado y Reivindicaciones

El artículo posiciona a SARLO-80 como un recurso fundamental para el entrenamiento de modelos multimodales conscientes de SAR, incluyendo Modelos de Visión-Lenguaje (VLM) y modelos generativos. Los autores enfatizan que:

• El conjunto de datos permite la investigación de la alineación multimodal y la generación condicional específicamente en la geometría nativa de SAR, una capacidad previamente no disponible a gran escala.
• Preservar los datos de valor complejo permite el estudio de efectos físicos específicos de SAR (por ejemplo, layover, estadísticas no gaussianas) que se pierden en los conjuntos de datos de solo intensidad.
• El conjunto de datos soporta diversas tareas como la super-resolución, la comprensión semántica y el razonamiento multimodal.
• Los autores enmarcan modestamente los experimentos de línea base como una "prueba de concepto" para ilustrar el potencial del conjunto de datos en lugar de establecer nuevos estados del arte, señalando que modelar SAR a muy alta resolución sigue siendo un problema de investigación abierto y desafiante debido al ruido de moteado (speckle) y la compleja física de la dispersión.

El conjunto de datos está disponible públicamente en el Hugging Face Hub en https://huggingface.co/datasets/ONERA/SARLO-80.