SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

Este trabajo presenta SSL4EO-S12 v1.1, un conjunto de datos de observación terrestre multimodal y multitemporal que corrige errores de alineación y estructura de su versión anterior, añadiendo nuevas modalidades como elevación y cobertura vegetal para facilitar el preentrenamiento de modelos fundacionales a gran escala.

Lo esencial

¡Hola! Imagina que el mundo de la observación de la Tierra (ver nuestro planeta desde el espacio) es como un gigantesco libro de recetas para que las computadoras aprendan a entender el mundo.

Hasta ahora, teníamos una edición de este libro llamada SSL4EO-S12, que era muy popular. Pero, como todo libro antiguo, tenía algunos problemas: las fotos estaban un poco "desalineadas" (como si una foto de un edificio estuviera un poco desplazada respecto a la foto del cielo justo encima) y los datos no estaban listos para cocinar de inmediato.

Los autores de este nuevo trabajo han lanzado la versión 1.1 (v1.1), que es como una edición de lujo, corregida y ampliada de ese libro. Aquí te explico qué tiene de especial usando analogías sencillas:

1. El "Ajuste de la Foto" (Corrección de Alineación)

Imagina que tienes dos fotos de la misma ciudad: una tomada con una cámara normal (que ve colores) y otra con una cámara de "rayos X" (que ve a través de nubes y oscuridad). En la versión anterior, si ponías una foto encima de la otra, no coincidían perfectamente; estaban un poco desplazadas.

En esta nueva versión, los científicos han hecho un trabajo de "costura digital" muy preciso. Han tomado áreas más grandes y han ajustado las coordenadas para que la foto del cielo y la foto de "rayos X" encajen perfectamente, píxel a píxel. Ahora, si miras un edificio en una foto, está exactamente en el mismo lugar en la otra.

2. La "Cocina Lista para Servir" (Datos Listos para Analizar)

Antes, para usar estos datos, tenías que ir a la tienda, comprar los ingredientes, lavarlos, pelarlos y medirlos (procesar los datos crudos). Eso tomaba mucho tiempo.

La nueva versión es como un plato "listo para comer". Los datos ya vienen limpios, sin manchas de nubes (o con las manchas marcadas claramente) y en un formato que las computadoras pueden leer inmediatamente. Es como si te entregaran una pizza ya horneada en lugar de la masa cruda y los ingredientes sueltos.

3. El "Superpoder Multisensorial" (Nuevos Modos de Ver)

La versión anterior solo tenía dos "sentidos":

• Vista: Fotos ópticas (como las que toma tu ojo).
• Tacto/Radar: Imágenes que atraviesan nubes (como el radar).

La versión 1.1 le ha dado a la computadora nuevos sentidos:

• Sentido de la Altura: Ahora incluye mapas de elevación (como si la computadora supiera si está en una montaña o en un valle).
• Sentido de la Vegetación: Incluye un índice que le dice qué tan verde y saludable está la planta (como si pudiera oler la vida).
• Sentido del Uso del Suelo: Le dice si es una ciudad, un bosque o un campo.

Esto es como pasar de un coche con solo faros delanteros a uno con cámaras nocturnas, sensores de altura y radar de lluvia. ¡La computadora entiende mucho mejor el entorno!

4. La "Caja de Tiempo" (Datos Temporales)

Antes, las fotos eran como instantáneas sueltas. Ahora, la nueva versión entrega películas cortas. Para cada lugar del mundo (especialmente cerca de las 10.000 ciudades más grandes), tienen 4 fotos tomadas en diferentes estaciones del año (primavera, verano, otoño, invierno).

Esto permite que la computadora aprenda no solo cómo se ve un lugar, sino cómo cambia con el tiempo. Puede ver si un río se desborda en invierno o si un campo se seca en verano.

5. El Formato "Carga Rápida" (Zarr y WebDataset)

Imagina que tienes que mover una biblioteca entera. Si la llevas libro por libro, tardarías años. Si la metes en cajas grandes y organizadas, es mucho más rápido.

Los autores han empaquetado todos estos datos en un formato especial llamado Zarr y los han metido en "tarjetas" (shards) que las computadoras pueden leer a velocidad de luz. Es como tener un tubo de transmisión de datos que alimenta a las máquinas de aprendizaje sin que se ahoguen en la información.

¿Para qué sirve todo esto?

El objetivo final es entrenar a Modelos Fundacionales (IA muy inteligente). Al darle a la IA esta "dieta" rica, variada y bien organizada, la IA aprende a entender el planeta mucho mejor.

Esto ayuda a:

• Predecir inundaciones.
• Planificar ciudades.
• Detectar incendios forestales.
• Monitorear cultivos.

En resumen: SSL4EO-S12 v1.1 es la edición definitiva y pulida de un dataset de imágenes satelitales. Ha arreglado los errores de alineación, añadido nuevos "sentidos" (altura, vegetación), organizado los datos para que sean fáciles de usar y les ha dado contexto de tiempo. Es la base perfecta para que la próxima generación de inteligencias artificiales aprenda a cuidar y entender nuestro planeta.

¡Y lo mejor de todo es que es gratuito y de código abierto para que cualquiera pueda usarlo!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo sobre SSL4EO-S12 v1.1, presentado en español:

Resumen Técnico: SSL4EO-S12 v1.1

1. Problema Identificado
El artículo aborda las limitaciones de la versión original del conjunto de datos SSL4EO-S12, que, aunque fue fundamental para el desarrollo de modelos fundacionales (Foundation Models) en observación terrestre, presentaba dos deficiencias críticas:

• Desalineación Espacial: Existían errores de alineación geoespacial entre las parches de Sentinel-1 (S-1, radar) y Sentinel-2 (S-2, óptico), lo que dificultaba el entrenamiento multimodal preciso.
• Falta de Datos Listos para Análisis (ARD): La estructura de datos y el preprocesamiento no eran óptimos para el entrenamiento directo de modelos a gran escala, y la disponibilidad de datos con calidad de análisis era limitada.
• Limitaciones de Modalidades: La versión anterior carecía de modalidades adicionales (como elevación o uso de suelo) necesarias para el preentrenamiento multimodal avanzado.

2. Metodología y Procesamiento de Datos
Los autores desarrollaron la versión v1.1 mediante un riguroso proceso de re-procesamiento y expansión:

• Alineación Espacial y Proyección: En lugar de proyectar todo a EPSG:4326 (que distorsiona distancias cerca de los polos), se mantuvieron las zonas UTM nativas para preservar la precisión. Se descargaron áreas de interés más grandes para S-1 y S-2, reproyectando los datos S-1 GRD para coincidir exactamente con las coordenadas S-2 L2A. Se seleccionó una zona de referencia común (264x264 píxeles) y se reproyectaron los timestamps restantes.
• Filtrado y Limpieza (ARD): Se aplicó un filtrado estricto, eliminando ubicaciones con más del 1% de valores nulos (NaN) y rellenando los restantes mediante interpolación de vecinos más cercanos.
• Mejora de RGB: Para evitar saturación en regiones brillantes (nubes, nieve) u oscurecimiento excesivo, se implementó un pipeline de mapeo de percentiles (2% y 98%) para ajustar los valores de reflectancia antes de convertirlos a enteros de 8 bits.
• Nuevas Modalidades: Se integraron datos alineados de:
  • NDVI: Calculado a partir de S-2 L2A.
  • Uso de la Tierra/Cobertura (LULC): De ESRI, con máscaras de nubes/neve de SEnSeI v2.
  • Elevación (DEM): Del Copernicus DEM, resampleado a 10m.
• Formato de Almacenamiento: Los datos se empaquetaron en archivos Zarr (versión 2) dentro de fragmentos tar para WebDataset. Esto permite una carga de datos eficiente, streaming y soporte para carga diferida (lazy loading) mediante Dask/xarray. Los datos se dividen en series temporales de 4 timestamps (estacionales).

3. Contribuciones Clave

• Corrección de Alineación: Entrega de parches satelitales perfectamente alineados espacialmente entre modalidades S-1 y S-2.
• Formato ARD: Provisión de datos preprocesados, filtrados y listos para el entrenamiento directo de modelos fundacionales.
• Expansión Multimodal: Inclusión de capas semánticas y topográficas (LULC, DEM, NDVI) alineadas temporalmente, superando la limitación de datos puramente espectrales/radar.
• Escala y Cobertura: El conjunto final contiene 246,144 ubicaciones únicas (cerca de 1 millón de parches de imagen), cubriendo las 10,000 ciudades más grandes del mundo y sus alrededores, con una división 99%/1% para entrenamiento/validación sin superposición espacial.

4. Resultados Experimentales

• Rendimiento en Benchmarks: Se evaluó el modelo TerraMind (entrenado con los datos multimodales de v1.1) en el benchmark PANGAEA.
• Comparativa: TerraMind superó a modelos previos entrenados solo con S-2 (MAE, DINO, MoCo) y al modelo CROMA (entrenado con S-1 y S-2 de la v1) en la mayoría de las tareas (como CTM-SS, SpaceNet7, AI4Farms, BurnScars, etc.).
• Impacto de la Multimodalidad: Los resultados demuestran que la inclusión de datos semánticos (LULC) y topográficos (DEM) mejora significativamente la representación aprendida, permitiendo tareas de predicción de tokens que no eran posibles con datos puramente espectrales.

5. Significado e Impacto
SSL4EO-S12 v1.1 representa un avance fundamental para la comunidad de ciencia de datos en observación terrestre:

• Facilita el Preentrenamiento: Al resolver problemas de alineación y ofrecer datos listos para usar, reduce la barrera de entrada para entrenar modelos fundacionales de gran escala.
• Habilita el Aprendizaje Multimodal y Temporal: Es el primer conjunto de datos a esta escala que combina series temporales multitemporales con múltiples modalidades (óptico, radar, elevación, uso de suelo), esencial para modelos que requieren razonamiento temporal y fusión de sensores.
• Accesibilidad: Publicado bajo licencia CC-BY-4.0 y disponible en Hugging Face, fomenta la investigación abierta y la reproducibilidad en el campo del aprendizaje auto-supervisado y el análisis geoespacial.

En resumen, SSL4EO-S12 v1.1 no es solo una actualización, sino una reingeniería del conjunto de datos original diseñada específicamente para alimentar la próxima generación de modelos fundacionales de observación terrestre.