Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

Este artículo propone un marco de aprendizaje profundo probabilístico que aprovecha datos ópticos y SAR multitemporales de Sentinel-1 y Sentinel-2 para generar imágenes de satélite ópticas en fechas pasadas o futuras arbitrarias, abordando eficazmente tanto la densificación temporal de observaciones ocultas por nubes como la predicción futura, mientras modela explícitamente la incertidumbre de la generación.

Lo esencial

Imagina que estás intentando ver una película sobre un campo de cultivo que cambia a través de las estaciones, pero el proyector está roto. A veces la película salta, a veces está cubierta de estática (nubes) y a veces faltan por completo los carretes. Tienes dos tipos de tiras de película:

1. Película Óptica (Sentinel-2): Imágenes hermosas y coloridas del campo, pero solo funcionan cuando el cielo está despejado. Si hay nubes, la imagen es blanca e inútil.
2. Película de Radar (Sentinel-1): Imágenes en blanco y negro, granuladas, que pueden "ver" a través de nubes y lluvia, pero no muestran los colores vibrantes de los cultivos.

El Problema:
Los científicos quieren una película perfecta, continua y colorida de la Tierra. Pero debido a las nubes, hay enormes vacíos en la película óptica. Las herramientas existentes pueden intentar "rellenar los espacios en blanco" entre dos imágenes conocidas (como adivinar qué pasó en medio de una escena saltada), pero no pueden adivinar qué sucede después de que termina la película, y no pueden decirte cuán seguros están de sus suposiciones.

La Solución:
Los autores construyeron un "Director" de IA inteligente que actúa como un editor maestro. Toma la película óptica rota y la película de radar granulada y las une para crear una película suave, continua y colorida para cualquier fecha, ya sea que esa fecha esté en el pasado (rellenando vacíos) o en el futuro (prediciendo lo que sigue).

Así es como funciona el Director de IA, usando analogías simples:

1. Los Dos Ojos Especializados

La IA tiene dos "ojos" separados para observar los datos.

• El Ojo Óptico mira las imágenes coloridas.
• El Ojo de Radar mira las imágenes en blanco y negro.
  En lugar de forzar a ambos ojos a ver de la misma manera, la IA les permite aprender su propio idioma primero. Esto es como tener un pintor y un escultor trabajando por separado antes de colaborar; el pintor entiende el color y el escultor entiende la forma y la estructura.

2. El Calendario de "Viaje en el Tiempo"

La IA no solo mira las imágenes; sabe cuándo fueron tomadas. Utiliza un "Calendario de Viaje en el Tiempo" especial.

• Si la IA necesita predecir una imagen para el próximo martes, pregunta: "¿Cómo se veía el campo el lunes pasado? ¿Y hace tres semanas?"
• Calcula la distancia entre el "ahora" y el "entonces". Esto le ayuda a entender que un campo se ve muy diferente en primavera que en otoño, incluso si las imágenes están borrosas.

3. El Foco Inteligente (Atención Cruzada)

Este es el truco más astuto de la IA. Imagina un foco en un escenario con muchos actores (las diferentes imágenes satelitales). La IA necesita decidir a qué actores escuchar para la escena final.

• Escenario A (Cielo despejado cerca): Si hay una imagen colorida y clara de ayer, el foco brilla intensamente sobre ella. La IA ignora las imágenes de radar porque no las necesita; el color ya está ahí.
• Escenario B (Nubes densas): Si las últimas imágenes coloridas están cubiertas de nubes (estática blanca), la IA se da cuenta: "¡No puedo usar estas!". Inmediatamente gira el foco hacia las imágenes de Radar. Aunque son en blanco y negro, muestran la forma de los cultivos, ayudando a la IA a adivinar qué colores deberían ser.
• Escenario C (La trampa de las nubes): Si una imagen fue tomada ayer pero está cubierta de nubes, la IA aprende a ignorarla por completo, aunque esté "cerca" en el tiempo. Sabe que una imagen nublada es peor que una imagen clara de hace una semana.

4. El "Medidor de Confianza" (Incertidumbre)

La mayoría de las herramientas de IA solo te dan una imagen y esperan lo mejor. Esta IA es diferente: también te entrega un "Medidor de Confianza" (un mapa de incertidumbre).

• Si la IA está adivinando basándose en una imagen clara de ayer, el medidor dice: "Estoy 100% seguro".
• Si la IA tiene que adivinar cómo se verá el campo dentro de dos meses, o si está adivinando a través de una tormenta densa, el medidor dice: "No estoy tan seguro de esta parte".
• Por qué esto importa: Es como un pronosticador del tiempo que dice: "Lloverá, pero solo tengo un 60% de certeza", en lugar de simplemente decir "Lloverá". Esto ayuda a los usuarios a saber cuándo confiar en la imagen y cuándo tener precaución.

5. Los Resultados

El artículo probó este "Director" con datos reales de tierras de cultivo:

• Rellenar Vacíos: Reconstruyó con éxito días faltantes en la película, especialmente para cultivos que cambian rápidamente (como el trigo en crecimiento), haciendo un trabajo mejor que trucos matemáticos simples o modelos de IA más antiguos.
• Predecir el Futuro: Podía adivinar cómo se vería el campo semanas después de que se tomó la última foto. No era perfecto (cuanto más lejos predecía, más borrosa era la imagen), pero mantenía los colores y formas generales correctos.
• El Error de la "Nieve": Los autores admiten que la IA se confunde con la nieve. Como fue entrenada con nubes, a veces piensa que la nieve es solo otro tipo de nube e intenta "borrarla" para mostrar el suelo debajo, lo cual es incorrecto. También se confunde con las luces muy brillantes de las ciudades.

Resumen

Este artículo presenta una nueva forma de ver la historia de la Tierra sin perderse ni un compás. Al combinar cámaras de "color" (que se bloquean con las nubes) con cámaras de "forma" (que ven a través de las nubes), y al enseñar a la IA a saber cuándo confiar en qué cámara, crearon un sistema que puede rellenar escenas de película faltantes y predecir escenas futuras. Crucialmente, también te dice cuánto confía en sus propias predicciones, actuando como un editor responsable que admite: "Estoy adivinando aquí".

Resumen técnico

Resumen Técnico: Densificación y Pronóstico de Series Temporales de Sentinel-2 a partir de Datos Multimodales SAR y Ópticos

Enunciado del Problema

Las series temporales de imágenes satelitales ópticas (SITS) son críticas para aplicaciones de observación de la Tierra, como la agricultura, el monitoreo climático y el análisis de la superficie terrestre. Sin embargo, su utilidad se ve severamente restringida por brechas de adquisición y muestreo irregular causados por la cobertura nubosa y los bordes de la franja de barrido. Aunque los enfoques existentes de aprendizaje profundo han abordado con éxito la eliminación de nubes y la densificación temporal (interpolación) dentro de la ventana temporal observada, enfrentan dos limitaciones principales:

1. Falta de Capacidad de Pronóstico: La mayoría de los métodos se limitan a reconstruir brechas dentro de la extensión temporal de los datos disponibles y no pueden predecir observaciones futuras (extrapolación).
2. Ausencia de Cuantificación de la Incertidumbre: Los modelos existentes suelen proporcionar estimaciones puntuales sin cuantificar explícitamente la fiabilidad o la confianza de sus predicciones, lo cual es crucial para la toma de decisiones aguas abajo.
3. Restricciones de Datos: Muchos enfoques dependen de entradas multimodales alineadas temporalmente o de máscaras de nubes explícitas, lo que limita su robustez en escenarios del mundo real, escasos e irregulares.

Metodología

Los autores proponen un marco de aprendizaje profundo probabilístico diseñado para generar imágenes ópticas en fechas arbitrarias pasadas (interpolación) o futuras (extrapolación) a partir de series temporales escasas, irregulares y multimodales (Óptico de Sentinel-2 y SAR de Sentinel-1). El enfoque se formula como un problema de generación de imágenes condicionado por el objetivo.

Descripción General de la Arquitectura

El modelo consta de tres componentes principales:

1. Extracción de Características Espaciales:

   • Codificadores convolucionales 2D separados procesan los datos de Sentinel-2 (RGB-NIR) y Sentinel-1 (VV/VH) de forma independiente para capturar patrones espaciales específicos de cada modalidad.
   • Se emplea un mecanismo de Agrupamiento de Pirámide Espacial (SPP) para agregar información contextual multiescala, preservando al mismo tiempo los detalles espaciales finos y evitando el sobre-alisado.
   • Las secuencias de entrada se remodelan para procesar cada adquisición de forma independiente en la dimensión espacial antes del modelado temporal.

2. Codificación Temporal y Atención Cruzada:

   • Codificación Temporal: El modelo codifica explícitamente el tiempo para manejar el muestreo irregular.
     • La fecha objetivo ($d_{target}$) se codifica utilizando una representación continua basada en el día del año (DOY) para capturar la estacionalidad.
     • Las fechas de adquisición de entrada ($d_i$) se codifican en relación con la fecha objetivo ($\Delta d = d_i - d_{target}$), capturando tanto la distancia temporal como la dirección (pasado/futuro).
   • Mecanismo de Atención Cruzada: La codificación temporal de la fecha objetivo sirve como consulta, mientras que los tokens espacio-temporales de todas las adquisiciones disponibles de Sentinel-1 y Sentinel-2 sirven como claves y valores.
   • Este mecanismo permite que el modelo agregue selectivamente información de las observaciones temporalmente más relevantes sin requerir máscaras de nubes explícitas ni entradas alineadas temporalmente. El modelo aprende de extremo a extremo para ponderar las observaciones fiables e ignorar las no fiables (por ejemplo, píxeles nublados).

3. Decodificador Probabilístico:

   • En lugar de predecir una única imagen determinista, el decodificador predice los parámetros de una distribución Laplaciana a nivel de píxel (media $\mu$ y escala $b$) para cada banda espectral.
   • Se elige la distribución Laplaciana por sus colas más pesadas, que son más robustas ante grandes errores de predicción y reducen el sobre-alisado en comparación con las suposiciones gaussianas.
   • El modelo genera tanto la imagen óptica reconstruida ($\mu$) como un mapa de incertidumbre (derivado del parámetro de escala $b$).
   • El entrenamiento se realiza minimizando la verosimilitud negativa de la distribución Laplaciana.

Contribuciones Clave

1. Interpolación y Extrapolación Unificadas: A diferencia de trabajos anteriores limitados al relleno de brechas, este marco genera imágenes en fechas objetivo arbitrarias, apoyando tanto la reconstrucción dentro de la ventana de observación como el pronóstico más allá de ella.
2. Modelado Explícito de la Incertidumbre: La formulación probabilística proporciona estimaciones de incertidumbre a nivel de píxel que están bien calibradas, ofreciendo una medida de fiabilidad de la predicción que aumenta cuando los datos son escasos o temporalmente distantes.
3. Fusión Multimodal Robusta: El enfoque explota conjuntamente los datos SAR de Sentinel-1 y los datos ópticos de Sentinel-2 sin depender de máscaras de nubes externas ni de una alineación temporal estricta. El mecanismo de atención cruzada aprovecha adaptativamente los datos SAR cuando las observaciones ópticas faltan o están contaminadas.
4. Aprendizaje de Extremo a Extremo: El modelo aprende a manejar el muestreo irregular y la contaminación por nubes de forma implícita, eliminando la necesidad de pasos de preprocesamiento como el enmascaramiento de nubes.

Resultados Experimentales

El método se evaluó en un conjunto de datos de parches de Sentinel-1 y Sentinel-2 (96x96 píxeles) que cubren diversos paisajes, con un enfoque en áreas agrícolas.

Rendimiento de Interpolación

• Métricas Cuantitativas: El modelo propuesto superó tanto a una línea base de interpolación lineal como al modelo U-TILISE (secuencia a secuencia solo óptica) en todos los tipos de cobertura terrestre (Urbano, Bosque, Cultivos) en términos de MAE, RMSE y PSNR.
• Regiones Dinámicas: La brecha de rendimiento fue más significativa en áreas de cultivos, donde el modelo capturó con éxito dinámicas estacionales complejas y no lineales que la interpolación lineal y los modelos solo ópticos no lograron modelar con precisión.
• Análisis Cualitativo: En escenarios con grandes brechas temporales, el modelo produjo reconstrucciones más nítidas que las líneas base. Crucialmente, las regiones con alta dificultad de reconstrucción (por ejemplo, grandes brechas) exhibieron una incertidumbre predicha más alta, demostrando una estimación de incertidumbre coherente.

Rendimiento de Extrapolación

• El modelo generó con éxito observaciones futuras plausibles, manteniendo la consistencia radiométrica a pesar de la dificultad inherente de la extrapolación.
• Aunque los errores fueron mayores que en la interpolación, el modelo preservó las principales dinámicas de la vegetación (por ejemplo, evolución del NDVI) a lo largo de brechas largas (por ejemplo, 1 mes y 20 días).
• Los mapas de incertidumbre destacaron correctamente las áreas de menor confianza durante la extrapolación.

Estudios de Ablación

• Multimodal vs. Solo Óptico: La inclusión de datos SAR de Sentinel-1 mejoró consistentemente el rendimiento (menor MAE/RMSE, mayor PSNR) en comparación con una variante solo óptica, confirmando el valor de la información estructural del SAR en condiciones nubladas o escasas.
• Codificación Temporal: El uso de codificación temporal relativa ($\Delta d$) superó significativamente a la codificación de fechas absolutas, lo que sugiere que informar explícitamente a la red sobre el desplazamiento temporal hacia la fecha objetivo es crítico para el rendimiento.
• Análisis de Atención: La visualización de los pesos de atención reveló que el modelo cambia adaptativamente el enfoque: depende en gran medida de datos ópticos temporalmente cercanos cuando están disponibles, pero aumenta significativamente la atención hacia la adquisición SAR más cercana cuando faltan datos ópticos o están fuertemente nublados.

Significado y Limitaciones

Significado:
El artículo afirma que este marco representa un avance en la generación de series temporales ópticas continuas y fiables al abordar los desafíos duales del pronóstico y la cuantificación de la incertidumbre. La capacidad de proporcionar estimaciones de incertidumbre bien calibradas se destaca como una contribución clave para aplicaciones que requieren apoyo a la toma de decisiones, análisis de escenarios y evaluación de riesgos. La fusión adaptativa de datos SAR y ópticos sin enmascaramiento manual demuestra un enfoque robusto ante las irregularidades de los datos del mundo real.

Limitaciones:
Los autores reconocen varias limitaciones:

• Reflectancia Extrema: El modelo tiende a subestimar los valores de reflectancia muy altos (por ejemplo, superficies artificiales, cultivos brillantes) debido a la regularización de la distribución de entrenamiento.
• Nieve y Montañas: El modelo carece de entrenamiento en regiones montañosas o cubiertas de nieve. A menudo confunde la nieve con nubes, intentando reconstruir la superficie subyacente (por ejemplo, suelo) en lugar de preservar la señal de nieve, lo que conduce a predicciones físicamente incorrectas.
• Fuera de la Distribución: El modelo muestra una robustez reducida en condiciones no presentes en el conjunto de entrenamiento (por ejemplo, nieve), aunque la alta incertidumbre asociada sirve como indicador de advertencia.

Los autores concluyen que, aunque el marco es efectivo para el monitoreo general de la superficie terrestre, el trabajo futuro debería centrarse en expandir los conjuntos de datos de entrenamiento para incluir diversas condiciones ambientales (nieve, montañas) y, potencialmente, incorporar bandas espectrales adicionales para discriminar mejor entre superficies altamente reflectantes.