Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

Resumen Técnico: Aprovechamiento de Datos Multi-Temporales de Sentinel-1 y Sentinel-2 para la Estimación del Índice de Área Foliar

Enunciado del Problema
El Índice de Área Foliar (LAI) es una métrica fundamental para evaluar la salud de los ecosistemas, la productividad vegetal y los ciclos de carbono. Si bien los métodos tradicionales basados en el terreno (muestreo destructivo, ecuaciones alométricas) proporcionan datos locales precisos, carecen de cobertura espacial. La teledetección satelital ofrece una solución para el monitoreo regional a global; sin embargo, los datos ópticos (por ejemplo, Sentinel-2) se ven frecuentemente comprometidos por la cobertura nubosa, lo que obstaculiza las mediciones directas y reduce la disponibilidad de datos. Los enfoques existentes de aprendizaje profundo para la predicción del LAI a menudo dependen de instantáneas únicas, tipos únicos de sensores (ópticos o radar), o tratan los píxeles de forma independiente, ignorando así la información contextual valiosa de los píxeles vecinos y la naturaleza complementaria de los datos multi-sensor.

Metodología
Los autores proponen un marco novedoso de aprendizaje profundo para la predicción del LAI a nivel de píxel que integra datos multi-temporales de los satélites Sentinel-1 (radar) y Sentinel-2 (multiespectral). El núcleo de la metodología implica una arquitectura personalizada de red neuronal profunda diseñada para manejar modalidades de entrada heterogéneas y dependencias temporales.

• Construcción del Conjunto de Datos: El estudio utiliza datos públicos de Sentinel-1 y Sentinel-2 de diversas ubicaciones europeas. Las muestras consisten en tres instantáneas consecutivas ($T \in \{t-2, t-1, t\}$) separadas por no más de una semana. Las entradas incluyen:

  • Datos de radar de Sentinel-1 (polarizaciones VH y VV).
  • Mapas de LAI derivados de Sentinel-2 (para instantáneas anteriores) y máscaras semánticas (identificando nubes, agua, tierra, etc., generadas mediante el procesador Sen2Cor).
  • Información de estacionalidad codificada como valores de seno y coseno que representan el día del año.
  • La verdad de campo es el mapa de LAI en la instantánea $t$.
  • El conjunto de datos se divide en "sin nubes", "con nubes" y "áreas únicas" (República Checa e Italia) para probar la generalización.

• Arquitectura: El modelo presenta dos codificadores paralelos y un solo decodificador (Figura 1):

  1. Codificador 1: Procesa datos de radar de Sentinel-1, máscaras semánticas y estacionalidad.
  2. Codificador 2: Procesa valores históricos de LAI de Sentinel-2 ($t-2, t-1$), máscaras y estacionalidad.
  3. Decodificador: Una estructura U-Net que concatena los mapas de características de ambos codificadores para producir la predicción final del LAI a nivel de píxel. El diseño prioriza la reducción temprana de los datos multi-temporales para reducir la redundancia.

• Estrategia de Entrenamiento: Debido a la complejidad de la arquitectura, se emplea un enfoque de entrenamiento en dos pasos:

  1. Pre-entrenamiento: Cada codificador se entrena por separado con una capa de convolución a nivel de píxel para predecir el LAI, optimizando el Error Cuadrático Medio (MSE).
  2. Ajuste Fino de Extremo a Extremo: Los pesos pre-entrenados se integran en la red completa. El modelo se optimiza utilizando supervisión intermedia, donde la función de pérdida combina el MSE de la salida final del decodificador con las salidas de las etapas intermedias de los codificadores. La función de pérdida se define como:
     $$Pérdida = MSE(LAI_{gt}, LAI_{dec}) + \alpha \cdot MSE(LAI_{gt}, LAI_{enc1}) + \beta \cdot MSE(LAI_{gt}, LAI_{enc2})$$
     donde $\alpha$ y $\beta$ son hiperparámetros (establecidos en 0.1 y 0.15, respectivamente) para ponderar la importancia de las etapas intermedias. El cálculo de la pérdida excluye explícitamente los píxeles cubiertos por nubes.

Resultados Clave
El método propuesto se evaluó en un conjunto de prueba de secciones de imagen de 256x256.

• Rendimiento: El modelo completo logró un RMSE de 0.058 y una puntuación $R^2$ de 0.930 en datos sin nubes.
• Estudios de Ablación:
  • El uso de solo datos de Sentinel-1 arrojó resultados pobres ($R^2 = 0.434$).
  • El uso de solo datos de Sentinel-2 (con máscaras y estacionalidad) funcionó bien ($R^2 = 0.903$) pero mostró una degradación significativa en datos con nubes ($R^2 = -0.294$).
  • El enfoque combinado (Todas las entradas) mantuvo un rendimiento robusto en todos los conjuntos de datos, aunque el rendimiento en "áreas únicas" (ubicaciones no vistas) mostró tasas de error más altas, lo que sugiere cierto sesgo específico de la ubicación.
• Comparación: El enfoque de aprendizaje profundo superó significativamente a los baselines tradicionales a nivel de píxel como la Regresión Multi-Linear ($R^2 = -0.0445$) y el Bosque Aleatorio ($R^2 = -0.0166$) cuando se probó con datos de píxeles individuales sin contexto espacial.

Significado y Afirmaciones
El artículo afirma presentar una investigación pionera en la predicción del LAI a nivel de píxel que aprovecha eficazmente la información combinada y multi-temporal de los datos de Sentinel-1 y Sentinel-2 mediante una red neuronal profunda. Las contribuciones clave incluyen:

1. Arquitectura Novel: El uso de codificadores paralelos duales adaptados a modalidades de sensores específicas, unificados por un decodificador que tiene en cuenta la estacionalidad y el contexto espacial.
2. Manejo de la Complejidad: La implementación de supervisión intermedia y pre-entrenamiento para gestionar la complejidad de las entradas multi-modales y asegurar una representación efectiva de las características.
3. Conciencia Contextual: Ir más allá de la predicción de píxeles independientes para aprovechar el contexto global y la información de los píxeles vecinos, abordando una limitación frecuente en trabajos anteriores.
4. Contribución Abierta: Los autores han puesto su código y contribuciones a disposición para facilitar futuras mejoras en el campo.

Los autores notan modestamente que, si bien el método funciona bien, persisten desafíos relacionados con el desequilibrio de datos (específicamente la escasez de muestras de entrenamiento con nubes) y la generalización a ubicaciones geográficas completamente nuevas. Sugieren que el trabajo futuro podría beneficiarse de asignar pesos más altos a las funciones de pérdida para entradas con nubes e incorporar metadatos adicionales como datos de terreno o meteorológicos.