FusionAttNet Framework for Hierarchical Attention Driven Sentinel 1 and Sentinel 2 Fusion for Semi Arid Land Cover Classification in Far North Cameroon

Resumen Técnico: FusionAttNet para la Clasificación de la Cobertura Terrestre en Zonas Semiáridas

Planteamiento del Problema
El mapeo preciso de la cobertura terrestre en regiones semiáridas, específicamente en el ecotono sudano-saheliano del norte de Camerún, enfrenta desafíos significativos debido a la homogeneidad espectral entre la vegetación dispersa, la alta variabilidad estacional y la persistente nubosidad que oscurece los datos ópticos. Los enfoques tradicionales, incluyendo el aprendizaje profundo basado únicamente en datos ópticos y los métodos de fusión de apilamiento de características estáticas, a menudo fallan al distinguir clases espectralmente similares (por ejemplo, suelo desnudo frente a pastizales) y son vulnerables a las brechas de datos causadas por las nubes. Además, los marcos jerárquicos existentes suelen depender de reglas predefinidas en lugar de relaciones espaciales aprendidas, mientras que los modelos de un solo sensor carecen de la robustez necesaria para un monitoreo en cualquier condición climática.

Metodología
El estudio propone FusionAttNet, un novedoso marco de aprendizaje profundo diseñado para integrar dinámicamente datos de radar de apertura sintética (SAR) Sentinel-1 y datos ópticos Sentinel-2. La metodología se estructura en torno a varios componentes clave:

• Área de Estudio y Datos: El marco fue validado en un área de 1,280 km² cerca de Maroua, Camerún, utilizando una ventana temporal de 12 meses (2021) para capturar la fenología estacional completa. Las fuentes de datos incluyen Sentinel-2 Level-2A de reflectancia de superficie (13 bandas, submuestreadas a 10 m) y datos SAR GRD de Sentinel-1 (polarizaciones VV/VH).
• Preprocesamiento e Ingeniería de Características:
  • Pipeline Óptico: Incluye enmascaramiento de nubes (QA60), escalado y el cálculo de índices de vegetación (NDVI, EVI, NDWI).
  • Pipeline SAR: Implica calibración radiométrica, conversión a dB y la derivación de relaciones de retrodispersión (backscatter ratios).
  • Índices Transmodales: El marco genera índices específicos como la relación NDVI/VV para fusionar la información óptica y de radar, junto con variables topográficas derivadas del SRTM DEM.
• Arquitectura:
  • Procesamiento Consciente de la Modalidad (Modality-Aware): Flujos de procesamiento paralelo manejan los datos ópticos y SAR por separado antes de la fusión, respetando las características únicas de cada sensor.
  • Mecanismo de Atención Jerárquica: Un sistema de atención de tres niveles opera a los niveles de píxel, parche y paisaje. Esto permite al modelo capturar detalles finos mientras resuelve simultáneamente ambigüedades espaciales mediante relaciones contextuales más amplias.
  • Estrategia de Fusión: En lugar de una concatenación estática, el modelo emplea un mecanismo de fusión adaptativo y aprendido que pondera las características multiescala de forma dinámica.
• Entrenamiento y Optimización: El modelo utiliza una función de pérdida de entropía cruzada ponderada con suavizado de etiquetas (label smoothing) y pérdida focal (focal loss) para abordar el desequilibrio de clases. El entrenamiento se optimiza mediante el optimizador AdamW con recocido de coseno (cosine annealing) y reinicios (warm restarts). Se aplica aumentación de datos específicamente para preservar las texturas de retrodispersión de SAR.
• Enfoque de Ensamble: El resultado final de la clasificación se deriva de un ensamble que combina la rama de aprendizaje profundo FusionAttNet con modelos tradicionales de aprendizaje automático (Random Forest y XGBoost) para maximizar el poder discriminativo.

Contribuciones Clave

1. Arquitectura de Atención Jerárquica: La introducción de un mecanismo de atención píxel-parche-paisaje que resuelve eficazmente la confusión espectral en ecotonos semiáridos, particularmente en las interfaces de suelo desnudo y pastizales.
2. Fusión Transmodal Consciente de la Modalidad: El desarrollo de un marco que integra la retrodispersión SAR con índices ópticos (por ejemplo, NDVI/VV) para mitigar las brechas de datos inducidas por las nubes sin depender de un preprocesamiento de eliminación de nubes complejo y propenso a errores.
3. Aumentación Optimizada para SAR: La implementación de técnicas de aumentación que preservan las texturas de retrodispersión, mejorando la capacidad del modelo para generalizar a través de las variaciones estacionales.
4. Integración de Ensamble: La combinación exitosa de características de aprendizaje profundo con heurísticas de gradiente aumentado para estabilizar la clasificación en paisajes complejos y fragmentados.

Resultos
El marco FusionAttNet fue evaluado frente a modelos de referencia (Random Forest, XGBoost y una red multimodal independiente) en un conjunto de datos de ocho clases de cobertura terrestre.

• Desempeño General: El enfoque de ensamble completo logró una Exactitud Global del 96.75% y un F1-Score Ponderado de 0.9680.
• Comparación: Este desempeño superó a la red multimodal independiente (94.75% de exactitud) y igualó o superó la línea base de XGBoost (96.75% de exactitud).
• Mejoras por Clase:
  • Pastizales: El ensamble corrigió un déficit de rendimiento significativo en la red independiente, elevando el F1-score de los pastizales de 0.8905 a 0.9530 (una recuperación absoluta de +6.25%).
  • Humedales Herbáceos: Aunque desafiantes, el ensamble estabilizó esta clase minoritaria a un F1-score de 0.7273, superando significativamente la línea base de Random Forest (0.5000).
  • Clases de Estructura Macro: Las clases con perfiles radiométricos distintos (Cobertura Arbórea, Áreas Construidas, Suelo Desnudo, Agua Permanente) alcanzaron métricas perfectas (F1 = 1.0000) en todas las configuraciones.
• Reducción de Errores: El estudio reporta una reducción del 14.7% en la clasificación errónea en las interfaces mixtas de suelo desnudo/pastizal en comparación con los métodos de vanguardia.

Significancia
El artículo afirma que FusionAttNet establece un nuevo paradigma para el monitoreo de la cobertura terrestre semiárida al desplazar el enfoque desde el simple llenado de brechas hacia una fusión inteligente de múltiples sensores. Al aprovechar la confiabilidad climática de la retrodispersión SAR de Sentinel-1 junto con la riqueza espectral de Sentinel-2, el marco supera las limitaciones de la dependencia de las nubes y la homogeneidad espectral. Los resultados demuestran que un mecanismo de atención jerárquica consciente de la modalidad puede reducir significativamente la confusión espectral en los ecotonos del Sahel, proporcionando una solución robusta y escalable para el monitoreo operativo de la cobertura terrestre en entornos con escasez de datos y alta variabilidad estacional. El estudio destaca que, si bien el aprendizaje profundo por sí solo ofrece características espaciales de alta calidad, la integración con ensambles de aprendizaje automático tradicional es crucial para neutralizar las vulnerabilidades locales y lograr la máxima estabilidad en zonas de transición complejas.