Heterogeneous SAR-optical fusion for near-real-time land use and land cover mapping under cloud contamination: A novel framework and global benchmark dataset

Resumen Técnico: Fusión Heterogénea de SAR–Óptico para el Mapeo de LULC en Tiempo Casi Real bajo Contaminación de Nubes

Planteamiento del Problema
La teledetección óptica es la principal fuente de datos para el mapeo de Uso de la Tierra y Cobertura del Suelo (LULC) debido a su rica información espectral y textural. Sin embargo, su fiabilidad se ve severamente comprometida por la contaminación de nubes y sombras de nubes, particularmente en regiones tropicales, monzónicas y de altas latitudes. Esta limitación obstaculiza el mapeo en tiempo casi real o en fechas específicas, donde los mapas deben reflejar el estado actual de la superficie en lugar de composiciones con retrasos temporales. Las soluciones existentes enfrentan desafíos significativos: la fusión temporal homogénea depende de observaciones ópticas libres de nubes suficientes, las cuales pueden no estar disponibles en áreas persistentemente nubladas; los métodos de reconstrucción previa heterogénea (que utilizan SAR para restaurar imágenes ópticas) a menudo optimizan la reconstrucción a nivel de píxel en lugar de la clasificación semántica, lo que conduce a la pérdida de información discriminativa de clase; además, los métodos de fusión heterogénea de extremo a extremo existentes suelen asumir entradas ópticas fiables, fallando al no abordar adecuadamente la incertidumbre espacialmente variable introducida por las nubes. Asimismo, existe una falta de conjuntos de datos de referencia estandarizados y a gran escala diseñados específicamente para el mapeo de LULC SAR–óptico contaminado por nubes.

Metodología: CloudLULC-Net
Para abordar estos desafíos, los autores proponen CloudLULC-Net, un marco de fusión heterogénea de SAR–óptico de extremo a extremo. A diferencia de los enfoques de reconstrucción previa, esta red predice directamente los mapas de LULC a partir de imágenes ópticas Sentinel-2 contaminadas por nubes y observaciones de Sentinel-1 SAR temporalmente adyacentes. La arquitectura consta de cuatro etapas principales:

1. Codificación de Características Específicas de la Modalidad: Los codificadores de doble rama extraen características de las entradas ópticas ($X_o$) y SAR ($X_s$), preservando sus distintas características físicas (espectral frente a estructural/retrodispersión).
2. Modulación de la Fiabilidad Óptica (ORM): Antes de la fusión, un módulo ORM regula de forma adaptativa las respuestas de las características ópticas. Aprende una compuerta de fiabilidad latente a partir de las propias características ópticas para suprimir las respuestas no fiables en las regiones afectadas por nubes, reteniendo al mismo tiempo las pistas espectrales útiles en las áreas despejadas. Esto se logra mediante una rama contextual residual que proporciona representaciones alternativas cuando la respuesta óptica original se considera no fiable.
3. Agregación Adaptativa de Información Heterogénea (HIAA): Este módulo modela las interacciones espaciales-canales de alto orden entre las características ópticas conscientes de la fiabilidad y las características SAR. Emplea un conjunto de bloques, cada uno con:
   • Interacción Espacial de Alto Orden (SHOI): Utiliza la modelización de correlación asistida por la transformada de Fourier para capturar eficientemente las dependencias espaciales transmodales de largo alcance sin la complejidad cuadrática de la atención estándar.
   • Interacción de Canal de Alto Orden (CHOI): Recalibra las respuestas espectrales-estructurales por canal basándose en las características interactuadas espacialmente, ponderando de forma adaptativa los canales informativos.
4. Transformador de Mapeo Semántico Unificado (USMT): En lugar de reconstruir imágenes, los tokens fusionados se transforman en un espacio latente semántico orientado a tareas utilizando una arquitectura de tipo Transformer de Difusión (DiT). Esto organiza las características heterogéneas en un espacio semántico unificado alineado con las categorías de cobertura terrestre.
5. Optimización Guiada por Anclajes Semánticos: Durante el entrenamiento, la representación latente semántica intermedia se regulariza utilizando un ancla semántica derivada de la etiqueta. Esta estrategia alinea las características semánticas fusionadas de SAR–óptico con la estructura semántica de la verdad de terreno, mejorando la consistencia y la robustez más allá de la pérdida de clasificación estándar por píxel.

Conjunto de Datos de Referencia: CloudLULC-Set
El estudio introduce CloudLULC-Set, un conjunto de datos de referencia a gran escala que comprende 40,223 tríos curados de imágenes Sentinel-2 contaminadas por nubes, imágenes Sentinel-1 SAR temporalmente adyacentes y anotaciones de LULC a nivel de píxel.

• Alcance: Cubre 48 regiones de interés (ROI) globalmente, abarcando diversos climas y tipos de cobertura terrestre.
• Anotación: Las etiquetas se generan mediante interpretación experta utilizando imágenes ópticas libres de nubes temporalmente adyacentes como referencias primarias, asegurando la consistencia temporal con la fecha objetivo en lugar de depender de productos de cobertura terrestre anuales.
• Clases: Seis categorías unificadas: Agua, Bosque, Pastizal, Tierras de Cultivo, Suelo Desnudo y Áreas Urbanas.
• Condiciones: Incluye una variabilidad significativa en la cobertura de nubes, con promedios mensuales que a menudo superan el 40% en áreas de estudio representativas.

Resultados Experimentales
Experimentos extensos en CloudLULC-Set demuestran que CloudLULC-Net supera tanto a los enfoques de reconstrucción previa heterogénea como a los modelos base de extremo a extremo:

• Rendimiento: Logra una Exactitud Global (OA) del 86.60%, un F1-score de 83.29% y una media de Intersección sobre Unión (mIoU) del 73.51%. Esto representa una mejora significativa respecto al modelo base más fuerte (SegCR), que alcanzó un 85.66% de OA y 72.73% de mIoU.
• Eficiencia: El modelo mantiene una alta eficiencia computacional con una velocidad de inferencia de 42.27 FPS y 20.51 G FLOPs, superando a muchos modelos base complejos en velocidad mientras reduce el costo computacional.
• Robustez: El rendimiento sigue siendo superior ante variaciones en la cobertura de nubes (0–100%). Aunque todos los métodos se degradan con el aumento de la cobertura de nubes, CloudLULC-Net exhibe un declive más lento, particularmente en el rango de cobertura de nubes del 40–80%.
• Estudios de Ablación: Confirman que cada componente contribuye significativamente. El módulo HIAA (específicamente la combinación de SHOI y CHOI) proporciona la mayor ganancia de rendimiento, seguido de la optimización guiada por anclajes semánticos y el ORM.
• Validación Externa: Al compararse con productos de LULC globales existentes (p. ej., ESA WorldCover, Esri Land Cover, Google Dynamic World) en Maryland (EE. UU.) y Tamil Nadu (India), CloudLULC-Net alcanzó una mayor precisión, particularmente en áreas urbanas y agrícolas fragmentadas bajo densa cobertura de nubes donde los productos puramente ópticos fallaron o estaban incompletos.

Significancia y Reivindicaciones
El artículo afirma que CloudLULC-Net ofrece una solución robusta para el mapeo de LULC en fechas objetivo en regiones propensas a las nubes, abordando una brecha crítica donde los productos globales existentes dependen de composiciones anuales o fallan debido a la obstrucción de nubes. Al fusionar directamente los datos ópticos contaminados por nubes con las observaciones de SAR de manera de extremo a extremo, el marco evita la degradación semántica asociada con la reconstrucción de imágenes intermedia. Los autores enfatizan que el marco propuesto permite realizar análisis estacionales detallados (p. ej., monitoreo hidrológico en la cuenca del lago Poyang) donde esperar a obtener datos ópticos libres de nubes no es factible. La introducción de CloudLULC-Set proporciona un protocolo de evaluación estandarizado para la investigación futura en este dominio específico, yendo más allá de la fusión multimodal general para abordar los desafíos específicos de la incertidumbre semántica inducida por las nubes. El trabajo demuestra que la integración de las pistas estructurales de SAR con la modulación óptica consciente de la fiabilidad puede cerrar eficazmente la brecha entre las observaciones ópticas degradadas y la clasificación precisa de la cobertura del suelo.