Landsat-Sentinel-2 Algal Bloom Mapping Using Vision Transformers: Model Description, Implementation, and Examples

Resumen Técnico: Mapeo de Floraciones Algales con Landsat-Sentinel-2 mediante Vision Transformers

Planteamiento del Problema
El monitoreo de las floraciones algales costeras requiere observaciones frecuentes, espacialmente detalladas y globalmente consistentes. Aunque los sensores de color oceánico de resolución gruesa (p. ej., MODIS, OLCI) proporcionan una cobertura sinóptica amplia, su resolución espacial moderada (30–250 m) limita la detección de floraciones pequeñas, fragmentadas o de baja concentración que a menudo se forman como cúmulos o balsas menores a un solo píxel. Además, la recuperación precisa de la reflectancia del agua en zonas costeras es un desafío debido a la reflectancia del fondo, las altas cargas de sedimentos suspendidos y los efectos de adyacencia terrestre. Los métodos bio-ópticos tradicionales y los índices espectrales (p. ej., NDVI, FAI, MCI) dependen de umbrales empíricos y a menudo fallan al distinguir las floraciones algales de artefactos atmosféricos como nubes y el brillo solar (sun glint), o de características no algales con firmas espectrales similares. Aunque el aprendizaje profundo (DL) ha mostrado potencial, su aplicación al mapeo de floraciones algales utilizando datos de Landsat-8/9 y Sentinel-2 de resolución media (30 m) es emergente, existiendo una falta de productos de reflectancia armonizados, protocolos de etiquetado estandarizados y conjuntos de datos de referencia disponibles públicamente.

Metodología
Este estudio presenta un marco integral para el mapeo de floraciones algales costeras de 30 m utilizando datos armonizados de Landsat-8/9 OLI y Sentinel-2 MSI.

• Armonización de Datos y Preprocesamiento: Los autores utilizaron el flujo de trabajo AQUAVis para generar un producto de reflectancia remota ($R_{rs}$) armonizado. Este flujo aplica corrección atmosférica (6SV), mitigación de brillo y efectos de adyacencia, y ajustes de ancho de banda espectral específicos del sensor. El resultado consiste en cuatro bandas espectrales (Azul, Verde, Rojo, NIR) a una resolución de 30 m, junto con una banda de garantía de calidad (QA) para el enmascaramiento de nubes y sombras.
• Generación de Conjunto de Datos: Se creó un conjunto de datos distribuido globalmente a partir de 225 puntos críticos de floración identificados.
  • Entrenamiento: 660 imágenes de 2023 fueron procesadas en 24,265 parches de entrenamiento (256×256 píxeles).
  • Validación: 186 imágenes de 2024 fueron procesadas en 12,255 parches de validación para evaluar la transferibilidad temporal.
  • Etiquetado: Se empleó un flujo de trabajo semiautomático. Las máscicas iniciales se generaron mediante un umbral dinámico de NDVI y detección de objetos no supervisada. Estas fueron refinadas manualmente utilizando composiciones de falso color (Rojo, NIR, Verde) para corregir la inestabilidad de los índices espectrales y asegurar que las etiquetas reflejaran estructuras morfológicas de la floración (p. ej., patrones filamentosos) en lugar de solo la magnitud espectral. Las características de entrada incluyeron las cuatro bandas de $R_{rs}$ más el NDVI y el Índice de Algas Flotantes (FAI) como canales adicionales.
• Arquitecturas de Modelos: Se implementaron y compararon cinco modelos de aprendizaje profundo:
  1. ResUNet: Un codificador-decodificador basado en CNN con codificación de contexto y conexiones residuales (línea base).
  2. Vanilla Vision Transformer (ViT): Una arquitectura de transformador estándar con mecanismos de auto-atención.
  3. Swin Transformer: Un ViT jerárquico que utiliza atención de múltiples cabezales basada en ventanas para reducir la complejidad computacional y capturar el contexto local.
  4. SegFormer: Un modelo híbrido que combina un codificador Mix Transformer (MiT) con un decodificador ligero.
  5. Prithvi (MAE): Un modelo fundacional (IBM/NASA) pre-entrenado en datos armonizados de Landsat-Sentinel, ajustado finamente con un decodificador SegFormer.
• Estrategia de Entrenamiento: Los modelos fueron entrenados con optimizadores AdamW, funciones de pérdida compuestas (Dice, Entropía Cruzada, IoU) y mapas de ponderación basados en distancia para enfatizar los bordes. Se utilizaron pesos pre-entrenados (ImageNet-1k o Prithvi) para facilitar la convergencia.

Contribuciones Clave

1. Primera Aplicación de ViTs: Este es el primer estudio en aplicar arquitecturas de Vision Transformer (Vanilla ViT, Swin, SegFormer) a la segmentación de floraciones algales costeras de 30 m.
2. Conjunto de Datos de Referencia Global: El desarrollo de un conjunto de datos de máscara de floración de algas de 30 m distribuido globalmente (36,520 parches) que cubre diversos tipos de agua óptica y morfologías de floración, acompañado de un flujo de trabajo de etiquetado semiautomático escalable.
3. Marco Operativo: El establecimiento de un flujo de trabajo para el monitoreo consistente de floraciones de resolución media utilizando la constelación virtual armonizada Landsat-Sentinel (HLS), yendo más allá de los enfoques regionales.

Resultados

• Desempeño de los Modelos: Todos los modelos de aprendizaje profundo demostraron capacidades sólidas para detectar floraciones algales flotantes.
  • ResUNet logró el F1-score general más alto (0.58) con errores equilibrados de omisión (9.88%) y comisión (56.59%).
  • Swin Transformer tuvo un desempeño comparable a ResUNet (F1-score 0.57) y mostró una robustez superior en el manejo de la fragmentación espacial.
  • SegFormer alcanzó la mayor recuperación o recall (0.92) pero sufrió de altos errores de comisión (64.96%), indicando una tendencia a la sobre-segmentación.
  • Vanilla ViT y Prithvi (MAE) mostraron un desempeño inferior, siendo Prithvi el que presentó el mayor error de omisión (33.26%), probablemente debido al desajuste entre su dominio de pre-entrenamiento (observación de la Tierra general) y las características espectrales/espaciales específicas de las floraciones acuáticas.
• Robustez Ambiental: Los modelos Swin Transformer y ResUNet mantuvieron su desempeño a través de diversos Tipos de Agua Óptica (OWTs), incluyendo aguas turbias y claras. Crucialmente, bajo condiciones atmosféricas desafiantes (nubes delgadas e intenso brillo solar), los modelos de aprendizaje profundo evitaron eficazmente los falsos positivos que afectaron a los índices espectrales tradicionales (NDVI y FAI), los cuales produjeron detecciones falsas generalizadas en áreas afectadas por el brillo.
• Ventaja de Resolución: Las comparaciones con productos derivados de MODIS de 1 km revelaron que los modelos de 30 m pueden detectar estructuras de floración fragmentadas e irregulares invisibles para los sensores de menor resolución. Mientras que MODIS proporcionó una estimación del límite inferior de la extensión de la floración, los mapas de 30 m revelaron patrones espaciales significativamente más detallados.

Significancia y Reivindicaciones
Los autores afirman que este estudio establece una nueva frontera para el aprendizaje profundo en la teledetección acuática. Al demostrar que los Vision Transformers pueden delinear con éxito características de floración a escala fina en entornos costeros dinámicos, el trabajo apoya la transición de un monitoreo global grueso hacia sistemas operativos de resolución media escalables. El estudio destaca cómo los modelos de aprendizaje profundo, al aprovechar el contexto espectro-espacial, pueden superar las limitaciones de los índices basados en umbrales tradicionales, particularmente para distinguir las floraciones reales de el ruido atmosférico y superficial. Los autores posicionan su marco como un paso fundacional hacia un potencial sistema operativo de mapeo de floraciones algales de 30 m, ofreciendo mejores capacidades de alerta temprana y evaluaciones ecológicas para la gestión costera. Reconocen que, si bien los modelos funcionan bien, es necesario desarrollar modelos fundacionales específicos del dominio entrenados en conjuntos de datos acuáticos para mejorar aún más la generalización y reducir la dependencia de modelos pre-entrenados de dominios no acuáticos.