HighFM: Towards a Foundation Model for Learning Representations from High-Frequency Earth Observation Data

1. El Problema

La frecuencia e intensidad de los desastres relacionados con el clima (incendios forestales, inundaciones, tormentas) exigen sistemas de Observación de la Tierra (EO) capaces de ofrecer monitoreo en tiempo real o casi real.

• Limitación de los Modelos Actuales: La mayoría de los Modelos Fundacionales (FMs) existentes en EO se entrenan con imágenes de satélite de alta resolución espacial pero de baja tasa de revisita (ej. Sentinel-2, Landsat). Estos modelos están optimizados para fenómenos estáticos o de evolución lenta (como clasificación de uso de suelo o fenología), lo que los hace inadecuados para eventos dinámicos y rápidos.
• La Brecha: Existe una necesidad crítica de modelos que puedan procesar datos de alta frecuencia temporal (revisitas cada 5-15 minutos) para rastrear la evolución rápida de fenómenos atmosféricos y de emergencia, a pesar de que estos datos suelen tener una resolución espacial más baja.

2. Metodología

Los autores proponen HighFM, un enfoque pionero para un Modelo Fundamental diseñado específicamente para datos de EO geoestacionarios de alta frecuencia.

• Fuente de Datos: Se utilizaron más de 2 TB de imágenes SEVIRI (Spinning Enhanced Visible and Infrared Imager) de la plataforma Meteosat Second Generation (MSG), cubriendo el Mediterráneo entre 2014 y 2019. Los datos incluyen 11 bandas espectrales con una cadencia de 15 minutos.
• Arquitectura Adaptada (SatMAE):
  • Se basa en el framework de Autoencoders enmascarados (MAE) y la arquitectura SatMAE, pero con adaptaciones críticas.
  • Codificación Temporal Fina: A diferencia de SatMAE original, que ignora los detalles temporales (minutos/segundos) asumiendo que son irrelevantes para fenómenos lentos, HighFM retiene y codifica finamente la información temporal. Esto es crucial para capturar la variabilidad a corto plazo en eventos rápidos como incendios.
  • Variantes de Entrenamiento: Se entrenaron dos variantes:
    1. Single-timestep: Una sola adquisición temporal por muestra.
    2. Multi-timestep (3 pasos): Tres adquisiciones aleatorias dentro de la misma hora para aprender la variabilidad intra-hora.
  • Entrada: Parches de 32x32 píxeles extraídos de las imágenes SEVIRI.
• Estrategia de Aprendizaje:
  • Pre-entrenamiento: Auto-supervisado (Self-Supervised Learning) mediante la reconstrucción de parches enmascarados.
  • Fine-tuning (Ajuste Fino): Los modelos pre-entrenados se ajustaron para dos tareas de segmentación binaria a nivel de píxel:
    1. Detección de nubes (Cloud Segmentation).
    2. Detección de incendios activos (Active Fire Detection).
• Diseño Experimental: Se evaluaron dos objetivos de entrenamiento complementarios para satisfacer diferentes necesidades operativas:
  • Alta Sensibilidad (Recall): Priorizar la detección de todos los eventos (tolerando falsos positivos), usando pérdida de entropía cruzada ponderada.
  • Alta Precisión (Localization): Priorizar la precisión espacial y reducir falsos positivos, usando pérdida Dice.

3. Contribuciones Clave

• Primera FM para EO de Alta Frecuencia: Es, hasta donde se conoce, el primer trabajo que introduce la necesidad y el desarrollo de un Modelo Fundamental específicamente adaptado para datos EO de alta frecuencia (geoestacionarios).
• Arquitectura Mejorada: Adaptación de SatMAE con codificaciones temporales de alta resolución para modelar fenómenos dinámicos.
• Dataset Curado: Creación de un dataset masivo de pre-entrenamiento (2.23 TB de imágenes SEVIRI) y datasets de ajuste fino para nubes e incendios con máscaras de referencia de alta calidad.
• Benchmarks Completos: Evaluación exhaustiva a lo largo de múltiples años, demostrando el estado del arte (SOTA) en tareas críticas de detección.

4. Resultados

El modelo HighFM fue comparado contra baselines tradicionales (U-Net desde cero, ViT desde cero, ViT pre-entrenado en ImageNet) y otros Modelos Fundacionales de EO recientes (Copernicus-FM, Panopticon).

• Segmentación de Nubes:
  • La variante de 3 pasos temporales (HighFMMT) logró el mejor rendimiento general, alcanzando una precisión balanceada de 0.831 y el mejor IoU tanto para nubes (0.737) como para cielos despejados (0.683).
  • Superó consistentemente a los modelos basados en ImageNet y a otros FMs de EO entrenados con datos de baja frecuencia.
• Detección de Incendios:
  • En el escenario de alta sensibilidad (Cross-Entropy), HighFMMT obtuvo la precisión balanceada más alta (0.925) y un recall de incendios del 89%, superando al siguiente mejor modelo (Copernicus-FM) en un margen significativo (+0.045 en recall).
  • En el escenario de alta precisión (Dice Loss), el modelo logró el IoU de incendios más alto (0.352) y un recall del 49.7%, demostrando una capacidad superior para delimitar el fuego sin sobre-segmentar, a diferencia de los baselines que tendían a activar regiones irrelevantes.
• Análisis Cualitativo: Las visualizaciones mostraron que HighFM detecta incidentes de fuego desafiantes con señales mínimas y genera máscaras más compactas y precisas, reduciendo drásticamente los falsos positivos en comparación con los baselines.

5. Significado e Impacto

• Validación de Datos Geoestacionarios: El estudio demuestra que, a pesar de la resolución espacial más baja de los satélites geoestacionarios, la densidad temporal combinada con el pre-entrenamiento específico de dominio es superior para tareas de monitoreo en tiempo real que los modelos de alta resolución espacial pero baja frecuencia.
• Aplicaciones Operativas: El modelo tiene un impacto directo en la protección civil, la gestión de incendios forestales y la predicción de energía solar. Permite a las agencias tomar decisiones informadas basadas en alertas tempranas y confiables.
• Escalabilidad: HighFM establece un marco escalable que puede extenderse a otras tareas de EO en tiempo real, como la predicción de tormentas severas (nowcasting) y el seguimiento de la evolución de sistemas meteorológicos.
• Futuro: Aunque el trabajo actual se centra en un solo sensor (SEVIRI), sienta las bases para futuros modelos multimodales que integren datos de diferentes sensores (MODIS, VIIRS, etc.) para un marco de monitoreo global más robusto.

En resumen, HighFM representa un cambio de paradigma en la IA para la Observación de la Tierra, desplazando el enfoque de la "alta resolución espacial" hacia la "alta resolución temporal" para abordar eficazmente los desafíos de los desastres naturales en evolución rápida.