From Surface Forecasting to Observability Forecasting: A Latent World Model for Cloud-Aware EO Monitoring

Resumen Técnico: Del Pronóstico de Superficie al Pronóstico de Observabilidad

Definición del Problema
El artículo aborda un cuello de botella crítico en el procesamiento de la Observación de la Tierra (EO): la llegada de nuevas imágenes no garantiza su utilidad. Las nubes, la bruma y los píxeles faltantes a menudo vuelven las observaciones inutilizables durante días o semanas. Mientras que la investigación tradicional en EO se centra en reconstruir imágenes de superficie futuras (pronóstico de píxeles) o predecir índices de superficie, este trabajo redefine el problema como pronóstico de observabilidad. La pregunta central no es "¿cómo se verá la superficie?", sino:

1. ¿Será utilizable la próxima adquisición?
2. Si no es así, ¿regresará una observación utilizable dentro de un horizonte específico?
3. ¿Cuándo regresará exactamente la primera observación utilizable?

Los autores utilizan el conjunto de datos EarthNet22021, que proporciona imágenes multiespectrales de Sentinel-2 emparejadas con impulsores meteorológicos de mesoescala, para entrenar un modelo que predice la calidad de la observación bajo oclusión de nubes.

Metodología
El estudio adapta LeWorldModel (LeWM), un Modelo de Mundo de Arquitectura de Incrustación Conjunta (JEPA, por sus siglas en inglés), al dominio de la EO. A diferencia de los modelos generativos que reconstruyen píxeles, LeWM aprende una representación de estado latente que evoluciona en el tiempo basándose en observaciones pasadas y covariables exógenas.

• Pipeline de Datos: Los "minicubos" originales de EarthNet2021 se convierten en secuencias episódicas HDF5. Cada observación $x_t$ consta de cinco canales (Azul, Verde, Rojo, NIR y una Máscara de Nubes binaria). Las covariables $u_t$ incluyen deltas de tiempo, características cíclicas del día del año y estadísticas climáticas agregadas (precipitación, presión, temperatura) entre fotogramas. Crucialmente, los fotogramas nublados no se descartan; se preservan con valores espectrales de cero y una máscara de nubes activa para mantener la alineación temporal.
• Arquitectura del Modelo: El LeWM adaptado contiene 18.0 millones de parámetros entrenables. Cuenta con:
  • Un adaptador de canales que mapea los 5 canales de EO a una entrada de codificador ViT-tiny de 3 canales.
  • Un codificador ViT-tiny (tamaño de parche 16) que produce un estado latente $z_t$ de 192 dimensiones.
  • Un codificador de acciones que mapea las covariables climáticas de 8 dimensiones al mismo ancho latente.
  • Un predictor transformador autorregresivo condicional de 6 capas que pronostica estados latentes futuros $(\hat{z}_{t+1}, \dots)$ dado el historial de latentes y covariables.
• Objetivo de Entrenamiento: El modelo se entrena desde cero utilizando una pérdida de forzado de profesor (teacher-forced loss) sobre un historial de 10 pasos para predecir los siguientes 10 estados latentes. El objetivo combina una pérdida de predicción latente ($L_{pred}$) con un regularizador gaussiano isotrópico ($R_{sig}$) para imponer una geometría latente estable.
• Protocolo de Evaluación: Se emplea un protocolo "bloqueado" (locked) para asegurar pruebas de generalización rigurosas. El modelo se entrena una vez en la partición de entrenamiento. Los cabezales de sondas lineales y los umbrales de calibración se ajustan únicamente en la partición de validación interna (valsplit). Estos cabezales se congelan y se evalúan en cuatro particiones distintas: valsplit, IID (Independiente e Idénticamente Distribuida), OOD (Fuera de la Distribión) y Extreme (secuencias más largas y nubladas).

Contribuciones Clave

1. Redefinición del Problema: Los autores cambian el benchmark de EarthNet2021 de un pronóstico de superficie genérico a un pronóstico de observabilidad, definiendo objetivos explícitos para la utilidad del siguiente paso, la utilidad basada en el horizonte y el tiempo exacto de recuperación.
2. Pipeline Reproducible: Se proporciona un pipeline de adaptación completo, que incluye la conversión de datos consciente de las nubes, el manejo explícito de la máscara de nubes y la normalización específica del conjunto de datos.
3. Evaluación Rigurosa: El artículo establece un protocolo de evaluación bloqueado que separa el entrenamiento, el ajuste de la sonda y las pruebas a través de múltiples particiones para distinguir la verdadera generalización de la adaptación específica de la partición.
4. Hallazgos Empíricos: El estudio demuestra que LeWM es más efectivo no como un predictor espacial de video, sino como un pronosticador de observabilidad latente. Supera significativamente a las líneas base de persistencia simples y ofrece ventajas distintas sobre las líneas base tabulares (LightGBM) en tareas temporales específicas.

Resultados
El modelo fue evaluado contra dos líneas base: Persistencia (copiar el último estado observado) y una línea base LightGBM congelada entrenada con historiales de calidad explícitos y covariables climáticas.

• Pronóstico Latente: LeWM supera consistentemente a la persistencia en la predicción de los estados latentes del siguiente paso y en los despliegues (rollouts) de seis pasos en todas las particiones, confirmando que aprende la dinámica temporal no trivial.
• Usabilidad del Siguiente Paso (Binaria): LeWM logra una precisión balanceada que oscila entre 0.769 y 0.887, superando significativamente a la persistencia (0.493–0.556). Frente a LightGBM, LeWM tiene un mejor desempeño en valsplit y Extreme splits, pero es ligeramente superado en OOD y queda empatado en IID.
• Tiempo de Recuperación Exacto: Aquí es donde LeWM muestra su mayor ventaja. Para predecir el horizonte exacto de la primera observación utilizable, LeWM logra precisiones de 0.602 a 0.806, muy superior a la persistencia (0.120–0.369) y generalmente mejor que LightGBM en valsplit, IID y Extreme splits.
• Regresión de Calidad Continua: LeWM proporciona un RMSE más bajo para la regresión de fracción de cielo despejado/nublado en la mayoría de las particiones en comparación con LightGBM, excepto en la partición OOD donde LightGBM es ligeramente más robusto.
• Detección de Anomalías: El modelo produce señales de clasificación fuertes para inconsistencias temporales sintéticas (por ejemplo, fotogramas futuros desordenados), sirviendo como un verificador de consistencia temporal.

Significado y Reivindicaciones
El artículo afirma modestamente que el valor de LeWorldModel en este contexto no es como un pronosticador espacial o un sistema de planificación, sino específicamente como un pronosticador de observabilidad latente para el monitoreo consciente de las nubes.

• Especialización de Tarea: Los resultados revelan una división clara de tareas: LightGBM destaca en decisiones binarias simples ("¿Aparecerá alguna observación utilizable en los próximos 6 pasos?", probablemente porque los historiales de calidad explícitos contienen suficiente señal). Sin embargo, LeWM es superior para la regresión de calidad continua y la predicción de tiempo exacto, lo que sugiere que su representación latente captura una evolución de estado temporal más rica que los modelos tabulares.
• Limitaciones: Los autores reconocen que el desempeño OOD sigue siendo un punto débil, donde la distribución latente cambia significativamente del régimen de entrenamiento. Además, el modelo depende de las covariables climáticas futuras conocidas (forzamiento exógeno) y no realiza pronóstico climático ni optimización de políticas.
• Conclusión: La principal contribución es demostrar que un modelo de mundo basado en JEPA puede rastrear eficazmente la evolución oculta de la visibilidad de la escena. Proporciona una herramienta práctica para los pipelines de EO para determinar cuándo esperar datos utilizables, en lugar de simplemente intentar reconstruir superficies oscurecidas.