Sat-JEPA-Diff: Bridging Self-Supervised Learning and Generative Diffusion for Remote Sensing

1. El Problema

La observación continua de la Tierra es vital para el monitoreo ambiental, pero se ve obstaculizada frecuentemente por la cobertura de nubes. La predicción espaciotemporal (pronóstico de $t \to t+1$) actúa como un "sensor virtual" para llenar estos vacíos. Sin embargo, los modelos actuales enfrentan una disyuntiva fundamental:

• Métodos Deterministas (ej. PredRNN, SimVP): Optimizan el error píxel a píxel (MSE/L1). Esto provoca un fenómeno de "regresión a la media", generando imágenes borrosas que carecen de detalles espectrales y de alta frecuencia, ocultando características geográficas sutiles.
• Métodos Generativos (ej. DDPM, LDM): Producen texturas realistas, pero a menudo "alucinan" estructuras falsas (como topologías de carreteras o edificios inexistentes) si no cuentan con una guía semántica adecuada, lo que resulta en anomalías estructurales engañosas.

El objetivo es lograr un equilibrio entre la precisión estructural y el detalle textural realista.

2. Metodología: Sat-JEPA-Diff

Los autores proponen Sat-JEPA-Diff, un marco de trabajo novedoso que integra el Aprendizaje Auto-supervisado (SSL) con Modelos de Difusión Latente (LDM). La arquitectura consta de dos módulos sinérgicos (ver Figura 1 del artículo):

A. Predicción Temporal con IJEPA

En lugar de predecir píxeles directamente, el modelo predice representaciones semánticas latentes futuras.

• Arquitectura: Se adapta la arquitectura de Predicción de Incrustación Conjunta (IJEPA).
• Proceso: Un codificador (ViT) procesa la imagen de entrada $I_t$ para obtener incrustaciones latentes $z_t$. Un predictor (Transformer) estima las incrustaciones futuras $\hat{z}_{t+1}$.
• Ventaja: Al operar en el espacio latente en lugar del espacio de píxeles, el modelo es robusto al ruido del sensor y a las variaciones atmosféricas, evitando el sobreajuste al ruido que sufren los autoencoders enmascarados (MAE).
• Pérdida (Loss): Utiliza una función de pérdida híbrida que combina reconstrucción L1, similitud coseno, penalización de varianza espacial (para evitar el colapso espacial) y una pérdida contrastiva (InfoNCE).

B. Generación Condicionada con Difusión Latente

Una vez obtenida la predicción semántica robusta, se genera la imagen RGB de alta fidelidad.

• Base: Se utiliza Stable Diffusion 3.5 como columna vertebral generativa, manteniendo el núcleo del transformer congelado.
• Adaptador de Condicionamiento: Se entrena un adaptador ligero (usando LoRA) que transforma las incrustaciones de IJEPA en señales de atención cruzada para la difusión.
• Fusión de Señales: El adaptador fusiona dos tipos de información:
  1. Semántica: Las incrustaciones $\hat{z}_{t+1}$ predichas por IJEPA.
  2. Estructural: Una versión de baja resolución (32x32) de la imagen de entrada $I_t$ que preserva la estructura espacial de baja frecuencia.
  • Un "puerta de fusión" aprendida ($\alpha$) equilibra dinámicamente estas señales.
• Objetivo de Flujo: Se entrena mediante Flow Matching (predicción de velocidad) para generar la imagen final $\hat{I}_{t+1}$.

3. Contribuciones Clave

1. Puente entre Estructura y Textura: Sat-JEPA-Diff resuelve el compromiso entre la precisión estructural y la calidad textural al utilizar representaciones semánticas estables (IJEPA) para guiar un modelo generativo potente (Difusión).
2. Evitación de Alucinaciones: Al condicionar la difusión con incrustaciones semánticas robustas en lugar de solo texto o ruido, se minimiza la generación de estructuras falsas ("alucinaciones") comunes en modelos generativos aplicados a satélites.
3. Independencia del Codificador: El enfoque demuestra ser robusto al cambiar el codificador base (ej. de ViT a Panopticon), indicando que la arquitectura es agnóstica al modelo de incrustación específico.
4. Recursos Abiertos: El código y el conjunto de datos global (basado en Sentinel-2) están disponibles públicamente.

4. Resultados

El modelo se evaluó en un conjunto de datos global de Sentinel-2 (2017-2024) con 100 Regiones de Interés (RoIs).

• Métricas Cuantitativas (Tabla 1):

  • GSSIM (Estructura): Sat-JEPA-Diff alcanza 0.8984, superando a los mejores baselines deterministas (PredRNN: 0.7836) en más de un 11%. Esto indica una preservación superior de bordes y gradientes estructurales.
  • FID (Calidad Perceptual): Logra un FID de 0.1475, comparable a los mejores modelos generativos, demostrando alta calidad visual.
  • PSNR/SSIM: Aunque el PSNR y SSIM son ligeramente inferiores a los métodos deterministas (debido a la naturaleza de la difusión que prioriza la textura realista sobre el promedio de píxeles exacto), esto refleja el conocido trade-off entre percepción y distorsión.

• Análisis Cualitativo:

  • Los baselines deterministas muestran borrosidad espectral, difuminando densidades urbanas y fronteras agrícolas.
  • Sat-JEPA-Diff preserva redes de calles intrincadas, bordes forestales nítidos y texturas realistas.
  • Estabilidad a Largo Plazo: En experimentos de "rollover" autoregresivo (de 2018 a 2024), los métodos deterministas colapsan rápidamente en borrosidad, mientras que Sat-JEPA-Diff mantiene la nitidez estructural y la coherencia temporal a lo largo de 7 años.

5. Significado e Impacto

Este trabajo representa un avance significativo en la predicción de imágenes satelitales al demostrar que es posible superar las limitaciones de los métodos puramente deterministas sin sacrificar la integridad estructural mediante el uso de modelos generativos.

• Aplicaciones Prácticas: Mejora la capacidad de monitoreo ambiental, agricultura de precisión y respuesta a desastres al proporcionar "sensores virtuales" que pueden reconstruir imágenes nubladas con alta fidelidad tanto en estructura como en textura.
• Dirección Futura: Los autores sugieren explorar el uso de descripciones de escenas visuales y lingüísticas (Vision-Language) como señales de condicionamiento temporal, lo que podría abrir nuevas vías para la generación de escenarios futuros basados en eventos específicos.

En resumen, Sat-JEPA-Diff establece un nuevo estado del arte al combinar la robustez semántica del aprendizaje auto-supervisado con la capacidad de síntesis de alta calidad de la difusión latente, resolviendo eficazmente el problema de la "regresión a la media" en la predicción de series temporales de teledetección.