Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

Resumen Técnico: Enfoques de Preentrenamiento Guiados por el Conocimiento para Modelos Fundacionales Multimodales

1. El Problema

El aprendizaje auto-supervisado ha permitido el desarrollo de modelos fundacionales en geociencias mediante grandes volúmenes de datos satelitales. Sin embargo, los enfoques de preentrenamiento existentes se basan predominantemente en dos estrategias que presentan limitaciones críticas para aplicaciones de teledetección:

• Reconstrucción Enmascarada (Masked Reconstruction - MR): Oculta partes de la entrada (imagen o texto) y obliga al modelo a reconstruirlas. Captura bien características espaciales o temporales, pero no modela las relaciones causales entre variables.
• Predicción del Siguiente Token / Pronóstico de Pasos Variables (VSF): Predice datos futuros basándose en secuencias pasadas. Aunque útil para series temporales, a menudo trata las variables como correlaciones estadísticas sin entender la dirección de la influencia causal.

La Brecha: En geociencias, existe una interacción causal compleja donde un conjunto de variables (conductores o drivers, como el clima) influye directamente en otro conjunto (respuestas, como la vegetación o la humedad del suelo observada por satélite). Los métodos actuales no capturan explícitamente esta dependencia causal direccional (ej. cómo la lluvia afecta el crecimiento de los cultivos), lo que limita la calidad de los embeddings (representaciones) aprendidos para tareas que dependen de esta dinámica.

2. Metodología Propuesta: KG-VSF

Los autores proponen Knowledge Guided Variable-Step Forecasting (KG-VSF), una nueva tarea de preentrenamiento diseñada para modelar el pronóstico como una tarea de generación condicional.

• Concepto Central: El modelo utiliza variables conductoras (datos meteorológicos) para informar la predicción de variables de respuesta (imágenes satelitales futuras). A diferencia de fusionar modalidades sin dirección, KG-VSF codifica explícitamente que el clima impulsa los cambios en la superficie terrestre.
• Arquitectura:
  • Codificador de Imágenes Satelitales: Utiliza un Vision Transformer (ViT) compartido para extraer características espaciales de series de imágenes multiespectrales.
  • Codificador Meteorológico: Emplea una LSTM unidireccional para codificar series temporales de datos climáticos (temperatura, precipitación, viento).
  • Codificador de Temporales: Incorpora el día del año (DOY) y los deltas de tiempo entre imágenes.
  • Codificador de Secuencia Multimodal: Combina las embeddings espaciales, meteorológicas y temporales mediante un Transformer con atención causal (unidireccional) para evitar fugas de información del futuro.
  • Pronosticador (Forecaster): Transforma las embeddings del tiempo actual al tiempo futuro utilizando los datos meteorológicos hasta esa fecha futura.
• Proceso de Preentrenamiento en Dos Fases:
  1. Fase 1 (Reconstrucción Enmascarada): Entrena los codificadores individuales (imagen y clima) y el codificador multimodal para reconstruir datos enmascarados, estableciendo una base de patrones espaciales y temporales.
  2. Fase 2 (Pronóstico): Introduce el pronosticador. El modelo debe aprender a transformar las embeddings actuales en embeddings futuras utilizando el clima como guía. Esto fuerza al modelo a internalizar la relación causal (ej. "lluvia intensa $\rightarrow$ lagos más llenos", "sol $\rightarrow$ crecimiento vegetal").

3. Contribuciones Clave

1. Nueva Tarea de Preentrenamiento: Introducción de KG-VSF, que integra conocimiento de dominio (causalidad clima-superficie) directamente en la función de pérdida de preentrenamiento.
2. Arquitectura Multimodal Causal: Diseño de un modelo que separa y luego fusiona conductores (clima) y respuestas (satélite) de manera direccional, a diferencia de las fusiones simétricas tradicionales.
3. Validación Empírica Rigurosa: Evaluación exhaustiva en dos conjuntos de datos (Global y Cultivos de EE. UU.) y comparación contra cuatro líneas base (SM-MR, MM-MR, SM-VSF, MM-VSF) y modelos existentes como Prithvi EO.2.
4. Análisis de Causalidad: Experimentos de "sondeo contrafactual" (cambiar el clima de entrada y observar cambios físicos coherentes en la imagen pronosticada) y pruebas de "silenciar/mezclar" clima para demostrar que la mejora proviene de la relación causal y no solo de tener una segunda modalidad.

4. Resultados

El modelo KG-VSF superó consistentemente a los métodos basados en reconstrucción enmascarada y pronóstico estándar en múltiples tareas de ajuste fino (fine-tuning):

• Mapeo de Tipos de Cultivos (Pixel-wise): KG-VSF alcanzó un F1 Score medio de 0.7602, superando a MM-MR (0.7056) y modelos especializados como WSTATT. Demostró mayor robustez con menos datos de entrenamiento.
• Predicción y Pronóstico de Humedad del Suelo:
  • Predicción: KG-VSF obtuvo un R² de 0.8081, superando significativamente a MM-VSF (0.7606) y Prithvi (0.3377).
  • Pronóstico: En horizontes temporales largos (>100 días), KG-VSF mantuvo un rendimiento superior (R² ~0.61) frente a la degradación rápida de otros modelos, demostrando su capacidad para proyectar dinámicas a largo plazo basadas en el clima.
• Predicción de Imágenes Faltantes y Futuras:
  • En la tarea de rellenar imágenes con datos faltantes (sin máscara conocida), KG-VSF redujo el Error Cuadrático Medio (MSE) significativamente, evitando artefactos físicos incorrectos (ej. no añadir humedad a un río seco).
  • En el pronóstico de imágenes futuras (Zero-shot), KG-VSF capturó correctamente fenómenos estacionales (cosecha, nieve, crecimiento) que los modelos basados solo en correlación temporal fallaron en predecir.
• Análisis de Embeddings: Las visualizaciones t-SNE mostraron que KG-VSF genera clusters más compactos y separados según el tipo de cultivo, indicando una representación latente más estructurada y semánticamente coherente.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el desarrollo de modelos fundacionales para teledetección:

• De Correlación a Causalidad: Demuestra que incorporar conocimiento de dominio sobre las relaciones causales durante el preentrenamiento genera representaciones más ricas y transferibles que simplemente escalar la cantidad de datos o usar arquitecturas estándar.
• Aplicabilidad Práctica: Los modelos resultantes son superiores para tareas críticas donde el clima impulsa cambios en la superficie, como la agricultura de precisión, la gestión de recursos hídricos y la monitorización de desastres.
• Escalabilidad: Los experimentos de escalabilidad indican que el rendimiento mejora continuamente con más datos, sugiriendo que KG-VSF es una vía viable para construir modelos fundacionales geoespaciales a gran escala.
• Generalización: El marco propuesto no se limita a la teledetección; la idea de preentrenar modelos guiados por causalidad entre variables conductoras y de respuesta tiene implicaciones para otros dominios científicos como la salud y las finanzas.

En conclusión, KG-VSF establece que para dominios complejos como las geociencias, los modelos fundacionales deben ir más allá de la reconstrucción de patrones y aprender explícitamente las leyes físicas y causales que gobiernan los datos.