GeoSANE: Learning Geospatial Representations from Models, Not Data

Resumen Técnico: GeoSANE

1. El Problema: Fragmentación de los Modelos Fundacionales de Teledetección

El campo de la teledetección ha visto un auge en el desarrollo de Modelos Fundacionales de Teledetección (RSFMs). Sin embargo, el ecosistema actual presenta una fragmentación significativa:

• Existen más de 70 modelos RSFM, cada uno especializado en un subconjunto específico de sensores (ópticos, SAR, radar), resoluciones espaciales, modalidades o objetivos (clasificación, segmentación, detección).
• Estos modelos son complementarios entre sí, pero no unificados. Un usuario debe elegir manualmente qué modelo preentrenado usar o reentrenar para una nueva tarea, perdiendo el conocimiento acumulado en el resto de la comunidad.
• El enfoque tradicional de "pre-entrenamiento desde cero" sobre grandes volúmenes de datos satelitales es costoso, requiere acceso a datos masivos y no aprovecha el conocimiento ya codificado en los pesos de los modelos existentes.

2. Metodología: GeoSANE (GeoSANE: Un "Foundry" de Modelos Geoespaciales)

GeoSANE propone un cambio de paradigma: en lugar de aprender de los datos (imágenes satelitales), aprende de los modelos existentes directamente en el espacio de pesos.

Arquitectura y Proceso:
GeoSANE se implementa como un autoencoder secuencial basado en transformadores que opera en el espacio de pesos. El proceso consta de tres etapas principales:

1. Recolección de Modelos Heterogéneos:

   • Se recopilan 103 modelos de teledetección de Hugging Face, cubriendo aproximadamente 38 mil millones de parámetros.
   • La colección incluye arquitecturas diversas (ViT, Swin, ResNet, UNet, YOLO), modalidades (óptico, SAR, multiespectral) y tareas (clasificación, segmentación, detección).
   • Se implementan cargadores automáticos para manejar implementaciones no estándar y reconstruir arquitecturas a partir de los checkpoints.

2. Tokenización y Aprendizaje de Representación Latente:

   • Tokenización: Los pesos de cada modelo se cargan, remodelan en matrices 2D por capa y se dividen en tokens de tamaño fijo. Se añaden embeddings posicionales 3D (posición en la secuencia, índice de capa, posición dentro de la capa) y una máscara binaria para distinguir parámetros reales de relleno (padding).
   • Autoencoder: Se entrena un autoencoder (codificador + decodificador) para mapear estas secuencias de tokens a un espacio latente compartido.
     • Objetivo de Pérdida: Se combina una pérdida de reconstrucción (para recuperar los pesos originales) con una pérdida de contraste (NT-Xent) para asegurar que las representaciones latentes de modelos similares estén agrupadas y sean distintas de otros.
     • Innovación: A diferencia de trabajos anteriores que requerían modelos homogéneos, GeoSANE normaliza la pérdida en tiempo de ejecución, permitiendo aprender de arquitecturas y tamaños heterogéneos.

3. Generación de Nuevos Modelos (Inferencia):

   • Dado un "modelo prompt" (una arquitectura objetivo, ej. ViT-L o Swin-B), GeoSANE codifica sus pesos iniciales en el espacio latente.
   • Se utiliza un Estimador de Densidad de Kernel (KDE) alrededor de esta representación latente para muestrear nuevos puntos en el espacio.
   • El decodificador transforma estas muestras latentes en nuevos pesos sintéticos para la arquitectura objetivo.
   • Estos pesos generados encapsulan el conocimiento agregado de toda la población de modelos de teledetección y están listos para ser fine-tuned en tareas específicas.

3. Contribuciones Clave

1. Nuevo Paradigma de Pre-entrenamiento: Propone aprender de modelos existentes en el espacio de pesos en lugar de pre-entrenar desde cero sobre datos satelitales brutos.
2. GeoSANE como Foundry Escalable: Un enfoque codificador-decodificador capaz de entrenar con modelos heterogéneos y generar pesos bajo demanda para arquitecturas, modalidades y tareas arbitrarias.
3. Validación Empírica Exhaustiva: Demostración de que el aprendizaje en el espacio de pesos es una alternativa viable y superior al pre-entrenamiento tradicional, validada en 10 conjuntos de datos diversos y en GEO-Bench.

4. Resultados Experimentales

Los modelos generados por GeoSANE fueron evaluados en tareas de clasificación, segmentación semántica y detección de objetos sobre 10 datasets (incluyendo EuroSAT, RESISC-45, BigEarthNet, Sen1Floods11, DIOR, etc.).

• Superioridad frente a Entrenamiento desde Cero: GeoSANE supera consistentemente a los modelos inicializados aleatoriamente, con mejoras significativas (hasta +23.2% en mAP en fMoW).
• Competencia con Modelos Fundacionales (RSFMs): Los modelos generados igualan o superan a los modelos fundacionales más avanzados (como SatMAE, Scale-MAE, Prithvi-EO, DOFA) en la mayoría de las métricas, a pesar de no haber sido pre-entrenados directamente sobre datos satelitales masivos.
• Generación de Modelos Ligeros: GeoSANE genera modelos eficientes (ej. ResNet-18, MobileNet) directamente en el espacio de pesos. Estos superan a los modelos obtenidos mediante técnicas de compresión tradicionales como podado (pruning) y distilación de conocimiento, que a menudo sufren de degradación de rendimiento.
• Generalización: Los modelos generados muestran una fuerte capacidad de generalización en GEO-Bench, un estándar para evaluar fundamentos de teledetección.
• Convergencia Rápida: Los modelos inicializados con GeoSANE convergen más rápido durante el fine-tuning en comparación con los modelos pre-entrenados en ImageNet o entrenados desde cero.

5. Significado e Impacto

GeoSANE representa un avance fundamental en la inteligencia artificial geoespacial:

• Unificación del Conocimiento: Permite consolidar el conocimiento disperso en más de 70 modelos en una única representación latente accesible.
• Eficiencia de Recursos: Elimina la necesidad de costosos ciclos de pre-entrenamiento sobre petabytes de datos satelitales para cada nueva tarea o arquitectura.
• Flexibilidad: Facilita la creación de modelos optimizados para hardware específico (ligeros) o tareas muy específicas sin depender de la disponibilidad de grandes conjuntos de datos etiquetados para el entrenamiento inicial.
• Futuro: Establece que el "espacio de pesos" es una modalidad de datos válida y rica, abriendo la puerta a la creación de "fábricas de modelos" que puedan sintetizar arquitecturas neuronales adaptadas a cualquier dominio, no solo a la teledetección.

En resumen, GeoSANE demuestra que aprender de los modelos es más eficiente y efectivo que aprender de los datos para la transferencia de conocimiento en dominios geoespaciales complejos.