UNIGEOCLIP: Unified Geospatial Contrastive Learning

1. Problema y Motivación

El aprendizaje de representaciones geoespaciales robustas es fundamental para tareas como la clasificación de uso del suelo, el monitoreo de la cobertura terrestre y la inferencia socioeconómica a gran escala. Sin embargo, los enfoques existentes presentan limitaciones significativas:

• Campos de incrustación (Embedding Fields): Mapean coordenadas a vectores latentes pero actúan como "instantáneas" estáticas, con dificultades para modelar dinámicas o generalizar fuera de la distribución de entrenamiento.
• Modelos de fusión multimodal: Suelen combinar todas las observaciones en una sola representación, lo que impide la comparación o recuperación cruzada entre modalidades individuales.
• Enfoques contrastivos actuales: Típicamente alinean solo dos modalidades (generalmente imágenes y coordenadas), ignorando a menudo el texto y otros sensores. Además, muchos dependen de una "modalidad pivote" central (usualmente la imagen) para alinear el resto, lo que limita la flexibilidad.

El objetivo es crear un marco unificado que pueda alinear, comparar y recuperar información a partir de cualquier combinación de modalidades geoespaciales (imágenes aéreas, vistas de calle, modelos de elevación, texto y coordenadas) en un único espacio de incrustación.

2. Metodología: UNIGEOCLIP

Los autores proponen UNIGEOCLIP, un marco de aprendizaje contrastivo masivamente multimodal que realiza una alineación "todos-con-todos" (all-to-all) sin depender de una modalidad pivote.

Arquitectura y Codificadores

El sistema utiliza cinco codificadores específicos para cada modalidad, todos proyectados en un espacio latente compartido de dimensión $D$:

1. Imágenes Aéreas y de Calle (Satellite & Street View): Se utilizan codificadores de imagen basados en SigLIP-2.
2. Texto: Se emplea el codificador de texto de SigLIP-2 para descripciones generadas automáticamente.
3. Modelos Digitales de Superficie (DSM): Se entrena un codificador de DSM desde cero utilizando un Vision Transformer (ViT) con tokens de registro.
4. Coordenadas Geográficas (GPS): Se introduce un Codificador de Latitud-Longitud Escalado.
   • Primero, se aplica la proyección Equal Earth para mitigar distorsiones esféricas.
   • Se utilizan Características de Fourier Aleatorias (RFF) con múltiples matrices espectrales de diferentes varianzas para capturar estructuras a múltiples escalas.
   • A diferencia de enfoques previos que promedian proyecciones independientes, UNIGEOCLIP procesa estas proyecciones como "tokens" a través de bloques de auto-atención (Transformers), permitiendo interacciones entre diferentes frecuencias espaciales antes de promediar el resultado final.

Función de Pérdida (Supervisión)

Se utiliza un objetivo de contraste multivariado (Multi-Way Contrastive Objective). En lugar de alinear pares específicos contra un pivote, el modelo minimiza la pérdida InfoNCE sobre todos los pares ordenados de modalidades $(m, n)$ dentro de un lote de entrenamiento.

• Esto fuerza a que las representaciones de la misma ubicación física, independientemente de la modalidad (ej. una foto de calle y un DSM), estén cercanas en el espacio latente, mientras que las de ubicaciones diferentes estén lejos.
• La pérdida se calcula exhaustivamente sobre todas las combinaciones posibles de las 5 modalidades.

3. Contribuciones Clave

1. UNIGEOCLIP: El primer marco puramente contrastivo que alinea simultáneamente cinco modalidades georreferenciadas heterogéneas: imágenes de calle, imágenes aéreas, DSMs, texto y coordenadas.
2. Codificador de Coordenadas Escalado: Un nuevo codificador basado en Transformers que supera a las incrustaciones estándar de Fourier y MLP al modelar explícitamente dependencias espaciales multiescala, mejorando la capacidad representativa de las coordenadas crudas.
3. Rendimiento Superior: Demostración consistente de mejoras sobre modelos contrastivos de modalidad única y baselines de solo coordenadas en una amplia gama de tareas de sondeo y downstream.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos a gran escala cubriendo áreas metropolitanas de EE. UU., con una división temporal estricta (entrenamiento 2017-2024, evaluación 2023).

• Recuperación Cruzada (Cross-Modal Retrieval):

  • UNIGEOCLIP supera consistentemente a GeoCLIP y ScalingGeoloc en tareas de geolocalización cero-shot (ej. recuperar coordenadas o imágenes aéreas desde una vista de calle).
  • La ensembles multimodal (combinar similitudes de todas las modalidades) alcanza el mejor rendimiento (88.2% de precisión en recuperación de imágenes aéreas), demostrando la complementariedad de los datos.
  • El modelo muestra buena generalización fuera de distribución (OOD) al evaluar en Ámsterdam (entrenado en EE. UU.), manteniendo un rendimiento competitivo.

• Evaluación en Tareas Downstream:

  • Codificador de Imágenes Aéreas: Supera a modelos especializados de observación terrestre (como AnySat, Panopticon) y a SigLIP2 en detección de paneles solares y segmentación semántica de cobertura terrestre, a pesar de no haber sido entrenado específicamente para estas tareas.
  • Codificador de Coordenadas: Logra un $R^2$ medio de 57.0 en 27 tareas de regresión socioeconómica y de salud, superando significativamente a campos de incrustación existentes (AlphaEarth, SatCLIP, GeoCLIP).
  • Codificador de DSM: Al ser evaluado en segmentación de cobertura terrestre, supera ampliamente a arquitecturas entrenadas desde cero (U-Net, ViT), demostrando que el pre-entrenamiento contrastivo multimodal proporciona una inicialización robusta para datos de elevación.

• Análisis de Ablación:

  • Se confirma que la alineación "todos-con-todos" es superior a enfoques parciales.
  • Aumentar la profundidad del codificador de coordenadas (número de bloques de atención) mejora significativamente el rendimiento, validando la necesidad de modelar interacciones complejas entre frecuencias espaciales.

5. Significado e Impacto

UNIGEOCLIP representa un avance fundamental en la representación geoespacial al demostrar que es posible crear un espacio unificado donde la información heterogénea (visual, textual, geométrica y posicional) es directamente comparable.

• Flexibilidad: Permite razonamiento geoespacial robusto incluso cuando faltan algunas modalidades (ej. recuperar una ubicación solo con texto o solo con coordenadas).
• Generalización: La capacidad de aprender una variedad de patrones espaciales y semánticos a través de múltiples sensores mejora la transferencia a nuevas regiones y tareas sin necesidad de supervisión específica.
• Fundamento Escalable: Proporciona una base sólida para futuras aplicaciones de observación terrestre a gran escala, inferencia socioeconómica y sistemas de navegación autónoma que requieren una comprensión holística del entorno.

En resumen, el trabajo establece un nuevo estándar para el aprendizaje de representaciones geoespaciales, moviéndose de modelos especializados y estáticos hacia un enfoque unificado, dinámico y multimodal.