GAIR: Location-Aware Self-Supervised Contrastive Pre-Training with Geo-Aligned Implicit Representations

1. El Problema

El campo de la inteligencia artificial geoespacial enfrenta dos desafíos principales que limitan el desarrollo de modelos fundamentales (GeoFMs) efectivos:

• La Brecha de Escala Espacial: Existe una discrepancia fundamental entre las imágenes de teledetección (RS, vistas aéreas/satélite) y las imágenes de nivel de calle (SV). Una sola imagen de satélite (ej. Sentinel-2) cubre un área amplia, mientras que una imagen de calle captura detalles finos en un punto específico. Esto crea una relación espacial "uno-a-muchos" donde alinear las dos modalidades es difícil. Los métodos actuales a menudo requieren pares de imágenes co-ubicados de muy alta resolución, lo cual es costoso o imposible con datos de resolución media estándar.
• Falta de Alineación Geo-Espacial Explícita: Los modelos existentes (como SatMAE o CROMA) suelen alinear parches de imágenes dentro de la misma perspectiva (ej. óptico vs. SAR) o ignoran la alineación espacial precisa entre modalidades heterogéneas. Esto resulta en representaciones que carecen de una comprensión espacial fina y generalizable, limitando su rendimiento en tareas que requieren razonamiento geoespacial preciso.

2. Metodología: GAIR

El autores proponen GAIR (Geo-Aligned Implicit Representations), un marco de aprendizaje auto-supervisado (SSL) que integra datos de teledetección, imágenes de calle y metadatos de geolocalización. La arquitectura se basa en tres componentes clave:

A. Codificadores Factorizados Multimodales

El modelo utiliza tres codificadores neuronales independientes para extraer características de cada modalidad:

1. Codificador de Imagen de Teledetección ($f$): Basado en Vision Transformer (ViT), que genera un mapa de características por parches.
2. Codificador de Imagen de Calle ($g$): También basado en ViT, que produce una representación global de la imagen.
3. Codificador de Ubicación ($e$): Mapea coordenadas geográficas (latitud/longitud) a un espacio vectorial utilizando Características de Fourier Aleatorias (RFF).

B. Interpolación Local Implícita Neural (NILI)

Este es el núcleo innovador de GAIR. Para resolver la brecha de escala sin necesidad de pares de imágenes pre-alineados manualmente:

• Se utiliza una Representación Neuronal Implícita (INR) para aprender una función continua que mapea coordenadas espaciales a características de la imagen de teledetección.
• El módulo NILI interpola las características discretas del ViT de la imagen RS en cualquier coordenada geográfica específica ($x_i$) donde se encuentra la imagen de calle.
• Esto permite extraer una representación localizada continua de la imagen RS que corresponde exactamente al punto de vista de la imagen de calle, independientemente de la resolución de la imagen satelital.

C. Objetivo de Aprendizaje Contrastivo Geo-Alineado

El modelo se entrena minimizando una función de pérdida compuesta por dos objetivos contrastivos:

1. Aprendizaje Contrastivo Implícito (INCL): Alinea la representación localizada de la imagen RS (generada por NILI) con la representación de la imagen de calle correspondiente.
2. Aprendizaje Contrastivo Espacialmente Explícito (SECL): Incorpora la codificación de ubicación ($e(x_i)$) como un tercer punto de anclaje, alineando tanto las imágenes RS como las SV con su coordenada geográfica específica.

• La pérdida total combina ambos objetivos, forzando al modelo a aprender representaciones que son semánticamente consistentes y espacialmente precisas.

3. Contribuciones Clave

• Marco GAIR: Un nuevo enfoque de pre-entrenamiento auto-supervisado que unifica vistas aéreas, de calle y coordenadas geográficas en un espacio de incrustación común.
• Módulo NILI: Una técnica novedosa que utiliza funciones implícitas para superar las limitaciones de resolución y crear representaciones continuas y geo-alineadas, eliminando la necesidad de pares de imágenes de alta resolución co-ubicados.
• Dataset Streetscapes1M: Creación de un nuevo dataset de pre-entrenamiento a escala global con 1 millón de tripletes (imagen RS, imagen SV, ubicación) muestreados de 688 ciudades.
• Rendimiento Superior: Demostración de que la alineación explícita geo-espacial es crucial para el rendimiento, superando a los modelos basados en reconstrucción (como MAE) y a otros GeoFMs existentes.

4. Resultados Experimentales

GAIR fue evaluado en 9 tareas geoespaciales y 22 datasets, abarcando tres dominios:

• Imágenes de Calle (Street View):
  • En tareas de regresión de indicadores socioeconómicos y percepción humana, GAIR superó a los modelos base (SatMAE, CROMA, MoCo V3, MAE) en todos los escenarios (probing lineal, no lineal y ajuste fino completo).
  • Destacó especialmente en la clasificación de dirección de visión y plataforma de captura, demostrando una mayor conciencia espacial.
• Imágenes de Teledetección (Remote Sensing):
  • En segmentación semántica (quemaduras, cultivos, límites de tierras de cultivo), GAIR logró el estado del arte (SOTA) en la mayoría de las métricas (mIoU), superando a modelos mucho más grandes (como DOFA-CLIP con ViT-SO400M) utilizando una arquitectura ViT-B estándar.
  • La estrategia de alineación cruzada funcionó bien incluso en secuencias temporales múltiples.
• Tareas Basadas en Ubicación:
  • En regresión de variables geoespaciales (densidad de población, cobertura forestal) y reconocimiento de especies, la inclusión de la codificación de ubicación mejoró significativamente el rendimiento (hasta un 50% de mejora en algunas regresiones).
  • GAIR mostró una fuerte generalización fuera de dominio, superando a TaxaBind en reconocimiento de especies a pesar de no haber sido pre-entrenado con imágenes de especies.

Análisis de Ablación:

• Se demostró que la alineación semántica explícita (contrastiva) es superior a la reconstrucción de píxeles (MAE) para tareas geoespaciales.
• El módulo NILI fue identificado como el principal impulsor del rendimiento, superando a métodos de interpolación deterministas tradicionales (bilineal, bicúbica).
• La codificación de ubicación actúa como un prior geográfico fuerte, mejorando tareas abstractas como la percepción humana.

5. Significado e Impacto

• Puente de Escala: GAIR resuelve eficazmente el problema de la disparidad de escala entre vistas aéreas y terrestres, permitiendo que los modelos aprendan relaciones espaciales finas sin depender de datos de ultra-alta resolución.
• Generalización Geográfica: El modelo demuestra una capacidad robusta para generalizar a través de diferentes regiones, escalas espaciales y contextos temporales.
• Mitigación de Sesgos: Los autores abordaron el sesgo urbano-rural del dataset de entrenamiento mediante un ajuste fino adicional con datos de teledetección balanceados, logrando un modelo ("GAIR Debias") que mantiene el rendimiento SOTA mientras reduce la disparidad geográfica.
• Eficiencia: A pesar de la complejidad del módulo NILI durante el pre-entrenamiento, el costo de inferencia es idéntico al de un ViT-B estándar, ya que NILI se descarta para tareas de inferencia estándar, haciendo que el modelo sea eficiente para despliegue.

En conclusión, GAIR representa un avance significativo en la creación de modelos fundamentales geoespaciales, demostrando que la alineación espacial explícita y el uso de representaciones implícitas continuas son esenciales para el razonamiento geoespacial avanzado.