Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi

1. El Problema

El volumen de imágenes satelitales generadas por constelaciones gubernamentales y comerciales ha superado la capacidad de los analistas humanos. Aunque el aprendizaje de representaciones (representation learning) es ideal para extraer características automáticas de estos datos, los modelos actuales presentan limitaciones significativas:

• Enfoque fragmentado: La mayoría de los modelos existentes se centran en aprender representaciones estables a través de una sola dimensión: ya sea diferentes resoluciones espaciales (GSD - Ground Sample Distance), diferentes modalidades (ej. radar vs. óptico) o diferentes capturas temporales.
• Falta de integración: Pocos modelos intentan capturar simultáneamente múltiples escalas y modalidades en un solo marco de trabajo.
• Limitación de datos: Existe una escasez de conjuntos de datos públicos que alineen imágenes ópticas de alta y baja resolución con imágenes SAR (Radar de Apertura Sintética) de baja resolución para el entrenamiento de modelos fundacionales.

2. Metodología: Scale-ALiBi

Los autores proponen Scale-ALiBi, un mecanismo de atención basado en transformadores diseñado para integrar información de escala y distancia espacial directamente en el proceso de entrenamiento.

A. Mecanismo de Atención Scale-ALiBi

Se extiende el mecanismo de atención con sesgo lineal (ALiBi) y sus variantes 2D/X-ALiBi. La innovación clave es la incorporación del GSD (Ground Sample Distance) en la matriz de atención:

• Fórmula: La atención se calcula como la atención normal menos un término de sesgo: $a_{hij} = \text{atención normal} - g(i, j) \cdot m(h)$.
• Sesgo de Escala: El término $g(i, j)$ se define como $distance(i, j) \cdot GSD$, donde $distance(i, j)$ es la distancia euclidiana entre parches y $GSD$ es la resolución del suelo de la imagen fuente.
• Ventaja: Esto permite al transformador comparar imágenes de diferentes resoluciones (ej. una imagen de 256x256 vs. una de 512x512) y entender que representan la misma área física, extrapolando a secuencias más largas que las vistas durante el entrenamiento.

B. Arquitectura del Modelo

El modelo utiliza una arquitectura de triple contraste y reconstrucción:

1. Codificadores (Encoders): Se entrenan tres codificadores ViT (Vision Transformer) separados:
   • $E_{radar}$: Para imágenes SAR de baja resolución (Sentinel-1).
   • $E_{lores}$: Para imágenes ópticas de baja resolución (Sentinel-2).
   • $E_{hires}$: Para imágenes ópticas de alta resolución (NAIP, 2x la resolución).
2. Codificadores Cruzados (Cross-Encoders): Se fusionan las representaciones. Primero se combinan los tokens de radar y óptico de baja resolución, y luego se integran con el flujo de tokens de alta resolución.
3. Pérdida de Contraste (Contrastive Loss): Se utiliza una extensión de la función de pérdida InfoNCE para alinear las representaciones de las tres modalidades (SAR, óptico baja res, óptico alta res) de una misma ubicación geográfica, "apretándolas" juntas en el espacio latente y alejándolas de otras escenas.
4. Pérdida de Reconstrucción (Reconstructive Loss): Se emplea un Masked Autoencoder (MAE) que reconstruye todas las modalidades de sensores en un solo parche fusionado, forzando al modelo a aprender una representación unificada.

3. Contribuciones Clave

1. Mecanismo Scale-ALiBi: La extensión del mecanismo de atención ALiBi para incluir el GSD, permitiendo a los transformadores manejar nativamente imágenes multi-resolución y multi-modal.
2. Nuevo Conjunto de Datos (Dataset): La curación y publicación de un dataset alineado que contiene pares de imágenes de:
   • Sentinel-1 (SAR, baja resolución).
   • Sentinel-2 (Óptico, baja resolución).
   • NAIP (Óptico, alta resolución).
   • Nota: El dataset está limitado geográficamente a EE. UU. continental y Puerto Rico debido a la disponibilidad de datos NAIP.
3. Arquitectura de Evaluación: Implementación de un modelo de triple contraste que integra un codificador de alta resolución en la arquitectura CROMA existente.

4. Resultados

El modelo fue evaluado en el benchmark GEO-Bench, que incluye tareas de clasificación y segmentación sobre imágenes ópticas y SAR de alta y baja resolución.

• Comparativa: Se comparó Scale-ALiBi con el modelo CROMA (entrenado con los mismos datos y hardware).
• Rendimiento: Scale-ALiBi mostró un rendimiento similar o superior a CROMA en la mayoría de las tareas de clasificación (ej. detección de paneles solares, bosques, hornos de ladrillos) y agrupamiento (k-Means, k-NN).
  • Ejemplo: En la tarea de detección de paneles solares (m-pv4ger) con k-NN, Scale-ALiBi (alta res) alcanzó un 91.89% frente al 92.29% de CROMA, mostrando competitividad.
• Limitaciones: Los resultados preliminares no superaron drásticamente a los mejores resultados publicados de CROMA en todas las métricas, pero los autores son optimistas de que un entrenamiento más extenso con un dataset más grande cerrará esa brecha.

5. Significado e Impacto

• Avance en Modelos Fundacionales: Este trabajo demuestra que es posible unificar la comprensión de escalas y modalidades en satélites mediante mecanismos de atención adaptados, lo cual es crucial para tareas complejas como la monitorización de cambios y la clasificación de uso de suelo.
• Reutilización de Datos: La capacidad de alinear y fusionar datos de diferentes sensores (SAR y Óptico) y resoluciones maximiza el valor de los datos satelitales existentes, muchos de los cuales carecen de etiquetas manuales.
• Recursos Abiertos: La liberación pública del dataset alineado y el código facilita la investigación futura en el campo de la teledetección, permitiendo que otros investigadores prueben arquitecturas multi-escala sin tener que realizar la costosa tarea de alineación de datos.

En conclusión, el artículo presenta un paso significativo hacia modelos fundacionales de teledetección que pueden entender el mundo no solo por lo que "ven" (modalidad), sino también por "cuán cerca" están de verlo (escala), utilizando un mecanismo de atención matemáticamente elegante (Scale-ALiBi) para lograrlo.