What's in an Earth Embedding? An Explainability Analysis of Location Encoders

Resumen Técnico: ¿Qué hay en un embedding de la Tierra? Un análisis de explicabilidad de los codificadores de ubicación

Planteamiento del problema
Las Representaciones Neurales Implícitas (INR) geográficas aprenden a mapear cualquier coordenada terrestre a un "embedding de ubicación", codificando implícitamente vastos datos geoespaciales en los pesos de la red neuronal. Estos embeddings sirven como representaciones compactas y de propósito general para tareas posteriores como el mapeo de temperatura, la predicción de la calidad del aire y la identificación de especies. Sin embargo, existe una brecha crítica: no existen herramientas con principios establecidos para auditar qué información geográfica o semántica específica capturan estos embeddings. A diferencia de los modelos de imagen tradicionales donde las entradas corresponden a una sola imagen, los embeddings de ubicación corresponden a coordenadas de latitud/longitud, lo que hace que su contenido de información interno sea opaco. La evaluación actual depende únicamente del rendimiento predictivo en benchmarks, lo cual falla al explicar por qué los embeddings tienen éxito o cuándo podrían fallar debido a la dependencia de proxies espurios (por ejemplo, infraestructura en lugar de indicadores de pobreza).

Metodología
Los autores proponen un marco para descomponer los embeddings de ubicación en tres conjuntos de características complementarios e interpretables por humanos: conceptos latentes dispersos, conceptos de lenguaje natural y características visuales.

1. Conceptos latentes dispersos (No supervisado):

   • Enfoque: Los autores emplean Autoencoders Dispersos (SAE), específicamente el método BatchTopK, para desentrelazar los embeddings de ubicación en un diccionario disperso de conceptos.
   • Mecanismo: Un SAE proyecta los embeddings en un espacio de mayor dimensionalidad bajo una restricción de dispersión, activando solo un pequeño número de neuronas ($k=20$) por muestra.
   • Métricas: Para interpretar estas neuronas, introducen dos métricas:
     • Monosemanticidad Visual (MS): Mide si una neurona se activa para imágenes con características visuales similares (usando la correlación entre la activación y la similitud visual).
     • Monosemanticidad Geográfica (GeoMS): Mide si una neurona se activa sobre una región geográfica local o global (usando la distancia de Haversine inversa).
   • Datasets: Los SAE se entrenaron en dos distribuciones: Uniformemente al Azar (UAR) a través de masas de tierra (para SatCLIP, Climplicit) y áreas visitadas por humanos del dataset Geo-YFCC (para GeoCLIP).

2. Conceptos de lenguaje natural (Supervisado/Basado en diccionarios):

   • Enfoque: Los autores adaptan el marco de Sparse Linear Concept Embeddings (SpLiCE) para descomponer los embeddings en un diccionario predefinido de 2,000 conceptos de texto geoespaciales (por ejemplo, "ciudad", "bosque").
   • Alineación: Dado que SpLiCE requiere un espacio semántico compartido entre la ubicación y el texto, los autores utilizaron modelos preentrenados con alineación CLIP (GeoCLIP) o alinearon manualmente otros codificadores congelando el codificador de ubicación y ajustando un codificador de texto (OpenCLIP ViT-L) en el dataset Git-10M.
   • Optimización: Aplican regularización $\ell_1$ para fomentar la dispersión, con el objetivo de obtener entre 5 y 20 conceptos activos por ejemplo, y miden la reconstrucción mediante similitud de coseno y Error Cuadrático Medio (MSE).

3. Características visuales (Atribución de características):

   • Enfoque: Los autores utilizan CLIP Surgery para generar mapas de saliencia, identificando qué regiones de la imagen de entrada (natural o satelital) influyen más en la predicción del modelo.
   • Adaptación: Dado que los codificadores de ubicación carecen de una "clase nula" (a diferencia de los modelos de lenguaje), los autores utilizan el Polo Norte como un "embedding nulo" heurístico para aproximar el ruido.
   • Pipeline: Para imágenes satelitales, computaron mapas de saliencia, los umbralearon en máscaras binarias, recortaron las regiones salientes y agruparon estos recortes usando t-SNE y DBSCAN para identificar patrones visuales recurrentes (por ejemplo, carreteras, rotondas).

Resultados clave

• Conceptos latentes dispersos:

  • Reconstrucción: Los embeddings de SatCLIP y Climplicit fueron reconstruidos con puntuaciones $R^2$ casi perfectas (>0.92) por el SAE, mientras que GeoCLIP logró puntuaciones más bajas (~0.52–0.65).
  • Interpretabilidad: Las neuronas de alta monosemanticidad capturaron patrones geográficos distintos. Los ejemplos incluyen neuronas que se activan específicamente para las selvas del Amazonas, los desiertos australianos y los sitios arqueológicos de Oriente Medio.
  • Artefactos: El análisis identificó con éxito artefactos visuales en los datos de preentrenamiento, como anomalías específicas en las imágenes de Sentinel-2 alrededor de Groenlandia.

• Conceptos de lenguaje natural (SpLiCE):

  • Preservación de la estructura: SpLiCE mantuvo la estructura direccional en el espacio de embeddings (similitud de coseno > 0.29) mientras utilizaba significativamente menos conceptos activos que la dimensión original del embedding.
  • Diferencias de codificador:
    • GeoCLIP: Mostró señales finamente detalladas y específicas en áreas altamente fotografiadas (ej. París), pero tuvo dificultades en regiones menos fotografiadas (ej. Siberia).
    • SatCLIP: Capturó tendencias de cobertura terrestre más amplias (ej. "tundra", "desierto") de manera más consistente entre regiones.
    • Climplicit: Mostró una interpretabilidad mixta, funcionando bien en señales de cobertura terrestre gruesas (Sahara) pero con menos coherencia en otras.

• Características visuales (Mapas de saliencia):

  • Imágenes naturales (GeoCLIP): La atención se centró en monumentos arquitectónicos distintivos, características naturales (árboles, cielo) y pistas textuales (señales de tráfico).
  • Imágenes satelitales (SatCLIP): La atención se concentró en límites estructurales, incluyendo patrones de carreteras (ej. rotondas en ciudades europeas frente a cúmulos suburbanos en ciudades de EE. UU.), bordes tierra-agua y grandes estructuras urbanas como estadios.
  • Consistencia: Las características visuales resaltadas por los mapas de saliencia se alinearon con los conceptos semánticos encontrados en la descomposición de texto (ej. estructuras urbanas frente a biomas naturales).

Significancia y afirmaciones
El artículo afirma proporcionar el primer paso hacia representaciones geoespaciales interpretables para las INR geográficas. Al demostrar que los embeddings de ubicación pueden descomponerse en representaciones interpretables por humanos (latentes, textuales y visuales) manteniendo una alta capacidad de reconstrucción, los autores revelan que estos codificadores de "caja negra" codifican estructuras geográficas sistemáticas como bosques, desiertos, características urbanas y señales climáticas.

Los autores enfatizan que estos métodos ofrecen perspectivas complementarias:

• Para los usuarios: La capacidad de auditar qué codificador captura señales específicas (ej. infraestructura urbana frente a biomas amplios) ayuda a seleccionar el modelo adecuado para tareas posteriores.
• Para los desarrolladores: El marco permite la depuración al identificar brechas de conceptos, características visuales irrelevantes o artefactos de datos de baja calidad (como se vio en la anomalía de Groenlandia).

El artículo mantiene la modestia, reconociendo que la interpretabilidad actual requiere un esfuerzo manual (ej. inspeccionar la activación de neuronas, alinear espacios) y que el trabajo futuro debería centrarse en marcos "interpretables por diseño" o en adaptar más profundamente estos métodos específicamente para modelos geoespaciales.