🤖 machine learning

Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying

Este artículo introduce dos arquitecturas de aprendizaje contrastivo multimodal, MELT y SALT, que aprovechan datos geoespaciales no emparejados para obtener incrustaciones implícitas de la Tierra, demostrando que si bien igualan a bases sólidas de dos modalidades, el aumento de la diversidad de modalidades no mejora consistentemente el rendimiento debido a las limitaciones en el codificador de ubicación más que al objetivo contrastivo en sí mismo.

Autores originales: Jonathan Hecht, Lukas Arzoumanidis, Ziyue Li, Youness Dehbi

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jonathan Hecht, Lukas Arzoumanidis, Ziyue Li, Youness Dehbi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñarle a una computadora a entender la Tierra. Normalmente, para enseñarle a una computadora sobre un lugar específico (como un parque o una ciudad), necesitas mostrarle una foto de ese lugar y decirle las coordenadas GPS. Esto es como mostrarle a un estudiante la foto de un gato y decirle: "Esto es un gato".

Pero, ¿qué pasa si no tienes fotos de cada rincón de la Tierra? ¿Qué pasa si solo tienes las coordenadas GPS? Este es el problema que aborda el artículo. Los autores quieren construir un "Codificador de Ubicación" (Location Encoder): un cerebro inteligente que pueda mirar simplemente un conjunto de coordenadas (como "40.7° N, 74.0° O") y entender instantáneamente cómo es ese lugar, sin necesidad de una foto o una descripción de texto en ese momento.

La forma antigua: El baile de dos personas

Anteriormente, los investigadores enseñaban estos cerebros de ubicación utilizando un método llamado "Aprendizaje Contrastivo" (Contrastive Learning). Piensa en esto como un baile entre dos compañeros:

Compañero A: Las coordenadas GPS.
Compañero B: Un tipo de dato, como una foto satelital.

La computadora aprende a emparejar las coordenadas con la foto. Si la computadora ve las coordenadas de París, aprende a reconocer el "aspecto de París" en la foto satelital. Esto funciona bien, pero es limitado. Es como aprender sobre una ciudad solo mirándola desde el espacio, ignorando los sonidos, las descripciones de texto o las fotos a nivel de calle.

La nueva idea: El círculo de grupo

Los autores se preguntaron: ¿Qué pasaría si pudiéramos enseñar al cerebro de ubicación usando múltiples tipos de datos a la vez? Imagina un círculo de grupo donde las coordenadas GPS son el líder, y este intenta entender la ciudad escuchando:

Imágenes satelitales (la vista desde el espacio).
Fotos naturales (las que toman los turistas).
Texto de Wikipedia (lo que la gente escribe sobre ella).

El desafío es que estas fuentes de datos están "desemparejadas". No necesariamente tienes una foto satelital, una foto de un turista y un artículo de Wikipedia para el mismo lugar exacto. Están dispersos.

Para resolver esto, los autores propusieron dos nuevas formas de organizar el entrenamiento, utilizando las coordenadas GPS como el "pegamento" que lo une todo.

Método 1: MELT (Codificación Multimodal mediante Vinculación de Ubicación)

La analogía: Una sesión de estudio grupal masiva y simultánea.
En MELT, la computadora observa un lote de datos donde cada tipo de información (satélite, texto, fotos) está presente al mismo tiempo. Las coordenadas GPS actúan como un ancla central. La computadora intenta acercar todos estos diferentes tipos de datos a las coordenadas GPS correctas en su "mapa mental".

Resultado: Es muy estable. Todos aprenden juntos en una sesión grande y fluida.

Método 2: SALT (Entrenamiento de Ubicación Alterno Secuencial)

La analogía: Una carrera de relevos o un sistema de turnos rotativos.
En SALT, la computadora se enfoca en un tipo de dato a la vez.

Época 1: Coordenadas GPS + Imágenes satelitales.
Época 2: Coordenadas GPS + Texto.
Época 3: Coordenadas GPS + Fotos.
El cerebro de GPS se mantiene activo todo el tiempo, pero cambia de compañero en cada ronda.
Resultado: Funciona, pero es un poco inestable. Cada vez que la computadora cambia del "modo Satélite" al "modo Texto", se confunde un poco (la pérdida aumenta), como un estudiante que intenta pasar de la clase de matemáticas a la de historia instantáneamente.

La gran sorpresa: Más datos no la hicieron más inteligente

Los autores esperaban que añadir más tipos de datos (texto, fotos, etc.) hiciera al cerebro de ubicación significativamente más inteligente. Pensaron: "Más vistas = Mejor comprensión".

Pero eso no fue lo que pasó.

Aquí está el giro, explicado con una analogía:
Imagina que el cerebro de GPS es un cubo pequeño.

El "agua" es la información de las fotos satelitales, el texto y otros datos.
Los autores vertieron más y más cubos de agua (añadiendo más tipos de datos y más volumen).
El Resultado: El pequeño cubo se desbordó. No podía contener más agua.

El artículo encontró que el propio cerebro de GPS (el "cubo") era el cuello de botella. Ya estaba lleno. Una vez que aprendió a mapear las coordenadas a regiones generales, añadir datos más complejos (como texto o fotos adicionales) no ayudó a que mejorara en la predicción de cosas como la densidad de población o la elevación. El "techo" lo establecía el diseño del cerebro, no la cantidad de datos que le suministraron.

¿Qué demostraron realmente?

Ambos métodos funcionan: MELT y SALT son capaces de enseñar al cerebro de ubicación.
MELT es más fluido: No tiene los problemas de cambio "inestables" de SALT, lo que lo convierte en una mejor opción para proyectos futuros más grandes.
El límite es el cerebro, no los datos: Añadir más modalidades (texto, imágenes, etc.) o más volumen de datos no mejoró consistentemente los resultados. El modelo de dos modalidades más fuerte (solo GPS + Satélite) funcionó tan bien como los modelos multimodales complejos.
El problema: La forma actual de entrenar (usando una "función de pérdida" matemática específica) obliga al cerebro a encontrar el vínculo común más simple entre los datos. Ignora las características únicas y detalladas que el texto o las fotos podrían ofrecer porque el cerebro no está construido para retener ese nivel de detalle.

Conclusión

Los autores construyeron dos nuevas formas de enseñar a las computadoras a entender las ubicaciones terrestres usando múltiples fuentes de datos. Si bien construyeron estos sistemas con éxito, descubrieron una dura realidad: No puedes hacer un cerebro más inteligente simplemente alimentándolo con más tipos de comida. La arquitectura del cerebro (el tamaño del cubo) es el límite. Para obtener mejores resultados en el futuro, necesitamos construir cerebros más grandes y más inteligentes, no solo alimentarlos con más datos.

Resumen Técnico: Aprendizaje Contrastivo Multimodal para Embeddings de la Tierra Implícitos mediante el Vinculación de Localización

Declaración del Problema

Las tareas de predicción espacial, que van desde el modelado ecológico hasta la dinámica de poblaciones, están fundamentalmente limitadas por la escasez de observaciones de alta calidad con etiquetas de verdad fundamental (ground-truth). Si bien existen datos geoespaciales no etiquetados a gran escala en diversas modalidades (por ejemplo, imágenes satelitales, fotografías con geoposicionamiento, texto enciclopédico), los modelos supervisados no pueden aprovechar estos datos sin etiquetas.

Las soluciones existentes, conocidas como "modelos de embeddings de la Tierra", buscan aprender representaciones vectoriales transferibles de datos geoespaciales. Estas pueden ser explícitas (extraídas de datos brutos como imágenes) o implícitas (mapeando coordenadas geográficas a un embedding a través de un codificador de localización). Los codificadores implícitos son particularmente valiosos ya que almacenan la información de localización dentro de los pesos del modelo, lo que permite la inferencia en tareas descendentes (downstream) arbitrarias sin necesidad de entradas específicas de una modalidad.

Actualmente, el paradigma dominante para el pre-entrenamiento de estos codificadores de localización es el Aprendizaje Contrastivo (CL). Sin embargo, los métodos existentes típicamente alinean las coordenadas geográficas con solo una modalidad adicional (por ejemplo, coordenadas + imágenes satelitales). Este enfoque de dos modalidades limita la entropía extraíble de los datos geográficos, ya que las diferentes modalidades proporcionan contextos semánticos y visuales distintos. Aunque se ha señalado el potencial teórico de utilizar múltiples modalidades no emparejadas simultáneamente, ningún trabajo previo ha estudiado esto empíricamente en el contexto de los embeddings de la tierra implícitos.

Metodología

El artículo propone dos arquitecturas de aprendizaje contrastivo multimodal diseñadas para entrenar un codificador de localización utilizando datos geoespaciales no emparejados, utilizando la localización geográfica como un ancla compartida entre múltiples modalidades.

Configuración Central

Modalidades: Un conjunto $M = \{m_0, m_1, \dots, m_{K-1}\}$ donde $m_0$ es la modalidad de localización (coordenadas geográficas) y $m_{1 \dots K-1}$ son modalidades de no-localización (por ejemplo, satélite, texto natural, imágenes naturales).
Datos no emparejados: Los conjuntos de datos no están emparejados; no existe una correspondencia uno a uno entre las modalidades de no-localización. En su lugar, la co-localización espacial sirve como el proxy para la relación semántica.
Pares Positivos: Para una muestra de una modalidad de no-localización $m$ , el único contraparte positivo es su proyección de localización co-localizada.
Codificador: El codificador de localización utiliza funciones de base de armónicos esféricos (hasta el grado 10) combinadas con un MLP SIREN. Las modalidades de no- localización utilizan backbones pre-entrenados congelados (por ejemplo, MoCo-ResNet, DINO-ViT, BGE) con adaptadores lineales entrenables.

Arquitecturas Propuestas

MELT (Multimodal Embedding via Location Tying - Embedding Multimodal mediante Vinculación de Localización):
- Mecanismo: Un enfoque de construcción de lotes (batch-construction) donde todas las modalidades se entrenan conjuntamente en cada paso.
- Proceso: En cada paso de entrenamiento, se extraen $N$ muestras de cada modalidad de no-localización. Cada una se empareja con su embedding de localización co-localizado.
- Objetivo: Se agrega una pérdida NT-Xent simétrica sobre todas las modalidades de no-localación. Todos los parámetros de los codificadores se actualizan conjuntamente, creando un espacio de embedding único y compartido sin actualizaciones alternas.
SALT (Sequential Alternating Location Training - Entrenamiento de Localización Alterno Secuencial):
- Mecanismo: Un esquema a nivel de época que alterna la modalidad de no-localización activa mientras mantiene el codificador de localización permanentemente activo.
- Proceso: En cada época $e$ , la localización se empareja con una única modalidad de no-localización $m_{(e \mod (K-1))+1}$ .
- Objetivo: Solo los parámetros de la modalidad actualmente activa y el codificador de localización se actualizan. Las modalidades nunca se comparan directamente; se vinculan únicamente a través de la señal de entrenamiento compartida con el codificador de localización.

Contribuciones Clave

Arquitecturas Novedosas: Introducción de MELT y SALT, los primeros marcos para extender el entrenamiento de embeddings de la tierra implícitos más allá de dos modalidades utilizando datos no emparejados y la localización como elemento de vinculación.
Investigación Empírica: Un estudio exhaustivo que evalúa si el aumento de la diversidad de modalidades (de 2 a 4 modalidades) o el escalado del volumen de datos de pre-entrenamiento mejora el rendimiento en tareas descendentes.
Identificación del Techo de Rendimiento: La identificación de que el propio codificador de localización constituye el principal cuello de botella de rendimiento, más que la diversidad de modalidades o el volumen de datos de pre-entrenamiento.

Resultados Experimentales

Configuración

Datos: Pre-entrenamiento en aproximadamente 100K localizaciones muestreadas globalmente utilizando tres modalidades de no-localización: imágenes satelitales Sentinel-2, imágenes naturales con geoposicionamiento (YFCC100M) y texto de Wikipedia con geoposicionamiento.
Tareas Descendentes: Cuatro tareas globales: Elevación (Regresión), Densidad de Población (Regresión), Códigos de País (Clasificación) y Biomas (Clasificación).
Baselines: Comparación contra fuertes codificadores de localización existentes (SATCLIP, GEOCLIP, CSP, RANGE) y baselines no aprendidos (MOSAIKS, IDENTITY).

Hallazgos Cuantitativos

Paridad de Rendimiento: Tanto MELT como SALT igualan el rendimiento del baseline de dos modalidades más fuerte (SATCLIP-ORG) en las cuatro tareas descendentes.
Sin Ganancia Consistente de las Modalidades: Aumentar el número de modalidades (por ejemplo, de 2 a 3 o 4) no mejoró consistentemente el rendimiento. El análisis estadístico (pruebas t pareadas) mostró que las diferencias de rendimiento entre las variantes multimodales se atribuyeron en gran medida a la inicialización aleatoria más que al diseño del modelo.
Sin Ganancia de Volumen de Datos: Escalar el volumen de datos de pre-entrenamiento (de 10k a 261k pares) no produjo mejoras fiables.
Conclusión: El codificador de localización alcanza su capacidad de representación tempranamente. Una vez que aprende un mapeo estable de coordenada-a-región, las modalidades adicionales no proporcionan ninguna señal de gradiente explotable.

Hallazgos Cualitativos

Estabilidad de Entrenamiento: MELT demostró un entrenamiento estable con curvas de pérdida suaves. SALT exhibió picos de pérdida característicos en los límites de las épocas cuando la modalidad activa cambiaba, lo que ocasionalmente llevó a la terminación prematura de las ejecuciones de entrenamiento.
Calidad de los Embeddings: A pesar de la inestabilidad de SALT, ambas arquitecturas produjeron predicciones espacialmente coherentes (por ejemplo, en mapas de elevación) que eran visualmente indistinguibles entre sí pero superiores a los baselines en términos de continuidad espacial.
Visualización de Embeddings: El Análisis de Componentes Independientes (ICA) reveló que los codificadores auto-entrenados producían gradientes de color geográficamente consistentes (por ejemplo, colores similares para bosques tropicales), mientras que los baselines mostraban artefactos de rejilla o alta varianza.

Significado y Reclamaciones

El artículo afirma que el paradigma actual de simplemente añadir más modalidades al aprendizaje contrastivo para los embeddings de la tierra implícitos tiene rendimientos decrecientes debido a limitaciones arquitectónicas.

El Cuello de Botella: La limitación principal es la arquitectura del codificador de localización y el objetivo contrastivo (NT-Xent). El objetivo obliga a todas las modalidades a alinearse con un único ancla compartida, colapsando efectivamente la tarea en una alineación de baja complejidad que el codificador actual puede resolver rápidamente. Este proceso descarta características específicas de la modalidad que podrían distinguir, por ejemplo, firmas espectrales de un contexto textual.
Implicaciones para el Trabajo Futuro:
- Simplemente añadir modalidades o volumen de datos es insuficiente.
- Los esfuerzos futuros deben centrarse en arquitecturas de codificadores alternativas con mayor capacidad de representación.
- Son necesarios objetivos de alineación alternativos (más allá de la similitud global de nivel de instancia) para preservar las estructuras específicas de la modalidad y desbloquear información complementaria.
Recomendación Práctica: Entre los dos métodos propuestos, MELT se identifica como la base superior para el escalado futuro debido a su estabilidad de entrenamiento y falta de discontinuidades representacionales, a pesar de que SALT logra métricas finales comparables.

Los autores enfatizan que, si bien sus métodos son técnicamente viables y igualan a los baselines actuales más fuertes, no los superan, resaltando la necesidad de cambios fundamentales en el diseño del codificador y las funciones de pérdida para aprovechar verdaderamente los datos geoespaciales multimodales.