Textual Supervision Enhances Geospatial Representations in Vision-Language Models

Resumen Técnico: La supervisión textual mejora las representaciones geoespaciales en los modelos de visión y lenguaje

Declaración del problema
La comprensión geoespacial es una dimensión crítica aunque insuficientemente explorada en los sistemas de aprendizaje automático, particularmente para tareas como la geolocalización de imágenes y el razonamiento espacial. Si bien los modelos de visión han avanzado significativamente mediante arquitecturas como los Transformadores de Visión (ViT) y el aprendizaje autosupervisado, sigue sin estar claro hasta qué punto estos modelos codifican implícitamente conocimiento de ubicación global sin una supervisión geoespacial explícita. Además, la opacidad de los emergentes Modelos de Visión y Lenguaje (VLM) oscurece los mecanismos mediante los cuales se codifica la información espacial, lo que plantea preocupaciones sobre las disparidades geográficas y los sesgos de generalización no deseados. Este trabajo investiga si las arquitecturas de solo visión y los modelos fundacionales multimodales internalizan representaciones geoespaciales durante sus procesos de entrenamiento estándar y cómo la supervisión textual influye en esta capacidad.

Metodología
Los autores realizaron un análisis sistemático de las representaciones geoespaciales en tres familias de modelos:

1. Arquitecturas de solo visión: Incluyendo ViT, ViT Masked Autoencoders (MAE), DINOv2 y modelos Web-SSL.
2. Modelos de Visión y Lenguaje (VLM): Incluyendo CLIP, MetaCLIP, LLaVA-1.5, Qwen2.5 y Gemma 3.
3. Modelos fundacionales multimodales a gran escala: Que representan la intersección de los anteriores.

El estudio utilizó dos conjuntos de datos principales: un subconjunto de 4 millones de imágenes de YFCC100M (particionado en 40 clústeres semánticos mediante agrupamiento no supervisado) y un subconjunto de Google Landmarks (580 mil imágenes). Para mitigar el sesgo espacial hacia Europa y América del Norte, los autores emplearon una estrategia de muestreo basada en geoceldas para equilibrar los conjuntos de datos.

La técnica analítica central fue el sondeo lineal (linear probing) (regresión de Ridge) aplicado capa por capa a los estados ocultos de los modelos. Los autores extrajeron representaciones de tokens de resumen (por ejemplo, [CLS] o residuales del último token) de cada capa y entrenaron regresores para predecir la latitud y la longitud. El rendimiento se midió utilizando el coeficiente de determinación ($R^2$).

Las variaciones experimentales clave incluyeron:

• Análisis por capas: Examinar dónde emergen o se degradan las señales geoespaciales a través de la profundidad de la red.
• Prompting textual: Probar si proporcionar un prompt (por ejemplo, "Adivina la latitud y la longitud...") altera la propagación de la información geoespacial en los VLM.
• Reducción de dimensionalidad: Identificar la proporción de dimensiones latentes necesarias para recuperar la máxima capacidad predictiva geoespacial.
• Intercambio de representaciones (Representation swapping): Intervenir en la corriente residual intercambiando dimensiones geoespacialmente relevantes entre una imagen de origen y una de destino para observar los cambios en el texto generado.
• Evaluación de tareas downstream: Ajustar los modelos en una tarea de identificación de países para correlacionar el rendimiento del sondeo con la utilidad práctica.

Contribuciones clave y resultados

1. La supervisión textual mejora la estructura geoespacial: El estudio revela que los modelos entrenados conjuntamente con texto e imágenes exhiben representaciones geoespaciales sustancialmente más fuertes que los modelos de solo visión. Aunque los modelos de solo visión muestran cierta capacidad para aprender características geoespaciales (escalando con el tamaño del modelo, por ejemplo, DINOv2-giant), son superados consistentemente por VLM más pequeños (por ejemplo, CLIP-base). El $R^2$ promedio para los VLM a menudo supera el 0.4, mientras que los modelos de solo visión típicamente permanecen por debajo de 0.3.

2. Dinámica por capas:

   • Modelos de solo visión: Las representaciones geoespaciales se desarrollan progresivamente, encontrándose las señales más fuertes en las capas más profundas.
   • VLM sin prompts: Las señales geoespaciales a menudo se estancan o degradan en las capas posteriores del bloque del modelo de lenguaje, lo que sugiere que el modelo desprioriza la información espacial cuando no se le solicita explícitamente.
   • VLM con prompts: Proporcionar un prompt geoespacial estabiliza o incluso aumenta el $R^2$ en las capas posteriores. Por ejemplo, el uso de un prompt en Qwen2.5 condujo a valores de $R^2$ tan altos como 0.88 para imágenes de monumentos (landmarks), lo que indica que las claves textuales reactivan y refinan las representaciones espaciales.

3. Codificación geoespacial compacta: La información geoespacial no está distribuida uniformemente, sino concentrada en un subconjunto compacto de dimensiones. Los autores encontraron que aproximadamente el 40% de las dimensiones (clasificadas por coeficientes de sondeo) son suficientes para recuperar casi el máximo $R^2$. Para algunos modelos, se retiene el 90% del rendimiento predictivo utilizando solo el 10% superior de las características.

4. Controlabilidad mediante intercambio de representaciones: Al intercambiar las dimensiones geoespaciales superiores entre una imagen de origen (por ejemplo, la Pirámide Escalonada de Djoser) y una imagen de destino (por ejemplo, la Fontana de Trevi), los autores lograron dirigir con éxito el texto generado por el VLM para que reflejara la ubicación del objetivo (por ejemplo, cambiando "Saqqara" a "Roma"), demostando que estas representaciones están causalmente vinculadas a la salida del modelo.

5. Utilidad downstream: Los modelos con puntuaciones de $R^2$ de sondeo más altas (específicamente CLIP y DINOv2) demostraron un rendimiento superior en una tarea de identificación de países ajustada (fine-tuned), validando que las representaciones geoespaciales implícitas son beneficiosas para aplicaciones posteriores.

Significancia y afirmaciones
El artículo argumenta que el aprendizaje multimodal es una dirección clave para avanzar en la IA geoespacial. Los autores afirman que el lenguaje actúa como una modalidad complementaria efectiva para codificar el contexto espacial, mejorando significamente la eficiencia del aprendizaje de representaciones geoespaciales en comparación con el escalado de solo visión. Este hallazgo se alinea con la "Hipótesis de la Representación Platónica", sugiriendo que la supervisión textual ayuda a los modelos a converger en una representación del mundo más robusta y compartida.

El trabajo destaca que, si bien estas capacidades ofrecen potencial para aplicaciones como el monitoreo ambiental y la planificación urbana, también plantean riesgos significativos de privacidad y equidad. Los modelos exhiben desequilibrios espaciales, con un peor desempeño en regiones subrepresentadas (por ejemplo, Sudamérica, África), y su capacidad para extraer datos de ubicación precisos a partir de imágenes podría ser explotada para vigilancia o acecho. Los autores concluyen que el despliegue de tales modelos requiere políticas regulatorias robustas, transparencia y consentimiento explícito del usuario para garantizar un uso seguro y justo.