From Pixels to Places: A Systematic Benchmark for Evaluating Image Geolocalization Ability in Large Language Models

Resumen Técnico: De los Píxeles a los Lugares: Una Evaluación Sistemática de la Capacidad de Geolocalización de Imágenes en Modelos de Lenguaje Grandes

Planteamiento del Problema
La geolocalización de imágenes, la tarea de inferir coordenadas geográficas o direcciones a partir de datos visuales, es una capacidad crítica para aplicaciones en respuesta a crisis, informática forense e inteligencia basada en la ubicación. Aunque los enfoques tradicionales de visión por computadora (basados en clasificación y recuperación) han abordado esta tarea, a menudo luchan con la generalización a entornos no vistos, carecen de interpretabilidad y no incorporan pistas semánticas multimodales (por ejemplo, texto, marcadores culturales) que los humanos utilizan de forma intuitiva. Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado razonamiento visual avanzado y conocimiento del mundo, sus capacidades y limitaciones específicas en cuanto a la geolocalización de imágenes de granularidad fina siguen siendo poco exploradas. Las evaluaciones existentes a menudo dependen de conjuntos de datos establecidos que pueden estar contaminados por los corpus de entrenamiento de los LLM o carecen de métricas estandarizadas para el razonamiento espacial y el sesgo geográfico.

Metodología
Los autores introducen IMAGEO-Bench, un marco sistemático diseñado para evaluar las capacidades de geolocalización de imágenes de los LLM en términos de precisión, costo computacional, equidad geográfica y procesos de razonamiento.

• Construcción del Conjunto de Datos: Para mitigar la contaminación de datos y garantizar la diversidad, los autores compilaron tres conjuntos de datos distintos:
  1. Conjunto-GSS (Conjunto Global de Paisajes Urbanos): 6.152 imágenes de alta calidad a nivel de calle de 396 ciudades en 123 países, derivadas del conjunto de datos NUS Global Streetscapes.
  2. Conjunto-UPC (Conjunto Crowdsourced de Puntos de Interés de EE. UU.): 2.929 imágenes de Puntos de Interés (POI) que abarcan los 50 estados de EE. UU. y el Distrito de Columbia, obtenidas de Google Maps.
  3. Conjunto-PCW (Conjunto Privado Recopilado de Entorno Natural): 220 pares originales de foto-dirección recopilados por los autores para servir como conjunto de validación retenido sin superposición con fuentes de entrenamiento públicas.
• Formalización de la Tarea: La evaluación define una tarea estructurada de extremo a extremo donde los modelos deben emitir una tupla JSON que contenga: (1) Información de la imagen (entorno, tipo de escena, configuración), (2) Razonamiento (hitos, texto/señalización, indicadores culturales, contexto espacial) y (3) Geolocalización (puntuación de confianza, dirección y coordenadas). Se restringe a los modelos el acceso a APIs externas o metadatos de GPS durante la inferencia.
• Métricas de Evaluación: El rendimiento se mide mediante la tasa de identificación, la precisión geográfica (niveles de país, estado y ciudad), el error de distancia del círculo máximo (fórmula de Haversine) y el costo computacional (tokens y costo monetario).
• Análisis Diagnóstico: El estudio emplea regresión logística y de cresta post-hoc para analizar la correlación entre características visuales específicas (por ejemplo, entornos urbanos frente a rurales, presencia de hitos) y el rendimiento del modelo. Además, se realizan análisis de nubes de palabras y estudios de ablación de enmascaramiento de texto para comprender la dependencia de las pistas textuales.

Resultados Clave
Se realizaron experimentos en 10 LLM de última generación, incluidos tanto modelos de código abierto (por ejemplo, serie Llama) como de código cerrado (por ejemplo, GPT-4, Gemini, Claude).

• Disparidades de Rendimiento: Los modelos de código cerrado generalmente superan a sus contrapartes de código abierto. Gemini-2.5-pro logró los mejores resultados en el Conjunto-GSS con un error de distancia mediano de 4,2 km y una precisión a nivel de país del 92,4 %. o3 y gpt-4.1 también demostraron un rendimiento sólido. En contraste, los modelos de código abierto como llama-4-17b y llama-3.2-11b mostraron errores significativamente mayores (por ejemplo, errores medianos de 127,0 km y 66,6 km en GSS, respectivamente).
• Sesgo Geoespacial: Se observó un sesgo geográfico pronunciado. Los modelos funcionaron significativamente mejor en regiones de alto recurso con datos de entrenamiento densos y pistas visuales distintivas, como América del Norte, Europa Occidental y Australia. El rendimiento disminuyó drásticamente en áreas subrepresentadas (por ejemplo, partes de América Latina, África y Asia). Dentro de EE. UU., estados como California y Florida mostraron una mayor precisión en comparación con otros.
• Dependencia de Características: Los diagnósticos de regresión revelaron que la geolocalización exitosa depende principalmente de reconocer entornos urbanos, ambientes al aire libre, imágenes a nivel de calle y hitos identificables. Los modelos luchan significativamente con escenas rurales, naturales e interiores donde faltan anclajes visuales distintivos.
• Dependencia del Texto: Los estudios de ablación de enmascaramiento de texto mostraron que el rendimiento en escenas callejeras globales (Conjunto-GSS) disminuye drásticamente (pérdida de precisión del 22–28 %) cuando se eliminan las pistas textuales, lo que indica una fuerte dependencia de elementos visibles mediante OCR. Esta dependencia es menos pronunciada en el conjunto de datos de POI de EE. UU. (Conjunto-UPC), donde el texto suele ser genérico.
• Costo frente a Precisión: Existe una compensación entre el costo y el rendimiento. Aunque los modelos de código abierto como llama-3.2-11b son altamente eficientes en costos, sacrifican precisión. Gemini-2.5-flash ofreció un equilibrio notable, logrando una precisión a nivel de ciudad del 41,7 % a un costo bajo (0,00141 $ por solicitud).

Significado y Afirmaciones
El artículo afirma que IMAGEO-Bench proporciona una lente rigurosa para evaluar las capacidades de razonamiento espacial de los LLM, yendo más allá de la simple precisión para evaluar la transparencia del razonamiento y la equidad geográfica. Los autores afirman que, aunque los LLM ofrecen una vía prometedora para superar los límites de la geolocalización convencional (particularmente con datos fuera de distribución), aún no están equipados para generalizar de manera robusta a través de diversas geografías globales. El estudio destaca que los modelos actuales dependen en gran medida de anclajes visuales discretos y reguladores (señalización, hitos) en lugar de una comprensión holística de la escena. Los autores concluyen que el trabajo futuro debe abordar el sesgo geográfico y explorar estrategias para mejorar el rendimiento en regiones subrepresentadas con el fin de construir sistemas de geolocalización más equitativos y globalmente robustos.