From Pixels to Places: A Systematic Benchmark for Evaluating Image Geolocalization Ability in Large Language Models

Resumo Técnico: De Pixels a Lugares: Um Benchmark Sistemático para Avaliar a Capacidade de Geolocalização de Imagens em Modelos de Linguagem de Grande Escala

Declaração do Problema
A geolocalização de imagens — a tarefa de inferir coordenadas geográficas ou endereços a partir de dados visuais — é uma capacidade crítica para aplicações em resposta a crises, perícia digital e inteligência baseada em localização. Embora as abordagens tradicionais de visão computacional (baseadas em classificação e em recuperação) tenham abordado essa tarefa, elas frequentemente lutam com a generalização para ambientes não vistos, carecem de interpretabilidade e falham em incorporar pistas semânticas multimodais (por exemplo, texto, marcadores culturais) que os humanos usam intuitivamente. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado raciocínio visual avançado e conhecimento do mundo, suas capacidades e limitações específicas em relação à geolocalização de imagens de alta granularidade permanecem pouco exploradas. Benchmarks existentes frequentemente dependem de conjuntos de dados estabelecidos que podem estar contaminados por corpora de treinamento de LLMs ou carecem de métricas padronizadas para raciocínio espacial e viés geográfico.

Metodologia
Os autores introduzem o IMAGEO-Bench, um framework sistemático projetado para avaliar as capacidades de geolocalização de imagens de LLMs em termos de precisão, custo computacional, equidade geográfica e processos de raciocínio.

• Construção do Conjunto de Dados: Para mitigar a contaminação de dados e garantir diversidade, os autores compilaram três conjuntos de dados distintos:
  1. Dataset-GSS (Conjunto Global de Paisagens Urbanas): 6.152 imagens de alta qualidade de nível de rua de 396 cidades em 123 países, derivadas do conjunto de dados NUS Global Streetscapes.
  2. Dataset-UPC (Conjunto de POIs dos EUA Coletado via Crowdsourcing): 2.929 imagens de Pontos de Interesse (POIs) abrangendo todos os 50 estados dos EUA e o Distrito de Columbia, obtidas do Google Maps.
  3. Dataset-PCW (Conselho Selvagem Coletado Privadamente): 220 pares originais foto-endereço coletados pelos autores para servir como um conjunto de validação retido, sem sobreposição com fontes públicas de treinamento.
• Formalização da Tarefa: O benchmark define uma tarefa estruturada de ponta a ponta onde os modelos devem emitir uma tupla JSON contendo: (1) Informações da imagem (ambiente, tipo de cena, configuração), (2) Raciocínio (marcos, texto/sinalização, indicadores culturais, contexto espacial) e (3) Geolocalização (pontuação de confiança, endereço e coordenadas). Os modelos são restritos de acessar APIs externas ou metadados de GPS durante a inferência.
• Métricas de Avaliação: O desempenho é medido por meio da taxa de identificação, precisão geográfica (níveis de país, estado e cidade), erro de distância do círculo máximo (fórmula de Haversine) e custo computacional (tokens e custo monetário).
• Análise Diagnóstica: O estudo emprega regressão logística e de ridge post-hoc para analisar a correlação entre características visuais específicas (por exemplo, urbano versus rural, presença de marcos) e o desempenho do modelo. Além disso, são realizadas análises de nuvem de palavras e estudos de ablação de mascaramento de texto para entender a dependência de pistas textuais.

Principais Resultados
Experimentos foram conduzidos em 10 LLMs de última geração, incluindo modelos de código aberto (por exemplo, série Llama) e de código fechado (por exemplo, GPT-4, Gemini, Claude).

• Disparidades de Desempenho: Modelos de código fechado geralmente superam suas contrapartes de código aberto. O Gemini-2.5-pro alcançou os melhores resultados no Dataset-GSS com um erro de distância mediano de 4,2 km e 92,4% de precisão no nível de país. o3 e gpt-4.1 também demonstraram forte desempenho. Em contraste, modelos de código aberto como llama-4-17b e llama-3.2-11b exibiram erros significativamente maiores (por exemplo, erros medianos de 127,0 km e 66,6 km no GSS, respectivamente).
• Viés Geoespacial: Um viés geográfico pronunciado foi observado. Os modelos desempenharam significativamente melhor em regiões de alto recurso com dados de treinamento densos e pistas visuais distintas, como América do Norte, Europa Ocidental e Austrália. O desempenho degradou-se abruptamente em áreas sub-representadas (por exemplo, partes da América Latina, África e Ásia). Dentro dos EUA, estados como Califórnia e Flórida mostraram maior precisão em comparação com outros.
• Dependência de Características: Diagnósticos de regressão revelaram que a geolocalização bem-sucedida depende principalmente do reconhecimento de configurações urbanas, ambientes ao ar livre, imagens de nível de rua e marcos identificáveis. Os modelos lutam significativamente com cenas rurais, naturais e internas onde há ausência de âncoras visuais distintas.
• Dependência Textual: Estudos de ablação de mascaramento de texto mostraram que o desempenho em cenas de rua globais (Dataset-GSS) cai drasticamente (perda de precisão de 22–28%) quando as pistas textuais são removidas, indicando uma forte dependência de elementos visíveis via OCR. Essa dependência é menos pronunciada no conjunto de dados de POIs dos EUA (Dataset-UPC), onde o texto é frequentemente genérico.
• Custo vs. Precisão: Existe uma compensação entre custo e desempenho. Embora modelos de código aberto como llama-3.2-11b sejam altamente eficientes em termos de custo, eles sacrificam precisão. O Gemini-2.5-flash ofereceu um equilíbrio notável, alcançando 41,7% de precisão no nível de cidade a um custo baixo ($0,00141 por solicitação).

Significado e Alegações
O artigo alega que o IMAGEO-Bench fornece uma lente rigorosa para avaliar as capacidades de raciocínio espacial de LLMs, indo além da simples precisão para avaliar a transparência do raciocínio e a equidade geográfica. Os autores afirmam que, embora os LLMs ofereçam uma via promissora para superar os limites da geolocalização convencional (particularmente com dados fora da distribuição), eles ainda não estão equipados para generalizar de forma robusta através de geografias globais diversas. O estudo destaca que os modelos atuais dependem fortemente de âncoras visuais discretas e reguladoras (sinalização, marcos) em vez de uma compreensão holística da cena. Os autores concluem que trabalhos futuros devem abordar o viés geográfico e explorar estratégias para melhorar o desempenho em regiões sub-representadas, a fim de construir sistemas de geolocalização mais equitativos e globalmente robustos.