From Pixels to Places: A Systematic Benchmark for Evaluating Image Geolocalization Ability in Large Language Models

Résumé technique : Des pixels aux lieux : une référence systématique pour évaluer la capacité de géolocalisation d'images dans les grands modèles de langage

Énoncé du problème
La géolocalisation d'images — la tâche consistant à déduire des coordonnées géographiques ou des adresses à partir de données visuelles — est une capacité cruciale pour des applications en réponse aux crises, en informatique légale et en intelligence basée sur la localisation. Bien que les approches traditionnelles de vision par ordinateur (basées sur la classification et sur la récupération) aient abordé cette tâche, elles éprouvent souvent des difficultés à se généraliser à des environnements non vus, manquent d'interprétabilité et échouent à intégrer des indices sémantiques multimodaux (par exemple, du texte, des marqueurs culturels) que les humains utilisent de manière intuitive. Bien que les grands modèles de langage (LLM) aient démontré des capacités avancées de raisonnement visuel et de connaissance du monde, leurs capacités et limites spécifiques concernant la géolocalisation fine d'images restent sous-explorées. Les références existantes reposent souvent sur des ensembles de données établis qui peuvent être contaminés par des corpus d'entraînement de LLM ou manquent de métriques standardisées pour le raisonnement spatial et les biais géographiques.

Méthodologie
Les auteurs introduisent IMAGEO-Bench, un cadre systématique conçu pour évaluer les capacités de géolocalisation d'images des LLM en termes de précision, de coût computationnel, d'équité géographique et de processus de raisonnement.

• Construction de l'ensemble de données : Pour atténuer la contamination des données et assurer la diversité, les auteurs ont compilé trois ensembles de données distincts :
  1. Dataset-GSS (Global Streetscape Set) : 6 152 images de haute qualité de niveau rue provenant de 396 villes dans 123 pays, dérivées de l'ensemble de données NUS Global Streetscapes.
  2. Dataset-UPC (U.S. POIs Crowdsourced Set) : 2 929 images de points d'intérêt (POI) couvrant les 50 États américains et le District de Columbia, provenant de Google Maps.
  3. Dataset-PCW (Privately Collected Wild Set) : 220 paires originales photo-adresse collectées par les auteurs pour servir d'ensemble de validation retenu, sans chevauchement avec des sources d'entraînement publiques.
• Formalisation de la tâche : La référence définit une tâche structurée de bout en bout où les modèles doivent produire un tuple JSON contenant : (1) des informations sur l'image (environnement, type de scène, cadre), (2) un raisonnement (points de repère, texte/panneaux, indicateurs culturels, contexte spatial) et (3) une géolocalisation (score de confiance, adresse et coordonnées). Les modèles sont restreints à l'accès aux API externes ou aux métadonnées GPS pendant l'inférence.
• Métriques d'évaluation : La performance est mesurée via le taux d'identification, la précision géographique (niveaux pays, État, ville), l'erreur de distance sur le grand cercle (formule de Haversine) et le coût computationnel (tokens et coût monétaire).
• Analyse diagnostique : L'étude emploie une régression logistique et ridge post-hoc pour analyser la corrélation entre des caractéristiques visuelles spécifiques (par exemple, milieu urbain vs rural, présence de points de repère) et la performance du modèle. De plus, une analyse de nuage de mots et des études d'ablation par masquage de texte sont menées pour comprendre la dépendance aux indices textuels.

Résultats clés
Des expériences ont été menées sur 10 LLM de l'état de l'art, incluant à la fois des modèles open-source (par exemple, la série Llama) et des modèles closed-source (par exemple, GPT-4, Gemini, Claude).

• Disparités de performance : Les modèles closed-source surpassent généralement leurs homologues open-source. Gemini-2.5-pro a obtenu les meilleurs résultats sur Dataset-GSS avec une erreur médiane de distance de 4,2 km et une précision au niveau pays de 92,4 %. o3 et gpt-4.1 ont également démontré une forte performance. En revanche, des modèles open-source comme llama-4-17b et llama-3.2-11b ont présenté des erreurs significativement plus élevées (par exemple, 127,0 km et 66,6 km d'erreurs médianes sur GSS, respectivement).
• Biais géospatial : Un biais géographique prononcé a été observé. Les modèles ont nettement mieux performé dans les régions à forte ressource disposant de données d'entraînement denses et d'indices visuels distinctifs, telles que l'Amérique du Nord, l'Europe occidentale et l'Australie. La performance a chuté brutalement dans les zones sous-représentées (par exemple, certaines parties de l'Amérique latine, de l'Afrique et de l'Asie). Au sein des États-Unis, des États comme la Californie et la Floride ont montré une précision plus élevée que d'autres.
• Dépendance aux caractéristiques : Les diagnostics de régression ont révélé que la géolocalisation réussie dépend principalement de la reconnaissance des cadres urbains, des environnements extérieurs, des images de niveau rue et des points de repère identifiables. Les modèles éprouvent des difficultés significatives avec les scènes rurales, naturelles et intérieures où des ancres visuelles distinctives sont absentes.
• Dépendance au texte : Les études d'ablation par masquage de texte ont montré que la performance sur les scènes de rue mondiales (Dataset-GSS) chute drastiquement (perte de précision de 22 à 28 %) lorsque les indices textuels sont supprimés, indiquant une forte dépendance aux éléments visibles par OCR. Cette dépendance est moins prononcée dans l'ensemble de données POI des États-Unis (Dataset-UPC), où le texte est souvent générique.
• Coût vs Précision : Un compromis existe entre le coût et la performance. Bien que des modèles open-source comme llama-3.2-11b soient très efficaces en termes de coûts, ils sacrifient la précision. Gemini-2.5-flash a offert un équilibre notable, atteignant 41,7 % de précision au niveau ville à un faible coût (0,00141 $ par requête).

Signification et revendications
L'article revendique qu'IMAGEO-Bench fournit une lentille rigoureuse pour évaluer les capacités de raisonnement spatial des LLM, allant au-delà de la simple précision pour évaluer la transparence du raisonnement et l'équité géographique. Les auteurs affirment que, bien que les LLM offrent une voie prometteuse pour surmonter les limites de la géolocalisation conventionnelle (particulièrement avec des données hors distribution), ils ne sont pas encore équipés pour se généraliser de manière robuste à travers des géographies mondiales diverses. L'étude met en évidence que les modèles actuels reposent fortement sur des ancres visuelles discrètes et régulatrices (signalisation, points de repère) plutôt que sur une compréhension holistique de la scène. Les auteurs concluent que les travaux futurs doivent s'attaquer aux biais géographiques et explorer des stratégies pour améliorer la performance dans les régions sous-représentées afin de construire des systèmes de géolocalisation plus équitables et globalement robustes.