MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

Imaginez que vous essayez de construire un robot capable de servir de guide de voyage super intelligent. Vous voulez qu'il vous dise à quelle distance se trouve votre maison de la pizzeria la plus proche, ou dans quelle direction vous devez marcher pour trouver un parc spécifique. C'est le monde du raisonnement géospatial : la capacité de comprendre où se trouvent les choses, à quelle distance elles sont les unes des autres et comment elles s'articulent sur une carte.

Pendant longtemps, les scientifiques ont appris aux ordinateurs à « lire » les cartes et les faits sur le monde. Ils ont construit de gigantesques bibliothèques numériques d'informations appelées Graphes de Connaissances, qui sont comme de vastes réseaux de faits interconnectés (par exemple, « Paris est en France », « La Tour Eiffel est à Paris »). Récemment, nous avons également créé des Modèles de Langage de Grande Taille (LLM) — des cerveaux d'IA surpuissants capables de lire presque tout ce qui est écrit sur Internet et de répondre à des questions en langage humain. La grande question que tout le monde se pose est la suivante : si vous donnez à ces cerveaux d'IA une carte et une liste de faits, peuvent-ils réellement faire le calcul pour déterminer les distances et les directions, ou ne font-ils que deviner en fonction de ce qu'ils ont mémorisé ?

C'est ici qu'intervient une nouvelle étude appelée MultiGlobeQA. Les chercheurs voulaient voir si ces cerveaux d'IA sont réellement assez intelligents pour naviguer dans le monde réel ou s'ils sont simplement en train d'« halluciner » (inventer des choses) lorsqu'on leur pose des questions de géométrie. Ils ont construit un test gigantesque et multilingue pour voir exactement là où ces modèles échouent.

Le Grand Test de la Carte : MultiGlobeQA

Les chercheurs ont créé un défi massif appelé MultiGlobeQA. Considérez cela comme un gigantesque « essai routier » mondial pour l'IA, mais au lieu de conduire une voiture, l'IA doit résoudre 46 060 questions différentes sur des lieux réels de la Terre.

Pour s'assurer que le test était équitable et couvrait le monde entier, ils n'ont pas seulement choisi des villes célèbres comme Londres ou New York. Ils ont utilisé une méthode d'« échantillonnage stratifié » spéciale, qui revient à prendre une énorme boule de glace comprenant toutes les saveurs et toutes les couches, garantissant ainsi qu'ils ont inclus des questions provenant de 201 pays et territoires. Ils se sont assurés d'inclure des lieux riches et pauvres, peuplés et vides, afin que le test ne favorise pas uniquement les endroits où l'internet est le meilleur.

Ils ont également rendu le test multilingue. Les mêmes questions ont été traduites en 1est 17 langues différentes, allant de l'anglais et de l'espagnol à l'ourdou et au géorgien. Cela était crucial car ils voulaient voir si l'IA se confondait simplement parce que la question était posée dans une langue différente, ou si le problème venait des mathématiques elles-mêmes.

Les questions couvraient 14 types différents de « pensée spatiale », tels que :

• Distance : « Quelle est la distance entre la Ville A et la Ville B ? »
• Direction : « Si je marche de l'aéroport au musée, est-ce que je vais vers le Nord ou le Sud ? »
• Forme : « Ce pays a-t-il la forme d'un rectangle ou d'un cercle ? »
• Indexation de grille : « Quel est le code spécifique (comme une adresse numérique) pour cet endroit sur la carte ? »

Crucialement, chaque réponse de ce test n'a pas été simplement devinée par un humain. Elle a été calculée par un programme informatique utilisant de vraies mathématiques et de la géométrie. Cela signifie que la « bonne » réponse a été vérifiée par les lois de la physique et des mathématiques, et non par une opinion.

Les Résultats : Doué pour les Faits, Incompétent en Mathématiques

Lorsque les chercheurs ont soumis les modèles d'IA à ce test, les résultats ont été un choc.

1. Le problème du « Je le sais, mais je ne peux pas le faire »
Les modèles d'IA étaient étonnamment bons pour se souvenir de faits. Si vous demandiez : « Quelle est la capitale de la France ? », ils répondaient correctement presque à chaque fois. Ils possédaient même les coordonnées (les chiffres exacts de l'emplacement d'un lieu) stockées dans leur mémoire.

Cependant, lorsqu'il s'agissait de faire le calcul avec ces chiffres, ils s'effondraient.

• Lorsqu'on leur demandait de calculer la distance entre deux villes, l'IA donnait souvent des estimations totalement erronées. Dans un exemple, la distance réelle était d'environ 19 kilomètres, mais l'IA a deviné 1,4 kilomètre. C'est comme dire qu'une marche de 20 minutes n'est qu'une promenade de 2 minutes !
• Lorsqu'on leur demandait de déterminer un « geohash » (un code spécifique qui localise un point sur une grille), les modèles ont échoué lamentablement, même lorsque les chercheurs leur fournissaient les faits exacts dont ils avaient besoin.

2. Le piège de l'« Utilisation d'Outils »
Les chercheurs ont essayé de donner à l'IA une « calculatrice » (un outil pour faire les calculs) et de la laisser chercher sur le web ou dans une base de données pour obtenir les faits. Cela a beaucoup aidé, mais pas autant qu'on l'aurait espéré.

• Même lorsque l'IA avait les faits parfaits servis sur un plateau d'argent (appelés « triples d'or ») et une calculatrice parfaite, elle ne pouvait toujours pas résoudre environ un tiers des questions.
• Les modèles étaient bons pour des choses simples comme « La Ville A est-elle à l'intérieur du Pays B ? » (topologie) ou « Vers quel côté est le Nord ? » (direction).
• Mais ils s'effondraient complètement sur des tâches nécessitant une indexation de grille (épingler un lieu à une grille numérique) ou un calcul de forme. Sur ces tâches difficiles, leur taux de réussite restait inférieur à 30 %, même avec toute l'aide disponible.

3. L'écart Riche vs Pauvre
L'étude a également révélé une inégalité triste. Les modèles d'IA étaient bien meilleurs pour répondre à des questions concernant les pays à revenu élevé (nations riches) que pour les pays à faible revenu.

• Ce n'était pas parce que l'IA était « raciste » ou « biaisée » de manière humaine, mais parce que les cartes numériques et les données sur lesquelles elles ont été entraînées sont beaucoup plus complètes et détaillées pour les pays riches.
• Même lorsque les chercheurs donnaient à l'IA les faits parfaits pour un pays pauvre, elle éprouvait toujours plus de difficultés que pour un pays riche. Cela suggère que le problème n'est pas seulement un manque de données ; c'est que l'IA n'est tout simplement pas douée pour faire les mathématiques pour les endroits qu'elle a moins « vus ».

4. La langue n'avait pas beaucoup d'importance
Il est intéressant de noter que la langue ne faisait pas une grande différence. Que la question soit en anglais, en russe ou en vietnamien, la performance de l'IA était sensiblement la même. Le problème n'était pas que l'IA ne comprenait pas les mots ; c'était qu'elle ne maîtrisait pas la géométrie.

La Grande Leçon

La principale leçon de MultiGlobeQA est que posséder beaucoup de connaissances n'est pas la même chose que savoir raisonner.

Imaginez un étudiant qui aurait mémorisé chaque nom de rue au monde et chaque distance entre les villes. Si vous lui demandez : « Quelle est la distance entre A et B ? », il pourrait simplement deviner un chiffre qui semble cohérent parce qu'il a déjà entendu ces noms auparavant. Mais si vous lui demandez de réellement calculer la distance en utilisant une règle et une carte, il pourrait échouer car il ne sait pas comment utiliser la règle.

L'article suggère que pour que l'IA soit véritablement utile pour des choses comme la navigation, la logistique ou la réponse aux catastrophes, nous ne pouvons pas simplement la nourrir de plus de faits. Nous devons lui apprendre à calculer et à raisonner sur ces faits. Actuellement, le goulot d'étranglement n'est pas que l'IA ne connaît pas le monde ; c'est que l'IA est incapable de faire les mathématiques pour comprendre le monde.

Même avec les meilleurs outils et les données les plus parfaites, les modèles d'IA actuels trébuchent encore sur des énigmes spatiales de base. C'est un rappel que, bien que ces modèles soient incroyables pour parler et se souvenir, ils sont encore en train d'apprendre à véritablement « penser » l'espace.