MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

Immagina di voler costruire un robot che possa agire come una guida turistica super intelligente. Vuoi che ti dica quanto dista casa tua dalla pizzeria più vicina, o in quale direzione devi camminare per trovare un parco specifico. Questo è il mondo del ragionamento geospaziale: la capacità di capire dove si trovano le cose, quanto sono lontane tra loro e come si incastrano in una mappa.

Per molto tempo, gli scienziati hanno insegnato ai computer come "leggere" le mappe e i fatti sul mondo. Hanno costruito enormi biblioteche digitali di informazioni chiamate Knowledge Graph (Grafi della Conoscenza), che sono come gigantesche reti interconnesse di fatti (ad esempio, "Parigi è in Francia", "La Torre Eiffel è a Parigi"). Recentemente, abbiamo anche creato i Large Language Models (LLM) — cervelli IA super-potenziati che possono leggere quasi tutto ciò che è scritto su Internet e rispondere a domande in linguaggio umano. La grande domanda che tutti si pongono è: se dai a questi cervelli artificiali una mappa e un elenco di fatti, saranno effettivamente in grado di fare i calcoli per determinare distanze e direzioni, o si limiteranno a indovinare in base a ciò che hanno memorizzato?

È qui che entra in gioco un nuovo studio chiamato MultiGlobeQA. I ricercatori volevano vedere se questi cervelli artificiali siano davvero abbastanza intelligenti da navigare nel mondo reale o se stiano solo "allucinando" (inventando cose) quando viene posta loro una domanda di geometria. Hanno costruito una sfida multilingue gigante per vedere esattamente dove questi modelli falliscono.

Il Grande Test della Mappa: MultiGlobeQA

I ricercatori hanno creato una sfida massiccia chiamata MultiGlobeQA. Immaginala come un gigantesco "test drive" globale per l'IA, ma invece di guidare un'auto, l'IA deve risolvere 46.060 diverse domande su luoghi reali sulla Terra.

Per garantire che il test fosse equo e coprisse l'intero mondo, non hanno scelto solo città famose come Londra o New York. Hanno utilizzato un metodo speciale di "campionamento stratificato", che è come prendere una grande cucchiaiata di gelato che includa ogni gusto e ogni strato, assicurandosi di ottenere domande da 201 paesi e territori diversi. Si sono assicurati di includere luoghi ricchi e poveri, affollati e vuoti, in modo che il test non favorisse solo i luoghi in cui Internet è migliore.

Hanno anche reso il test multilingue. Le stesse domande sono state tradotte in 17 lingue diverse, che vanno dall'inglese e lo spagnolo all'urdu e al georgiano. Questo era fondamentale perché volevano vedere se l'IA si confondeva solo perché la domanda veniva posta in una lingua diversa, o se il problema era la matematica stessa.

Le domande coprivano 14 diversi tipi di "pensiero spaziale", come:

• Distanza: "Quanto dista la Città A dalla Città B?"
• Direzione: "Se cammino dall'aeroporto al museo, sto andando a Nord o a Sud?"
• Forma: "Questo paese ha la forma di un rettangolo o di un cerchio?"
• Indicizzazione di Griglia (Grid Indexing): "Qual è il codice specifico (come un indirizzo digitale) per questo punto sulla mappa?"

Fondamentalmente, ogni singola risposta in questo test non è stata solo indovinata da un essere umano. Ogni risposta è stata calcolata da un programma informatico utilizzando la matematica e la geometria reali. Ciò significa che la risposta "corretta" è stata verificata dalle leggi della fisica e della matematica, non da un'opinione.

I Risultati: Intelligenti con i Fatti, Incompetenti con la Matematica

Quando i ricercatori hanno sottoposto i loro modelli di IA a questo test, i risultati sono stati un po' scioccanti.

1. Il problema del "Lo conosco, ma non so farlo"
I modelli di IA sono stati sorprendentemente bravi a ricordare i fatti. Se chiedevi "Qual è la capitale della Francia?", l'hanno ottenuta quasi sempre correttamente. Avevano persino le coordinate (i numeri esatti di dove si trova un luogo) memorizzate nella loro memoria.

Tuttavia, quando si trattava di fare i calcoli con quei numeri, sono crollati.

• Quando veniva chiesto di calcolare la distanza tra due città, l'IA spesso sbagliava clamorosamente. In un esempio, la distanza reale era di circa 19 chilometri, ma l'IA ha indovinato 1,4 chilometri. È come dire che una passeggiata di 20 minuti è solo una passeggiata di 2 minuti!
• Quando veniva chiesto di calcolare un "geohash" (un codice specifico che individua una posizione su una griglia), i modelli hanno fallito miseramente, anche quando i ricercatori fornivano loro i fatti esatti di cui avevano bisogno.

2. La trappola dell'uso degli strumenti (Tool Use)
I ricercatori hanno provato a dare all'IA una "calcolatrice" (uno strumento per fare i calcoli) e a lasciarle cercare sul web o in un database i fatti necessari. Questo ha aiutato molto, ma non quanto ci si potrebbe aspettare.

• Anche quando l'IA aveva i fatti perfetti consegnati su un piatto d'argento (chiamati "gold triples") e una calcolatrice perfetta, non riusciva ancora a risolvere circa un terzo delle domande.
• I modelli erano bravi in cose semplici come "La Città A si trova all'interno del Paese B?" (topologia) o "In che direzione è il Nord?" (direzione).
• Ma sono completamente crollati su compiti che richiedevano l'indicizzazione di griglia (fissare una posizione a una griglia digitale) o il calcolo della forma. Su questi compiti difficili, il loro tasso di successo rimaneva sotto il 30%, nonostante tutto l'aiuto ricevuto.

3. Il divario tra Ricchi e Poveri
Lo studio ha anche evidenziato una triste disuguaglianza. I modelli di IA erano molto più bravi a rispondere a domande riguardanti i paesi ad alto reddito (nazioni più ricche) rispetto ai paesi a basso reddito.

• Questo non accadeva perché l'IA fosse "razzista" o "preconcetta" in senso umano, ma perché le mappe digitali e i dati su cui sono stati addestrati sono molto più completi e dettagliati per i paesi ricchi.
• Anche quando i ricercatori fornivano i fatti perfetti per un paese povero, l'IA continuava a faticare più di quanto facesse per un paese ricco. Questo suggerisce che il problema non è solo la mancanza di dati; è che l'IA semplicemente non è brava a fare i calcoli per i luoghi che non ha "visto" così spesso.

4. La lingua non contava molto
Interessante è che la lingua non faceva una grande differenza. Che la domanda fosse in inglese, russo o vietnamita, le prestazioni dell'IA erano circa le stesse. Il problema non era che l'IA non capisse le parole; era che non sapeva fare la geometria.

La Grande Conclusione

La lezione principale di MultiGlobeQA è che avere molte conoscenze non è la stessa cosa che saper ragionare.

Immagina di avere uno studente che ha memorizzato ogni nome di strada al mondo e ogni distanza tra le città. Se gli chiedi "Quanto dista la città A dalla città B?", potrebbe semplicemente indovinare un numero che suona bene perché ha già sentito quei nomi in precedenza. Ma se gli chiedi di calcolare effettivamente la distanza usando un righello e una mappa, potrebbe fallire perché non sa come usare il righello.

Il documento suggerisce che, affinché l'IA sia davvero utile per la navigazione, la logistica o la gestione dei disastri, non possiamo limitarci a fornirle più fatti. Dobbiamo insegnarle come calcolare e ragionare su quei fatti. Attualmente, l'ostacolo non è che l'IA non conosca il mondo; è che l'IA è terribile nel fare la matematica per comprendere il mondo.

Anche con i migliori strumenti e i dati più perfetti, gli attuali modelli di IA stanno ancora inciampando nei puzzle spaziali di base. È un promemoria del fatto che, sebbene questi modelli siano incredibili nel parlare e ricordare, stanno ancora imparando come "pensare" davvero allo spazio.