MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

Stel je voor dat je een robot probeert te bouwen die kan fungeren als een super-slimme reisgids. Je wilt dat hij je vertelt hoe ver het is van je huis naar de dichtstbijzijnde pizzawinkel, of welke kant je op moet lopen om een specifiek park te vinden. Dit is de wereld van geospatiale redenering: het vermogen om te begrijpen waar dingen zich bevinden, hoe ver ze uit elkaar liggen en hoe ze op een kaart in elkaar passen.

Een lange tijd hebben wetenschappers computers geleerd om kaarten en feiten over de wereld te "lezen". Ze hebben enorme digitale bibliotheken met informatie gebouwd die Knowledge Graphs worden genoemd, die lijken op gigantische, onderling verbonden webben van feiten (bijv. "Parijs ligt in Frankrijk", "De Eiffeltoren staat in Parijs"). Onlangs hebben we ook Large Language Models (LLMs) gecreëerd—superkrachtige AI-hersenen die bijna alles kunnen lezen wat er op het internet staat en vragen kunnen beantwoorden in menselijke taal. De grote vraag die iedereen stelt is: als je deze AI-hersenen een kaart en een lijst met feiten geeft, kunnen ze dan daadwerkelijk de wiskunde uitvoeren om afstanden en richtingen te bepalen, of gokken ze gewoon op basis van wat ze hebben onthouden?

Dit is waar een nieuwe studie genaamd MultiGlobeQA in beeld komt. De onderzoekers wilden zien of deze AI-hersenen echt slim genoeg zijn om door de echte wereld te navigeren, of dat ze gewoon aan het "hallucineren" (dingen verzinnen) zijn wanneer ze naar geometrie worden gevraagd. Ze bouwden een gigantische meertalige test om precies te zien waar deze modellen falen.

De Grote Kaarttest: MultiGlobeQA

De onderzoekers creëerden een enorme uitdaging genaamd MultiGlobeQA. Denk aan het als een gigantische, wereldwijde "testrit" voor AI, maar in plaats van een auto te rijden, moet de AI 46.060 verschillende vragen over echte plaatsen op aarde oplossen.

Om ervoor te zorgen dat de test eerlijk was en de hele wereld besloeg, hebben ze niet alleen beroemde steden zoals Londen of New York gekozen. Ze gebruikten een speciale methode van "gestratificeerde steekproefname", wat zoiets is als een enorme schep ijs met alle smaken en alle lagen, om er zeker van te zijn dat ze vragen kregen uit 201 verschillende landen en territoria. Ze zorgden ervoor dat ze ook plaatsen opnamen die rijk en arm, druk en leeg waren, zodat de test niet alleen de plekken zou bevoordelen waar het internet het beste is.

Ze maakten de test ook meertalig. Dezelfde vragen werden vertaald in 17 verschillende talen, variërend van Engels en Spaans tot Urdu en Georgisch. Dit was cruciaal omdat ze wilden zien of de AI in de war raakte simpelweg omdat de vraag in een andere taal werd gesteld, of dat het probleem de wiskunde zelf was.

De vragen bestonden uit 14 verschillende soorten "ruimtelijk denken", zoals:

• Afstand: "Hoe ver is het van Stad A naar Stad B?"
• Richting: "Als ik van de luchthaven naar het museum loop, ga ik dan naar het noorden of naar het zuiden?"
• Vorm: "Heeft dit land de vorm van een rechthoek of een cirkel?"
• Grid Indexing: "Wat is de specische code (zoals een digitaal adres) voor deze plek op de kaart?"

Cruciaal was dat elk antwoord in deze test niet zomaar door een mens werd geraden. Het werd berekend door een computerprogramma met echte wiskunde en geometrie. Dit betekent dat het "juiste" antwoord werd geverifieerd door de wetten van de natuurkunde en wiskunde, en niet door een mening.

De Resultaten: Slim in Feiten, Onkundig in Wiskunde

Toen de onderzoekers hun AI-modellen door deze test haalden, waren de resultaten een beetje een schok.

1. Het "Ik weet het wel, maar ik kan het niet doen"-probleem
De AI-modellen waren verrassend goed in het onthouden van feiten. Als je vroeg: "Wat is de hoofdstad van Frankrijk?", hadden ze het bijna altijd goed. Ze hadden zelfs de coördinaten (de exacte getallen voor waar een plaats zich bevindt) in hun geheugen opgeslagen.

Echter, wanneer het aankwam op het doen van de wiskunde met die getallen, stortten ze in.

• Wanneer gevraagd werd naar de afstand tussen twee steden, gokte de AI vaak volkomen verkeerd. In één voorbeeld was de werkelijke afstand ongeveer 19 kilometer, maar de AI gokte 1,4 kilometer. Dat is alsof je gokt dat een wandeling van 20 minuten slechts een wandeling van 2 minuten is!
• Wanneer gevraagd werd om een "geohash" te bepalen (een specifieke code die een locatie op een raster aanwijst), faalden de modellen jammerlijk, zelfs toen de onderzoekers de exacte feiten die ze nodig hadden aan hen gaven.

2. De "Toolgebruik"-valstrik
De onderzoekers probeerden de AI een "rekenmachine" te geven (een hulpmiddel om de wiskunde te doen) en lieten de AI zoeken op het web of in een database voor de feiten. Dit hielp een hoop, maar niet zo veel als je zou hopen.

• Zelfs toen de AI de perfecte feiten op een zilveren dienblad kreeg voorgeschoteld (genaamd "gold triples") en een perfecte rekenmachine had, kon de AI nog steeds ongeveer één derde van de vragen niet oplossen.
• De modellen waren goed in eenvoudige zaken zoals "Ligt Stad A binnen Land B?" (topologie) of "Welke kant is het noorden?" (richting).
• Maar ze stortten volledig in bij taken die grid indexing vereisten (het vastleggen van een locatie op een digitaal rooster) of vormberekening. Bij deze moeilijke taken bleef hun succespercentage onder de 30%, zelfs met alle hulp.

3. De Kloof tussen Rijk en Arm
De studie vond ook een droevige ongelijkheid. De AI-modellen waren veel beter in het beantwoorden van vragen over landen met een hoog inkomen (rijkere landen) dan over landen met een laag inkomen.

• Dit kwam niet doordat de AI op een menselijke manier "racistisch" of "bevooroordeeld" was, maar omdat de digitale kaarten en gegevens waarop ze getraind zijn, veel vollediger en gedetailleerder zijn voor rijke landen.
• Zelfs toen de onderzoekers de AI de perfecte feiten voor een arm land gaven, bleef de AI meer worstelen dan bij een rijk land. Dit suggereert dat het probleem niet alleen een gebrek aan data is; de AI is gewoon niet goed in het doen van de wiskunde voor plaatsen die het minder vaak heeft "gezien".

4. Taal Maakte Niet Veel Uit
Interessant genoeg maakte de taal niet veel verschil. Of de vraag nu in het Engels, Russisch of Vietnamees was, de prestaties van de AI waren ongeveer gelijk. Het probleem was niet dat de AI de woorden niet begreep; het probleem was dat de AI de geometrie niet kon doen.

De Belangrijkste Les

De belangrijkste les van MultiGlobeQA is dat het bezitten van veel kennis niet hetzelfde is als het vermogen om te redeneren.

Stel je een student voor die elke straatnaam ter wereld en elke afstand tussen steden heeft uit het hoofd geleerd. Als je vraat: "Hoe ver is het van A naar B?", kan hij misschien een getal gokken dat goed klinkt omdat hij die namen eerder heeft gehoord. Maar als je hem vraagt om de afstand daadwerkelijk te berekenen met een liniaal en een kaart, kan hij falen omdat hij niet weet hoe hij de liniaal moet gebruiken.

Het artikel suggereert dat voor AI echt nuttig te kunnen zijn voor zaken als navigatie, logistiek of rampenbestrijding, we het niet alleen met meer feiten kunnen voeden. We moeten de AI leren hoe ze kan berekenen en kan redeneren over die feiten. Momenteel is de flessenhals niet dat de AI de wereld niet kent; het is dat de AI slecht is in de wiskunde die nodig is om de wereld te begrijpen.

Zelfs met de beste hulpmiddelen en de meest perfecte data, struikelen de huidige AI-modellen nog steeds over basis ruimtelijke puzzels. Het is een herinnering dat hoewel deze modellen geweldig zijn in praten en onthouden, ze nog steeds aan het leren zijn hoe ze echt over ruimte kunnen "denken".