MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

Stellen Sie sich vor, Sie möchten einen Roboter bauen, der als superintelligenter Reiseführer fungieren kann. Sie möchten, dass er Ihnen sagen kann, wie weit es von Ihrem Haus bis zum nächsten Pizzaladen ist, oder in welche Richtung Sie gehen müssen, um einen bestimmten Park zu finden. Dies ist die Welt des geospatialen Denkens (Geospatial Reasoning): die Fähigkeit zu verstehen, wo Dinge sind, wie weit sie voneinander entfernt sind und wie sie auf einer Karte zusammenpassen.

Lange Zeit haben Wissenschaftler versucht, Computern beizubringen, Karten und Fakten über die Welt zu „lesen“. Sie haben massive digitale Bibliotheken mit Informationen erstellt, die Knowledge Graphs genannt werden – das sind wie riesige, miteinander verbundene Netze aus Fakten (z. B. „Paris liegt in Frankreich“, „Der Eiffelturm steht in Paris“). Vor kurzem haben wir auch Large Language Models (LLMs) erschaffen – superstarke KI-Gehirne, die fast alles lesen können, was im Internet steht, und Fragen in menschlicher Sprache beantworten können. Die große Frage, die sich alle stellen, lautet: Wenn man diesen KI-Gehirnen eine Karte und eine Liste von Fakten gibt, können sie tatsächlich die Mathematik betreiben, um Entfernungen und Richtungen zu berechnen, oder raten sie nur basierend auf dem, was sie auswendig gelernt haben?

Hier setzt eine neue Studie namens MultiGlobeQA an. Die Forscher wollten sehen, ob diese KI-Gehirne wirklich intelligent genug sind, um sich in der realen Welt zu bewegen, oder ob sie nur „halluzinieren“ (Dinge erfinden), wenn man sie nach Geometrie fragt. Sie haben eine riesige, mehrsprachige Prüfung erstellt, um genau zu sehen, wo diese Modelle scheitern.

Der Große Karten-Test: MultiGlobeQA

Die Forscher entwickelten eine gewaltige Herausforderung namens MultiGlobeQA. Denken Sie an eine riesige, globale „Testfahrt“ für KI, aber anstatt ein Auto zu fahren, muss die KI 46.060 verschiedene Fragen über reale Orte auf der Erde lösen.

Um sicherzustellen, dass der Test fair war und die ganze Welt abdeckte, haben sie nicht nur berühmte Städte wie London oder New York ausgewählt. Sie verwendeten eine spezielle Methode des „geschichteten Samplings“ (stratified sampling), was so ist, als würde man eine riesige Kugel Eiscreme nehmen, die jede Geschmacksrichtung und jede Schicht enthält, um sicherzustellen, dass sie Fragen aus 201 Ländern und Territorien erhielten. Sie stellten sicher, dass Orte enthalten waren, die reich und arm, überfüllt und leer sind, damit der Test nicht nur die Orte bevorzugt, an denen das Internet am besten funktioniert.

Sie machten den Test auch mehrsprachig. Dieselben Fragen wurden in 17 verschiedene Sprachen übersetzt, die von Englisch und Spanisch bis hin zu Urdu und Georgisch reichen. Dies war entscheidend, da sie sehen wollten, ob die KI verwirrt war, nur weil die Frage in einer anderen Sprache gestellt wurde, oder ob das Problem die Mathematik selbst war.

Die Fragen deckten 14 verschiedene Arten des „räumlichen Denkens“ ab, wie zum Beispiel:

• Entfernung: „Wie weit ist es von Stadt A zu Stadt B?“
• Richtung: „Wenn ich vom Flughafen zum Museum laufe, gehe ich dann nach Norden oder Süden?“
• Form: „Ist dieses Land in Form eines Rechtecks oder eines Kreises?“
• Grid-Indizierung: „Was ist der spezifische Code (wie eine digitale Adresse) für diesen Punkt auf der Karte?“

Entscheidend war, dass jede Antwort in diesem Test nicht einfach von einem Menschen geraten wurde. Sie wurde von einem Computerprogramm unter Verwendung echter Mathematik und Geometrie berechnet. Das bedeutet, dass die „richtige“ Antwort durch die Gesetze der Physik und Mathematik verifiziert wurde, nicht durch eine Meinung.

Die Ergebnisse: Schlau bei Fakten, ahnungslos bei Mathe

Als die Forscher ihre KI-Modelle durch diesen Test laufen ließen, waren die Ergebnisse ein wenig schockierend.

1. Das Problem: „Ich weiß es, aber ich kann es nicht machen“
Die KI-Modelle waren überraschend gut darin, Fakten zu erinnern. Wenn man fragte: „Was ist die Hauptstadt von Frankreich?“, beantworteten sie es fast jedes Mal richtig. Sie hatten sogar die Koordinaten (die exakten Zahlen für den Ort eines Platzes) in ihrem Gedächtnis gespeichert.

Doch wenn es darum ging, die Mathematik mit diesen Zahlen zu betreiben, brachen sie zusammen.

• Wenn sie gefragt wurden, die Entfernung zwischen zwei Städten zu berechnen, raten die KIs oft völlig falsch. In einem Beispiel betrug die reale Entfernung etwa 19 Kilometer, aber die KI schätzte 1,4 Kilometer. Das ist so, als würde man raten, dass ein 20-minütiger Spaziergang nur ein 2-Minuten-Schlendergang ist!
• Wenn sie gefragt wurden, einen „Geohash“ zu bestimmen (einen spezifischen Code, der einen Ort auf einem Raster festlegt), versagten die Modelle kläglich, selbst wenn die Forscher ihnen die exakten Fakten zur Verfügung gestellt hatten.

2. Die „Werkzeugnutzungs“-Falle
Die Forscher versuchten, der KI einen „Taschenrechner“ (ein Werkzeug zur Berechnung der Mathematik) zu geben und sie im Internet oder in einer Datenbank nach den Fakten suchen zu lassen. Dies half zwar viel, aber nicht so sehr, wie man hoffen würde.

• Selbst wenn der KI die perfekten Fakten auf einem silbernen Tablett gereicht wurden (genannt „Gold-Triples“) und ein perfekter Taschenrechner zur Verfügung stand, konnte sie immer noch etwa ein Drittel der Fragen nicht lösen.
• Die Modelle waren gut in einfachen Dingen wie „Liegt Stadt A innerhalb von Land B?“ (Topologie) oder „In welche Richtung ist Norden?“ (Richtung).
• Aber sie brachen bei Dingen völlig zusammen, die eine Grid-Indizierung (das Verankern eines Ortes an einem digitalen Raster) oder eine Formberechnung erforderten. Bei diesen schwierigen Aufgaben lag ihre Erfolgsquote selbst mit aller Hilfe unter 30 %.

3. Die Kluft zwischen Reich und Arm
Die Studie fand auch eine traurige Ungleichheit. Die KI-Modelle waren viel besser darin, Fragen über Hocheinkommensländer (wohlhabende Nationen) zu beantworten als über Niedrigeinkommensländer.

• Dies lag nicht daran, dass die KI auf eine menschliche Weise „rassistisch“ oder „voreingenommen“ war, sondern weil die digitalen Karten und Daten, mit denen sie trainiert wurden, für reiche Länder viel vollständiger und detaillierter sind.
• Selbst wenn die Forscher der KI die perfekten Fakten für ein armes Land gaben, hatte sie immer noch mehr Schwierigkeiten als bei einem reichen Land. Dies deutet darauf hin, dass das Problem nicht nur ein Mangel an Daten ist; die KI ist einfach nicht gut darin, die Mathematik für Orte zu betreiben, die sie nicht so oft „gesehen“ hat.

4. Die Sprache spielte kaum eine Rolle
Interessanterweise machte die Sprache keinen großen Unterschied. Ob die Frage auf Englisch, Russisch oder Vietnamesisch gestellt wurde, die Leistung der KI war in etwa gleich. Das Problem war nicht, dass die KI die Wörter nicht verstand; das Problem war, dass sie keine Geometrie beherrschte.

Das wichtigste Fazsergebnis

Die wichtigste Lehre aus MultiGlobeQA ist, dass viel Wissen nicht dasselbe ist wie die Fähigkeit zu Schlussfolgerungen (Reasoning).

Stellen Sie sich einen Schüler vor, der jeden Straßennamen der Welt und jede Entfernung zwischen Städten auswendig gelernt hat. Wenn Sie ihn fragen: „Wie weit ist es von A nach B?“, gibt er vielleicht eine Zahl an, die richtig klingt, weil er diese Namen schon einmal gehört hat. Aber wenn Sie ihn bitten, die Entfernung tatsächlich mit einem Lineal und einer Karte zu berechnen, scheitert er vielleicht, weil er nicht weiß, wie man das Lineal benutzt.

Die Arbeit legt nahe, dass für KI, die wirklich nützlich für Dinge wie Navigation, Logistik oder Katastrophenhilfe sein soll, nicht nur mehr Fakten in sie hineingefüttert werden dürfen. Wir müssen ihr beibringen, wie man über diese Fakten rechnet und schlussfolgert. Derzeit ist der Engpass nicht, dass die KI die Welt nicht kennt; es ist, dass die KI schrecklich darin ist, die Mathematik zu betreiben, um die Welt zu verstehen.

Selbst mit den besten Werkzeugen und den perfektesten Daten stolpern die aktuellen KI-Modelle noch über grundlegende räumliche Rätsel. Es ist eine Erinnerung daran, dass diese Modelle zwar erstaunlich gut darin sind zu sprechen und sich zu erinnern, aber noch lernen müssen, wirklich über den Raum zu „denken“.