MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

あなたは、スマートな旅行ガイドとして機能するロボットを作ろうとしていると想像してみてください。そのロボットは、あなたの家から最寄りのピザ屋までどのくらいの距離があるか、あるいは特定の公園を見つけるためにどの方向に歩けばよいかを教えてくれます。これが**地理空間推論（geospatial reasoning）**の世界です。つまり、物事がどこにあるのか、どれくらい離れているのか、そして地図上でどのように組み合わさっているのかを理解する能力のことです。

長い間、科学者たちはコンピュータに地図や世界の事実を「読み取る」方法を教えてきました。彼らは、膨大な情報のデジタルライブラリである**知識グラフ（Knowledge Graphs）**を構築してきました。これは、事実が互いに結びついた巨大なウェブのようなものです（例：「パリはフランスにある」、「エッフェル塔はパリにある」）。近年では、**大規模言語モデル（LLM）**も誕生しました。これは、インターネット上のほぼすべての文章を読み、人間の言葉で質問に答えることができる、超強力なAIの脳です。今、誰もが問いかけている大きな疑問があります。もしAIの脳に地図と事実のリストを与えたとき、彼らは実際に距離や方向を計算するために「数学」を行っているのでしょうか？それとも、単に記憶に基づいて推測しているだけなのでしょうか？

ここで、MultiGlobeQAと呼ばれる新しい研究が登場します。研究者たちは、AIが本当に現実世界をナビゲートできるほど賢いのか、それとも幾何学的な質問に対して単に「ハルシネーション（幻覚／作り話）」を起こしているだけなのかを確認したいと考えました。彼らは、AIがどこで失敗するかを正確に突き止めるために、巨大な多言語テストを作成しました。

地図の偉大なるテスト：MultiGlobeQA

研究者たちは、MultiGlobeQAという巨大なチャレンジを作成しました。これは、AIに対する巨大なグローバルな「試運転」のようなものですが、車を運転する代わりに、AIは地球上の実在する場所に関する46,060もの異なる問題を解かなければなりません。

テストを公平にし、世界全体をカバーするために、彼らはロンドンやニューヨークのような有名な都市だけを選んだわけではありません。彼らは「層化抽出法（stratified sampling）」という特別な手法を用いました。これは、あらゆるフレーバーと層が含まれるようにアイスクリームを大きくすくい取るようなもので、201の国と地域から質問を集めることを確実にしました。インターネット環境が良い場所だけに偏らないよう、豊かで貧しい場所、混雑した場所、そして空いている場所をすべて含めるようにしました。

また、このテストは多言語化されました。同じ質問が、英語やスペイン語から、ウルドゥー語やジョージア語に至るまで、17の異なる言語に翻訳されました。これは非常に重要でした。なぜなら、AIが言語の違いによって混乱しているのか、それとも問題自体が数学的なことにあるのかを見極めたかったからです。

質問は、以下のような14種類の「空間的思考」を網材しています：

• 距離： 「町Aから町Bまではどのくらいの距離ですか？」
• 方向： 「空港から美術館に向かって歩く場合、北に進んでいますか、それとも南に進んでいますか？」
• 形状： 「この国は長方形ですか、それとも円形ですか？」
• グリッド・インデックス： 「この地点の特定のコード（デジタル上の住所のようなもの）は何ですか？」

決定的なのは、このテストのすべての回答は人間が推測したものではないということです。すべての回答は、コンピュータプログラムによって実際の数学と幾ometry（幾何学）を用いて計算されました。つまり、「正解」は意見ではなく、物理学と数学の法則によって検証されたものです。

結果：事実に明るいが、数学には疎い

研究者がAIモデルをこのテストに走らせたところ、結果は衝撃的なものでした。

1. 「知っているが、できない」問題
AIモデルは事実を覚えることに関しては驚くほど優秀でした。もし「フランスの首都は何ですか？」と尋ねれば、彼らはほぼ毎回正解しました。彼らは、場所を示す正確な座標（数値）さえも記憶に保持していました。

しかし、それらの数値を使って数学を行うとなると、彼らは崩壊しました。

• 2つの町の間の距離を計算するように求められると、AIはしばしばデタラメな予測をしました。ある例では、実際の距離は約19キロメートルでしたが、AIは1.4キロメートルと答えました。これは、20分の道のりを、わずか2分の散歩だと勘違いするようなものです！
• 「ジオハッシュ（地図上のグリッドを指定する特定のコード）」を特定するように求められたとき、研究者が正確な事実を提示していたにもかかわらず、モデルは惨めな失敗をしました。

2. 「ツール利用」の罠
研究者は、AIに「計算機（数学を行うためのツール）」を与え、ウェブやデータベースで事実を検索できるようにしました。これは効果がありましたが、期待したほどではありませんでした。

• AIに完璧な事実（ゴールド・トリプルと呼ばれるもの）が銀の皿に乗って手渡され、完璧な計算機があったとしても、依然として約3分の1の質問を解くことができませんでした。
• モデルは、「都市Aは国Bの中にありますか？（トポロジー）」や「どちらが北ですか？（方向）」といった単純なことには優れていました。
• しかし、グリッド・インデックス（場所をデジタルグリッドにピン留めすること）や形状計算を必要とするタスクでは、完全に崩壊しました。これらの難しいタスクにおいて、たとって助けがあっても、成功率は30%を下回りました。

3. 富の格差
研究はまた、悲しい不平等についても明らかにしました。AIモデルは、低所得国よりも高所得国についての質問に答える方がはるかに上手でした。

• これは、AIが人間のように「差別的」であったり「偏見」を持っていたりしたからではなく、彼らが学習したデジタルマップやデータが、富裕国に対してより充実し、詳細であるためです。
• 研究者が貧しい国の完璧な事実をAIに与えたとしても、AIは富裕国の場合よりも苦戦しました。これは、問題が単なるデータの不足ではなく、AIがこれまであまり「見てこなかった」場所に対して、数学的な処理ができていないことを示唆しています。

4. 言語はあまり関係なかった
興味深いことに、言語は大きな影響を与えませんでした。質問が英語であれ、ロシア語であれ、ベトナム語であれ、AIのパフォーマンスはほぼ同じでした。問題は、AIが言葉を理解できないことではなく、幾何学ができないことだったのです。

大きな教訓

MultiGlobeQAからの主な教訓は、「多くの知識を持っていること」と「推論ができること」は別物であるということです。

世界中のすべての通りの名前と、都市間のすべての距離を暗記している学生を想像してみてください。もしあなたが「AからBまではどのくらいの距離ですか？」と尋せたら、彼らはその名前を以前に聞いたことがあるので、もっともらしい数字を適当に答えるかもしれません。しかし、もしあなたが定規と地図を使って実際に距離を「計算」するように求めたら、彼は定規の使い方を知らないために失敗するかもしれません。

論文は、AIがナビゲーション、物流、あるいは災害対応のために真に有用であるためには、単に多くの事実を詰め込むだけでは不十分であると示唆しています。私たちは、それらの事実に基づいて計算し、推論する方法を教える必要があります。現在、ボトルネックとなっているのは、AIが世界を知らないことではなく、世界を理解するための数学が苦手であることなのです。

最高のツールと最も完璧なデータがあったとしても、現在のAIモデルは基本的な空間パズルでつまずいています。これは、これらのモデルが会話や記憶には驚異的である一方で、空間について真に「考える」方法については、まだ学習の過程にあるということを思い出させてくれます。