MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

想象一下，你正试图制造一个机器人，让它充当超级智能的旅行指南。你希望它能告诉你从家到最近的披萨店有多远，或者为了找到某个特定的公园，你需要向哪个方向行走。这就是**地理空间推理（geospatial reasoning）**的世界：理解事物的位置、它们之间的距离以及它们在地图上是如何相互关联的能力。

长期以来，科学家们一直在教计算机如何“阅读”地图和关于世界的各种事实。他们构建了庞大的数字信息库，称为知识图谱（Knowledge Graphs），这些图谱就像是巨大的、互联的事实网络（例如，“巴黎在法国”、“埃菲尔铁塔在巴黎”）。最近，我们也创造了大语言模型（LLMs）——这些是超级强大的 AI 大脑，它们可以阅读互联网上几乎所有的文字并用人类语言回答问题。现在大家都在问一个大问题：如果你给这些 AI 大脑一张地图和一份事实清单，它们真的能进行数学计算来确定距离和方向吗？还是说它们只是根据记忆进行猜测？

这就是一项名为 MultiGlobeQA 的新研究所要解决的问题。研究人员想要看看这些 AI 大脑是否真的足够聪明，能够进行现实世界的导航，还是在面对几何问题时只是在“幻觉”（瞎编乱造）。他们构建了一个巨大的多语言测试，以观察这些模型的具体失败之处。

伟大的地图测试：MultiGlobeQA

研究人员创建了一个名为 MultiGlobeQA 的巨大挑战。你可以把它想象成一次针对 AI 的全球性“试驾”，只不过不是在驾驶汽车，而是让 AI 解决 46,060 个关于地球真实地点的不同问题。

为了确保测试公平且覆盖全球，他们并没有只挑选伦敦或纽约这样著名的城市。他们使用了一种特殊的“分层抽样”方法，就像是用勺子舀取一份包含所有口味和每一层的巨型冰淇淋，确保他们收集到了来自 201 个国家和地区的题目。他们确保涵盖了富裕和贫穷、拥挤和空旷的地方，这样测试就不会仅仅偏向于那些互联网信息更丰富的地区。

他们还使这个测试具备了多语言能力。同样的问题被翻译成了 17 种不同的语言，范围从英语、西班牙语到乌尔都语和格鲁吉亚语。这至关重要，因为他们想看看 AI 是否会因为问题是用不同的语言提出的而感到困惑，或者问题本身在于数学逻辑。

这些问题涵盖了 14 种不同类型的“空间思维”，例如：

• 距离： “从 A 镇到 B 镇有多远？”
• 方向： “如果我从机场走到博物馆，我是向北还是向南走？”
• 形状： “这个国家的形状是长方形还是圆形？”
• 网格索引： “这个位置在地图上的特定代码（类似于数字地址）是什么？”

至关重要的是，这个测试中的每一个答案都不是由人类凭感觉猜出来的。它们是由计算机程序利用真实的数学和几何学计算出来的。这意味着“正确”的答案是经过物理定律和数学法则验证的，而不是基于观点。

结果：擅长事实，拙于数学

当研究人员让他们的 AI 模型通过这项测试时，结果令人震惊。

1. “我知道，但我不会做”的问题
AI 模型在记忆事实方面表现得非常出色。如果你问“法国的首都是哪里？”，它们几乎每次都能答对。它们甚至在记忆中存储了坐标（即位置的具体数值）。

然而，一旦涉及到使用这些数字进行数学运算，它们就崩溃了。

• 当被要求计算两个城镇之间的距离时，AI 经常给出离谱的猜测。例如，在某个案例中，实际距离约为 19 公里，但 AI 猜的是 1.4 公里。这就像是把一段 20 分钟的路程猜成了只需 2 分钟就能走完！
• 当被要求计算“地理哈希”（geohash，一种将位置定位在网格上的特定代码）时，即使研究人员提供了所需的精确事实，模型也表现得一败涂地。

2. “工具使用”陷阱
研究人员尝试给 AI 提供一个“计算器”（用于数学运算的工具），并让它搜索网络或数据库获取事实。这确实有帮助，但效果并没有预想中那么好。

• 即使 AI 手里拿着“金牌三元组”（gold triples，即最完美的已知事实）并且拥有完美的计算器，它仍然无法解决约三分之一的问题。
• 模型在处理简单任务时表现良好，比如“城市 A 是否在国家 B 境内？”（拓扑关系）或“哪边是北？”（方向）。
• 但在需要网格索引（将位置固定在数字网格上）或形状计算的任务上，它们完全瘫痪了。在这些困难任务上，即使有所有的辅助，它们的成功率仍保持在 30% 以下。

3. 富国与穷国的差距
研究还发现了一种令人遗憾的不平等现象。AI 模型在回答有关高收入国家（较富裕国家）的问题时，表现远好于低收入国家。

• 这并不是因为 AI 在人类意义上存在“种族歧视”或“偏见”，而是因为它们训练所用的数字地图和数据在富裕国家更加完整和详细。
• 即使研究人员为贫穷国家提供了完美的事实，AI 在这些地方的表现依然比在富裕国家时吃力。这表明问题不仅仅是缺乏数据；而是 AI 对于它接触较少的地区，并不擅长进行相关的数学运算。

4. 语言并不重要
有趣的是，语言并没有产生太大的影响。无论问题是用英语、俄语还是越南语提出的，AI 的表现大致相同。问题不在于 AI 理解不了单词，而在于它无法进行几何运算。

核心启示

来自 MultiGlobeQA 的主要教训是：拥有大量知识并不等同于具备推理能力。

想象一下，你有一个学生，他背下了世界上每一条街道的名字和每两个城市之间的距离。但如果你问他：“从 A 到 B 有多远？”，他可能会随口猜一个听起来像那么回事的数字，因为他以前听过这些名字。但如果你让他拿着尺子和地图去实际计算距离，他可能会失败，因为他不知道如何使用那把尺子。

论文指出，对于希望在导航、物流或灾难响应等方面真正发挥作用的 AI 而言，我们不能仅仅喂给它更多的事实。我们需要教会它如何对这些事实进行计算和推理。目前，瓶颈不在于 AI 不了解世界，而在于 AI 极其不擅长通过数学来理解世界。

即便拥有最好的工具和最完美的数据，目前的 AI 模型在面对基础的空间谜题时仍然步履蹒跚。这提醒我们，虽然这些模型在交谈和记忆方面非常了不起，但在理解空间方面，它们仍在学习阶段。