MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

Imagine que você esteja tentando construir um robô que possa atuar como um guia de viagem superinteligente. Você quer que ele lhe diga a distância da sua casa até a pizzaria mais próxima, ou em qual direção você deve caminhar para encontrar um parque específico. Este é o mundo do raciocínio geoespacial: a capacidade de entender onde as coisas estão, quão distantes elas estão e como elas se encaixam em um mapa.

Por muito tempo, cientistas têm ensinado computadores a "ler" mapas e fatos sobre o mundo. Eles construíram enormes bibliotecas digitais de informações chamadas Grafos de Conhecimento, que são como gigantescas teias interconectadas de fatos (ex: "Paris fica na França", "A Torre Eiffel fica em Paris"). Recentemente, também criamos os Modelos de Linguagem de Grande Escala (LLMs) — cérebros de IA superpotentes que conseguem ler quase tudo o que está escrito na internet e responder perguntas em linguagem humana. A grande questão que todos estão fazendo é: se você der a esses cérebros de IA um mapa e uma lista de fatos, eles conseguem realmente fazer a conta para descobrir distâncias e direções, ou eles apenas adivinham com base no que memorizaram?

É aqui que um novo estudo chamado MultiGlobeQA entra em cena. Os pesquisadores queriam ver se esses cérebros de IA são verdadeiramente inteligentes o suficiente para navegar no mundo real ou se eles estão apenas "alucinando" (inventando coisas) quando questionados sobre geometria. Eles construíram um teste gigantesco e multilíngue para ver exatamente onde esses modelos falham.

O Grande Teste do Mapa: MultiGlobeQA

Os pesquisadores criaram um desafio massivo chamado MultiGlobeQA. Pense nisso como um gigante "teste de direção" para a IA, mas em vez de dirigir um carro, a IA tem que resolver 46.060 perguntas diferentes sobre lugares reais da Terra.

Para garantir que o teste fosse justo e cobrisse o mundo inteiro, eles não escolheram apenas cidades famosas como Londres ou Nova York. Eles usaram um método especial de "amostragem estratificada", que é como pegar uma colherada gigante de sorvete que inclui todos os sabores e todas as camadas, garantindo que obtivessem perguntas de 201 países e territórios. Eles garantiram a inclusão de lugares ricos e pobres, povoados e vazios, para que o teste não favorecesse apenas os lugares onde a internet é melhor.

Eles também tornaram o teste multilíngue. As mesmas perguntas foram traduzidas para 17 idiomas diferentes, variando de inglês e espanhol a urdu e georgiano. Isso era crucial porque eles queriam ver se a IA ficava confusa apenas porque a pergunta foi feita em um idioma diferente, ou se o problema era a matemática em si.

As perguntas cobriram 14 tipos diferentes de "pensamento espacial", tais como:

• Distância: "Qual a distância da Cidade A até a Cidade B?"
• Direção: "Se eu caminhar do aeroporto até o museu, estou indo para o Norte ou para o Sul?"
• Forma: "Este país tem o formato de um retângulo ou de um círculo?"
• Indexação de Grade: "Qual é o código específico (como um endereço digital) para este ponto no mapa?"

Crucialmente, cada resposta deste teste não foi apenas adivinhada por um humano. Ela foi computada por um programa de computador usando matemática e geometria reais. Isso significa que a resposta "correta" foi verificada pelas leis da física e da matemática, não por opinião.

Os Resultados: Inteligentes em Fatos, Ignorantes em Matemática

Quando os pesquisadores passaram seus modelos de IA pelo teste, os resultados foram um choque.

1. O Problema do "Eu sei, mas não consigo fazer"
Os modelos de IA foram surpreendentemente bons em lembrar fatos. Se você perguntasse "Qual é a capital da França?", eles acertariam quase sempre. Eles até tinham as coordenadas (os números exatos de onde um lugar fica) armazenadas em sua memória.

No entanto, quando chegava a hora de fazer a conta com esses números, eles colapsavam.

• Quando questionados sobre a distância entre duas cidades, a IA frequentemente chutava valores absurdamente errados. Em um exemplo, a distância real era de cerca de 19 quilômetros, mas a IA chutou 1,4 quilômetro. Isso é como dizer que uma caminhada de 20 minutos é apenas um passeio de 2 minutos!
• Quando questionados para descobrir um "geohash" (um código específico que localiza um ponto em uma grade), os modelos falharam miseravelmente, mesmo quando os pesquisadores lhes forneceram os fatos exatos necessários.

2. A Armadilha do "Uso de Ferramentas"
Os pesquisadores tentaram dar à IA uma "calculadora" (uma ferramenta para fazer a conta) e deixá-la pesquisar na web ou em um banco de dados para obter os fatos. Isso ajudou bastante, mas não tanto quanto se esperava.

• Mesmo quando a IA tinha os fatos perfeitos entregues a ela em uma bandeja de prata (chamados de "gold triples") e uma calculadora perfeita, ela ainda não conseguia resolver cerca de um terço das perguntas.
• Os modelos eram bons em coisas simples como "A Cidade A está dentro do País B?" (topologia) ou "Para qual lado é o Norte?" (direção).
• Mas eles desmoronavam completamente em tarefas que exigiam indexação de grade (fixar um local em uma grade digital) ou computação de forma. Nessas tarefas difíceis, sua taxa de sucesso permanecia abaixo de 30%, mesmo com toda a ajuda.

3. O Abismo entre Ricos e Pobres
O estudo também encontrou uma desigualdade triste. Os modelos de IA eram muito melhores em responder perguntas sobre países de alta renda (nações mais ricas) do que sobre países de baixa renda.

• Isso não acontecia porque a IA era "racista" ou "preconceituosa" no sentido humano, mas porque os mapas digitais e os dados usados para o treinamento são muito mais completos e detalhados para países ricos.
• Mesmo quando os pesquisadores forneceram os fatos perfeitos para um país pobre, a IA ainda tinha mais dificuldade do que tinha com um país rico. Isso sugere que o problema não é apenas a falta de dados; a IA simplesmente não é boa em fazer a matemática para lugares que ela não "viu" tanto antes.

4. O Idioma Não Importava Muito
Curiosamente, o idioma não fez uma grande diferença. Quer a pergunta estivesse em inglês, russo ou vietnamita, o desempenho da IA era aproximadamente o mesmo. O problema não era que a IA não entendia as palavras; era que ela não conseguia fazer a geometria.

A Grande Lição

A principal lição do MultiGlobeQA é que ter muito conhecimento não é o mesmo que ser capaz de raciocinar.

Imagine que você tem um aluno que decorou cada nome de rua do mundo e cada distância entre cidades. Se você perguntar "Qual a distância de A para B?", ele pode apenas chutar um número que pareça correto porque já ouviu aqueles nomes antes. Mas se você pedir para ele realmente calcular a distância usando uma régua e um mapa, ele pode falhar porque não sabe como usar a régua.

O artigo sugere que, para a IA ser verdadeiramente útil para coisas como navegação, logística ou resposta a desastres, não podemos apenas alimentá-la com mais fatos. Precisamos ensiná-la a computar e a raciocinar sobre esses fatos. Atualmente, o gargalo não é que a IA não conheça o mundo; é que a IA é péssima em fazer a matemática para entender o mundo.

Mesmo com as melhores ferramentas e os dados mais perfeitos, os modelos de IA atuais ainda tropeçam em enigmas espaciais básicos. É um lembrete de que, embora esses modelos sejam incríveis em conversar e memorizar, eles ainda estão aprendendo como realmente "pensar" sobre o espaço.