MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

Imagina que estás intentando construir un robot que pueda actuar como un guía de viajes superinteligente. Quieres que te diga qué tan lejos está tu casa de la pizzería más cercana, o en qué dirección debes caminar para encontrar un parque específico. Este es el mundo del razonamiento geoespacial: la capacidad de entender dónde están las cosas, qué tan lejos están unas de otras y cómo encajan entre sí en un mapa.

Durante mucho tiempo, los científicos han estado enseñando a las computadoras a "leer" mapas y hechos sobre el mundo. Han construido bibliotecas digitales masivas de información llamadas Grafos de Conocimiento, que son como gigantescas redes interconectadas de hechos (por ejemplo, "París está en Francia", "La Torre Eiffel está en París"). Recientemente, también hemos creado Modelos de Lenguaje de Gran Escala (LLM): cerebros de IA superpotenciados que pueden leer casi todo lo escrito en internet y responder preguntas en lenguaje humano. La gran pregunta que todos se hacen es: si le das a estos cerebros de IA un mapa y una lista de hechos, ¿pueden realmente hacer las matemáticas para calcular distancias y direcciones, o simplemente adivinan basándose en lo que han memorizado?

Aquí es donde entra en juego un nuevo estudio llamado MultiGlobeQA. Los investigadores querían ver si estos cerebros de IA son realmente lo suficientemente inteligentes como para navegar por el mundo real o si solo están "alucinando" (inventando cosas) cuando se les pregunta sobre geometría. Construyeron una prueba masiva multilingüe para ver exactamente dónde fallan estos modelos.

La Gran Prueba del Mapa: MultiGlobeQA

Los investigadores crearon un desafío masivo llamado MultiGlobeQA. Piensa en esto como una giant "prueba de manejo" global para la IA, pero en lugar de conducir un coche, la IA tiene que resolver 4les 46,060 preguntas diferentes sobre lugares reales de la Tierra.

Para asegurar que la prueba fuera justa y cubriera todo el mundo, no se limitaron a elegir ciudades famosas como Londres o Nueva York. Utilizaron un método especial de "muestreo estratificado", que es como tomar una cucharada gigante de helado que incluya todos los sabores y cada capa, asegurando que obtuvieran preguntas de 201 países y territorios. Se aseguraron de incluir lugares que son ricos y pobres, concurridos y vacíos, para que la prueba no favoreciera solo a los lugares donde el internet es mejor.

También hicieron que la prueba fuera multilingüe. Las mismas preguntas fueron traducidas a 17 idiomas diferentes, que van desde el inglés y el español hasta el urdu y el georgiano. Esto era crucial porque querían ver si la IA se confundía solo porque la pregunta se hacía en un idioma diferente, o si el problema era la matemática en sí.

Las preguntas cubrieron 14 tipos diferentes de "pensamiento espacial", tales como:

• Distancia: "¿Qué tan lejos está la Ciudad A de la Ciudad B?"
• Dirección: "Si camino desde el aeropuerto hacia el museo, ¿voy hacia el Norte o hacia el Sur?"
• Forma: "¿Tiene este país forma de rectángulo o de círculo?"
• Indexación de cuadrícula: "¿Cuál es el código específico (como una dirección digital) para este punto en el mapa?"

Crucialmente, cada respuesta en esta prueba no fue solo adivinada por un humano. Fue computada por un programa de computadora usando matemáticas y geometría reales. Esto significa que la respuesta "correcta" fue verificada por las leyes de la física y las matemáticas, no por opinión.

Los Resultados: Inteligentes con los Hechos, Ignorantes con las Matemáticas

Cuando los investigadores sometieron a sus modelos de IA a esta prueba, los resultados fueron un poco impactantes.

1. El problema del "Lo sé, pero no puedo hacerlo"
Los modelos de IA fueron sorprendentemente buenos recordando hechos. Si preguntabas "¿Cuál es la capital de Francia?", lo acertaban casi siempre. Incluso tenían las coordenadas (los números exactos de dónde está un lugar) almacenadas en su memoria.

Sin embargo, cuando se trataba de hacer las matemáticas con esos números, colapsaban.

• Cuando se les pedía calcular la distancia entre dos pueblos, la IA a menudo adivinaba de forma errónea y salvaje. En un ejemplo, la distancia real era de unos 19 kilómetros, pero la IA adivinó 1.4 kilómetros. ¡Eso es como decir que una caminata de 20 minutos es solo un paseo de 2 minutos!
• Cuando se les pedía calcular un "geohash" (un código específico que localiza un punto en una cuadrícula), los modelos fallaban estrepitosamente, incluso cuando los investigadores les daban los hechos exactos que necesitaban.

2. La trampa del "Uso de Herramientas"
Los investigadores intentaron darle a la IA una "calculadora" (una herramienta para hacer las matemáticas) y dejar que buscara en la web o en una base de datos los hechos. Esto ayudó bastante, pero no tanto como se esperaba.

• Incluso cuando la IA tenía los hechos perfectos entregados en bandeja de plata (llamados "gold triples") y una calculadora perfecta, todavía no podía resolver aproximadamente un tercio de las preguntas.
• Los modelos eran buenos en cosas simples como "¿Está la Ciudad A dentro del País B?" (topología) o "¿Hacia dónde está el Norte?" (dirección).
• Pero fallaban por completo en tareas que requerían indexación de cuadrícula (fijar una ubicación a una cuadrícula digital) o computación de forma. En estas tareas difíciles, su tasa de éxito se mantuvo por debajo del 30%, incluso con toda la ayuda.

3. La brecha entre Ricos y Pobres
El estudio también encontró una desigualdad triste. Los modelos de IA eran mucho mejores respondiendo preguntas sobre países de ingresos altos (naciones más ricas) que sobre países de bajos ingresos.

• Esto no era porque la IA fuera "racista" o "sesgada" de una manera humana, sino porque los mapas digitales y los datos con los que fueron entrenados son mucho más completos y detallados para los países ricos.
• Incluso cuando los investigadores le dieron los hechos perfectos para un país pobre, la IA seguía teniendo más dificultades que con un país rico. Esto sugiere que el problema no es solo la falta de datos; es que la IA simplemente no es buena haciendo las matemáticas para lugares que no ha "visto" tanto antes.

4. El idioma no importó mucho
Curiosamente, el idioma no marcó una gran diferencia. Ya fuera que la pregunta estuviera en inglés, ruso o vietnamita, el rendimiento de la IA era aproximadamente el mismo. El problema no era que la IA no pudiera entender las palabras; era que no podía hacer la geometría.

La Gran Conclusión

La lección principal de MultiGlobeQA es que tener mucha información no es lo mismo que ser capaz de razonar.

Imagina que tienes a un estudiante que se ha memorizado cada nombre de calle en el mundo y cada distancia entre ciudades. Si le preguntas "¿Qué tan lejos está A de B?", podría simplemente adivinar un número que suene bien porque ha escuchado esos nombres antes. Pero si le pides que realmente calcule la distancia usando una regla y un mapa, podría fallar porque no sabe cómo usar la regla.

El artículo sugiere que para que la IA sea verdaderamente útil para cosas como la navegación, la logística o la respuesta ante desastres, no podemos simplemente alimentarla con más hechos. Necesitamos enseñarle cómo computar y razonar sobre esos hechos. Actualmente, el cuello de botella no es que la IA no conozca el mundo; es que la IA es pésima haciendo las matemáticas para entender el mundo.

Incluso con las mejores herramientas y los datos más perfectos, los modelos de IA actuales todavía tropiezan con acertijos espaciales básicos. Es un recordatorio de que, aunque estos modelos son increíbles hablando y recordando, todavía están aprendiendo cómo "pensar" realmente sobre el espacio.