MapTab: Are MLLMs Ready for Multi-Criteria Route Planning in Heterogeneous Graphs?

Este artículo presenta MapTab, un nuevo benchmark multimodal diseñado para evaluar la capacidad de razonamiento de los Modelos de Lenguaje Grandes Multimodales (MLLMs) en la planificación de rutas con múltiples criterios, revelando que los modelos actuales enfrentan desafíos significativos al integrar información visual y tabular.

Lo esencial

¡Hola! Imagina que quieres organizar el viaje perfecto para unas vacaciones o tu rutina diaria. No solo quieres llegar rápido, sino que también quieres que sea barato, cómodo y que el transporte no se retrase. Para los humanos, esto es un reto mental; para las Inteligencias Artificiales (IA), es un verdadero laberinto.

Este paper, llamado MapTab, es como un "examen de conducir" muy difícil para las IAs más inteligentes del mundo (llamadas Modelos de Lenguaje Multimodales o MLLM). Aquí te explico de qué trata, usando analogías sencillas:

1. El Problema: Las IAs se pierden en los mapas

Imagina que le das a un robot dos cosas:

1. Un mapa visual (un dibujo de las líneas del metro o de los lugares turísticos).
2. Una hoja de cálculo con datos (cuánto cuesta el billete, cuánto tarda, qué tan cómodo es el vagón).

El robot debe decirte la mejor ruta. El problema es que las IAs actuales son como conductores que ven el mapa pero no saben leer el precio del combustible. A veces, miran el dibujo y se confunden con las líneas; otras veces, leen los números pero no entienden cómo se conectan en el mapa.

2. La Solución: MapTab (El Gran Examen)

Los autores crearon un banco de pruebas gigante llamado MapTab. Es como un videojuego de simulación con dos niveles:

• Nivel Metro (Metromap): 160 ciudades de 52 países. Es como un enredo de líneas de colores (el metro).
• Nivel Turismo (Travelmap): 168 lugares turísticos de 19 países. Es como un mapa de un parque de atracciones gigante.

En total, tienen 328 mapas y casi 200,000 preguntas de ruta. No solo preguntan "¿cómo llego de A a B?", sino que añaden reglas difíciles: "Llévame de A a B, pero quiero que sea lo más barato posible, aunque tarde un poco más, y que no tenga muchas transbordos".

3. ¿Qué descubrieron? (Las Sorpresas)

Cuando probaron 15 de las IAs más famosas (como GPT-4, Gemini, Qwen, etc.), encontraron cosas muy interesantes:

• El "Ciego" de los Mapas: Si solo le das el dibujo del mapa, la IA se pierde. Es como si intentaras leer un mapa antiguo sin saber dónde están las calles. Pero, si le das la hoja de cálculo (los datos en texto), ¡funciona mucho mejor! La IA es mejor leyendo una lista que interpretando un dibujo complejo.
• La Trampa de la "Mejor Ruta": Muchas IAs parecen inteligentes, pero en realidad están "adivinando". Si la ruta más corta es también la más barata, aciertan. Pero si tienes que elegir entre una ruta larga y barata vs. una corta y cara, la IA suele fallar y elegir la corta por defecto, ignorando tus deseos.
• El "Sobrepensamiento": Algunas IAs con mecanismos de "pensamiento profundo" (como si pensaran en voz alta) a veces se complican la vida. En problemas sencillos, empiezan a dudar tanto que terminan equivocándose. Es como un conductor que, en lugar de girar a la derecha, empieza a pensar en la historia de la carretera y se pierde.
• El Cálculo es su Talón de Aquiles: Las IAs son malas haciendo sumas y restas simples en este contexto. Si tienes que sumar 5 tiempos de espera y 3 precios, a menudo fallan. Es como si tuvieran un cerebro brillante para escribir poemas, pero una calculadora rota para los números.

4. ¿Por qué importa esto?

Este estudio nos dice que, aunque las IAs son geniales para chatear o escribir, todavía no están listas para tomar decisiones complejas del mundo real donde hay que equilibrar dinero, tiempo y comodidad al mismo tiempo.

Es como si tuvieras un copiloto que sabe todo sobre el mundo, pero que a veces se confunde con el GPS y te hace perder dinero o tiempo. MapTab es el mapa que nos dice exactamente dónde fallan, para que los científicos puedan arreglarlo.

En resumen

MapTab es un reto gigante que demuestra que las IAs actuales necesitan mejorar mucho antes de que podamos confiarles la planificación de nuestros viajes o nuestras rutas de entrega. No basta con que "vean" el mapa; necesitan aprender a "pensar" con los números y a equilibrar todas las opciones como lo hacemos los humanos.

¡Es un paso importante para que, en el futuro, tu IA no solo te diga cómo llegar, sino que te ayude a elegir la mejor manera de hacerlo!

Resumen técnico

Resumen Técnico: MapTab

1. El Problema

A pesar de los avances en los Modelos de Lenguaje Grandes Multimodales (MLLMs), existe una carencia crítica en la evaluación sistemática de sus capacidades de razonamiento bajo restricciones multicriterio en entornos complejos.

• Limitación de Benchmarks Existentes: Las evaluaciones actuales se centran en razonamiento visual básico o en tareas de planificación de rutas que optimizan un solo objetivo (ej. la ruta más corta). Sin embargo, la planificación de rutas en el mundo real (transporte público, turismo) requiere equilibrar múltiples factores simultáneamente: tiempo, precio, comodidad y fiabilidad.
• Complejidad del Razonamiento: Estas tareas exigen que el modelo no solo perciba datos visuales (mapas), sino que integre información estructurada (tablas), realice extracción de texto (OCR), entienda topologías de grafos heterogéneos y ejecute razonamiento lógico y numérico de múltiples pasos.
• Brecha de Evaluación: No existe un estándar que evalúe cómo los MLLMs manejan la fusión de datos visuales densos con atributos tabulares estructurados para la toma de decisiones multicriterio.

2. Metodología

Los autores proponen MapTab, un benchmark multimodal diseñado específicamente para evaluar el razonamiento holístico en grafos heterogéneos mediante tareas de planificación de rutas (Route Planning - RP).

• Estructura del Benchmark:

  • Escenarios: Se definen dos escenarios principales:
    1. Metromap: Redes de metro de 160 ciudades en 52 países (160 mapas).
    2. Travelmap: Mapas de rutas turísticas de 19 países con 168 atracciones (168 mapas).
  • Datos Multimodales: A diferencia de los benchmarks tradicionales que usan solo "imagen + texto", MapTab utiliza un enfoque de colaboración visión-estructurada:
    • Imagen (I): Mapas de alta resolución que muestran la topología visual.
    • Tablas Estructuradas:
      • Edge_tab: Atributos de las conexiones (tiempo, precio, comodidad, fiabilidad).
      • Vertex_tab: Atributos de los nodos (estaciones/atracciones), incluyendo tiempos de espera y transferencias.
  • Consultas (Queries):
    • RP (Route Planning): 196,800 consultas que requieren encontrar la ruta óptima $r^*$ minimizando una función de costo ponderada por cuatro criterios ($w_1$ Tiempo, $w_2$ Precio, $w_3$ Comodidad, $w_4$ Fiabilidad).
    • QA (Question Answering): 3,936 consultas para evaluar capacidades específicas como localización, conteo y trazado de trayectorias.
  • Dificultad: Los datos se estratifican en niveles de dificultad (Fácil, Medio, Difícil) basados en métricas de complejidad del grafo (tamaño, densidad, longitud de caminos) y complejidad de la consulta.

• Proceso de Construcción:

  • Recolección y preprocesamiento de mapas de fuentes públicas.
  • Generación de tablas mediante modelos de IA (Gemini-3-Flash) validados con algoritmos deterministas y verificación manual para asegurar la consistencia topológica y semántica.
  • Generación de consultas mediante algoritmos deterministas (Dijkstra) para obtener rutas de referencia exactas.

3. Contribuciones Clave

1. Primer Benchmark Multimodal Multicriterio: MapTab es el primer marco que combina visualización y datos tabulares para evaluar el razonamiento sobre grafos heterogéneos en escenarios de planificación de rutas.
2. Escala y Diversidad: Incluye 328 mapas de alta resolución, cubriendo 52 países y 19 países turísticos, con más de 200,000 consultas generadas, permitiendo un análisis estadístico robusto.
3. Evaluación Exhaustiva de MLLMs: Se evaluaron 15 modelos de última generación (incluyendo Qwen3-VL, GPT-4o, Gemini-3-Flash, Doubao-Seed), comparando modelos de instrucción estándar frente a modelos con mecanismos de "Chain-of-Thought" (CoT) o "Thinking".
4. Análisis de Modalidades: Diseña configuraciones experimentales para probar la colaboración entre modalidades (Mapa + Tabla) y la redundancia de información, revelando cuándo las imágenes son una carga o un beneficio.

4. Resultados Experimentales

La evaluación de 15 MLLMs revela desafíos significativos y patrones de comportamiento específicos:

• Desempeño General: Los modelos actuales enfrentan dificultades sustanciales en el razonamiento multimodal multicriterio. Incluso los modelos más avanzados tienen tasas de coincidencia exacta (EMA) bajas en escenarios complejos.
• Hallazgos Principales:
  1. Anclajes Simbólicos: En escenarios visualmente densos (Metromap), proporcionar tablas estructuradas (Vertex_tab) junto con el mapa mejora drásticamente el rendimiento en comparación con usar solo el mapa. Esto sugiere que los anclajes simbólicos ayudan a alinear entidades y reducir errores de OCR/reconocimiento.
  2. Robustez de las Tablas: Cuando la percepción visual es difícil, las tablas estructuradas superan consistentemente a los mapas. Sin embargo, en escenarios menos complejos (Travelmap), la combinación de imagen y tabla ofrece el mejor rendimiento, indicando que las imágenes siguen siendo necesarias para el límite superior de capacidad.
  3. El Papel del CoT (Chain-of-Thought): Los modelos con capacidades de "Thinking" muestran mejoras notables en la coordinación multimodal bajo condiciones de dificultad perceptiva. Sin embargo, en tareas simples, el CoT puede llevar a un "sobre-pensamiento" (overthinking), degradando el rendimiento.
  4. Trampa del Camino Más Corto: Los modelos tienden a ignorar los criterios complejos y simplemente seguir el camino más corto (en número de paradas) si este coincide casualmente con la ruta óptima multicriterio. En casos donde la ruta óptima difiere, el rendimiento cae casi a cero.
  5. Deficiencias Numéricas y de Razonamiento: Los modelos fallan estrepitosamente en tareas de conteo, comparación numérica y razonamiento de múltiples pasos (especialmente al introducir tiempos de transferencia). La capacidad de razonamiento multicriterio es el cuello de botella principal.

5. Significado e Impacto

• Diagnóstico de Limitaciones: MapTab expone que, aunque los MLLMs son competentes en percepción local y localización, carecen de la capacidad de modelar relaciones de peso en grafos heterogéneos y realizar optimización multicriterio robusta.
• Guía para Futuras Investigaciones: Los resultados sugieren que el futuro del desarrollo de MLLMs debe enfocarse en:
  • Desacoplar la percepción del razonamiento (arquitecturas modulares).
  • Integrar herramientas de razonamiento externo (agentic reasoning) para cálculos numéricos precisos.
  • Mejorar el entrenamiento post-factum (SFT + RL) para la adherencia a restricciones complejas y el razonamiento a largo plazo.
• Aplicabilidad: Este benchmark proporciona una base realista para evaluar la viabilidad de usar MLLMs en sistemas de navegación autónoma, planificación de viajes y agentes inteligentes que operan en entornos urbanos complejos.

En conclusión, MapTab establece un nuevo estándar para evaluar la inteligencia artificial en la toma de decisiones espaciales complejas, demostrando que, aunque los modelos han avanzado, aún están lejos de la capacidad humana para la planificación multicriterio en grafos heterogéneos.