ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models

El artículo presenta ItinBench, un nuevo benchmark que evalúa la capacidad de planificación de los modelos de lenguaje grande integrando razonamiento espacial y verbal en la creación de itinerarios de viaje, revelando que estos modelos tienen dificultades para mantener un rendimiento consistente al manejar múltiples dimensiones cognitivas simultáneamente.

Lo esencial

¡Claro que sí! Imagina que los Modelos de Lenguaje Grandes (como los que usan Chatbots avanzados) son como cocineros geniales que han leído todos los libros de cocina del mundo. Pueden escribir recetas perfectas, describir sabores deliciosos y conversar sobre gastronomía con mucha elocuencia.

Sin embargo, el problema que plantea este paper es el siguiente: ¿Puede este chef no solo escribir una receta, sino también ir al mercado, elegir los ingredientes frescos, calcular la ruta más rápida para visitar cinco tiendas diferentes sin perder tiempo, y luego volver a casa?

Aquí te explico el paper "ItinBench" usando esta analogía culinaria y de viaje:

1. El Problema: El Chef que se pierde en el mapa

Hasta ahora, evaluábamos a estos "chefs" (IA) solo preguntándoles cosas verbales: "¿Qué ingredientes necesito?" o "¿Cómo se llama este plato?". Eran geniales respondiendo.

Pero en la vida real, planear un viaje es como organizar una cena para 100 personas en 5 ciudades diferentes. Necesitas dos tipos de habilidades:

• Razonamiento Verbal: Entender que el cliente quiere "comida picante" y "hotel barato".
• Razonamiento Espacial: Entender que el restaurante está a 20 minutos del hotel, pero el museo está al otro lado de la ciudad, y si vas en ese orden, perderás 3 horas en el tráfico.

El paper dice: "¡Oye! Hemos estado probando solo su capacidad de hablar, pero no su capacidad de 'ver' el mapa y calcular distancias".

2. La Solución: ItinBench (El "Examen de Viajero")

Los autores crearon un nuevo examen llamado ItinBench. Imagina que es un simulador de viaje donde le das a la IA una misión:

"Planea un viaje de 3 días en Filadelfia. Quiero comer sushi fresco, visitar museos de historia y dormir en un hotel con buen servicio. ¡Y por favor, optimiza la ruta para no dar vueltas innecesarias!"

El examen tiene cuatro niveles de dificultad, como un videojuego:

1. Nivel Fácil: Solo lee la lista de deseos y elige los lugares (solo habla).
2. Nivel Medio: Lee los deseos y trata de ordenar la ruta (habla + intenta calcular).
3. Nivel Difícil: Le das una lista ya filtrada (solo tiene que ordenar la ruta, sin buscar).
4. Nivel Experto: La IA debe usar "herramientas" (como un GPS o una base de datos) para buscar la información ella misma antes de planear.

3. Los Resultados: La Sorpresa

Cuando pusieron a prueba a las IAs más famosas (como GPT-4, Gemini, Llama), descubrieron algo interesante y un poco decepcionante:

• Son buenos hablando, pero malos calculando: Cuando la IA solo tenía que elegir restaurantes por "sabor" (razonamiento verbal), lo hacía bien. Pero en cuanto le pedían que optimizara la ruta (razonamiento espacial), se volvía torpe.
• El efecto "Caminar en círculos": Las rutas que sugerían las IAs a menudo tenían un 20% a 38% de distancia extra innecesaria. ¡Es como si el chef decidiera ir a comprar pan, luego a la lechuga, luego volver a la panadería y luego a la lechuga, en lugar de ir a la tienda que vende ambos!
• El truco de las "pistas": Si les dabas a las IAs un mapa ya dibujado con los lugares agrupados (ej: "estos tres museos están juntos"), mejoraban mucho. Esto sugiere que no están "imaginando" el espacio como un humano, sino que están leyendo el texto y buscando patrones en las palabras, no en la geografía real.

4. La Analogía Final: El Viajero con un Mapa en la Cabeza vs. Un Libro

Imagina que tienes dos viajeros:

• El Viajero Humano: Cierra los ojos, visualiza la ciudad, siente la distancia entre dos puntos y traza una línea mentalmente.
• El Viajero IA (según este paper): Tiene un libro gigante de direcciones. Si le dices "A está cerca de B", lo anota. Pero si le pides que imagine la ruta óptima sin que le digas explícitamente "A y B están en el mismo barrio", se confunde y hace un camino de zigzag.

¿Por qué importa esto?

El paper concluye que para que las IAs sean verdaderos "agentes" capaces de ayudarnos en el mundo real (no solo chateando), necesitamos entrenarlas para que entiendan el espacio y la geometría, no solo las palabras.

En resumen:
ItinBench es como un examen de conducir para las IAs. Hasta ahora, solo les preguntábamos si sabían las reglas de tránsito (verbal). Ahora les estamos pidiendo que manejen el coche por una ciudad real con tráfico, semáforos y curvas (espacial). Y la noticia es: todavía necesitan mucha práctica para no chocar ni dar vueltas innecesarias.

El mensaje final es que, para construir una Inteligencia Artificial verdaderamente inteligente, no basta con que sea buena hablando; debe aprender a "ver" y "sentir" el mundo que la rodea.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models" en español.

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) han demostrado capacidades avanzadas en tareas de razonamiento y planificación, pero las evaluaciones tradicionales se centran predominantemente en el razonamiento verbal (lógico, matemático y lingüístico) dentro de entornos controlados.

Existe una brecha significativa en la evaluación de las capacidades de los LLMs en el razonamiento espacial, un componente fundamental de la cognición humana necesario para tareas del mundo real como la navegación y la optimización de rutas. La mayoría de los benchmarks actuales de planificación de viajes (como TravelPlanner) se centran en la selección de puntos de interés (POI) basada en preferencias textuales, ignorando la complejidad de organizar geográficamente esos puntos para minimizar la distancia de viaje.

El problema central es: ¿Pueden los LLMs mantener un alto rendimiento cuando deben coordinar simultáneamente el razonamiento verbal (selección basada en preferencias) y el razonamiento espacial (optimización de rutas)? Además, ¿existe una compensación (trade-off) en el rendimiento cuando se exigen ambas capacidades a la vez?

2. Metodología: ItinBench

Los autores presentan ItinBench, un nuevo benchmark diseñado para evaluar a los LLMs en la planificación de itinerarios de viaje integrando dos dimensiones cognitivas:

• Dominio de Datos: Se utiliza un subconjunto de datos de negocios de Filadelfia (restaurantes, hoteles y atracciones) extraídos de Yelp, enriquecido con atributos extraídos de reseñas de usuarios (calidad, sabor, ubicación, etc.).

• Tareas de Evaluación: Se proponen cuatro tareas principales que varían en la complejidad del razonamiento verbal y espacial:

  1. Todos los datos, sin optimización de ruta: Evalúa solo el razonamiento verbal (selección de POI según preferencias).
  2. Todos los datos, con optimización de ruta: Evalúa la capacidad de manejar tareas verbales complejas mientras se intenta optimizar rutas espaciales sin ayuda de agrupamiento previo.
  3. Datos filtrados, con optimización de ruta: Reduce la carga verbal (los datos ya están filtrados por preferencias) para evaluar el enfoque puro en la optimización espacial.
  4. Uso de herramientas con optimización de ruta: Evalúa la capacidad de los modelos para usar herramientas (APIs) en un estilo ReAct para recopilar información y luego planificar.

• Métricas de Evaluación:

  • Razonamiento Verbal: Se mide mediante la Tasa de Plan Validado (VR), que combina la ausencia de información faltante, la ausencia de selecciones fuera del conjunto de datos (Out-of-Pool) y el cumplimiento de las preferencias del usuario (Micro/Macro).
  • Razonamiento Espacial: Se utilizan métricas basadas en el Problema del Viajante (TSP) adaptado:
    • Distance Gap (DG): Diferencia de distancia entre la ruta propuesta por el LLM y la ruta óptima calculada algorítmicamente.
    • Extra Cluster Jump (ECJ): Mide cuántas veces el modelo salta entre clusters geográficos lejanos en lugar de visitar puntos cercanos secuencialmente.

3. Contribuciones Clave

1. Integración de Razonamiento Verbal y Espacial: ItinBench es el primer benchmark que evalúa simultáneamente la selección de destinos basada en preferencias textuales y la optimización de rutas geográficas en un escenario de planificación de viajes realista.
2. Adaptación de Algoritmos TSP: Los autores adaptaron algoritmos de TSP para evaluar rutas de múltiples días con diferentes hoteles de retorno, permitiendo una evaluación cuantitativa precisa de la eficiencia espacial.
3. Nueva Evidencia sobre las Capacidades de los LLMs: El estudio proporciona datos cuantitativos sobre cómo los modelos actuales fallan al intentar equilibrar múltiples dimensiones cognitivas, revelando que las mejoras en tareas espaciales a menudo dependen de pistas textuales (agrupamiento explícito) en lugar de una verdadera cognición espacial geométrica.

4. Resultados Principales

Los experimentos se realizaron con modelos de código abierto (Llama 3.1 8B, Mistral Large) y cerrados (Gemini 1.5 Pro, GPT-4o, OpenAI o1).

• Dificultad en la Planificación Conjunta: Los LLMs luchan por mantener un rendimiento alto y consistente cuando deben abordar simultáneamente el razonamiento verbal y espacial.
  • La tasa de planes validados (VR) es extremadamente baja (alrededor del 7% al 18%) cuando los modelos deben filtrar datos y optimizar rutas sin ayuda.
  • Incluso con datos pre-filtrados, la VR mejora significativamente (hasta ~66%), pero la capacidad espacial sigue siendo un cuello de botella.
• Compensación (Trade-off) de Rendimiento: Cuando se exige optimización espacial, el rendimiento en el razonamiento verbal tiende a disminuir. Por ejemplo, el modelo o1, que lidera en razonamiento verbal, ve caer su ventaja relativa cuando se le obliga a optimizar rutas, mostrando una degradación de hasta un 20% en comparación con su rendimiento en tareas puramente verbales.
• Dependencia de Pistas Textuales: Los modelos no muestran una mejora significativa en la optimización de rutas a menos que se les proporcionen informaciones de agrupamiento espacial explícitas en el texto.
  • Sin pistas de agrupamiento, el Total Distance Gap (distancia extra recorrida) es alto (~25%).
  • Con pistas de agrupamiento, la distancia extra se reduce (~15%), lo que sugiere que los modelos están utilizando el razonamiento verbal para manipular datos textuales sobre la proximidad, en lugar de realizar una "imaginación" o cálculo espacial genuino.
• Errores de Uso de Herramientas: En la tarea de uso de herramientas, los modelos cometen errores al identificar preferencias difusas en las consultas (ej. "buen sabor" vs "buen servicio"), lo que indica deficiencias en la comprensión semántica fina.

5. Significado e Implicaciones

El trabajo de ItinBench tiene un impacto significativo en la comunidad de IA por varias razones:

• Más allá del Razonamiento Verbal: Demuestra que los benchmarks actuales son insuficientes para evaluar la inteligencia general (AGI) porque ignoran la cognición espacial, un pilar de la inteligencia humana.
• Ilusión de Razonamiento Espacial: Sugiere que el "razonamiento espacial" actual en los LLMs es a menudo una manipulación semántica de datos textuales (ej. leer coordenadas o listas de clusters) en lugar de una capacidad de cálculo geométrico o visualización mental real.
• Dirección Futura: Señala la necesidad de desarrollar testbeds que evalúen la computación espacial nativa (sobre mapas, grafos o coordenadas) en lugar de depender de la amplificación de pistas semánticas.
• Aplicabilidad Real: Proporciona una métrica más realista para agentes de IA en el mundo real, donde la planificación exitosa requiere tanto entender las preferencias del usuario como la viabilidad logística y geográfica de un plan.

En resumen, ItinBench revela que, aunque los LLMs son competentes en tareas lingüísticas, su capacidad para integrar múltiples dimensiones cognitivas (verbal y espacial) sigue siendo frágil, limitando su eficacia como agentes autónomos en escenarios de planificación complejos del mundo real.