💻 computer science

QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi

Este artículo presenta QSTRBench, una evaluación integral diseñada para evaluar las capacidades de razonamiento espacial y temporal cualitativo de los modelos de lenguaje grandes en diversos cálculos, revelando que, aunque los modelos actuales superan la adivinanza aleatoria, luchan con la consistencia y muestran variaciones significativas en el rendimiento dependiendo de la complejidad de la tarea de razonamiento.

Autores originales: Anthony G. Cohn, Robert E. Blackwell

Publicado 2026-05-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Anthony G. Cohn, Robert E. Blackwell

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que ha leído casi todos los libros, sitios web y artículos de internet. Podrías pensar: "Si lo sabe todo, debe ser un genio en lógica, ¿verdad?"

Este artículo, QSTRBench, es como un "gimnasio de lógica" muy específico y muy complicado, diseñado para probar si ese robot está realmente pensando o simplemente adivinando basándose en patrones que memorizó.

Aquí tienes el desglose de lo que hicieron los autores, usando analogías simples:

1. La Prueba: "El Gimnasio de Lógica"

Los investigadores crearon una prueba de referencia llamada QSTRBench. Piensa en esto como un gimnasio con tres tipos específicos de máquinas:

La Máquina "Inversa" (Converso): Si "A está a la izquierda de B", ¿qué es B respecto a A? (Respuesta: Derecha).
La Máquina "Reacción en Cadena" (Composición): Si A está a la izquierda de B, y B está a la izquierda de C, ¿dónde está A en relación con C? (Respuesta: Izquierda).
La Máquina "Vecino" (Vecinos Conceptuales): Si mueves lentamente el objeto A hacia el objeto B, ¿cuáles son las posiciones posibles inmediatas que podrían tener antes de tocarse?

Probaron estas máquinas usando nueve "idiomas" diferentes del espacio y el tiempo. Algunos eran simples (como solo decir "antes" o "después"), y otros eran increíblemente complejos (involucrando formas que pueden ser cóncavas, convexas o tener agujeros).

2. La Parte Difícil: "El Disfraz"

Los investigadores sabían que estos modelos de IA son excelentes para memorizar respuestas de sus datos de entrenamiento. Así que no solo hicieron las preguntas de forma normal. Intentaron engañar a los modelos:

La Prueba de la "Palabra Falsa": En lugar de decir "TPP" (un término técnico para "tocando pero dentro"), usaron palabras sin sentido inventadas como "Zorp". Si el modelo aún acertaba, estaba razonando realmente. Si fallaba, solo estaba memorizando la palabra real.
La Prueba de la "Imagen": En lugar de palabras, usaron diagramas simples de arte ASCII.
La Prueba de "Intercambio": Intercambiaron las definiciones. Le dijeron al modelo: "En este juego, 'Tocando' significa 'Lejos'". Si el modelo seguía la nueva regla, estaba pensando. Si se aferraba a la definición antigua, solo estaba recitando memoria.

3. Los Resultados: "Los Estudiantes Inteligentes pero Defectuosos"

El artículo probó 32 modelos de IA diferentes, desde los pequeños que se ejecutan en portátiles hasta los modelos "de vanguardia" masivos que cuestan mucho para ejecutar.

No están adivinando: Cada modelo obtuvo mejores resultados que el azar.
No son perfectos: Ninguno de los modelos respondió correctamente el 100% de las preguntas. Incluso los más inteligentes cometieron errores.
La Brecha entre "Fácil" y "Difícil":
- Modo Fácil: Los modelos fueron excelentes en preguntas simples de tiempo (como "antes" y "después"). Es como si fueran buenos en aritmética básica.
- Modo Difícil: Los modelos lucharon terriblemente con formas espaciales complejas (específicamente un sistema llamado RCC-22). Es como pedirle a un genio de las matemáticas que resuelva un problema de cálculo mientras hace malabares; se confunden por la complejidad.
El Costo de "Pensar": Los modelos que intentaron "pensar más" (usando más potencia de procesamiento) generalmente obtuvieron mejores resultados, pero también fueron más lentos y mucho más costosos de ejecutar. A veces, pensar demasiado en realidad los hizo peores en tareas específicas.

4. La Gran Sorpresa: "La Alucinación"

El artículo descubrió que cuando estos modelos no sabían la respuesta, no solo decían "No lo sé". A veces, inventaban nuevas palabras.

Analogía: Imagina que le preguntas a un estudiante: "¿Qué es 2 + 2?" y él responde con confianza: "Es un 'Flurg'".
Los modelos inventaban nombres de relaciones falsas que no existían en las reglas que se les dieron. Esto sugiere que están tratando de llenar los vacíos con confianza en lugar de seguir una lógica estricta.

5. La Conclusión: "Coincididores de Patrones, No Lógicos"

Los autores concluyen que, aunque estos modelos de IA son impresionantes, aún no son verdaderos razonadores lógicos.

Dependen en gran medida de lo que han leído antes. Cuando disfrazas la pregunta (usando palabras falsas o diagramas), su rendimiento disminuye.
Son inconsistentes. Si haces la misma pregunta dos veces, podrían dar dos respuestas diferentes.
Por ahora, si necesitas que una computadora realice lógica espacial estricta y libre de errores, un programa informático tradicional (como una calculadora) sigue siendo mejor que estos modelos de IA. La IA es un "adivinador inteligente", no una "máquina de lógica".

En resumen: El artículo construyó un circuito de obstáculos riguroso para ver si la IA puede realmente entender el espacio y el tiempo. ¿El veredicto? Están mejorando, pero aún son propensos a la confusión, la inconsistencia y a inventar hechos cuando el camino se vuelve demasiado complejo.

Resumen Técnico de QSTRBench: Un Nuevo Punto de Referencia para Evaluar la Capacidad de los Modelos de Lenguaje para Razonar con Cálculos Espaciales y Temporales Cualitativos

Enunciado del Problema
El Razonamiento Espacial y Temporal Cualitativo (QSTR) es un campo bien establecido concernido con la representación y el razonamiento sobre información cualitativa (por ejemplo, "a la izquierda de", "antes de", "parte de") utilizando cálculos formales. Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado capacidades impresionantes en el procesamiento del lenguaje natural, su capacidad para realizar un razonamiento riguroso dentro de estos sistemas formales sigue sin verificarse. Las referencias existentes a menudo carecen de una cobertura sistemática de las tareas de inferencia centrales de QSTR o dependen de preguntas informales no fundamentadas en cálculos específicos. Además, existe un debate sobre si los LLM razonan genuinamente o simplemente replican patrones de los datos de entrenamiento. Este artículo aborda la cuestión de si los LLM contemporáneos pueden realizar las tareas de razonamiento específicas asociadas con los cálculos de QSTR: determinar relaciones inversas, calcular composiciones relacionales e identificar vecindades conceptuales.

Metodología
Los autores introducen QSTRBench, un punto de referencia integral diseñado para probar LLMs en nueve cálculos de QSTR distintos: Álgebra de Puntos (PA), Álgebra de Intervalos de Allen (IA), Intervalo y Duración (INDU), Cálculo de Conexión de Regiones (RCC-5, RCC-8, RCC-22), el Modelo de Nueve Intersecciones (9IM), Cálculo de Dirección Cardinal (CDC) y STAR Revisado.

El punto de referencia evalúa tres tareas de inferencia específicas para cada cálculo:

Inversa: Dada una relación $R(x, y)$ , determinar la relación $R^{-1}(y, x)$ .
Tabla de Composición (CT): Dadas $R_1(x, y)$ y $R_2(y, z)$ , determinar las relaciones posibles entre $x$ y $z$ .
Vecindad Conceptual (CN): Identificar relaciones que pueden seguir directamente a una relación dada bajo deformación continua o traducción.

El conjunto de datos comprende 1.806 preguntas que cubren 102 relaciones base en los cálculos seleccionados. Para probar la robustez y la posibilidad de coincidencia de patrones frente a un razonamiento genuino, los autores crearon un conjunto de datos extendido (QSTRBenchExtended) con 14.372 preguntas. Este conjunto extendido varía la presentación de las indicaciones mediante:

Notación: Prefijo vs. infijo.
Terminología: Palabras estándar en inglés, símbolos matemáticos y palabras "noce" (términos generados aleatoriamente sin significado semántico).
Estilos de Descripción: Texto en lenguaje natural, diagramas ASCII esquemáticos y fórmulas LaTeX.
Anonimización: Intercambio de nombres de relaciones (por ejemplo, etiquetar "TPP" como "EC") para probar si los modelos dependen de datos de entrenamiento o de lógica específica de la indicación.

El estudio evaluó 32 LLM contemporáneos, que van desde modelos comerciales de vanguardia (por ejemplo, GPT-5.2, Gemini-2.5-Pro, Grok-4) hasta modelos de pesos abiertos más pequeños (por ejemplo, Llama-3, Gemma-3). Los experimentos se realizaron con configuraciones estrictas de temperatura (0.01) para minimizar la estocasticidad, y los resultados se reportaron como promedios micro de precisión.

Contribuciones Clave

Creación del Punto de Referencia: El lanzamiento de QSTRBench y QSTRBenchExtended, proporcionando el primer conjunto de datos extenso y de código abierto para evaluar el razonamiento QSTR en LLMs a través de múltiples cálculos y variaciones de indicaciones.
Datos Nuevos: La publicación de la Vecindad Conceptual (CN) de RCC-22 por primera vez, derivada y verificada por los autores.
Evaluación Sistemática: Una evaluación rigurosa de 32 modelos en tres tareas de inferencia, analizando el rendimiento no solo por precisión sino también por uso de tokens, trazas de razonamiento y consistencia en repeticiones.
Rigor Metodológico: El uso de palabras "noce" y descripciones esquemáticas para sondear si los modelos están recuperando hechos memorizados o realizando inferencia lógica.

Resultados

Rendimiento General: Todos los modelos probados funcionaron mejor que el azar, pero ningún modelo respondió consistentemente todas las preguntas correctamente. El rendimiento varió significativamente según el cálculo y el tipo de tarea.
Dificultad de la Tarea: Los modelos funcionaron mejor en preguntas de Inversa, seguidas por preguntas de Tabla de Composición (CT), siendo las preguntas de Vecindad Conceptual (CN) las más desafiantes.
Dificultad del Cálculo: El Álgebra de Puntos (PA) fue la más directa (mayor precisión), mientras que RCC-22 fue la más difícil. Curiosamente, la precisión no se correlacionó estrictamente con el número de relaciones base; por ejemplo, INDU (25 relaciones) fue más fácil que RCC-22 (22 relaciones).
Rendimiento del Modelo:
- GPT-5.2 (con alto esfuerzo de razonamiento) surgió como el mejor rendimiento general, logrando puntuaciones casi perfectas en PA, CDC y STAR, aunque aún tuvo dificultades con RCC-22.
- GPT-5.1 de OpenAI tuvo un rendimiento pobre (0.22 de precisión), funcionando significativamente peor que su predecesor (GPT-5) y su sucesor (GPT-5.2), lo que sugiere problemas con su configuración de "razonamiento adaptativo".
- Modelos Pequeños: Los modelos más pequeños (por ejemplo, Gemma-3 1B, Llama-3 8B) funcionaron muy mal, a menudo fallando en comprobaciones básicas de identidad o transitividad.
Razonamiento vs. Recuperación:
- Los modelos generalmente mantuvieron una alta precisión con indicaciones estándar pero mostraron un rendimiento degradado cuando los nombres de las relaciones se intercambiaron o reemplazaron con palabras "noce", lo que sugiere una dependencia de patrones de datos de entrenamiento.
- Sin embargo, o1 y GPT-5.2 mostraron cierta capacidad para generalizar incluso cuando las descripciones eran esquemáticas o los nombres estaban anonimizados, aunque la precisión disminuyó significativamente con diagramas esquemáticos en comparación con el texto.
- Alucinaciones: Los modelos alucinaron frecuentemente nombres de relaciones inexistentes (por ejemplo, "TPPPi" o relaciones INDU inválidas), lo que indica una falta de comprensión semántica profunda de los cálculos.
Uso de Tokens: Cálculos más complejos (como RCC-22) requirieron significativamente más tokens de salida (órdenes de magnitud más que PA) para modelos de alto razonamiento, aunque esto no garantizó una precisión perfecta.

Significado y Afirmaciones
El artículo afirma que, si bien los LLM demuestran una capacidad para simular el razonamiento (superando al azar), aún no poseen capacidades de razonamiento fiables y consistentes para los cálculos formales de QSTR. Los autores enfatizan que:

Inconsistencia: Incluso los mejores modelos producen respuestas diferentes a la misma pregunta en repeticiones, incluso con semillas fijas.
Limitaciones de los Datos de Entrenamiento: La caída en el rendimiento con palabras "noce" e indicaciones esquemáticas sugiere que los modelos actuales dependen en gran medida de patrones memorizados de los corpus de entrenamiento en lugar de derivar respuestas de primeros principios.
Barrera de Complejidad: La dificultad de RCC-22 en comparación con cálculos más simples destaca un límite en las capacidades actuales de los modelos en cuanto a topologías espaciales complejas.
Utilidad Futura: El punto de referencia sirve como una herramienta necesaria para rastrear el progreso en el razonamiento de la IA. Los autores sugieren que, aunque los LLMs eventualmente puedan reemplazar a los razonadores simbólicos, los enfoques neurosimbólicos actuales (usando LLMs para traducir lenguaje natural a solucionadores simbólicos) aún son propensos a errores de traducción que causan fallos posteriores.

El artículo concluye modestamente, señalando que la evaluación es una instantánea de un campo en rápida evolución y que el valor duradero principal reside en el punto de referencia en sí y en la metodología para probar la robustez del razonamiento.

1. La Prueba: "El Gimnasio de Lógica"

2. La Parte Difícil: "El Disfraz"

3. Los Resultados: "Los Estudiantes Inteligentes pero Defectuosos"

4. La Gran Sorpresa: "La Alucinación"

5. La Conclusión: "Coincididores de Patrones, No Lógicos"

Más como este