Reasoning Capabilities of Large Language Models. Lessons Learned from General Game Playing

Resumen Técnico: Capacidades de Razonamiento de los LLMs en Entornos de Juego General (GGP)

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grande (LLMs) han demostrado avances significativos en tareas de procesamiento de lenguaje natural, su fiabilidad en entornos de razonamiento estructurado y formal sigue siendo una incógnita crítica. Existe una tendencia creciente a delegar tareas de razonamiento a estos modelos en flujos de trabajo de toma de decisiones. Sin embargo, es necesario determinar hasta qué punto los LLMs pueden realizar inferencias lógicas precisas sin depender de correlaciones lingüísticas superficiales o conocimiento previo de dominios específicos.

El problema central abordado es la capacidad de los LLMs para simular correctamente la dinámica de sistemas gobernados por reglas lógicas formales (como transiciones de estado y generación de acciones legales) en un entorno donde la "verdad" es objetiva y verificable, eliminando la ambigüedad del lenguaje natural.

2. Metodología

Los autores utilizaron el marco de Juego General (General Game Playing - GGP) y el Lenguaje de Descripción de Juegos (GDL) como banco de pruebas experimental.

• Entorno Experimental:

  • Se seleccionaron 35 juegos de un repositorio público de 86 descripciones GDL.
  • El GDL es un lenguaje de programación lógica basado en Datalog que define reglas, hechos y transiciones de estado de manera declarativa.
  • La evaluación se realizó contra un simulador GDL exacto que sirve como "verdad fundamental" (ground truth).

• Tareas Evaluadas:
  Se diseñaron cuatro tareas de complejidad creciente:

  1. Generación del siguiente estado: Dado un estado actual y un movimiento conjunto, predecir el estado resultante.
  2. Generación de acciones legales: Enumerar todas las acciones válidas disponibles para los jugadores en un estado dado.
  3. Generación de estado multietapa: Simular una secuencia de $n$ movimientos y predecir el estado final.
  4. Generación de acción-estado multietapa: Generar una secuencia válida de movimientos y el estado resultante (requiere inferencia de acciones y transiciones simultáneamente).

• Modelos Evaluados:
  Se compararon cuatro modelos de diferentes arquitecturas y tamaños:

  • Gemini 2.5 Pro y Gemini 2.5 Flash (Propietarios, estado del arte).
  • Llama 3.3 70B y GPT-OSS 120B (Código abierto).

• Variables de Control y Obfuscación:
  Para distinguir entre razonamiento simbólico puro y dependencia semántica (memorización de términos como "caballo" o "ajedrez"), se aplicaron tres variantes de ofuscación a los nombres de los predicados y constantes del GDL:

  1. Términos marcadores: Reemplazo por term1, term2, etc.
  2. Palabras de diccionario: Reemplazo por sustantivos neutros (ej. "silla", "bosque").
  3. Cadenas aleatorias: Reemplazo por strings alfanuméricos aleatorios.

• Métricas:

  • Índice de Jaccard (JI): Mide la superposición entre el conjunto de hechos generados y el conjunto de hechos correctos.
  • Tasa de Éxito Estricto (%S): Porcentaje de casos donde la salida es 100% correcta (sin errores ni hechos redundantes).

3. Contribuciones Clave

1. Adaptación del GGP como Benchmark: Establecimiento del marco GGP/GDL como una herramienta rigurosa para evaluar el razonamiento lógico de los LLMs, superando las limitaciones de los benchmarks basados en preguntas y respuestas de un solo paso.
2. Evaluación Comparativa Exhaustiva: Análisis detallado de cuatro modelos contemporáneos en tareas de simulación simbólica, revelando diferencias significativas basadas en la arquitectura y el tamaño.
3. Análisis de Correlación Estructural: Identificación de qué características estructurales de los juegos (profundidad de reglas, número de condiciones, complejidad composicional) correlacionan negativamente con el rendimiento de cada modelo.
4. Estudio de Aterrizaje Semántico: Demostración de que los modelos fuertes pueden razonar simbólicamente incluso cuando los identificadores carecen de significado lingüístico, aunque el rendimiento decae ligeramente sin pistas semánticas en horizontes largos.
5. Caracterización de Errores: Documentación sistemática de fallos comunes, como la alucinación de reglas inexistentes, la persistencia de hechos redundantes y errores de sintaxis.

4. Resultados Principales

• Rendimiento General:

  • Gemini 2.5 Pro obtuvo el mejor rendimiento en todas las tareas, seguido por Gemini 2.5 Flash, GPT-OSS 120B y Llama 3.3 70B.
  • En la Tarea 1 (Siguiente estado), los modelos más fuertes alcanzaron una precisión >95% en la mayoría de los juegos.
  • En tareas Multietapa (Tareas 3 y 4), el rendimiento decae a medida que aumenta el horizonte de razonamiento (número de pasos). La tasa de éxito estricto (%S) cae significativamente, indicando que los errores locales se acumulan rápidamente.

• Impacto de la Obfuscación:

  • Los modelos mantienen una capacidad razonable de razonamiento incluso con identificadores aleatorios, lo que sugiere que no dependen exclusivamente de la memorización de juegos específicos en sus datos de entrenamiento.
  • Sin embargo, la ofuscación con palabras de diccionario fue la más perjudicial, ya que introduce significados semánticos que entran en conflicto con las reglas lógicas del juego, confundiendo a los modelos.
  • La brecha de rendimiento entre el modelo original y el ofuscado se amplía con la longitud de la cadena de razonamiento, especialmente en modelos menos potentes.

• Correlaciones con Propiedades del Juego:

  • Gemini 2.5 Pro: Su rendimiento se ve más limitado por la profundidad de las reglas (complejidad recursiva).
  • Gemini 2.5 Flash y GPT-OSS: Son más sensibles a la longitud total de las reglas y la complejidad del espacio de búsqueda, más que a la profundidad lógica.
  • Llama 3.3 70B: Muestra una fuerte correlación con la propiedad de "convergencia" (si los hechos se eliminan o solo se añaden), sugiriendo limitaciones fundamentales en la tratabilidad de la dinámica del juego más que en la lógica específica.

• Tipos de Errores Comunes:

  • Alucinación de reglas: El modelo infiere reglas que no existen en el GDL (ej. asumir restricciones de movimiento basadas en conocimiento externo).
  • Hechos redundantes: Mantener hechos en el estado que deberían haber sido eliminados por las reglas de transición.
  • Violación de restricciones: Proponer movimientos ilegales (ej. movimientos diagonales en juegos restringidos a ortogonales).
  • Errores de formato: Fallos en la sintaxis de salida (paréntesis, separadores) que invalidan la parseabilidad.

5. Significado e Implicaciones

El estudio demuestra que los LLMs contemporáneos han logrado un progreso sustancial en el razonamiento simbólico formal, superando conclusiones de literatura anterior que sugerían fallos sistemáticos en dominios lógicos. Sin embargo, el documento advierte que:

1. No son simuladores simbólicos perfectos: Su rendimiento disminuye drásticamente en cadenas de razonamiento largas donde los errores se propagan. No deben utilizarse como únicos motores de inferencia en aplicaciones críticas sin verificación externa.
2. Dependencia del contexto: Aunque pueden razonar con símbolos abstractos, las pistas semánticas (nombres significativos) ayudan a mantener la coherencia en horizontes largos.
3. Necesidad de Verificación: Para aplicaciones de alto riesgo, se recomienda estructurar la interacción de forma iterativa (verificar reglas, validar estados intermedios) o utilizar solucionadores simbólicos externos para validar la salida del LLM.

En conclusión, el marco GGP/GDL se presenta como una herramienta esencial y rigurosa para medir la verdadera capacidad de razonamiento lógico de los LLMs, separando la competencia simbólica de la familiaridad lingüística.