Recurrent Reasoning on Symbolic Puzzles with Sequence Models

Resumen Técnico: Razonamiento Recurrente en Puzles Simbólicos con Modelos de Secuencia

Planteamiento del Problema
Los grandes modelos de lenguaje (LLMs) suelen demostrar una competencia aparente en tareas simbólicas y algorítmicas, pero este rendimiento frecuentemente enmascara un comportamiento frágil cuando los problemas aumentan en longitud, dificultad o se desvían ligeramente de la distribución de entrenamiento. Los benchmarks de razonamiento actuales suelen priorizar la producción de una respuesta final válida por encima de la robustez, la minimicidad y la estabilidad del proceso de solución. Este artículo argumenta que, para problemas algorítmicos, la corrección requiere no solo un punto final plausible, sino la capacidad de elegir repetidamente acciones válidas, evitar transiciones ilegales y mantener la consistencia a lo largo de horizontes prolongados. Los autores postulan que el razonamiento algorítmico sirve como un escenario crítico para distinguir la robustez genuina del emparejamiento de patrones superficial.

Metodología: El Benchmark RecurrReason
Para abordar estas limitaciones, los autores introducen RecurrReason, un benchmark de dificultad controlada que comprende cuatro puzles lógicos recurrentes:

1. Mundo de Bloques (Block World): Reorganización de bloques en pilas.
2. Saltos de Damas (Checkers Jumping): Intercambio de posiciones de fichas rojas y azules en un tablero lineal.
3. Torre de Hanoi: Movimiento de discos entre postes bajo restricciones de tamaño.
4. Cruce de Río (River Crossing): Transporte de pares de actor-agente a través de un río con restricciones de seguridad.

El benchmark se construye con las siguientes características:

• Dificultad Escalable: Cada puzle está parametrizado por un entero único $N \in \{1, \dots, 10\}$.
• Trayectorias Óptimas: Todas las instancias se resuelven mediante Búsqueda en Anchura (BFS) para generar trayectorias óptimas, sumando un total de 10,817 puzles únicos y 285,933 movimientos.
• Formulación de la Tarea: La tarea se plantea como un problema de "predecir-el-siguiente-paso". Los modelos reciben el estado actual ($s_t$) y el estado objetivo ($g$) y deben predecir el siguiente estado ($s_{t+1}$). La evaluación implica rollouts autorregresivos sin estados intermedios de verdad fundamental (ground-truth).
• Protocolo de Evaluación: Los modelos son entrenados en instancias donde $N=1$ a $7$ y evaluados en instancias fuera de la distribución (OOD) e in-distribución (dentro del rango $N=1$ a $7$). Las métricas incluyen la tasa de éxito de la trayectoria, la legalidad de los movimientos y la brecha de optimalidad.

Configuración Experimental
El estudio compara dos familias de Transformers bajo condiciones de división de datos y entrenamiento consistentes (desde cero, zero-shot y ajustado/fine-tuned):

1. Estilo T5 (Codificador-Decodificador): Un modelo de 60M de parámetros (T5-small) donde el codificador computa atención bidireccional sobre el estado y el objetivo concatenados, haciendo que el objetivo sea una señal de condicionamiento de "primer orden" en cada paso.
2. Estilo GPT-2 (Solo Decodificador): Un modelo de 124M de parámetros (GPT-2) que utiliza una máscara causal, lo que impide que los tokens del estado actual atiendan a los tokens del objetivo (que aparecen más tarde en la secuencia), creando un cuello de botella estructural para la planificación dirigida a objetivos.

Resultos Clave
Los experimentos revelan que la estructura del puzle es un determinante de la capacidad de aprendizaje más fuerte que la escala del modelo o el preentrenamiento:

• Éxito en Mundo de Bloques: El modelo T5 preentrenado y ajustado alcanzó un 97.27% de precisión en validación y un 8 el 81.00% de precisión OOD. Este éxito se atribuye a la función de transición local del puzle (verificación solo de la parte superior de una pila, complejidad $O(1)$), el crecimiento lineal de la longitud de la solución ($L(N) = O(N)$) y señales de entrenamiento densas.
• Fracaso en otros Puzles:
  • Cruce de Río: Todos los modelos obtuvieron un 0.00% bajo todas las condiciones. El puzle requiere una verificación de restricciones globales ($O(N)$) en cada paso y tiene un espacio de acción combinatorio, lo que derrotó a todas las arquitecturas.
  • Torre de Hanoi: Los modelos alcanzaron como máximo un 11.11% de precisión en validación (solo en casos triviales de $N=1$) y un 0.00% en OOD. El crecimiento exponencial de la longitud de la solución ($2^N - 1$) causa errores acumulativos que impiden la generalización más allá de $N=1$.
  • Saltos de Damas: Los modelos alcanzaron como máximo un 1.11% de precisión en validación, resolviendo solo instancias triviales donde el estado inicial es igual al objetivo. El crecimiento cuadrático de la longitud de la solución y la necesidad de evitar callejones sin salida resultaron insuperables.
• Arquitectura vs. Escala: El modelo T5 más pequeño (60M) superó significativamente al modelo GPT-2 más grande (124M). Los autores atribuyen esto a la capacidad de la arquitectura codificador-decodificador para atender bidireccionalmente al objetivo, mientras que la máscara causal en los modelos solo decodificadores crea un cuello de botella para la planificación.
• Transferencia de Preentrenamiento: Los beneficios del preentrenamiento se observaron solo para puzles con funciones de transición de estructura local (Mundo de Bloques). No proporcionó transferencia para tareas que requieren restricciones globales (Cruce de Río) o descomposición recursiva (Torre de Hanoi).

Análisis de Modos de Fallo
Los autores identifican modos de fallo específicos correlacionados con la estructura del puzle:

• Movimientos Inválidos: Dominaron los fallos en puzles con restricciones globales (Torre de Hanoi, Cruce de Río), indicando una falla en la generalización de restricciones.
• Bucles (Loops): El principal modo de fallo para Mundo de Bloques en modelos solo decodificadores, sugiriendo un aprendizaje parcial de reglas sin selección dirigida al objetivo.
• Paradas Prematuras: Observadas en GPT-2 en la Torre de Hanoi, vinculadas a la sobrerrepresentación estadística de tokens de parada en los datos de entrenamiento.

Significado y Reivindicaciones
El artículo sostiene que los sesgos inductivos arquitectónicos importan más que la escala para el razonamiento algorítmico sistemático. Específicamente:

1. Determinismo Estructural: La capacidad de aprendizaje de un puzle está determinada por tres propiedades estructurales: localidad de la transición, tamaño del espacio de acción y crecimiento de la longitud de la solución. Los autores formalizan un modelo de error acumulativo que muestra que la probabilidad de éxito decae exponencialmente con la longitud de la solución ($P \approx e^{-\epsilon L(N)}$).
2. Condicionamiento de Objetivo: El condicionamiento de objetivo bidireccional (como en T5) es crítico para la planificación dirigida a objetivos, mientras que la atención causal (como en GPT-2) crea un cuello de botella estructural que impide una planificación efectiva incluso con mayores conteos de parámetros.
3. Límites del Preentrenamiento: El preentrenamiento imparte un sesgo inductivo jerárquico que se transfiere solo a tareas con estructuras localmente decomponibles. No equipa inherentemente a los modelos para manejar restricciones globales o profundidad recursiva.
4. Dirección Futura: Los resultados sugieren que el razonamiento de múltiples pasos fiable en LLMs requiere de la búsqueda de arquitecturas o de una verificación explícita de restricciones simbólicas, en lugar de simplemente escalar el tamaño del modelo.

Los autores concluyen que RecurrReason proporciona un banco de pruebas controlado para futuros trabajos sobre generalización de longitud, planificación condicionada a objetivos y los requisitos arquitectónicos para el razonamiento algorítmico sistemático.