Resumen Técnico: Modelos de Razonamiento Recursivo Generativo (GRAM)

Enunciado del Problema

Los futuros sistemas de razonamiento neuronal enfrentan un desafío central: cómo implementar una computación extendida de manera eficiente. Mientras que los grandes modelos autoregresivos escalan el razonamiento extendiendo la generación de secuencias (por ejemplo, Cadena de Pensamiento), los Modelos de Razonamiento Recursivo (RRM) ofrecen una alternativa al refinar un estado latente persistente mediante la aplicación repetida de funciones de transición compartidas. Este enfoque desacopla la profundidad del razonamiento de la escala de parámetros y la longitud de salida.

Sin embargo, los RRM existentes (por ejemplo, HRM, TRM) son fundamentalmente deterministas. Dada la misma entrada e inicialización, siguen una única trayectoria latente y convergen a una única predicción. Este determinismo colapsa el espacio de trayectorias de razonamiento plausibles en un único atractor, fallando en mantener la incertidumbre, considerar hipótesis alternativas o explorar múltiples estrategias de solución. Esto es particularmente limitante para problemas con ambigüedad intrínseca, múltiples soluciones válidas o donde una única trayectoria de refinamiento puede quedar atrapada en trayectorias de razonamiento subóptimas. La pregunta central abordada es: ¿Puede la computación latente recursiva soportar un razonamiento probabilístico, generativo y de múltiples hipótesis, preservando al mismo tiempo la eficiencia de los modelos recurrentes compactos?

Metodología: Modelos de Razonamiento Recursivo Generativo (GRAM)

GRAM introduce un marco que transforma el razonamiento latente recursivo en computación probabilística de múltiples trayectorias. Trata el proceso de razonamiento como una trayectoria latente estocástica, permitiendo que el modelo mantenga múltiples hipótesis y explore estrategias de solución alternativas.

1. Arquitectura

GRAM modela la distribución condicional $p_\theta(y | x)$ marginalizando sobre trayectorias de razonamiento latente estocásticas. La arquitectura consta de un codificador, un núcleo recursivo y un decodificador, organizados en dos bucles anidados:

• Bucle Interno (Refinamiento de Bajo Nivel): Dentro de una sola transición, un componente latente de bajo nivel $l$ se refina $K$ veces utilizando una función determinista $f_L$, condicionada al estado de alto nivel $h$ y al embedding de entrada $e_x$.

• Bucle Externo (Transición de Alto Nivel): El componente de alto nivel $h$ se actualiza una vez por transición. A diferencia de los RRM deterministas, GRAM define esta actualización como una transición estocástica:

  1. Se calcula una actualización determinista $u_t$: $u_t = f_H(h_{t-1}, l_t; \theta)$.
  2. Se muestrea una guía estocástica aprendible $\epsilon_t$ de una Gaussiana dependiente del estado: $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$.
  3. El nuevo estado es $h_t = u_t + \epsilon_t$.

  Este diseño permite que el modelo capture la incertidumbre y dirija la trayectoria a través de la media $\mu_\theta$, mientras controla la exploración mediante la varianza $\sigma^2_\theta$. El refinamiento de bajo nivel permanece determinista, mientras que la estocasticidad se inyecta únicamente en el estado abstracto de alto nivel.

• Estructura Recursiva: La computación procede a través de $N_{sup}$ pasos de supervisión. El estado terminal de un paso sirve como estado inicial del siguiente, formando una cadena recursiva completa.

2. Entrenamiento

GRAM se entrena utilizando inferencia variacional amortizada para maximizar la Cota Inferior de Evidencia (ELBO).

• Formulación de Variable Latente: El modelo marginaliza sobre trayectorias latentes $\tau$. La ELBO se optimiza con respecto a los parámetros generativos $\theta$ y los parámetros variacionales $\phi$.
• Supervisión Profunda: Para proporcionar señales de aprendizaje densas, el modelo aplica supervisión profunda sobre $N_{sup}$ pasos consecutivos. Los gradientes se propagan solo a través de la transición final de cada paso de supervisión (retropropagación truncada) para garantizar la eficiencia de memoria, sirviendo como un objetivo sustituto para la ELBO completa.
• Generación Incondicional: Al reemplazar la entrada con un embedding de condicionamiento vacío, el mismo proceso recursivo define un modelo generativo incondicional $p_\theta(x)$.

3. Escalado en Tiempo de Inferencia

GRAM soporta dos ejes de escalado:

• Profundidad: Utilizando Tiempo de Computación Adaptativo (ACT), las trayectorias pueden terminar en una profundidad de parada aprendida.
• Ancho: El modelo muestrea múltiples trayectorias latentes en paralelo desde el prior aprendido. Los candidatos se seleccionan mediante votación mayoritaria o un Modelo de Recompensa de Proceso Latente (LPRM), que predice la calidad final de una trayectoria a partir de su estado latente. Esto permite escalar la inferencia sin aumentar la longitud de recursión secuencial.

Contribuciones Clave

1. Formulación Probabilística: Los autores formulan el razonamiento recursivo como un proceso generativo de variables latentes donde las soluciones se obtienen marginalizando sobre trayectorias de razonamiento estocásticas, en lugar de seguir una única trayectoria determinista.
2. Escalado Basado en Ancho: El artículo introduce un escalado en tiempo de inferencia "basado en ancho", permitiendo mejoras de rendimiento mediante el muestreo paralelo de múltiples trayectorias latentes, complementando el escalado tradicional basado en profundidad.
3. Validación Empírica: Los autores proporcionan evidencia de que esta formulación produce ventajas arquitectónicas sobre las líneas base recurrentes y recursivas deterministas, específicamente en razonamiento estructurado, satisfacción de restricciones de múltiples soluciones y generación incondicional.

Resultados Experimentales

GRAM fue evaluado en tareas de razonamiento y generación controladas, comparándose con líneas base deterministas (Transformers en Bucles, HRM, TRM) y grandes modelos de razonamiento (LRM) como referencias externas.

• Razonamiento Estructurado (Sudoku-Extreme, ARC-AGI): GRAM supera consistentemente a las líneas base recursivas deterministas. En Sudoku-Extreme, GRAM alcanza una precisión del 97.0% en comparación con el 87.4% de TRM y el 55.0% de HRM. En ARC-AGI-1, GRAM alcanza el 52.0%, superando a TRM (44.6%) y HRM (40.3%). Los autores atribuyen esto a la capacidad de explorar diversas trayectorias de razonamiento.
• Tareas de Múltiples Soluciones (N-Reinas, Coloreado de Grafos): Los modelos deterministas sufren colapso de modos a medida que aumenta el número de soluciones válidas. GRAM mantiene una precisión consistente independientemente del número de soluciones. En N-Reinas 8x8, GRAM alcanza una precisión del 99.7% y una cobertura del 90.3% (soluciones válidas únicas encontradas), superando significativamente a los modelos deterministas (máximo 36.1% de cobertura) y a las líneas base generativas como AR (84.8% de cobertura).
• Generación Incondicional:
  • MNIST Binario: GRAM produce dígitos reconocibles con Puntuaciones de Incepción (IS) y FID comparables a D3PM, mientras que la línea base determinista TRM exhibe un severo colapso de modos (FID 303.29).
  • Generación de Sudoku: Desde un tablero vacío, GRAM genera tableros de Sudoku válidos con un 99.05% de validez utilizando solo 16 pasos de inferencia y 10.9M de parámetros, superando a las líneas base D3PM que utilizan hasta 1000 pasos y 55.1M de parámetros.
• Estudios de Ablación: Eliminar la guía estocástica conduce a caídas de rendimiento, particularmente en tareas de múltiples soluciones. Eliminar la estocasticidad por completo causa un fallo total (0% de precisión), confirmando que las ganancias provienen del marco variacional y no de la mera aleatoriedad.

Significado y Afirmaciones

El artículo afirma que GRAM establece la recursión de múltiples trayectorias probabilísticas como un principio de diseño para futuras arquitecturas de razonamiento recurrente y recursivo. Al convertir la recursión determinista en un proceso generativo, GRAM permite:

• Exploración Robusta: La capacidad de navegar espacios de problemas complejos y escapar de mínimos locales manteniendo múltiples hipótesis.
• Escalado Eficiente: Un nuevo eje para el escalado en tiempo de inferencia (ancho) que elude los cuellos de botella de latencia del escalado basado únicamente en profundidad.
• Modelado Unificado: La capacidad de funcionar tanto como un modelo de razonamiento condicional ($p(y|x)$) como un modelo generativo incondicional ($p(x)$) utilizando el mismo mecanismo recursivo.

Los autores señalan que, aunque GRAM demuestra potencial en razonamiento estructurado y generación, la naturaleza secuencial de la supervisión profunda limita la eficiencia del entrenamiento en comparación con los Transformers, lo que plantea una barrera para escalar hacia modelos fundacionales más grandes. También advierten que las generaciones plausibles pero inválidas podrían confundirse con soluciones verificadas en entornos de alto riesgo, haciendo necesaria una validación rigurosa y una calibración de la incertidumbre.