Resumen Técnico: AGCLR – Razonamiento Latente Continuo con Compuertas Adaptativas

Identificación del Problema: El Cuello de Botella de los Conceptos

Los Grandes Modelos de Lenguaje (LLMs) han demostrado sólidas capacidades de razonamiento, particularmente cuando son guiados por el prompting de Cadena de Pensamiento (CoT, Chain-of-Thought). Sin embargo, el CoT está limitado a una única pasada hacia adelante donde cada token generado se convierte en la entrada para el siguiente, forzando un compromiso temprano con una ruta de razonamiento. Para abordar esto, se introdujo el paradigma CoCoNuT (Chain of Continuous Thought), que permite a los modelos razonar en un espacio latente continuo alimentando el último estado oculto como la siguiente incrustación (embedding) de entrada. Esto permite una búsqueda en anchura implícita sobre las rutas de razonamiento sin necesidad de tokens discretos.

A pesar de su promesa, los autores identifican una limitación crítica en el CoCoNuT original denominada el cuello de botella de los conceptos. En la inferencia de múltiples pasadas, los estados ocultos intermedios se sobrescriben progresivamente a medida que se generan nuevos tokens latentes. Sin un mecanismo para preservar la información, los hechos críticos computados en las etapas de razonamiento iniciales se pierden a medida que aumenta la profundidad del razonamiento. La evidencia empírica muestra que, si bien el CoCoNuT original se desempeña de manera comparable al CoT en tareas superficiales, su rendimiento se degrada en cadenas de razonamiento profundas (por ejemplo, en GSM8K y ProsQA), no logrando mejorar sobre las líneas de base estándar de CoT en tareas de QA de múltiples saltos como HotpotQA.

Metodología: AGCLR

Para resolver el cuello de botella de los conceptos, los autores proponen AGCLR (Adaptive Gated Continuous Latent Reasoning). Este método aumenta el CoCoNuT con un Flujo de Conceptos con Compuertas (Gated Concept Stream), un vector de memoria residual persistente ($c_t$) mantenido a través de todas las pasadas de razonamiento.

Arquitectura

En cada posición de token latente, el modelo computa un estado oculto ($h_t$) que es procesado a través de tres compuertas sigmoideas aprendidas para controlar el flujo de información entre el estado actual y la memoria persistente:

1. Compuerta de Escritura ($w_t$): Determina qué parte del estado oculto con compuerta actual ($h'_t$) se compromete con el flujo de conceptos. Esto evita que los estados de baja confianza o irrelevantes contaminen la memoria.
2. Compuerta de Lectura ($r_t$): Controla qué cantidad del flujo de conceptos previo ($c_{t-1}$) se recupera e integra en el estado oculto actual, permitiendo al modelo acceder a hechos de pasadas anteriores.
3. Compuerta de Olvido ($f_t$): Determina qué parte del estado oculto actual se preserva frente a la que es reemplazada por la memoria recuperada, permitiendo la poda selectiva del contexto irrelevante.

Las ecuaciones de actualización se definen como:
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

El estado oculto con compuerta $h'_t$ reemplaza a $h_t$ como la entrada para la siguiente posición de token latente, mientras que $c_t$ sirve como la memoria persistente para las pasadas subsecuentes.

Protocolo de Entrenamiento

AGCLR utiliza un enfoque de aprendizaje curricular de múltiples etapas inspirado en CoCoNuT:

• Etapa 0: El modelo se entrena con datos de CoT estándar con pasos de razonamiento explícitos.
• Etapas Subsecuentes: Los pasos de razonamiento explícitos se reemplazan progresivamente por tokens latentes continuos. En la etapa $k$, los primeros $k$ pasos son reemplazados por $k \times c$ tokens latentes.
• Etapa Final: Todo el razonamiento se lleva a cabo en el espacio latente.
  El modelo se entrena en GPT-2 (117M de parámetros) utilizando este currículo a través de tres conjuntos de datos: GSM8K (aritmética), HotpotQA (QA de múltiples saltos) y ProsQA (planificación).

Contribuciones Clave

1. Identificación del Cuello de Botella de los Conceptos: Los autores demuestran empíricamente que el CoCoNuT original sufre de pérdida de información en los estados intermedios a medida que aumenta la profundidad del razonamiento, lo que conduce a una degradación del rendimiento en tareas complejas.
2. Arquitectura AGCLR: La propuesta de un mecanismo de memoria residual con compuertas que resuelve este cuello de botella con solo un incremento del 1.41% en los parámetros sobre el modelo base GPT-2.
3. Ganancias de Rendimiento: AGCLR supera consistentemente al CoCoNuT original en todos los conjuntos de datos probados, con una ventaja de rendimiento que se acumula a medida que aumenta la profundidad del currículo (complejidad del razonamiento).

Resultados

La evaluación en tres benchmarks revela lo siguiente:

• GSM8K (Matemáticas): AGCLR logra un 34.0% de precisión, superando al CoCoNuT original (31.4%) y al CoT base (el CoT base es 40.6%, pero las variantes de CoCoNuT son generalmente más bajas en matemáticas de un solo paso; AGCLR mejora significativamente sobre la línea de base de solo latente).
• HotpotQA (QA de múltiples saltos): AGCLR logra un 14.0% de Coincidencia Exacta (EM), una mejora de +3.6% sobre el CoCoNuT original (10.4%) y una ganancia significativa sobre la línea de base de CoT (11.0%).
• ProsQA (Planificación): AGCLR alcanza un 96.0% de precisión, comparado con el 92.0% del CoCoNuT original. Notablemente, el rendimiento del CoCoNuT original se degrada en la etapa de currículo más profunda (Etapa 6), mientras que AGCLR mantiene la mejora.

Análisis de Retención de Memoria

El análisis de similitud de coseno entre el estado oculto inicial y las pasadas subsecuentes muestra que el CoCoNuT original sufre una degradación de memoria monotónica (la similitud cae de 1.0 a 0.126 para la pasada 6, representando una pérdida de información del 87%). En contraste, AGCLR se estabiliza después de la pasada 3, reteniendo una similitud de ~0.22, lo que corresponde a un 71% más de retención de información que la línea de base.

Los estudios de ablación confirman que las ganancias provienen del mecanismo de memoria persistente y no solo de los parámetros adicionales:

• Eliminar la compuerta de escritura reduce el rendimiento al 8.8% EM (por debajo del CoCoNuT original).
• Congelar la compuerta de escritura después de la pasada 2 resulta en solo una caída del 0.8% (13.2% vs 14.0% EM), lo que sugiere que la captura temprana de información es suficiente, y las compuertas de lectura/olvido mantienen la calidad de esta información almacenada.
• Eliminar la compuerta de olvido causa una caída significativa (8.4% EM), resaltando la necesidad de podar el contexto irrelevante para evitar la contaminación de la memoria.

Significado y Reivindicaciones

El artículo afirma que AGCLR aborda directamente el cuello de botella de los conceptos mediante la introducción de una memoria residual persistente y con compuertas que permite a los modelos mantener hechos críticos a través de ciclos de razonamiento iterativos. A diferencia de enfoques previos que operan en el espacio del lenguaje (por ejemplo, iCoT, pause tokens) o carecen de estado persistente, AGCLR permite razonar en un espacio latente sin restricciones mientras preserva los estados computacionales necesarios para tareas de múltiples saltos.

Los autores enfatizan que la mejora es impulsada por la capacidad de la arquitectura para almacenar, mantener y recuperar información a través de las pasadas, más que simplemente aumentar la capacidad del modelo. Si bien los resultados son consistentes en diversas tareas de razonamiento (matemáticas, QA, planificación), el artículo mantiene la modestia respecto a su alcance, señalando que los experimentos se realizaron con una única semilla y un modelo base GPT-2 de 124M. La escalabilidad a modelos más grandes y distribuciones de tareas más amplias sigue siendo un tema para validación futura.