🤖 machine learning

RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers

RecurrentGPT introduce una arquitectura de transformador de profundidad recurrente que itera una única capa central compartida con modulación de compuerta, logrando una precisión y eficiencia de memoria superiores en comparación con los transformadores profundos estándar al intercambiar eficazmente el recuento de parámetros por la reutilización de profundidad adaptativa.

Autores originales: Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial moderna ha llegado a un punto en el que hacer que los modelos sean más inteligentes a menudo significa hacerlos más pesados. Para entender una oración o escribir una historia, estos sistemas dependen de vastas redes de conexiones matemáticas, conocidas como parámetros. En los diseños estándar, cada paso del proceso de pensamiento utiliza un conjunto único de estas conexiones. Este enfoque funciona bien, pero crea una carga pesada: para añadir más profundidad al razonamiento, los ingenieros deben añadir más memoria, lo que rápidamente se vuelve costoso y difícil de gestionar en el hardware físico. Existe una creciente tensión entre el deseo de un pensamiento profundo y complejo y los límites físicos de la memoria de las computadoras.

Durante décadas, los científicos han sabido que repetir el mismo proceso simple una y otra vez puede resolver problemas increíblemente complejos. Esta idea, arraigada en el trabajo fundacional de Alan Turing, sugiere que un sistema no necesita una biblioteca masiva de herramientas únicas para pensar; puede lograr la inteligencia aplicando una única herramienta refinada repetidamente. Si bien los modelos de lenguaje modernos se han alejado en gran medida de este estilo repetitivo en favor de la acumulación de muchas capas diferentes, un nuevo enfoque busca traer de vuelta el poder de la repetición, no ralentizando el sistema, sino haciendo que la repetición sea más inteligente. El objetivo es crear un modelo que pueda "pensar" más profundamente sin necesidad de almacenar más partes únicas.

Investigadores de la Universidad Alemana de El Cairo, la Universidad Técnica de Múnich y Cerebras Systems han desarrollado una nueva arquitectura llamada RecurrentGPT para resolver este problema. En lugar de construir una larga cadena de capas únicas, diseñaron un sistema con un conjunto pequeño y fijo de capas que se reutilizan varias veces. Imagine una línea de ensamblaje de una fábrica donde un solo trabajador altamente capacitado realiza una tarea, luego pasa el producto a sí mismo para refinarlo, y luego se lo vuelve a pasar de nuevo. En este nuevo sistema, el "trabiente" es un bloque compartido del cerebro del modelo. Procesa la entrada, luego toma su propia salida y la procesa de nuevo, y de nuevo, un número determinado de veces. Esto permite que el modelo realice el trabajo de un sistema mucho más grande almacenando solo una fracción de las partes únicas.

Sin embargo, simplemente repetir el mismo proceso crea un nuevo problema: si el trabajador hace exactamente lo mismo cada vez, el producto nunca cambia realmente. Los investigadores descubrieron que, sin un mecanismo para variar el proceso, los pasos repetidos colapsarían en una única transformación inútil. Para solucionar esto, introdujeron una compuerta dinámica —un mecanismo de toma de decisiones aprendido que controla cuánto de la nueva información reemplaza a la antigua. Esta compuerta observa el estado actual del modelo, la entrada original y una pequeña cantidad de ruido aleatorio para decidir exactamente qué mantener y qué actualizar en cada paso. Esto asegura que, aunque se utilicen los mismos pesos repetidamente, el modelo se comporte de manera diferente en cada turno, permitiéndole especializar su pensamiento a medida que profundiza.

Los resultados de este enfoque son sorprendentes. Cuando se probó bajo estrictas restricciones donde la cantidad total de potencia de cómputo utilizada para entrenar y ejecutar el modelo se mantuvo igual a la de los modelos estándar más grandes, el nuevo sistema funcionó igual de bien. En una prueba específica, un modelo con solo tres capas de pesos únicos, repetidas diez veces, igualó la precisión de un modelo estándar de doce capas. Esto significa que el nuevo diseño logró la misma calidad utilizando un 64 por ciento menos de parámetros únicos. Cuando los investigadores permitieron que el modelo utilizara más potencia de cómputo durante el proceso de pensamiento pero mantuvieron el número de partes almacenadas igual, el sistema repetido superó al estándar, demostrando que la profundidad y la repetición pueden ser una forma poderosa de mejorar la inteligencia sin inflar los costos de memoria.

El sistema también descubrió un efecto secundario útil por su cuenta. Debido a que el modelo fue entrenado para poder detenerse en cualquier punto de su ciclo de repetición, aprendió a producir respuestas de alta calidad incluso si se detenía temprano. Esto permite que el sistema actúe como un dial de velocidad versus calidad: puede dar una respuesta rápida y aproximada en una fracción del tiempo, o dedicar más ciclos para refinar esa respuesta en algo más preciso, todo a partir del mismo modelo entrenado. Esta flexibilidad es rara en los sistemas actuales, que usualmente requieren modelos separados para diferentes velocidades.

En términos prácticos, esto significa que un dispositivo con memoria limitada podría ejecutar un modelo de lenguaje mucho más capaz de lo que puede actualmente. Los investigadores midieron que su versión a gran escala requería un 59 por ciento menos de memoria pico durante la generación que un modelo estándar de capacidad similar. Aunque el tiempo que toma generar texto aumentó ligeramente debido a los pasos repetidos, la compensación es significativa para entornos donde la memoria es el cuello de botella. El estudio sugiere que el futuro de la inteligencia artificial eficiente puede no residir en construir cerebros más grandes y pesados, sino en enseñar a los más pequeños cómo pensar más profundamente revisitando sus propios pensamientos.

Resumen Técnico: RecurrentGPT

Planteamiento del Problema

Escalar los modelos de lenguaje basados en transformadores crea una tensión fundamental entre expresividad y eficiencia de memoria. Las arquitecturas estándar acoplan la profundidad y los parámetros de forma rígida; cada capa adicional introduce un conjunto único de pesos, lo que crea un cuello de botella de memoria que limita la profundidad efectiva bajo presupuestos de hardware fijos. Por el contrario, las estrategias de uso compartido de pesos estándar (por ejemplo, compartir todas las capas a través de la profundidad) imponen transformaciones uniformes sobre representaciones en evolución. Este enfoque estático colapsa la diversidad funcional que hace valiosa a la profundidad, ya que el estado oculto después de la primera recurrencia difiere fundamentalmente del estado después de la octava, y ambos son forzados a través de la misma transformación estática.

El artículo postula que el poder de un sistema de razonamiento reside no en la amplitud de los parámetros, sino en la profundidad de la iteración (citando a Turing [2] y los paradigmas modernos de cómputo en tiempo de prueba [3–5]). El desafío es lograr un refinamiento profundo e iterativo de las representaciones de entrada sin el costo de memoria de tener pesos únicos para cada capa, evitando al mismo tiempo el colapso representacional causado por el simple uso compartido de pesos.

Metodología: Arquitectura RecurrentGPT

Los autores proponen RecurrentGPT, un transformador de profundidad recurrente que desacopla la profundidad del modelo del recuento de parámetros mediante la iteración de un núcleo compartido, enmarcado por bloques de preludio y coda fijos.

1. Diseño de la Arquitectura

El modelo sigue una configuración de $n_{pre} + n_{rec} \times R + n_{coda}$ :

Preludio ( $n_{pre}$ bloques): Aplicado una sola vez para generar una señal de condicionamiento estable y consciente del contexto ( $h^{(pre)}$ ) a partir de la entrada.
Núcleo Compartido ( $n_{rec}$ bloques): Un conjunto de bloques de transformador aplicados recurrentemente $R$ veces. A diferencia del uso compartido de pesos estándar, este núcleo no se aplica de manera uniforme; se modula en cada paso.
Coda ( $n_{coda}$ bloques): Procesa el estado final refinado para producir los logits.

El recuento total de parámetros únicos escala como $\Theta((n_{pre} + n_{rec} + n_{coda}) \cdot d^2)$ , independiente del recuento de la recurrencia $R$ .

2. Puerta Adaptativa y Proyección Recurrente

Para evitar el colapso representacional y permitir que un solo tensor de pesos se comporte como múltiples capas especializadas, RecurrentGPT introduce una puerta aprendida por elemento y una proyección recurrente.

En cada paso de recurrencia $r$ :

Preparación de la Entrada: El estado oculto anterior $h^{(r-1)}$ se proyecta junto con el preludio fijo $h^{(pre)}$ y el ruido estocástico inyectado $\epsilon_x$ .
$\tilde{h}^{(r)} = W_{proj} [h^{(r-1)} + \epsilon_x, h^{(pre)}]$
Transformación Compartida: Los bloques compartidos ( $B_{shared}$ ) procesan esta entrada para producir una propuesta $o^{(r)}$ .
$o^{(r)} = B_{shared}(\tilde{h}^{(r)})$
Puerta por Elemento: Una puerta aprendida $g^{(r)}$ determina qué parte de la propuesta reemplaza al estado actual. La puerta está condicionada por el estado actual normalizado, el preludio normalizado y el ruido inyectado $\epsilon_g$ .
$g^{(r)} = \sigma(f_{gate}([LN(h^{(r-1)}), LN(h^{(pre)})]/\tau + \epsilon_g))$
$h^{(r)} = g^{(r)} \odot h^{(r-1)} + (1 - g^{(r)}) \odot o^{(r)}$

Decisiones de Diseño Clave:

Inicialización: El sesgo de la puerta se inicializa en $+4$ , lo que resulta en un $g^{(r)} \approx 0.98$ al inicio del entrenamiento. Esto asegura que el flujo residual pase casi sin cambios inicialmente, permitiendo que el modelo aprenda gradualmente qué elementos sobrescribir.
Ruido: El ruido aditivo ( $\epsilon_x$ ) y el ruido de la puerta ( $\epsilon_g$ ) previenen patrones de coincidencia exacta frágiles y el colapso de la puerta.
Muestreo de Profundidad: Durante el entrenamiento, la profundidad de la recurrencia $r$ se muestrea uniformemente de $\{1, \dots, R\}$ . Esto entrena implícitamente cada punto de salida, permitiendo una salida temprana emergente en la inferencia sin pérdidas auxiliares.

Contribuciones Clave

Arquitectura: RecurrentGPT utiliza el enrutamiento por puerta por elemento y perturbaciones estocásticas para prevenir el colapso representacional, permitiendo que un núcleo compartido se comporte de manera distinta a través de los pasos de recurrencia.
Evaluación Unificada: El modelo se evalúa bajo regímenes isoFLOPS (igualar el cómputo, reducir parámetros) e isoPARAMS (igualar parámetros, aumentar el cómputo).
- isoFLOPS: RecurrentGPT supera a la Mezcla de Recursiones (MoR) y al muestreo de profundidad de cola pesada en las nueve celdas de escala por presupuesto. En pequeña escala, iguala la calidad de la línea base densa GPT-2 Small utilizando un 64% menos de parámetros. En escala media y grande, se acerca a la calidad densa a medida que aumenta el presupuesto de tokens.
- isoPARAMS: Una recurrencia más profunda produce ganancias consistentes en la pérdida de validación (por ejemplo, 2.76 frente a 2.84 para su contraparte no recurrente con recuento de parámetros igualado).
Salida Temprana Emergente: Sin pérdidas auxiliares, el modelo soporta naturalmente la salida temprana durante la inferencia, reteniendo aproximadamente el 92% de su precisión al ejecutar solo la mitad de sus pasos de recurrencia.

Resultados Experimentales

Desempeño: Bajo restricciones de isoFLOPS, un RecurrentGPT de 3 capas iguala la precisión de una línea base de GPT-2 Small de 12 capas. En escala media (equivalente a 24 capas), logra una pérdida de validación de 2.89 frente a la línea base densa de 2.84, mientras utiliza solo 124 millones de parámetros frente a 354 millones.
Eficiencia: Bajo isoFLOPS, el modelo almacena solo el 36–37% de los parámetros únicos de la línea base densa.
Tareas de Aval: En benchmarks de gran escala, la variante isoPARAMS supera a la línea base densa en 8 de 9 tareas, con una mejora promedio de +2.10 puntos. La variante isoFLOPS iguala el desempeño promedio de la línea base densa (42.08 frente a 42.05) con solo el 37% de los parámetros.
Latencia y Memoria: Bajo torch.compile, RecurrentGPT-Large incurre en solo un aumento del 10% en la latencia de generación mientras reduce la memoria pico de la GPU en un 59% y los parámetros en un 63%.
Perspectivas Mecanísticas: El análisis revela una estrategia de computación de dos fases:
- Pasos Iniciales (Pesados en Escritura): La puerta está más abierta y el modelo realiza una reestructuración rápida, resolviendo el ~77% de la reducción de la pérdida en los primeros dos pasos.
- Pasos Tardíos (Pesados en Copia): La puerta se cierra y el modelo realiza correcciones dirigidas.
- Enrutamiento de Tokens: El modelo asigna implícitamente más cómputo a los tokens difíciles (aquellos con una pérdida inicial alta) sin señales de enrutamiento explícitas.

Significado y Reivindicaciones

El artículo sostiene que el reuso adaptativo de la profundidad es una estrategia fundamentada para intercambiar parámetros por calidad. Al condicionar la recurrencia en el estado oculto actual, el preludio fijo y el ruido, el modelo logra diversidad funcional sin necesidad de pesos únicos.

Los autores enfatizan que RecurrentGPT resuelve la tensión entre la eficiencia de memoria y la expresividad al permitir que un único tensor de pesos se comporte como múltiples capas especializadas. Los resultados demuestran que:

Eficiencia de Parámetros: Se pueden lograr reducciones significativas de parámetros (hasta un 63%) con un aumento mínimo de latencia.
Intercambio Cómputo-Calidad: La arquitectura permite un intercambio continuo entre la velocidad de inferencia y la calidad mediante la salida temprana, sirviendo un único checkpoint para múltiples puntos operativos.
Leyes de Escala: El enfoque mejora las leyes de escala para la pérdida frente al recuento de parámetros y la pérdida frente a los FLOPs de entrenamiento, mostrando ganancias consistentes en escalas pequeñas, medias y grandes.

El artículo concluye que, si bien la implementación actual utiliza una profundidad de recurrencia fija en la inferencia, el mecanismo de puerta aprendido proporciona una base robusta para trabajos futuros en el frenado dinámico por token y la destilación de conocimiento.