🤖 machine learning

CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability

El artículo presenta CART, un modelo de lenguaje eficiente en parámetros que reutiliza un único bloque central mediante mecanismos de estabilidad aprendidos, pero encuentra que, si bien la profundidad del preludio domina el rendimiento, la arquitectura finalmente rinde por debajo de las bases densas con parámetros equivalentes y no logra soportar un escalado de profundidad efectivo en el tiempo de prueba.

Autores originales: Chad A. Capps

Publicado 2026-06-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chad A. Capps

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Un Modelo de Lenguaje de "Bucle"

Imagina que estás intentando escribir una historia. La forma estándar en que la IA hace esto (llamada Transformer) es como contratar a un equipo de 12 editores diferentes. El Editor 1 lee la primera frase, el Editor 2 lee lo que escribió el Editor 1, el Editor 3 lee lo que escribió el Editor 2, y así sucesivamente. Cada editor tiene su propio estilo y notas únicas. Esto funciona bien, pero es costoso porque tienes que pagar por 12 personas diferentes.

CART (Context-Anchored Recurrent Transformer) intenta un enfoque diferente. Contrata a un solo editor y le pide que lea la historia seis veces (o más).

El Objetivo: Obtener la misma calidad de escritura pero con un equipo mucho más pequeño (menos parámetros), ahorrando dinero y memoria.
El Problema: Si le pides a la misma persona que lea lo mismo seis veces, podría aburrirse y repetir los mismos errores. El desafío es lograr que ese único editor se vuelva más inteligente con cada pasada sin necesidad de nuevos trabajadores.

Cómo funciona CART: El "Ancla" y la "Puerta"

CART tiene tres trucos especiales para que este bucle funcione:

El "Ancla" (El Mapa Congelado):
- Bucle Estándar: En otros modelos de bucle, cada vez que el editor lee la historia, vuelve a dibujar el mapa de dónde están las palabras importantes. Esto es lento y redundante.
- La forma de CART: Antes de que comience el bucle, un pequeño equipo de "pre-editores" (llamados Preludio) lee la historia una vez y dibuja un mapa perfecto y detallado de las palabras importantes. Este mapa está congelado.
- El Bucle: El editor de bucle único entonces mira este mismo mapa congelado cada vez que lee la historia. No vuelve a dibujar el mapa; simplemente lo usa como un ancla estable para refinar su comprensión. Esto ahorra mucha potencia de cómputo.
La "Puerta" (El Interruptor de Estabilidad):
- El Problema: Si le pides a alguien que piense en algo una y otra vez, podría confundirse o empezar a alucinar (volverse loco).
- La Solución de CART: Hay una "puerta" que controla cuánto del pensamiento anterior conserva el editor. Es como un control de volumen. Si el editor se está volviendo demasiado caótico, la puerta baja ligeramente el volumen.
- El Descubrimiento: El artículo encontró que esta puerta aprende a establecerse en un "punento ideal" muy específico (un número entre 0.79 y 0.83). No es algo forzado por los ingenieros; la IA aprendió este ajuste específico por sí misma para mantenerse estable.
El "Índice de Bucle" (El Contador de Pasos):
- El editor tiene un contador (1, 2, 3...) para que sepa en qué pasada se encuentra. Esto le ayuda a saber si está en las etapas iniciales del pensamiento o en el pulido final.

Los Experimentos: ¿Qué pasó?

Los investigadores probaron esto en una sola tarjeta gráfica de consumo (como una PC de juegos de gama alta) utilizando dos etapas de entrenamiento.

Etapa 1: La Prueba Rápida (La "Corazonada")

Entrenaron muchas versiones pequeñas de CART rápidamente.
La Corazonada: Pensaron que, para modelos más grandes y complejos, hacer un bucle más veces (por ejemplo, 8 veces en lugar de 6) sería mucho mejor. Parecía que "más bucles = IA más inteligente".

Etapa 2: El Entrenamiento Completo (La "Prueba de Realidad")

Entrenaron los modelos durante mucho más tiempo (usando alrededor de 1 billón de palabras de texto).
La Sorpresa: La corazonada era errónea. Cuando entrenaron los modelos completamente, hacer más bucles en realidad hacía que el modelo fuera ligeramente peor o no mejor en absoluto.
La Analogía: Imagina que le pides a un estudiante que lea un capítulo de un libro de texto 10 veces. En una prueba rápida, 10 veces parece genial. Pero después de estudiar durante todo un semestre, te das cuenta de que leerlo 6 veces es suficiente. Leerlo 8 o 10 veces solo conduce a rendimientos decrecientes o incluso a la confusión. El modelo aprendió que "más bucles" no equivalía a "más inteligencia" en esta configuración específica.

El Veredicto Final: ¿Ganó?

Los investigadores compararon su modelo de "Un Editor, Seis Bucles" contra un modelo estándar de "Seis Editores Diferentes" (un Transformer Denso) que tenía la misma cantidad de memoria.

El Resultado: El modelo estándar (6 editores diferentes) venció al modelo CART.
- El modelo estándar fue aproximadamente un 10% mejor en la comprensión del lenguaje.
- Incluso cuando le dieron al modelo estándar la misma "potencia efectiva" (haciéndolo largo como de 12 editores), este seguía superando por mucho a CART.

¿Por qué perdió CART?
Los investigadores realizaron una "autopsia" (ablaciones diagnósticas) para descubrir por qué:

El "Mapa Congelado" no era el problema: Incluso si dejaban que el editor redibujara el mapa cada vez, no ayudaba mucho.
La "Maquinaria" era inútil: Los dispositivos especiales que añadieron (la puerta de estabilidad, el contador de pasos, la mezcla de pensamientos pasados) resultaron ser mayormente decorativos. Eliminarlos no afectó mucho el rendimiento.
El Problema Real: El problema principal era compartir los mismos pesos. La idea de que "un editor haciendo seis pasadas" es tan bueno como "seis editores diferentes" simplemente no se sostuvo. Los pesos compartidos fueron un cuello de botella. El diseño "heterogéneo" (mezclar pre-editores, un ancla congelada y un editor de bucle) resultó ser demasiado complejo y menos eficiente que una pila simple y uniforme de editores.

Resumen en una Oración

CART es una idea ingeniosa y eficiente en memoria que intenta hacer que un bloque de IA "piense" repetidamente usando un mapa de referencia congelado, pero al final, resulta que tener un equipo de especialistas únicos (el modelo estándar) sigue funcionando mejor que un especialista dando vueltas en un bucle, y los accesorios adicionales añadidos para hacer estable el bucle fueron mayormente innecesarios.

Conclusión Clave para el Futuro:
El artículo concluye que, si bien el "ancla congelada" ahorra algo de potencia de cómputo, la promesa de obtener ganancias masivas de inteligencia simplemente haciendo un bucle de un bloque de código compartido no se concretó a esta escala. La arquitectura es estable e interesante, pero no superó al enfoque estándar en términos de rendimiento bruto por dólar.

Resumen Técnico: CART (Transformer Recurrente con Anclaje de Contexto)

Planteamiento del Problema

El paradigma dominante en el modelado de lenguaje, el transformer apilado, escala el número de parámetros linealmente con la profundidad ( $L$ capas únicas), lo que crea cuellos de botella de memoria para el despliegue en hardware con restricciones. Los transformers de profundidad recurrente (o en bucle) intentan abordar esto reutilizando un único conjunto de parámetros a través de múltiples pasadas ( $R$ ) por un bloque compartido. El uso compartido de pesos de forma ingenua suele tener un rendimiento inferior al de los modelos de profundidad única correspondiente, ya que un único bloque aplicado de forma idéntica no puede adaptar su comportamiento a través de las iteraciones del bucle. Soluciones previas, como las hiperconexiones, las incrustaciones de índice de bucle y las restricciones de estabilidad explícitas, han intentado mitigar esto, pero persiste una brecha arquitectónica crítica: la mayoría de las arquitecturas concurrentes de bucle (por ejemplo, Hyperloop, Parcae, OpenMythos) recalculan las representaciones de clave-valor (K, V) a partir del estado oculto evolutivo en cada iteración, fallando al no separar la codificación del contexto del refinamiento iterativo.

Metodología: Arquitectura CART

CART introduce una arquitectura de parámetros eficientes que reutiliza un único bloque central compartido $R$ veces a través de la profundidad, distinguiéndose por tres contribuciones arquitectónicas específicas:

Ancla KV Calculada una Sola Vez: A diferencia de trabajos anteriores que recalculan K y V en cada paso del bucle, CART calcula K y V una sola vez a partir de un "preludio" multicanal (un conjunto único de $P$ capas de transformer) y los mantiene fijos. El núcleo recurrente realiza entonces atención cruzada contra estos tensores congelados. Esto separa la codificación del contexto (preludio) del refinamiento iterativo (núcleo), reduciendo los FLOPs por bucle al eliminar las proyecciones redundantes de K y V.
Estabilidad Aprendida mediante LTI con Compuerta Sigmoidea: Para asegurar que el cómputo recurrente converja, CART emplea un filtro de Tiempo Invariante Lineal (LTI) aprendido: $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$ . A diferencia de las restricciones arquitectónicas (por ejemplo, la discretización de orden cero) utilizadas en otros trabajos, esta compuerta aprende su tasa de convergencia (radio espectral $\varrho$ ) directamente de los datos, garantizando $\varrho < 1$ sin rigidez estructural.
Restricción de Atención Cruzada Causal: El artículo identifica una restricción crítica para los modelos recurrentes autorregresivos: la atención cruzada desde el núcleo hacia el preludio debe ser causal. La atención no causal filtra tokens futuros (del contexto del preludio) hacia el estado recurrente, causando el colapso de la pérdida.

La arquitectura sigue una topología "preludio $\to$ ancla $\to$ núcleo $\to$ coda". El preludio ( $P$ capas únicas) genera el ancla de contexto $e$ . El núcleo (pesos compartidos, $R$ iteraciones) refina el estado utilizando los K, V congelados de $e$ . Una única capa "coda" única produce los logits finales.

Configuración Experimental

Los autores evaluaron CART en dos etapas en GPUs de consumo (RTX 3050 y RTX 3090) utilizando un corpus de paso único de $\sim$ 1B de tokens (TinyStories, Wikipedia, FineWeb-Edu).

Etapa 1: Un cribado de hiperparámetros de 64 configuraciones ( $d \in \{256, 512, 768, 1024\}$ , $R \in \{2, 4, 6, 8\}$ , $P \in \{2, 3, 4, 6\}$ ) entrenado durante 3,000 pasos ( $\sim$ 49M de tokens).
Etapa 2: Entrenamiento completo de 36 configuraciones ( $P=6$ , $R \in \{6, 8, 10\}$ , 3 semillas cada una) durante 30,500 pasos ( $\sim$ 1B de tokens).
Baselines: En la escala de vinculación ( $d=1024$ ), CART fue comparado contra transformers Densos emparejados tanto en parámetros almacenados (7 capas) como en parámetros efectivos (12 capas).

Resultados Clave

1. Estabilidad y Radio Espectral

A través de las 36 configuraciones de la Etapa 2, el radio espectral $\varrho$ de la compuerta LTI aprendida se asentó en una banda estrecha de $[0.79, 0.83]$ . Este valor no es un objetivo de diseño fijo, sino que emerge del entrenamiento. $\varrho$ aumenta monótonamente con el ancho del modelo ( $d$ ) y débilmente con el número de bucles ( $R$ ). El $\varrho \approx 0.893$ "universal" observado en la Etapa 1 fue identificado como un transitorio de mitad de entrenamiento que decae durante el entrenamiento completo.

2. La Reversión del Beneficio de la Recurrencia ( $R$ )

Un hallazgo crítico es la reversión de tendencias entre la Etapa 1 y la Etapa 2:

Etapa 1 (3k pasos): Sugirió que la profundidad de la recurrencia ( $R$ ) se vuelve más valiosa a medida que el ancho del modelo ( $d$ ) aumenta, con $R=8$ superando significativamente a $R=2$ en $d=1024$ .
Etapa 2 (30.5k pasos): Esta tendencia se revirtió. En el entrenamiento completo, $R=6$ fue la mejor configuración para todas las escalas $d \ge 512$ . Aumentar $R$ a 8 o 10 resultó en una degradación del rendimiento (hasta un 1% de regresión en la perplejidad).
Escalado de Inferencia: El escalado de inferencia de variable- $R$ en el mejor modelo $d=1024$ (entrenado con $R=6$ ) mostró que ejecutar más iteraciones de las entrenadas degradaba consistentemente el rendimiento en HellaSwag, LAMBADA y PIQA. Esto indica un resultado negativo claro para el escalado de cómputo en tiempo de prueba bajo la receta de entrenamiento actual.

3. Reclamaciones de Eficiencia de Parámetros

En la prueba de vinculación ( $d=1024$ , $\sim$ 1B de tokens):

Paridad de Parámetros Almacenados: Un modelo Denso de 7 capas (emparejado con los parámetros almacenados de CART) superó a CART ( $P=6, R=6$ ) por un 1–2% en métricas de perplejidad.
Paridad de Parámetros Efectivos: Un modelo Denso de 12 capas (emparejado con los parámetros efectivos de CART) superó a CART por un $\sim$ 10% en conjuntos de lenguaje natural.
Conclusión: La hipótesis de que la recurrencia de pesos compartidos proporciona una capacidad efectiva de $R$ veces no se sostuvo en esta escala y presupuesto de entrenamiento.

4. Ablaciones Diagnósticas

Los autores descompusieron la brecha de rendimiento entre el baseline Denso y CART:

KV Congelados: Descongelar K, V (recalculándolos en cada paso) no mejoró significativamente el rendimiento, descartando el ancla congelada como el cuello de botella principal.
Profundidad de Recurrencia: Reducir $R$ a 1 (eliminando la recurrencia) causó solo una caída de $\sim$ 1%, sugiriendo que el núcleo recurrente contribuye marginalmente más allá de la primera iteración.
Pesos Compartidos: No compartir los pesos del núcleo (dando a cada iteración parámetros únicos) mejoró el rendimiento en un $\sim$ 5%, confirmando que el uso compartido de pesos es un cuello de botella de capacidad significativo.
Componentes de la Maquinaria: Las ablaciones de la HyperConnection, la compuerta LTI y la Incrustación de Índice de Bucle (LIE) mostraron que son vestigiales en la configuración de pesos compartidos; eliminarlas individualmente no tuvo un efecto medible en la perplejidad.
Brecha Residual: La brecha restante de $\sim$ 5% respecto al baseline Denso se atribuye al propio encuadre heterogéneo de "preludio $\to$ ancla $\to$ núcleo $\to$ coda", más que a un mecanismo específico.

Significancia y Reclamaciones

El artículo presenta a CART como una investigación empírica rigurosa sobre los transformers de profundidad recurrente, ofreciendo tres contribuciones principales:

Distinción Arquitectónica: CART es el primero en su familia en calcular K, V una sola vez desde un preludio y reutilizarlos como un ancla congelada, separando la codificación del contexto del refinamiento.
Estabilidad Aprendida: Demuestra que un filtro LTI con compuerta sigmoidea puede aprender una tasa de convergencia estable ( $\varrho \in [0.79, 0.83]$ ) sin restricciones estructurales, adaptándose al ancho del modelo y al número de bucles.
Realidad Empírica: El artículo proporciona un "resultado negativo limpio" respecto a la eficiencia de parámetros de la recurrencia de pesos compartidos en la escala probada. Demuestra que:
- El beneficio de la profundidad de la recurrencia ( $R$ ) no necesariamente crece con el ancho del modelo en el entrenamiento completo; de hecho, puede revertirse.
- El escalado de cómputo en tiempo de prueba (aumentar $R$ en la inferencia) es perjudicial si no coincide con el entrenamiento.
- La tesis del "apalancamiento de pesos compartidos" (que $R$ iteraciones de un bloque compartido equivalen a $R$ capas únicas) falla en $d=1024$ con $\sim$ 1B de tokens, con la arquitectura perdiendo ante un baseline Denso emparejado por parámetros.

Los autores concluyen que, si bien CART ofrece latencia determinista y uso de memoria fijo (beneficioso para el despliegue), su formulación actual no entrega la eficiencia de parámetros requerida para superar a los transformers Densos estándar en la escala probada. Los hallazgos sugieren que el encuadre arquitectónico heterogéneo y el uso compartido de pesos son los principales cuellos de botella, no la maquinaria de recurrencia específica (HyperConnection, LTI, LIE).