🤖 machine learning

A Controlled Study of Attention-Only Transformers

Este estudio demuestra que las redes de alimentación hacia adelante no son estrictamente necesarias para el rendimiento de los transformers, ya que los modelos de solo atención (SANs) emparejados en parámetros, cómputo y profundidad logran una pérdida casi idéntica a la de los transformers estándar, siendo la brecha menor restante atribuible únicamente a diferencias en el recuerdo paramétrico en lugar de a limitaciones arquitectónicas.

Autores originales: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir el cerebro definitivo para un robot. Durante años, los científicos han estado apilando dos tipos de "neuronas" una encima de otra para hacer a estos robots más inteligentes. El primer tipo es como un mensajero que observa lo que está sucediendo en este momento y decide a dónde prestar atención. El segundo tipo es como un cuaderno que almacena hechos y reglas aprendidos del pasado. El cerebro del robot está construido con un patrón repetitivo: un mensajero, luego un cuaderno, luego un mensajero, luego un cuaderno.

En el mundo de la inteligencia artificial, estos "mensajeros" se llaman mecanismos de atención, y los "cuadernos" se llaman redes de alimentación hacia adelante (FFN). Durante mucho tiempo, todos asumieron que el cuaderno era esencial. De hecho, en los cerebros de robots modernos, estos cuadernos ocupan aproximadamente dos tercios del espacio total (parámetros). La gran pregunta era: ¿Es el cuaderno realmente necesario? O bien, ¿podría el mensajero hacer todo el trabajo si simplemente le dábamos suficiente espacio? Este artículo es un experimento gigante y controlado para averiguar si podemos construir un robot superinteligente usando solo mensajeros, sin ningún cuaderno.

El Experimento de la Gran Cirugía Cerebral

Los investigadores de Cactus Compute, Inc. decidieron realizar una "cirugía cerebral" muy precisa en un modelo de IA estándar. Tomaron un modelo estándar y, capa por capa, arrancaron por completo el "cuaderno" (la red de alimentación hacia adelante), dejando solo el "mensajero" (el mecanismo de atención). Llamaron a este nuevo modelo, simplificado, Red de Atención Simple (SAN).

Pero aquí está la parte difícil: no puedes simplemente borrar una gran parte de un cerebro y esperar que funcione de la misma manera. Si eliminas el cuaderno, de repente tienes mucho espacio vacío. Por lo tanto, los investigadores realizaron tres versiones diferentes del experimento para ver qué es lo que realmente importa:

Misma Profundidad: Mantuvieron el mismo número de capas pero eliminaron los cuadernos. (Esto hizo que la SAN fuera mucho más pequeña y débil).
Mismo Cómputo: Ajustaron el tamaño para que ambos modelos utilizaran la misma cantidad exacta de electricidad (FLOPs) para pensar.
Mismo Tamaño: Utilizaron el espacio vacío dejado por la eliminación de los cuadernos para añadir más capas de mensajeros. Esta es la prueba más justa: "Si le damos al mensajero la misma potencia cerebral total que al cuaderno, ¿puede hacer el trabajo?".

El Resultado Sorprendente: El Cuaderno no es Mágico

Los resultados fueron sorprendentes. Cuando simplemente eliminaron los cuadernos sin darles más espacio a los mensajeros, el robot se volvió significativamente más tonto. Pero cuando tomaron esa potencia cerebral "eliminada" y la usaron para construir pilas de mensajeros más profundas, la brecha casi desapareció por completo.

En la prueba más justa (igualando el tamaño total), el modelo estándar con cuadernos y el nuevo modelo de "solo mensajeros" eran casi idénticos. La diferencia fue de apenas 0.006 nats (una unidad de medida para qué tan errónea es una predicción). Para ponerlo en perspectiva, esa es una diferencia de solo un 0.27% en su rendimiento. Es tan pequeña que, si se ejecutara el experimento con diferentes semillas aleatorias, los resultados serían reproducibles con una precisión de una parte en diez mil.

El artículo concluye que, para el tipo de datos que utilizaron (un corpus sintético con mucha carga de razonamiento), el "cuaderno" no es un componente mágico e irreemplazable. Es solo una forma de almacenar información. Si le das al "mensajero" suficiente profundidad, puede almacenar esa información por sí mismo.

Dónde se Esconde la Pequeña Brecha

Entonces, si son casi iguales, ¿por qué la diferencia no es exactamente cero? Los investigadores profundizaron para descubrir por qué. Descubrieron que el problema no estaba en todas partes; era muy específico.

El modelo de solo mensajero era ligeramente peor al responder preguntas donde el contexto (la historia o el texto proporcionado) no le daba absolutamente nada con lo que trabajar.

La Victoria del "Basada en el Contexto": Cuando la respuesta estaba escondida en algún lugar del texto proporcionado (como encontrar un dato en un artículo de Wikipedia), el modelo de solo mensajero era en realidad mejor o igual.
La Pérdida de "Memoria": La pequeña brecha solo aparecía cuando el modelo tenía que sacar un hecho de la nada: pura recuperación de memoria donde el texto no ofrecía pistas.

Piénsalo de esta manera: el mensajero es excelente diciendo: "¡Oye, veo una pista en el texto, miremos ahí!". Pero el cuaderno era ligeramente mejor diciendo: "Recuerdo este hecho de mi entrenamiento, aunque no haya ninguna pista aquí". Los investigadores descubrieron que el modelo de solo mensajero aún podía memorizar cosas, pero tenía que trabajar un poco más para almacenar esos hechos en sus capas de "atención" en lugar de en una capa de "cuaderno" dedicada.

Cómo Funciona el Cerebro Realmente

El artículo también miró bajo el capó para ver cómo aprendían estos modelos. Descubrieron un ritmo fascinante en cómo crece el cerebro:

El Enrutamiento se Cristaliza Temprano: La parte del cerebro que decide a dónde mirar (el enrutamiento) se establece muy rápido, en el primer cuarto del entrenamiento, y luego permanece congelada.
El Contenido Crece Lentamente: La parte que realmente almacena la información sigue creciendo y volviéndose más compleja durante todo el proceso de entrenamiento.

Cuando eliminaron el cuaderno, el trabajo de "almacenamiento" no desapareció; simplemente se movió. La capa de salida del mensajero asumió el trabajo de almacenar hechos. Es como si eliminaras un archivador de una oficina; los empleados (los mensajeros) simplemente empezarían a llevar los archivos en sus bolsillos. Funciona, pero es una forma de organizar un poco diferente.

El Ingrediente Secreto: La Normalización

Uno de los hallazgos más prácticos fue sobre cómo evitar que estos cerebros profundos de "solo mensajeros" se desmoronaran. Los investigadores descubrieron que un truco específico llamado normalización QK era absolutamente crítico. Sin él, los modelos profundos de solo mensajeros simplemente colapsarían y dejarían de aprender. Resulta que el "cuaderno" no era lo que mantenía estable al cerebro; era esta técnica de normalización específica.

La Conclusión

Este artículo no dice que los cuadernos sean inútiles. Dice que, para el tipo específico de datos con mucha carga de razonamiento que probaron, el "cuaderno" no es un requisito fundamental para la inteligencia. Si tienes un presupuesto limitado para el tamaño del cerebro, puedes intercambiar el cuaderno por más capas de mensajeros y obtener casi el mismo resultado.

La única vez que el cuaderno realmente brilla es cuando el modelo necesita recordar hechos que no tienen nada que ver con el texto actual. Pero incluso entonces, la diferencia es mínima. La idea principal es que el "mensajero" es increíblemente poderoso y flexible, capaz de hacer el trabajo del "cuaderno" si simplemente le das suficiente profundidad. La brecha entre los dos es tan pequeña que es casi insignificante, demostando que la arquitectura del transformador es más flexible de lo que pensábamos.

Resumen Técnico: Un Estudio Controlado de los Transformers de Solo Atención

Planteamiento del Problema
La red de alimentación hacia adelante (FFN, por sus siglas en inglés) constituye aproximadamente dos tercios de los parámetros no de incrustación (non-embedding) de un transformer y es ampliamente interpretada como la memoria paramétrica del modelo (Geva et al. 2021, 2022; Meng et al. 2022; Dai et al. 2022). Sin embargo, la necesidad de la FFN nunca ha sido probada rigurosamente bajo condiciones controladas. Los intentos previos de eliminar las FFN o bien reintegraron su capacidad en la atención mediante vectores de memoria persistente (Sukhbaatar et al. 2019), dejando abierta la cuestión de la necesidad, o analizaron configuraciones teóricas sin conexiones residuales que no se utilizan en la práctica (Dong, Cordonnier y Loukas 2021). El desafío experimental central es que eliminar la FFN perturba simultáneamente tres variables críticas: el recuento de parámetros, el cómputo por token (FLOPs) y el número de pasos de composición no lineal (profundidad). Por lo tanto, un control de un solo eje es insuficiente para aislar el verdadero costo de la FFN.

Metodología
Los autores llevan a cabo una "prueba de necesidad" preentrenando Redes de Atención Simple (SANs, por sus siglas en inglés) —transformers con las FFN eliminadas— frente a transformers estándar. Para controlar las variables de confusión, el estudio emplea tres estrategias de emparejamiento distintas (Tabla 1):

Iso-profundidad (Iso-depth): Emparejamiento del número de capas (20 capas). Esto elimina el 72% de los parámetros del transformer estándar.
Iso-parámetros (Iso-param): Emparejamiento del recuento total de parámetros no de incrustación. El presupuesto liberado se reasigna a la profundidad de la atención (20 capas de SAN frente a 4 capas estándar).
Iso-FLOP (Iso-FLOP): Emparejamiento del cómputo de entrenamiento (GFLOPs por token). Dado que la atención incurre en un costo cuadrático sin parámetros en la longitud de la secuencia, el transformer estándar conlleva más parámetros en este régimen.

Controles de Hiperparámetros y Equidad:

Equidad de Hiperparámetros: Cada brazo arquitectónico se somete a su propio barrido de tasa de aprendizaje (0.5× a 16×) en un checkpoint de 5B de tokens para asegurar que ningún brazo compita en los hiperparámetros preferidos de otro.
Control del Optimizador: El entrenamiento utiliza Muon contra un control de AdamW, con un piso de ruido calibrado de 0.0015 nats establecido mediante controles equivalentes de optimizador.
Régimen de Datos: Los modelos se preentrenan en SYNTH, un corpus sintético denso en razonamiento, hasta 105B de tokens. Se realiza una prueba separada y prerregistrada en Fineweb-edu (denso en conocimiento).
Arquitectura: Las SANs utilizan atención pre-norm con Atención de Consulta Agrupada (GQA), RoPE y estrategias de normalización específicas (ZCN, normalización QK).

Resultados Clave
El estudio descompone la brecha de rendimiento entre las SANs y los transformers estándar en una secuencia monótona basada en la estrategia de emparejamiento:

Costo de Eliminación (Iso-depth): Eliminar las FFN in situ con profundidad igualada resulta en una pérdida significativa de 0.47 nats en la pérdida de validación.
Eficiencia de Cómputo (Iso-FLOP): Con los mismos FLOPs de entrenamiento, el transformer estándar sigue liderando por 0.26 nats, ya que el modelo de solo atención debe gastar más cómputo en el término cuadrático sin parámetros, dejando menos parámetros para la capacidad.
Eficiencia de Parámetros (Iso-param): Cuando el presupuesto de parámetros liberado se reasigna a la profundidad de la atención, la brecha se colapsa a un pequeño y altamente reproducible +0.0055 a +0.0054 nats (0.27% de la pérdida total) en pares de semillas limpias. Esta diferencia es estable a través de presupuestos de 5B, 30B y 105B de tokens y permanece cerca de 0.02 nats a través de un rango de 29× en tamaños de parámetros no de incrustación.

Localización de la Brecha Residual
El déficit de rendimiento restante no es difuso; es estrictamente localizado:

Regiones de Tokens: El déficit se concentra enteramente en tokens de consulta de bajo contexto (donde el contexto ofrece poco para enrutar). En trazas de razonamiento y regiones de respuesta (incluyendo ejercicios de memorización), la SAN a menudo supera o iguala al modelo con FFN. Para los 105B de tokens, la SAN lidera en todas las regiones de respuesta, sobreviviendo el déficit solo en los tokens de consulta.
Tipos de Tarea: En benchmarks que requieren recuperación fuera de distribución (ej. Lambada), el modelo con FFN gana consistentemente. En tareas donde la respuesta se proporciona en el contexto (ej. SciQ), la SAN gana, con un margen que crece conforme avanza el entrenamiento.
Dependencia de la Distribución: Una prueba prerregistrada en Fineweb-edu (texto denso en conocimiento) midió una brecha de 0.040 nats, confirmando la predicción de que la ventaja de la FFN es mayor en texto de bajo contexto y denso en conocimiento. Por el contrario, en Lambada entrenado con Fineweb-edu, la preferencia se invirtió, indicando que "almacenamiento vs. enrutamiento" es una propiedad del ajuste tarea-distribución, no una propiedad intrínseca de la tarea.

Mecanismo: Dinámica del Espectro de Pesos
El artículo identifica el mecanismo detrás de estos resultados mediante el análisis del espectro de pesos:

Enrutamiento vs. Contenido: Las matrices de enrutamiento (Query/Key) se cristalizan espectralmente (se congelan) dentro del primer cuarto del entrenamiento. Las matrices de contenido acumulan rango estable durante la fase de entrenamiento estable.
Relocalización del Almacenamiento: En los transformers estándar, la acumulación de contenido ocurre en la proyección descendente (down-projection) de la FFN. En las SANs, esta acumulación se relocaliza en la proyección de salida de la atención ( $W_o$ ), que se convierte en la única vía de escritura en la corriente residual.
Estabilidad: El estudio identifica la normalización QK como el componente crítico para entrenar pilas de solo atención profundas (48 capas). Eliminarla causa divergencia inmediata. Se encontró que las compuertas residuales escalares son neutras en cuanto al rendimiento pero útiles para el diagnóstico.

Significado y Reivindicaciones
El artículo afirma proporcionar la primera prueba de necesidad controlada de la FFN del transformer. Sus conclusiones principales son:

La FFN no es una primitiva computacional distinta: Su eliminación no rompe el modelo; más bien, representa una asignación específica de la capacidad de parámetros a una vía de escritura.
Forma Funcional vs. Capacidad: En datos densos en razonamiento, la forma funcional de la FFN no importa en gran medida; lo que importa es la capacidad de parámetros. Reasignar esta capacidad a la profundidad de la atención recupera casi todo el rendimiento.
Déficit Específico: El único costo restante es un déficit pequeño y predecible en tokens donde el contexto no proporciona información para el enrutamiento, forzando la dependencia de la memoria paramétrica.
Robustez: Las SANs exhiben una mayor estabilidad de entrenamiento que los transformers estándar bajo estrés de tasa de aprendizaje, sin que se observen eventos de divergencia en las ejecuciones de las SAN en comparación con la inestabilidad en las ejecuciones de las FFN.

Los autores conclieren que, dentro del régimen probado, "la atención hace el resto", siempre que se iguale el presupuesto de parámetros y la arquitectura se estabilice con la normalización QK. El estudio replantea la FFN no como un componente estructural esencial, sino como un mecanismo específico para almacenar conocimiento que puede ser reemplazado efectivamente por capas de atención más profundas, siendo el intercambio un impacto de rendimiento localizado en tareas de predicción de alto contenido de conocimiento y bajo contexto.