🤖 machine learning

The Routing and Filtering Structure of Attention

Este artículo propone la atención $S$ - $D$ , una parametrización estable que desacopla los componentes de enrutamiento y filtrado de la atención para revelar una cascada espectral dependiente de la profundidad, lo que permite una compresión significativa del modelo y la linealización de las primeras capas con una pérdida mínima de perplejidad.

Autores originales: Shafayeth Jamil, Rehan Kapadia

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shafayeth Jamil, Rehan Kapadia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Transformer (el cerebro de IA detrás de modelos como GPT) como un edificio de oficinas masivo y concurrido de 12 pisos. Cada piso tiene el mismo número de trabajadores, la misma cantidad de espacio en los escritorios y la misma cantidad de papeleo que hacer. Los arquitectos de estos edificios siempre han asumido que cada piso necesita ser igualmente complejo, por lo que los construyen todos de la misma manera.

Este artículo sostiene que esa suposición es incorrecta. Resulta que los "trabajadores" (el mecanismo de atención) en realidad están realizando dos trabajos muy diferentes, pero se les ha obligado a compartir el mismo escritorio, lo que hace imposible ver quién está haciendo qué.

A continuación se presenta el desglose de lo que descubrieron los autores, utilizando analogías sencillas.

1. Los Dos Trabajos: El "Policía de Tráfico" y el "Filtro"

En un modelo de IA estándar, cada vez que examina una oración, calcula una cuadrícula gigante de puntuaciones. Los autores se dieron cuenta de que esta cuadrícula es en realidad una mezcla desordenada de dos tareas distintas:

El Policía de Tráfico (Enrutamiento): Este trabajo se trata de dirección. Decide: "El Token A debe enviar información al Token B, pero no al revés". Es como una calle de un solo sentido. Mueve información sin cambiar su volumen.
El Filtro (Filtrado): Este trabajo se trata de relevancia. Decide: "El Token A y el Token B son muy similares, así que potenciemos su conexión", o "No tienen relación, así que ignórenlos". Es como un botón de volumen que sube o baja las señales.

El Problema: En los modelos estándar, estos dos trabajos están enredados en una sola matriz grande y desordenada. El trabajo de "Filtro" es tan ruidoso y dominante que ahoga al "Policía de Tráfico". Como están mezclados, la IA desperdicia una enorme cantidad de energía tratando de construir un sistema complejo de "Policía de Tráfico" que apenas utiliza.

2. El Experimento: Desenredando el Nudo

Para ver qué estaba pasando realmente, los autores construyeron un nuevo tipo de atención llamada Atención S–D. Piensa en esto como construir una nueva oficina donde el "Policía de Tráfico" y el "Filtro" tienen escritorios separados y dedicados.

El Policía de Tráfico (S): Construido para estar perfectamente equilibrado (matemáticamente "antisimétrico"). Solo puede mover información, nunca crearla ni destruirla.
El Filtro (D): Construido como una lista simple de "botones de volumen" (matriz diagonal). Solo escala las cosas hacia arriba o hacia abajo.

Al separarlos, pudieron observar cómo se organizaba la IA sin el ruido del "Filtro" dominando todo.

3. El Descubrimiento: La "Cascada Espectral"

Cuando permitieron que la IA se organizara de esta nueva manera separada, surgió un patrón hermoso, al que llaman una Cascada Espectral.

Imagina nuevamente los 12 pisos de la oficina.

Los Pisos Inferiores (Capas 0–5): Estos pisos son increíblemente simples. Solo necesitan dos direcciones de "Policía de Tráfico" para hacer su trabajo. Son como un pasillo simple donde todos solo se mueven a la izquierda o a la derecha. No necesitan un sistema de tráfico complejo.
Los Pisos Medios: La complejidad aumenta lentamente.
Los Pisos Superiores (Capas 10–11): Estos son los únicos pisos que necesitan un sistema de tráfico masivo y complejo con muchas direcciones.

La Gran Revelación: En los modelos estándar, la IA estaba construyendo un "sistema de tráfico complejo" (alta jerarquía) en los pisos inferiores donde no era necesario. Estaba sobreingenierizando las partes simples. Cuando separaron los trabajos, la IA se organizó naturalmente: simple en la parte inferior, compleja en la parte superior.

4. La "Cirugía": Cortando la Grasa

Como ahora podían ver exactamente cuánta complejidad necesitaba cada piso, realizaron una "cirugía" en los modelos:

Linealización de la Parte Inferior: Reemplazaron el mecanismo de atención complejo en los primeros 7 pisos con un truco matemático lineal muy simple y barato (como usar una línea recta en lugar de una curva).
- Resultado: El rendimiento del modelo apenas disminuyó (menos del 5% peor).
- Modelo Estándar: Si intentaras esto en un modelo normal, colapsaría inmediatamente. El modelo normal estaba confiando en esa complejidad incluso donde no era necesaria.
La Inversión: En los modelos normales, si intentas simplificar el "Filtro" (los botones de volumen), el modelo se rompe. Pero en su nuevo modelo separado, simplificar el "Filtro" a un solo número por cabeza no causó casi ningún daño. El "Policía de Tráfico" era el verdadero caballo de batalla.

5. El Nuevo Plano

Los autores utilizaron este mapa de "Cascada Espectral" para rediseñar la arquitectura de la IA. En lugar de dar a cada piso la misma cantidad de potencia, construyeron un modelo personalizado:

Pisos inferiores: Pequeños, estrechos y simples.
Pisos superiores: Amplios y complejos.

El Resultado: Crearon un modelo que es 47% a 65% más pequeño en términos de parámetros de atención, pero que aún funciona casi tan bien como los modelos gigantes y uniformes. Básicamente, se dieron cuenta de que los pisos inferiores estaban cargando maletas pesadas que no necesitaban, y las tiraron.

Resumen

El artículo afirma que los modelos de IA actuales son ineficientes porque tratan cada capa del cerebro como si necesitara ser igualmente compleja. Al separar el "movimiento" de la información del "filtrado" de la información, descubrieron que las capas tempranas son en realidad muy simples.

Al construir modelos que coincidan con esta estructura natural de "simple a complejo", pueden hacer que los modelos de IA sean significativamente más pequeños y baratos de ejecutar sin perder mucha inteligencia. Es como darse cuenta de que no necesitas un motor de Ferrari para ir a la tienda de comestibles; solo lo necesitas para la autopista.

Resumen Técnico: La Estructura de Enrutamiento y Filtrado de la Atención

Declaración del Problema

Las arquitecturas Transformer estándar asignan recursos de atención de manera uniforme en todas las capas, asignando dimensiones idénticas de cabezales y complejidad computacional ( $O(N^2)$ ) a cada capa, independientemente de la función específica que dicha capa realiza. Esta uniformidad persiste porque no existe una medición principista que guíe una asignación no uniforme. Las arquitecturas híbridas recientes (por ejemplo, Nemotron-H, Jamba, Griffin) intentan resolver esto mediante extensas búsquedas de hiperparámetros para encontrar ratios óptimos de capas cuadráticas a lineales, pero estos ratios son específicos de la escala y carecen de transferibilidad.

El problema central identificado es que la matriz de interacción de atención $QK^\top$ entrelaza dos funciones computacionales distintas dentro de una única matriz sin restricciones:

Enrutamiento: Un componente antisimétrico que dirige el flujo de información entre posiciones (transporte conservador).
Filtrado: Un componente simétrico que escala la relevancia mutua entre tokens (control de ganancia).

En la atención estándar, estas funciones compiten por la misma capacidad matricial. El análisis empírico de 1.776 cabezales en cinco modelos preentrenados (variantes de GPT-2, BERT-base, Pythia-410M) revela que el filtrado domina el presupuesto espectral, mientras que el enrutamiento opera con un rango bajo muy por debajo de la capacidad asignada por el núcleo de pesos. Además, se encuentra que todos los cabezales de atención estándar son dinámicamente inestables (teniendo valores propios con partes reales positivas), dependiendo en gran medida de la Normalización de Capa (LN) para contener esta inestabilidad, lo cual oscurece la verdadera estructura espectral del mecanismo de enrutamiento.

Metodología

Para desentrelazar estas funciones y revelar la estructura espectral subyacente, los autores introducen la Atención S–D, una parametrización diagnóstica que separa el enrutamiento y el filtrado por construcción:

Enrutamiento ( $S$ ): Modelado como una matriz antisimétrica aprendida ( $S = -S^\top$ ). Esto garantiza que los valores propios sean puramente imaginarios, representando un transporte de información conservador y de suma cero (rotación entre modos).
Filtrado ( $D$ ): Modelado como una matriz diagonal positiva aprendida ( $D = \text{diag}(d_1, \dots, d_N)$ ). Esto representa un filtrado disipativo donde cada token tiene un coeficiente de amortiguamiento escalar.

La matriz de interacción se define como $L = S - D$ . Los autores demuestran que para cualquier $S$ antisimétrica real y $D$ diagonal semidefinida positiva, la parte real de cada valor propio satisface $\text{Re}(\lambda) \le 0$ . Esto garantiza la estabilidad arquitectónica sin necesidad de Normalización de Capa.

Los autores entrenan modelos S–D en diversas escalas (de 7M a 355M parámetros) en OpenWebText, incluyendo configuraciones con y sin Normalización de Capa, para observar cómo se autoorganiza el enrutamiento cuando no está restringido por el entrelazamiento o la equalización inducida por la normalización.

Hallazgos Clave y Resultados

1. La Cascada Espectral

Cuando el enrutamiento y el filtrado se desentrelazan y se elimina la normalización, el enrutamiento se autoorganiza en una cascada espectral (una jerarquía de rangos) a través de la profundidad:

Capa 0: Convierte a un rango efectivo de 2 (un único plano de rotación para la redistribución amplia de información).
Capas Intermedias: Mantienen una meseta de bajo rango (rango efectivo $\approx 2$ –$3$).
Capas Finales: Se expanden a rangos superiores (hasta 10+ planos de rotación independientes), con el rango final determinado por la dimensión del cabezal en lugar de la profundidad.
Invarianza de Escala: Este patrón de cascada ascendente se mantiene en todas las escalas probadas (de 7M a 355M). A medida que aumenta el tamaño del modelo, crece la fracción de capas que operan en el rango espectral mínimo (del 33% en 18M parámetros al 92% en 355M).

2. Colapso del Filtrado

En la arquitectura S–D desentrelazada, el componente de filtrado colapsa a un único escalar por cabezal. Recortar el componente de filtrado a un escalar medio por cabezal incurre en un costo de perplejidad insignificante (+0.3 PPL), whereas eliminar el enrutamiento por completo causa un fallo catastrófico. Esto contrasta con la atención estándar, donde el filtrado domina y el enrutamiento es de bajo rango.

3. Cirugía Espectral Accionable

La cascada espectral permite una simplificación "quirúrgica" de la arquitectura:

Linealización: Las primeras 7 capas de un modelo S–D de 125M pueden linealizarse (reemplazarse por atención lineal causal ELU+1) con una degradación de perplejidad inferior al 5%. En contraste, la atención estándar colapsa bajo la misma intervención para la capa 3.
Reasignación de Parámetros: Al igualar las dimensiones de los cabezales ( $d_{head}$ ) con el rango espectral medido (por ejemplo, $d_{head}=8$ para las capas iniciales, $d_{head}=64$ para las capas finales), los autores redujeron los parámetros de atención en un 47–65% con solo un aumento de +3.9% a +8.4% en la perplejidad.
Inversión: El artículo demuestra una inversión estructural: en la atención estándar, el recorte del filtrado es prohibitivo y el recorte del enrutamiento es barato; en S–D, el recorte del enrutamiento es prohibitivo y el recorte del filtrado es gratuito.

Significado y Afirmaciones

El artículo afirma que su contribución principal es la medición, no la arquitectura en sí misma. El significado radica en hacer legible y accionable el "presupuesto espectral" de la atención:

Diagnóstico: La parametrización S–D sirve como una herramienta de diagnóstico para medir la capacidad real de enrutamiento requerida en cada capa, revelando que la atención estándar asigna capacidad excesiva a capas de bajo rango.
Guía para Arquitecturas Híbridas: La cascada espectral proporciona una métrica continua y medible para determinar qué capas requieren atención cuadrática completa y cuáles pueden ser reemplazadas por mecanismos lineales o de bajo rango. Esto traslada el diseño de arquitecturas híbridas de la "búsqueda" (barridos de ratios) a la "medición" (prescripción basada en el rango).
Reevaluación de la Atención Lineal: Los resultados sugieren que el fracaso histórico de la atención lineal simple (por ejemplo, ELU+1) se debió a una mala asignación (aplicarla a capas de alto rango) en lugar de límites de capacidad intrínsecos. El artículo muestra que la atención lineal funciona eficazmente en la "meseta" de bajo rango identificada por la cascada.

Los autores concluyen que la cascada espectral es la solución natural del optimizador cuando se eliminan el entrelazamiento y la normalización, y que esta estructura puede guiar la construcción de arquitecturas Transformer más eficientes y no uniformes.