🤖 machine learning

Feed-Forward Steering in Transformer Residual Dynamics

Este artículo extiende las teorías dinámicas de solo atención de los Transformers al modelar las redes de alimentación hacia adelante como campos de dirección locales, demostrando que sus componentes tangenciales son esenciales para el movimiento residual y el rendimiento del modelo, al tiempo que identifica los defectos de conmutación como una métrica clave para determinar la viabilidad de paralelizar los bloques de atención y FFN.

Autores originales: Timur Mudarisov, Mikhail Burtsev, Radu State

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Timur Mudarisov, Mikhail Burtsev, Radu State

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando una enorme e invisible fiesta de baile dentro del cerebro de una computadora. Esta no es una fiesta con música y luces parpadeantes, sino con palabras y números. En el mundo de la inteligencia artificial, específicamente en los "Transformers" que impulsan los chatbots y los motores de búsqueda, hay un flujo constante de información llamado "flujo residual" (residual stream). Piensa en este flujo como un río que transporta pequeños botes (tokens) que representan palabras. Durante mucho tiempo, los científicos creyeron que lo único que dirigía estos botes era un mecanismo llamado "Atención". Puedes imaginar la Atención como un imán gigante e invisible que atrae a los botes hacia los demás si están hablando de cosas similares. Si un bote dice "rey", el imán podría atraerlo hacia un bote que dice "reina". Esta fuerza de atracción se llama "agregación", y es la razón por la cual las palabras que pertenecen entre sí comienzan a agruparse en la misma dirección.

Sin embargo, hay otra parte de la pista de baile: la Red de Alimentación hacia Adelante, o FFN (Feed-Forward Network). Si la Atención es el imán que atrae a los botes entre sí, la FFN es como un DJ local o un entrenador personal parado justo al lado de cada bote, dándole un empujoncito en una dirección específica basada en lo que ese bote en particular está diciendo. Durante años, los investigadores pensaron que la FFF era solo un acompañante, tal vez solo ajustando la velocidad de los botes o arreglando su volumen. Pero un nuevo artículo plantea una gran pregunta: ¿Es la FFN solo un control de volumen, o es realmente el volante que decide hacia dónde van los botes? Comprender esto es importante porque, si sabemos exactamente cómo se mueven estos botes, podemos hacer que la IA sea más rápida, más inteligente y más fácil de reparar cuando comete errores.

El Gran Descubrimiento del Artículo: El DJ es el Capitán

Este artículo, titulado "Feed-Forward Steering in Transformer Residual Dynamics", sugiere que la vieja visión estaba perdiendo una pieza crucial del rompecabezas. Los autores proponen una nueva forma de ver la pista de baile: la Atención es la "agregación" que atrae a todos hacia un grupo compartido, pero la FFN es un "campo de dirección" (steering field) que empuja activamente a los botes individuales en nuevas direcciones. Tratan el movimiento de estos botes de palabras como un problema de física, donde los botes son partículas moviéndose sobre una esfera (como la superficie de un globo terráqueo).

Los investigadores descubrieron que la FFN no solo empuja a los botes hacia adelante o hacia atrás (lo que solo cambiaría su velocidad o tamaño). En cambio, la parte más importante del trabajo de la FFN es empujarlos lateralmente, o "tangencialmente". Imagina un bote en un globo terráqueo; empujarlo hacia el Polo Norte cambia su tamaño relativo respecto al centro, pero empujarlo lateralmente cambia su dirección real en el mapa. El artículo muestra que este empuje lateral es lo que realmente cambia el significado y la trayectoria de la palabra.

Lo que Hicieron y lo que Encontraron

Para demostrar esto, el equipo realizó una serie de experimentos en varios modelos de IA famosos, incluyendo GPT-2, Pythia, Mistral y Llama-3. Trataron a la IA como un laboratorio científico donde podían encender o apagar partes o cambiar cómo funcionaban.

Primero, verificaron si la Atención por sí sola podía explicar hacia dónde iban los botes. Encontraron un enorme "déficit de alineación angular". En lenguaje sencillo, si solo dejaran funcionar el imán de la Atención, los botes terminarían apuntando en la dirección incorrecta en comparación con hacia donde la IA real los enviaría. Este déficit creció a medida que los modelos se hacían más grandes y nuevos, pasando de aproximadamente 0.41 en GPT-2 a 0.63 en Llama-3-8B. Esto sugiere que sin la dirección de la FFN, la IA estaría perdida.

Luego, realizaron una "cirugía" en la FFN. Dividieron el empuje de la FFN en dos partes: la parte "radial" (empujar hacia adelante/atrás) y la parte "tangencial" (empujar hacia los lados).

Cuando mantuvieron solo la parte radial, el rendimiento de la IA colapsó por completo, tal como si hubieran eliminado la FFN por completo.
Cuando mantuvieron solo la parte tangencial, la IA siguió funcionando casi perfectamente, con solo una mínima caída en la calidad.

Esta fue la prueba irrefutable. Demostró que el trabajo principal de la FFN es dirigir la dirección de las palabras, no solo ajustar su tamaño.

También observaron qué sucede cuando el imán de la Atención tira demasiado fuerte, intentando aplastar todos los botes en un solo grupo diminuto (un problema llamado "colapso de rango" o rank collapse). Encontraron que la FFF actúa como una contrafuerza. Mientras la Atención intenta apretar los botes, la FFN los empuja para separarlos, manteniendo la diversidad del grupo y evitando que todos se conviertan en la misma palabra. Es como un DJ que nota que la gente se está amontonando en el centro y comienza a tocar un ritmo que hace que la gente se disperse de nuevo.

Un Truco Práctico: Acelerando el Baile

La parte más emocionante del artículo es un truco práctico que descubrieron. En una IA estándar, los botes primero son atraídos por el imán de la Atención y, luego, la coach de la FFN les da un empujón. Esto sucede uno tras otro (secuencialmente). Los investigadores se preguntaron: "¿Qué pasaría si dejamos que el imán y la coach trabajen al mismo tiempo (en paralelo)?"

Normalmente, no puedes hacer esto porque la coach necesita ver hacia dónde atrajo el imán al bote primero. Pero el equipo midió un "puntaje de defecto" para ver cuánto importaba el orden para cada capa de la IA. Descubrieron que para algunas capas, el orden no importaba mucho. Al identificar estas capas de "bajo defecto", pudieron ejecutar las partes de Atención y FFN al mismo tiempo.

En GPT-2-large, lograron acelerar el proceso aproximadamente 1.24 veces con casi ninguna pérdida de calidad (solo +0.02 de pérdida).
En Mistral, obtuvieron una aceleración de 1.10 veces con una pérdida minúscula de +0.009.

Sin embargo, si intentaban hacer esto en capas donde el orden sí importaba (capas de alto defecto), el rendimiento de la IA colapsaba. Esto sugiere que, si bien no podemos hacer que toda la IA corra en paralelo instantáneamente, podemos acelerar partes específicas de ella sabiendo exactamente cómo funciona la dirección.

Lo que Esto Significa

El artículo no afirma haber resuelto todo sobre la IA, pero cambia la forma en que vemos el motor. Sugiere que la FFF no es solo un ayudante; es un campo de dirección que moldea la geometría de los pensamientos de la IA. Evita que la IA se quede estancada en una sola dirección y le permite navegar por ideas complejas. Al comprender que la FFF es el "volante" y no solo el "pedal del acelerador", los investigadores podrían construir modelos de IA más rápidos, más eficientes y que no pierdan el rumbo. Los hallazgos se basan en mediciones cuidadosas y simulaciones a través de múltiples modelos, lo que sugiere que esta visión de "agregación-dirección" es una forma robusta de entender cómo se mueven estos cerebros digitales.

Resumen Técnico: Dirección por Alimentación hacia Adelante en la Dinámica de Residuos de Transformers

Planteamiento del Problema
Las teorías continuas existentes sobre la dinámica de los Transformers modelan principalmente el flujo residual como un sistema de partículas que se agregan sobre una esfera, impulsadas únicamente por el mecanismo de atención. Si bien este marco de "solo atención" explica fenómenos como el colapso de rango y la agrupación (clustering), no logra dar cuenta del papel de la Red de Alimentación hacia Adelante (FFN, por sus siglas en inglés). Concurrentemente, la investigación en interpretabilidad identifica a las FFN como sitios de almacenamiento de memorias de clave-valor y objetivos efectivos para la edición, pero estas visiones permanecen desconectadas de la perspectiva de sistemas dinámicos. El problema central abordado es cómo integrar la FFN en un modelo dinámico unificado de la evolución del flujo residual para explicar su impacto geométrico en las direcciones de los tokens y determinar la viabilidad de aproximar bloques secuenciales con paralelos.

Metodología
Los autores extienden el marco continuo de la dinámica de la atención incorporando la FFF como un campo de dirección local que actúa sobre los estados de los tokens. El modelo trata el flujo residual $x_i = r_i u_i$ (donde $u_i$ es la dirección en la esfera unitaria y $r_i$ es la magnitud) como un elemento que evoluciona según:
$\dot{u}_i = \frac{1}{s_i(t)} P_{u_i} \left[ A_i(U) + \Phi_i(u_i) \right]$
Aquí, $A_i(U)$ representa el campo de agregación no local de la atención, y $\Phi_i(u_i)$ es el campo de dirección local proporcionado por la FFN. $P_{u_i}$ es la proyección ortogonal sobre el espacio tangente, asegurando que solo el componente tangencial del campo vectorial altere la dirección, mientras que el componente radial afecta la magnitud (y, por ende, la velocidad angular).

El estudio emplea cuatro protocolos experimentales primarios a través de modelos GPT-2, Pythia, Mistral y Llama:

Diagnóstico de Déficit Angular: Medición de la alineación entre la actualización de solo atención y la actualización de bloque realizada para cuantificar la contribución de la FFN al movimiento angular.
Ablación Radial/Tangencial: Descomposición de la salida de la FFN en componentes radial ( $\langle u, \Phi(u) \rangle u$ ) y tangencial ( $P_u \Phi(u)$ ) para aislar cuál impulsa los cambios de dirección.
Diversidad bajo Agregación: Análisis de las estadísticas de diversidad esférica antes y después de las capas de atención y FFN para observar cómo la FFF contrarresta la concentración inducida por la atención.
Defecto de Secuencial-a-Paralelo: Estimación de una puntuación de sensibilidad por capa ( $C_\ell$ ) para determinar si los bloques secuenciales ( $x + A(x) + \Phi(x+A(x))$ ) pueden aproximarse mediante sustitutos paralelos ( $x + A(x) + \Phi(x)$ ) sin una pérdida significativa de rendimiento.

Los diagnósticos adicionales incluyen la calibración de la puerta (gate) de la FFN por capa, el análisis de la geometría de puntos críticos (identificación de atractores, puntos de silla y repulsores) y pruebas de sensibilidad de prefijo.

Contribuciones Clave

Marco de Agregación-Dirección (Aggregation-Steering): El artículo formula la dinámica del flujo residual de los Transformers como un flujo de agregación-dirección sobre una esfera, donde la atención proporciona agregación no local y la FFN proporciona dirección local.
Identificación de la Dirección Tangencial: Los autores demuestran matemática y empíricamente que el componente tangencial del campo de la FFN es necesario para el movimiento en el espacio de la dirección residual. El componente radial principalmente reescala la magnitud, mientras que el componente tangencial dicta la dirección.
Geometría de Direcciones Críticas: El estudio identifica que las direcciones residuales críticas corresponden a equilibrios proyectivos no lineales. Contrario a la intuición de que las FFF crean atractores estables, el análisis revela que la dirección de la FFF reorganiza activamente la geometría local hacia modos de transporte rotacionales y de punto de silla, preservando la diversidad.
Métrica de Defecto Secuencial-a-Paralelo: Se deriva una métrica de defecto directa para caracterizar cuándo un bloque secuencial de atención-FFN puede ser aproximado con precisión por un mapa paralelo y aditivo. Este defecto está gobernado por el término de la derivada direccional $D_\Phi A$ , distinto del solo bracket de Lie.

Resultos

Desalineación Angular: La rama de atención por sí sola exhibe un déficit sustancial de alineación angular respecto a la actualización de bloque realizada. Este déficit aumenta con la escala del modelo, variando de 0.41 en GPT-2 a 0.63 en Llama-3-8B, lo que indica que la FFF no es meramente una corrección secundaria, sino un motor primario de las actualizaciones angulares.
Hallazgos de Ablación: Retener únicamente el componente tangencial de la FFF preserva la mayor parte de la calidad del modelo (incrementos de pérdida de 0.07–1.72), mientras que retener únicamente el componente radial provoca el colapso del rendimiento (incrementos de pérdida de 7.19–12.96), comparable a eliminar la FFF por completo.
Preservación de la Diversidad: La atención típicamente contrae las direcciones residuales (reduciendo la diversidad), mientras que la FFF a menudo restaura o da forma a esta diversidad. El componente tangencial de la FFF inyecta modos de transporte rotacionales y de punto de silla que previenen la concentración excesiva bajo la presión de agregación.
Viabilidad de Paralelización: Las capas con bajos defectos de secuencial-a-paralelo (bajas puntuaciones de sensibilidad) pueden ser aproximadamente paralelizadas con aumentos modestos de pérdida. Por ejemplo, paralelizar 18 capas de bajo defecto en GPT-2-large produce una aceleración estimada de 1.24× con solo un +0.02 de pérdida, mientras que paralelizar capas de alto defecto degrada el rendimiento rápidamente.
Geometría Crítica: La ablación de componentes del campo de dirección crítica muestra que los candidatos de solo FFF son predominantemente de tipo punto de silla (espectros de signo mixto). La FFF no simplemente crea atractores estables, sino que reestructura el retrato de fase para mantener una geometría de representación de alta dimensión.

Significancia y Reivindicaciones
El artículo afirma apoyar la interpretación de las capas FFF como campos de dirección que dan forma a la geometría del flujo residual de los Transformers. Argumenta que la FFF es esencial para gobernar la viabilidad de las intervenciones a nivel de bloque y para mantener la diversidad de la representación frente a la presión de colapso de la atención.

Los autores posicionan sus hallazgos como un puente entre la teoría de sistemas dinámicos y la interpretabilidad, sugiriendo que la visión de "dirección" (steering) explica por qué las FFF son sitios de edición efectivos y por qué son necesarias para la estabilidad geométrica del modelo. La significancia práctica reside en la identificación de capas que pueden ser paralelizadas de forma segura para reducir la latencia de inferencia sin una degradación significativa del rendimiento.

El documento mantiene la modestia respecto a su alcance, señalando que los resultados de campo medio teóricos describen la atención completa, mientras que los modelos decodificadores causales requieren dinámicas indexadas por prefijo. Los análisis de puntos críticos se presentan como diagnósticos locales en lugar de descripciones globales de todo el espacio residual. Además, los resultados prácticos de paralelización se enmarcan como aceleraciones estimadas de submódulos en lugar de reclamos de rendimiento de kernels optimizados para producción. Los autores declaran explícitamente que sus hallazgos son diagnósticos y no pretenden garantías universales de anti-colapso o paralelización perfecta en todas las arquitecturas.

Más como este