🤖 machine learning

On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers

Este artículo caracteriza los diversos comportamientos dinámicos de largo plazo de los transformadores lineales profundos en dos dimensiones mediante el modelado de las interacciones de los tokens como un sistema de Kuramoto generalizado, revelando dinámicas intrínsecas de baja dimensión, estructuras hamiltonianas ocultas y fenómenos robustos como la agrupación y las oscilaciones que persisten en dimensiones superiores.

Autores originales: Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los datos no son solo números estáticos en una página, sino una multitud bulliciosa de diminutos viajeros moviéndose a través de una vasta ciudad invisible. Este es el reino del aprendizaje automático, específicamente la tecnología detrás de la Inteligencia Artificial moderna conocida como Transformers. Probablemente hayas oído hablar de ellos; son los motores que impulsan los chatbots, las herramientas de traducción y los generadores de imágenes. En el corazón de estas máquinas hay un mecanismo llamado autoatención (self-attention). Piensa en ello como una red social superpotente para puntos de datos (llamados "tokens"). Cuando un Transformer lee una oración, cada palabra tiene la oportunidad de mirar a todas las demás palabras para decidir qué tan importante es. Este proceso ocurre capa por capa, como un juego del teléfono donde el mensaje se refina en cada paso.

Pero aquí está el misterio: aunque sabemos que estas máquinas funcionan increíblemente bien, a menudo no entendemos cómo funcionan por dentro. Es como saber que un coche corre rápido pero no entender el motor. Los científicos han estado tratando de mapear los "patrones de tráfico" de estos tokens de datos mientras se mueven a través de las capas. ¿Marchan todos al unísono? ¿Forman grupos? ¿Se quedan atrapados en un bucle? Comprender esto es crucial porque si sabemos cómo se mueven los datos, podemos construir una IA mejor, más segura y más eficiente. Este artículo profundiza en ese tráfico, tratando a los tokens de datos no como código de computadora, sino como un enjambre de partículas que bailan al ritmo de una danza matemática.

El Gran Baile de los Tokens: Un Estudio sobre el Caos y el Orden

En este artículo, un equipo de matemáticos e ingenieros decidió observar qué sucede cuando desnudas a un Transformer hasta sus huesos. Se centraron en una versión simplificada llamada Transformer Lineal. Imagina una pista de baile donde la música es simple y predecible, y los bailarines son "tokens" (los puntos de datos). Los investigadores querían ver: si dejamos que estos bailarines interactúen capa tras capa, ¿se detienen finalmente y se quedan quietos en una línea perfecta? ¿Forman dos grupos opuestos? ¿O simplemente siguen girando en círculos para siempre?

Para averiguar esto, los autores utilizaron un truco ingenioso. Se dieron cuenta de que en un entorno específico de dos dimensiones (piensa en los tokens moviéndose en un círculo plano), la compleja matemática del Transformer se comporta exactamente como un famoso modelo de física llamado modelo de Kuramoto. Puedes pensar en el modelo de Kuramoto como una forma de describir cómo las luciérnagas parpadean en sincronía o cómo los relojes de péndulo eventualmente oscilan juntos. Los autores descubrieron que sus tokens de Transformer eran esencialmente "luciérnagas" que solo interactuaban a través de un ritmo específico de segundo orden (un "doble latido" en lugar de un latido simple).

Debido a esta conexión, pudieron utilizar poderosas herramientas matemáticas (la transformación de Watanabe–Strogatz y el ansatz de Ott–Antonsen) para reducir el problema. En lugar de rastrear miles de bailarines individuales, podían describir el comportamiento de toda la multitud con una sola ecuación simple. Es como darse cuenta de que, en lugar de rastrear a cada persona en un estadio, solo necesitas rastrear la "ola" que se mueve a través de la multitud.

Los Resultados Sorprendentes: No es Solo una Línea Recta

El equipo descubrió que el comportamiento de estos tokens depende enteramente de las "reglas del baile", las cuales están establecidas por tres matrices específicas (tablas de números) llamadas Key (Clave), Query (Consulta) y Value (Valor). Al cambiar estos números, podían hacer que los tokens hicieran cosas radicalmente distintas:

El Gran Agrupamiento (El "Amontonamiento"): En muchos casos, los tokens hacen exactamente lo que esperamos. Se agrupan. A veces todos se amontonan en un solo punto (acuerdo perfecto). Pero a menudo, se dividen en dos grupos opuestos (clústeres antipodales) que se asientan en lados opuestos del círculo. Esto es como un debate donde todos terminan de acuerdo en uno de dos extremos.
El Giro Eterno (El "Carrusel"): Aquí es donde se pone extraño. Los investigadores encontraron configuraciones específicas donde los tokens sí forman dos grupos, pero estos grupos nunca dejan de moverse. Rotan alrededor del círculo para siempre, como un carrusel que nunca se detiene. Los tokens están agrupados, pero nunca se asientan. Este es un comportamiento que los autores no habían visto predicho antes en este contexto.
El Hamiltoniano Oculto (El "Columpio"): En otro escenario, el sistema se comporta como un péndulo o un columpio. Si los parámetros son los adecuados, los tokens oscilan de un lado a otro en un bucle perfecto y repetitivo. Si ajustas los parámetros incluso ligeramente, el sistema puede cambiar repentinamente de oscilar para siempre a asentarse. Esto se llama una bifurcación, y muestra que el comportamiento del Transformer es increíblemente sensible a su configuración.

¿Qué pasa en la Vida Real? (El "Qué pasaría si" y el "Qué es")

Los autores fueron cuidadosos al señalar que sus pruebas más detalladas se aplican a un mundo simplificado de dos dimensiones. Sin embargo, no se detuvieron ahí. Realizaron experimentos numéricos (simulaciones por computadora) con modelos mucho más grandes y realistas (100 dimensiones y 200 tokens).

Los resultados fueron emocionantes: los comportamientos extraños que encontraron en el mundo simple de 2D —como el giro eterno y los cambios repentinos entre oscilar y asentarse— persistieron en las simulaciones de mayor dimensión. Esto sugiere que estos bailes complejos y no lineales no son solo curiosidades matemáticas; podrían estar ocurriendo dentro de los enormes modelos de IA que usamos todos los días.

También compararon su modelo "Lineal" con el modelo "Softmax" más común (el que se usa en la IA del mundo real). Encontraron que, mientras el modelo Softmax tiende a forzar a todos hacia un único y perfecto amontonamiento, el modelo Lineal es más diverso, capaz de formar dos grupos distintos o de girar eternamente. Esto sugiere que la simplificación "lineal" no es solo un juguete; revela dinámicas ocultas que los modelos más complejos también podrían estar ocultando.

La Conclusión

Este artículo no pretende haber resuelto el misterio de toda la IA. En cambio, abre una nueva ventana. Al tratar a los tokens de datos como partículas que interactúan y utilizar el lenguaje de la física, los autores demostraron que los Transformers son capaces de una variedad de comportamientos mucho más rica que simplemente "converger a una única respuesta". Pueden oscilar, bifurcarse y rotar.

Los autores demostraron estos comportamientos matemáticamente para el caso de 2D y sugirieron, mediante simulaciones, que se mantienen en sistemas más grandes y complejos. No solo descubrieron que los tokens se mueven; descubrieron cómo se mueven, revelando que el mundo interno de un Transformer es una pista de baile dinámica, a veces caótica y bellamente estructurada. Este conocimiento podría ayudar a comprender por qué la IA a veces se queda atrapada en bucles o por qué se comporta de manera impredecible, allanando el camino para una inteligencia artificial más estable y comprensible en el futuro.

Resumen Técnico: Diversos Comportamientos Dinámicos que Surgen en Transformers Lineales Profundos

Declaración del Problema

El artículo aborda la falta de comprensión matemática respecto a la transformación interna de los datos dentro de las arquitecturas de transformers, centráéndose específicamente en la dinámica de inferencia de los transformers profundos de tipo solo codificador (encoder-only). Mientras que trabajos previos han caracterizado la sincronización de tokens y el "colapso de rango" (convergencia hacia un único punto) bajo suposiciones restrictivas (por ejemplo, estructuras de matrices específicas y atención softmax), el comportamiento de estos sistemas bajo elecciones de parámetros más generales sigue sin estar claro.

Los autores investigan el comportamiento a largo plazo de las representaciones de los tokens $x_k(t)$ que evolucionan a través de sucesivas capas de autoatención lineal. La dinámica se modela como un sistema de ecuaciones diferenciales ordinarias (EDO) acopladas en la esfera unidad $S^{d-1}$ :
$\dot{x}_k(t) = P^\perp_{x_k(t)} \left( \frac{1}{n} \sum_{j=1}^n \beta \langle x_k(t), A x_j(t) \rangle V x_j(t) \right)$
donde $A = Q^\top K$ y $V$ son las matrices de parámetros de clave/consulta (key/query) y de valor (value), respectivamente. La pregunta central es: ¿Para qué elecciones de las matrices $A$ y $V$ el sistema converge al consenso (clustering), y bajo qué elecciones emergen otros comportamientos de largo plazo (oscilaciones, bifurcaciones)?

Metodología

Los autores adoptan una perspectiva de sistema de partículas interactuantes, modelando los tokens como partículas. Su metodología difiere del enfoque de flujo de gradiente de Wasserstein utilizado en la literatura previa al centrarse en el modelo de autoatención lineal (LSA) ( $h(y)=y$ ) en dimensión $d=2$ .

Reformulación de Kuramoto: Los autores demuestran que, en $d=2$ , la dinámica de LSA puede reformularse como un modelo de Kuramoto generalizado con acoplamiento de segundo armónico puro. Al representar los tokens como ángulos $\theta_k$ en el círculo unitario ( $x_k = e^{i\theta_k}$ ), la dinámica depende únicamente del parámetro de segundo orden $R_2(t) = \frac{1}{n} \sum e^{i2\theta_j}$ .
Reducción de Dimensionalidad: Aprovechando la estructura de segundo armónico puro, los autores aplican la transformación de Watanabe–Strogatz (WS). Esto revela que el sistema de $n$ partículas es intrínsecamente de baja dimensión, gobernado por solo dos variables macroscópicas ( $\alpha, \eta$ ), independientemente de $n$ .
Ansatz de Ott–Antonsen (OA): Para una clase específica de inicializaciones donde la distribución de los doble-ángulos $\Xi = 2\Theta$ se encuentra en la "variedad OA" (específicamente, distribuciones Cauchy envueltas), el sistema WS se reduce aún más a una única EDO de valor complejo para el parámetro de orden $R_2(t)$ .
Análisis de Estabilidad: Para abordar la limitación del ansatz OA (que requiere inicializaciones específicas), los autores establecen resultados de estabilidad estructural. Demuestran que, para ciertos regímenes de parámetros, las dinámicas inicializadas cerca de la variedad OA exhiben el mismo comportamiento a largo plazo que aquellas inicializadas en la variedad, extendiendo los resultados teóricos a una clase más amplia de condiciones iniciales.
Validación Numérica: Los hallazgos teóricos en $d=2$ se validan mediante experimentos numéricos en dimensiones superiores ( $d=100$ ) tanto para la autoatención lineal como para la atención softmax no normalizada (USA).

Principales Contribuciones

El artículo realiza cuatro contribuciones primarias:

Formulación de Kuramoto de Segundo Armónico Puro: Los autores muestran que la autoatención lineal en $d=2$ es equivalente a un modelo de Kuramoto-Daido con acoplamiento de segundo armónico puro para arbitrarias matrices $A$ y $V$ . Esto establece una estructura intrínseca de baja dimensión independiente de los valores específicos de los parámetros, distinta del marco de flujo de gradiente de Wasserstein.
Diversos Comportamientos de Largo Plazo en la Variedad OA: Al analizar la EDO reducida para $R_2(t)$ $R_{2} (t)$ , los autores identifican cuatro regímenes dinámicos distintos basados en las propiedades de $A$ $A$ y $V$ $V$ :
- Clustering con Convergencia: Los tokens se agrupan en dos puntos antipodales fijos (por ejemplo, cuando $V=I$ y $A$ satisface ciertas condiciones de traza/determinante).
- Clustering sin Convergencia: Los tokens forman dos grupos antipodales, pero la ubicación de los grupos rota indefinidamente (oscilación no convergente).
- Oscilaciones: El sistema exhibe oscilaciones periódicas persistentes sin formar grupos estables.
- Bifurcaciones: El sistema experimenta bifurcaciones de silla-nodo donde pequeños cambios en $V$ alteran drásticamente el comportamiento a largo plazo (por ejemplo, la transición de oscilación a clustering).
- Nota: Estos comportamientos incluyen oscilaciones y bifurcaciones, que los autores señalan que no han sido caracterizados previamente en la dinámica de transformers.
Estabilidad Estructural Más Allá de la Variedad OA: Los autores prueban que para regímenes de parámetros específicos (por ejemplo, $V=I$ con parte simétrica de $A$ definida positiva, o $A=I$ con $\lambda_{\max}(V) > 0$ ), el comportamiento a largo plazo (convergencia a puntos antipodales) es robusto. Las dinámicas inicializadas cerca de la variedad OA convergen al mismo estado que aquellas en la variedad, siempre que la distribución inicial sea suficientemente cercana a la uniforme en la distancia de Lipschitz acotada.
Persistencia en Alta Dimensión: Experimentos numéricos sugieren que los comportamientos cualitativos identificados en el análisis teórico en 2D (clustering, clustering no convergente y oscilaciones) persisten en configuraciones de mayor dimensión ( $d=100$ ) para ambos modelos de atención lineal y softmax.

Resultados

El artículo categoriza el comportamiento a largo plazo del parámetro de orden $R_2(t)$ (y, consecuentemente, de la distribución de los tokens) en tres tipos:

Tipo 1 (Convergencia): $|R_2| \to 1$ y $\arg(R_2) \to \text{constante}$ . Los tokens convergen a dos puntos antipodales fijos.
Tipo 2 (Clusters Rotatorios): $|R_2| \to 1$ pero $\arg(R_2)$ no converge. Los tokens se agrupan en dos puntos antipodales que rotan continuamente.
Tipo 3 (Oscilación): Ni $|R_2|$ ni $\arg(R_2)$ convergen. El sistema exhibe oscilaciones periódicas persistentes.

Hallazgos específicos incluyen:

Caso 1 ( $V=I, A$ arbitraria): El clustering ocurre si $\text{tr}(A) > 0$ o $\det(A) \le 0$ . Si la parte simétrica de $A$ es definida negativa, el sistema converge a un punto interior (sin clustering).
Caso 2 ( $A=I, V$ simétrica): El clustering ocurre si $\lambda_{\max}(V) \ge 0$ . Si $\lambda_{\max}(V) < 0$ , el sistema converge sin clustering.
Caso 3 (No conmutación de $A, V$ ): Los autores identifican un régimen donde los tokens forman dos grupos antipodales que rotan indefinidamente (clustering sin convergencia).
Caso 4 (Hamiltoniano Oculto): Para ciertas matrices $V$ de tipo antisimétrico, el sistema exhibe una estructura Hamiltoniana oculta que conduce a órbitas periódicas (oscilaciones) cuando $v_{11} < v_{12}$ , y convergencia cuando $v_{11} \ge v_{12}$ .

Significado y Reivindicaciones

El artículo afirma proporcionar la primera caracterización teórica que vincula diversos comportamientos dinámicos en modelos de transformer (específicamente oscilaciones y bifurcaciones) con la elección explícita de parámetros de las matrices de pesos.

Más allá del Clustering: El trabajo desafía la visión predominante de que la dinámica de los transformers conduce principalmente a la uniformidad de los tokens o al colapso de rango. Demuestra que los transformers lineales pueden mantener dinámicas complejas y no convergentes (oscilaciones, clusters rotatorios) dependiendo de $A$ y $V$ .
Marco Analítico: Al conectar la dinámica de los transformers con modelos de tipo Kuramoto, los autores proporcionan un nuevo marco analítico que es distinto y complementario al enfoque de flujo de gradiente de Wasserstein. Este marco permite el análisis de matrices generales $A$ y $V$ , que anteriormente eran intratables bajo las suposiciones de flujo de gradiente.
Robustez: Los resultados de estabilidad estructural sugieren que estos diversos comportamientos no son artefactos de inicializaciones idealizadas (la variedad OA), sino características robustas del sistema para una amplia gama de condiciones iniciales.
Relevancia Práctica: Los autores señalan que el comportamiento de "clustering sin convergencia" (clusters rotatorios) se asemeja cualitativamente a las trayectorias cíclicas observadas en los "Transformers con Bucle" (LLMs aplicados recurrentemente), lo que sugiere posibles implicaciones para comprender la dinámica de aplicaciones de transformers profundos o recurrentes. También destacan la sensibilidad de estas dinámicas a las perturbaciones de los parámetros, lo cual puede ser relevante para la cuantización de modelos.

Los autores mantienen la modestia respecto a la extensión de estos resultados, reconociendo que la reducción rigurosa de baja dimensión es actualmente específica para $d=2$ y la atención lineal, y que extender estas técnicas a dimensiones superiores y kernels no lineales (softmax) sigue siendo una cuestión abierta.