🤖 machine learning

On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers

Cet article caractérise les divers comportements dynamiques à long terme des transformeurs linéaires profonds en deux dimensions en modélisant les interactions entre jetons comme un système de Kuramoto généralisé, révélant des dynamiques intrinsèques de faible dimension, des structures hamiltoniennes cachées et des phénomènes robustes tels que le regroupement et les oscillations qui persistent dans des dimensions supérieures.

Auteurs originaux : Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les données ne sont pas de simples chiffres statiques sur une page, mais une foule grouillante de minuscules voyageurs se déplaçant à travers une vaste cité invisible. C'est le domaine de l'apprentissage automatique, plus précisément la technologie derrière l'Intelligence Artificielle moderne connue sous le nom de Transformers. Vous en avez probablement déjà entendu parler ; ce sont les moteurs qui alimentent les chatbots, les outils de traduction et les générateurs d'images. Au cœur de ces machines se trouve un mécanisme appelé auto-attention (self-attention). Considérez cela comme un réseau social surpuissant pour les points de données (appelés « tokens »). Lorsqu'un Transformer lit une phrase, chaque mot peut regarder tous les autres mots pour décider de son importance. Ce processus se produit couche par couche, comme un jeu de téléphone arabe où le message est affiné à chaque étape.

Mais voici le mystère : bien que nous sachions que ces machines fonctionnent incroyablement bien, nous ne comprenons souvent pas comment elles fonctionnent à l'intérieur. C'est comme savoir qu'une voiture roule vite sans comprendre le moteur. Des scientifiques tentent de cartographier les « schémas de circulation » de ces tokens de données lorsqu'ils traversent les couches. Se déplacent-ils tous au pas ? Forment-ils des groupes ? Restent-ils bloqués dans une boucle ? Comprendre cela est crucial car si nous savons comment les données circulent, nous pouvons construire une IA meilleure, plus sûre et plus efficace. Ce document plonge profondément dans ce trafic, traitant les tokens de données non pas comme du code informatique, mais comme un essaim de particules dansant selon un rythme mathématique.

La Grande Danse des Tokens : Une Étude sur le Chaos et l'Ordre

Dans cet article, une équipe de mathématiciens et d'ingénieurs a décidé d'observer ce qui se passe lorsqu'on réduit un Transformer à ses composants de base. Ils se sont concentrés sur une version simplifiée appelée Transformer Linéaire. Imaginez une piste de danse où la musique est simple et prévisible, et les danseurs sont des « tokens » (les points de données). Les chercheurs voulaient voir : si nous laissons ces danseurs interagir couche après couche, finissent-ils par s'arrêter et se tenir immobiles en une ligne parfaite ? Forment-ils deux groupes opposés ? Ou continuent-ils simplement à tourner en rond pour toujours ?

Pour découvrir cela, les auteurs ont utilisé une astuce ingénieuse. Ils ont réalisé que dans un cadre spécifique à deux dimensions (imaginez les tokens se déplaçant sur un cercle plat), la mathématique complexe du Transformer se comporte exactement comme un célèbre modèle de physique appelé le modèle de Kuramoto. Vous pouvez concevoir le modèle de Kuramoto comme un moyen de décrire la façon dont les lucioles clignotent de manière synchronisée ou dont les pendules finissent par battre ensemble. Les auteurs ont découvert que leurs tokens de Transformer étaient essentiellement des « lucioles » qui n'interagissaient que par un rythme spécifique de second ordre (un « double battement » au lieu d'un battement simple).

Grâce à cette connexion, ils ont pu utiliser des outils mathématiques puissants (la transformation de Watanabe–Strogatz et l'ansatz d'Ott–Antonsen) pour réduire le problème. Au lieu de suivre des milliers de danseurs individuels, ils pouvaient décrire le comportement de toute la foule avec une seule équation simple. C'est comme réaliser qu'au lieu de suivre chaque personne dans un stade, vous n'avez besoin de suivre que la « vague » qui traverse la foule.

Les Résultats Surprenants : Pas Juste une Ligne Droite

L'équipe a découvert que le comportement de ces tokens dépend entièrement des « règles de la danse », qui sont fixées par trois matrices spécifiques (des tableaux de nombres) appelées Key (Clé), Query (Requête) et Value (Valeur). En changeant ces nombres, ils pouvaient faire faire aux tokens des choses radicalement différentes :

Le Grand Regroupement (Le « Rassemblement ») : Dans de nombreux cas, les tokens font exactement ce à quoi on s'attend. Ils se regroupent. Parfois, ils se rassemblent tous en un seul point (accord parfait). Mais souvent, ils se divisent en deux groupes opposés (clusters antipodaux) qui se trouvent de part et d'autre du cercle. C'est comme un débat où tout le monde finit par s'accorder sur l'un des deux côtés extrêmes.
La Rotation Éternelle (Le « Carrousel ») : C'est ici que cela devient étrange. Les chercheurs ont découvert des réglages spécifiques où les tokens forment effectivement deux groupes, mais ces groupes ne cessent jamais de bouger. Ils tournent autour du cercle pour toujours, comme un carrousel qui ne s'arrête jamais. Les tokens sont regroupés, mais ils ne se stabilisent jamais. C'est un comportement que les auteurs n'avaient jamais vu prédit auparavant dans ce contexte.
L'Hamiltonien Caché (La « Balançoire ») : Dans un autre scénario, le système se comporte comme un pendule ou une balançoire. Si les paramètres sont bien ajustés, les tokens oscillent d'avant en arrière dans une boucle parfaite et répétitive. Si vous modifiez même légèrement les paramètres, le système peut soudainement passer d'un mouvement de balancement perpétuel à une stabilisation. C'est ce qu'on appelle une bifurcation, et cela montre que le comportement du Transformer est incroyablement sensible à ses réglages.

Et Dans la Vie Réelle ? (Le « Et si » et le « Ce qui est »)

Les auteurs ont pris soin de noter que leurs preuves les plus détaillées s'appliquent à un monde simplifié en deux dimensions. Cependant, ils ne se sont pas arrêtés là. Ils ont mené des expériences numériques (simulations informatiques) avec des modèles beaucoup plus larges et réalistes (100 dimensions et 200 tokens).

Les résultats étaient passionnants : les comportements étranges qu'ils ont trouvés dans le monde simple en 2D — comme la rotation éternelle et les changements soudains entre balancement et stabilisation — persistaient dans les simulations de haute dimension. Cela suggère que ces danses complexes et non linéaires ne sont pas seulement des curiosités mathématiques ; elles pourraient se produire à l'intérieur des modèles d'IA massifs que nous utilisons chaque jour.

Ils ont également comparé leur modèle « Linéaire » au modèle « Softmax » plus courant (celui utilisé dans l'IA réelle). Ils ont trouvé que si le modèle Softmax tend à forcer tout le monde dans un seul et même rassemblement parfait, le modèle Linéaire est plus diversifié, capable de former deux groupes distincts ou de tourner éternellement. Cela suggère que la simplification « linéaire » n'est pas qu'un simple jouet ; elle révèle des dynamiques cachées que les modèles plus complexes pourraient également dissimuler.

L'Essentiel

Ce document ne prétend pas avoir résolu le mystère de toute l'IA. Au lieu de cela, il ouvre une nouvelle fenêtre. En traitant les tokens de données comme des particules en interaction et en utilisant le langage de la physique, les auteurs ont montré que les Transformers sont capables d'une variété de comportements bien plus riche que la simple « convergence vers une réponse unique ». Ils peuvent osciller, bifurquer et tourner.

Les auteurs ont prouvé ces comportements mathématiquement pour le cas en 2D et ont suggéré, par des simulations, qu'ils sont valables pour des systèmes plus larges et plus complexes. Ils n'ont pas seulement découvert que les tokens se déplacent ; ils ont découvert comment ils se déplacent, révélant que le monde intérieur d'un Transformer est une piste de danse dynamique, parfois chaotique et magnifiquement structurée. Cette compréhension pourrait nous aider à comprendre pourquoi l'IA reste parfois bloquée dans des boucles ou pourquoi elle se comporte de manière imprévisible, ouvissant la voie à une intelligence artificielle plus stable et plus compréhensible à l'avenir.

Résumé technique : Diversité des comportements dynamiques émergeant des Transformers Linéaires Profonds

Énoncé du problème

L'article traite du manque de compréhension mathématique concernant la transformation interne des données au sein des architectures de transformers, en se concentrant spécifiquement sur la dynamique d'inférence des transformers profonds de type "encoder-only". Alors que des travaux antérieurs ont caractérisé la synchronisation des tokens et l'effondrement de rang (convergence vers un point unique) sous des hypothèses restrictives (par exemple, des structures matricielles spécifiques et une attention softmax), le comportement de ces systèmes sous des choix de paramètres plus généraux reste obscur.

Les auteurs étudient le comportement à long terme des représentations de tokens $x_k(t)$ évoluant à travers des couches successives d'auto-attention linéaire. La dynamique est modélisée comme un système d'équations différentielles ordinaires (EDO) couplées sur la sphère unité $S^{d-1}$ :
$\dot{x}_k(t) = P^\perp_{x_k(t)} \left( \frac{1}{n} \sum_{j=1}^n \beta \langle x_k(t), A x_j(t) \rangle V x_j(t) \right)$
où $A = Q^\top K$ et $V$ sont les matrices de paramètres pour les clés/requêtes et les valeurs, respectivement. La question centrale est la suivante : Pour quels choix de matrices $A$ et $V$ le système converge-t-il vers un consensus (clustering), et sous quelles conditions d'autres comportements à long terme (oscillations, bifurcations) émergent-ils ?

Méthodologie

Les auteurs adoptent une perspective de système de particules en interaction, modélisant les tokens comme des particules. Leur méthodologie diverge de l'approche par flot de gradient de Wasserstein utilisée dans la littérature antérieure en se concentrant sur le modèle d'auto-attention linéaire (LSA) ( $h(y)=y$ ) en dimension $d=2$ .

Reformulation de Kuramoto : Les auteurs démontrent que dans $d=2$ , la dynamique LSA peut être reformulée comme un modèle de Kuramoto généralisé avec un couplage de second harmonique pur. En représentant les tokens comme des angles $\theta_k$ sur le cercle unité ( $x_k = e^{i\theta_k}$ ), la dynamique dépend uniquement du paramètre de second ordre $R_2(t) = \frac{1}{n} \sum e^{i2\theta_j}$ .
Réduction de dimensionnalité : En tirant parti de la structure de second harmonique pur, les auteurs appliquent la transformation de Watanabe–Strogatz (WS). Cela révèle que le système à $n$ particules est intrinsèquement de faible dimension, régi par seulement deux variables macroscopiques ( $\alpha, \eta$ ), quel que soit $n$ .
Ansatz d'Ott–Antonsen (OA) : Pour une classe spécifique d'initialisations où la distribution des doubles angles $\Xi = 2\Theta$ se situe sur la "variété OA" (spécifiquement, les distributions de Cauchy enveloppées), le système WS se réduit davantage à une seule EDO à valeur complexe pour le paramètre d'ordre $R_2(t)$ .
Analyse de stabilité : Pour répondre à la limitation de l'ansatz OA (qui nécessite des initialisations spécifiques), les auteurs établissent des résultats de stabilité structurelle. Ils prouvent que pour certains régimes de paramètres, les dynamiques initialisées proche de la variété OA présentent le même comportement à long terme que celles initialisées sur la variété, étendant ainsi les résultats théoriques à une classe plus large de conditions initiales.
Validation numérique : Les résultats théoriques en $d=2$ sont validés par des expériences numériques en dimensions plus élevées ( $d=100$ ) pour l'auto-attention linéaire et l'attention softmax non normalisée (USA).

Contributions principales

L'article présente quatre contributions primaires :

Reformulation de Kuramoto à second harmonique pur : Les auteurs montrent que l'auto-attention linéaire dans $d=2$ est équivalente à un modèle de Kuramoto-Daido à couplage de second harmonique pur pour des matrices $A$ et $V$ arbitraires. Cela établit une structure intrinsèque de faible dimension indépendante des valeurs spécifiques des paramètres, se distinguant du cadre de flot de gradient de Wasserstein.
Diversité des comportements à long terme sur la variété OA : En analysant l'EDO réduite pour $R_2(t)$ $R_{2} (t)$ , les auteurs identifient quatre régimes dynamiques distincts basés sur les propriétés de $A$ $A$ et $V$ $V$ :
- Clustering avec convergence : Les tokens se regroupent en deux points antipodaux fixes (par exemple, quand $V=I$ et que $A$ satisfait des conditions spécifiques de trace/déterminant).
- Clustering sans convergence : Les tokens forment deux clusters antipodaux, mais les emplacements des clusters tournent indéfiniment (oscillation non convergente).
- Oscillations : Le système présente des oscillations périodiques persistantes sans former de clusters stables.
- Bifurcations : Le système subit des bifurcations nœud-selle où de petits changements dans $V$ modifient radicalement le comportement à long terme (par exemple, la transition d'une oscillation vers un clustering).
- Note : Ces comportements incluent des oscillations et des bifurcations, que les auteurs notent n'avoir été caractérisés auparavant dans la dynamique des transformers.
Stabilité structurelle au-delà de la variété OA : Les auteurs prouvent que pour des régimes de paramètres spécifiques (par exemple, $V=I$ avec une partie symétrique définie positive de $A$ , ou $A=I$ avec $\lambda_{\max}(V) > 0$ ), le comportement à long terme (convergence vers des points antipodaux) est robuste. Les dynamiques initialisées près de la variété OA convergent vers le même état que celles sur la variété, à condition que la distribution initiale soit suffisamment proche de l'uniforme en distance de Lipschitz-bornée.
Persistance en haute dimension : Des expériences numériques suggèrent que les comportements qualitatifs identifiés dans l'analyse théorique en 2D (clustering, clustering non convergent et oscillations) persistent dans des contextes de haute dimension ( $d=100$ ) pour les modèles d'attention linéaire et softmax.

Résultats

L'article catégorise le comportement à long terme du paramètre d'ordre $R_2(t)$ (et par conséquent de la distribution des tokens) en trois types :

Type 1 (Convergence) : $|R_2| \to 1$ et $\arg(R_2) \to \text{const}$ . Les tokens convergent vers deux points antipodaux fixes.
Type 2 (Clusters tournants) : $|R_2| \to 1$ mais $\arg(R_2)$ ne converge pas. Les tokens se regroupent en deux points antipodaux qui tournent continuellement.
Type 3 (Oscillation) : Ni $|R_2|$ ni $\arg(R_2)$ ne convergent. Le système présente des oscillations persistantes.

Des résultats spécifiques incluent :

Cas 1 ( $V=I, A$ arbitraire) : Le clustering se produit si $\text{tr}(A) > 0$ ou $\det(A) \le 0$ . Si la partie symétrique de $A$ est définie négative, le système converge vers un point intérieur (pas de clustering).
Cas 2 ( $A=I, V$ symétrique) : Le clustering se produit si $\lambda_{\max}(V) \ge 0$ . Si $\lambda_{\max}(V) < 0$ , le système converge sans clustering.
Cas 3 (Non-commutation de $A, V$ ) : Les auteurs identifient un régime où les tokens forment deux clusters antipodaux qui tournent indéfiniment (clustering sans convergence).
Cas 4 (Hamiltonien caché) : Pour des $V$ de type antisymétrique spécifiques, le système présente une structure Hamiltonienne cachée menant à des orbites périodiques (oscillations) lorsque $v_{11} < v_{12}$ , et une convergence lorsque $v_{11} \ge v_{12}$ .

Signification et affirmations

L'article affirme fournir la première caractérisation théorique liant les divers comportements dynamiques dans les modèles de transformers (spécifiquement les oscillations et les bifurcations) à des choix explicites de paramètres des matrices de poids.

Au-delà du clustering : Ce travail remet en question la vision prédominante selon laquelle la dynamique des transformers conduit principalement à l'uniformité des tokens ou à l'effondrement de rang. Il démontre que les transformers linéaires peuvent soutenir des dynamiques complexes et non convergentes (oscillations, clusters tournants) selon $A$ et $V$ .
Cadre analytique : En connectant la dynamique des transformers aux modèles de type Kuramoto, les auteurs fournissent un nouveau cadre analytique qui est distinct et complémentaire de l'approche par flot de gradient de Wasserstein. Ce cadre permet l'analyse de matrices générales $A$ et $V$ , qui étaient auparavant intraitables sous les hypothèses de flot de gradient.
Robustesse : Les résultats de stabilité structurelle suggèrent que ces comportements divers ne sont pas des artefacts d'initialisations idéalisées (variété OA) mais sont des caractéristiques robustes du système pour une large gamme de conditions initiales.
Pertinence pratique : Les auteurs notent que le comportement de "clustering sans convergence" (clusters tournants) ressemble qualitativement aux trajectoires cycliques observées dans les "Looped Transformers" (LLM appliqués de manière récurrente), suggérant des implications potentielles pour la compréhension de la dynamique des applications de transformers profonds ou récurrents. Ils soulignent également la sensibilité de ces dynamiques aux perturbations de paramètres, ce qui peut être pertinent pour la quantification des modèles.

Les auteurs restent modestes quant à l'extension de ces résultats, reconnaissant que la réduction rigoureuse de faible dimension est actuellement spécifique à $d=2$ et à l'attention linéaire, et que l'extension de ces techniques aux dimensions supérieures et aux noyaux non linéaires (softmax) reste une question ouverte.