🤖 machine learning

A Mechanistic Analysis of Transformers for Dynamical Systems

Cet article analyse les Transformers à couche unique sous l'angle des systèmes dynamiques, révélant que si l'attention softmax restreint la modélisation de systèmes linéaires par un lissage excessif, elle fonctionne comme un mécanisme efficace d'incorporation de délai adaptatif pour reconstruire les états dans des systèmes non linéaires et partiellement observables.

Auteurs originaux : Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

Publié 2026-08-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire l'avenir. Peut-être essayez-vous de deviner où une balle rebondissante atterrira ensuite, ou de prévoir la météo. Pendant longtemps, les scientifiques ont disposé d'un ensemble d'outils fiables pour cela, comme observer comment un système s'est déplacé au cours des dernières secondes pour deviner où il va ensuite. Ces outils sont comme une recette stricte : si vous connaissez les règles de la physique, vous pouvez écrire une équation mathématique qui vous dit exactement ce qui se passe. Mais récemment, un nouveau genre de « super-cerveau » appelé Transformer est devenu célèbre pour prédire les choses, de l'écriture d'histoires à la prédiction des cours de la bourse. Ces Transformers sont comme une boîte noire magique qui regarde toute une histoire d'événements à la fois et fait une supposition. La grande question est : cette boîte noire comprend-elle réellement la physique de la manière dont les choses bougent, ou est-elle simplement un très bon devineur qui pourrait échouer quand les choses deviennent compliquées ? Ce document plonge dans la salle des machines de ces Transformers pour voir s'ils savent réellement ce qu'ils font lorsqu'ils tentent de prédire le mouvement de systèmes physiques.

Les chercheurs, dirigés par Gregory Duthé et son équipe, ont décidé de ne plus traiter le Transformer comme une boîte noire mystérieuse et de le démonter plutôt pour voir comment il fonctionne sur des systèmes simples en mouvement. Ils se sont concentrés sur un type spécifique de Transformer qui est très mince et simple — seulement une couche profonde — pour le rendre plus facile à comprendre. Ils ont demandé : « Si nous nourrissons cette machine de données sur un pendule oscillant ou une rivière qui coule, qu'est-elle réellement en train d'apprendre ? »

Voici ce qu'ils ont trouvé, et c'est un mélange de « ça marche super bien » et de « il se heurte à un mur ».

D'abord, ils ont observé des mouvements simples et rectilignes (systèmes linéaires), comme un ressort qui rebondit de haut en bas. Ils ont découvert que le Transformer a un angle mort étrange. La façon dont le Transformer prête attention au passé est comparable à un chef qui ne peut qu'ajouter des ingrédients, jamais les retirer. Il peut mélanger les moments passés, mais il ne peut pas les soustraire. Si un système nécessite de soustraire un moment passé pour créer un vacillement (comme un ressort qui rebondit d'avant en arrière), un Transformer à une seule tête devient confus. Il essaie de tout lisser, faisant passer le ressort bondissant pour une masse molle et lente. C'est comme essayer de dessiner une ligne en zigzag en utilisant uniquement un pinceau qui ne peut que avancer ; on finit avec une ligne droite. Le papier montre que si vous donnez au Transformer deux « têtes » (deux manières différentes de prêter attention) au lieu d'une, il peut corriger cela et enfin dessiner le zigzag correctement.

Ensuite, ils sont passés à des mouvements plus complexes et sinueux (systèmes non linéaires), comme un pendule chaotique ou un fluide tourbillonnant autour d'un cylindre. Ici, le Transformer brille, mais seulement sous certaines conditions. Lorsque les chercheurs ont donné au Transformer l'image complète du système (connaissant à la fois la position et la vitesse de l'objet), il n'a pas été beaucoup plus performant qu'une simple calculatrice. C'était comme donner à un détective une carte complète alors qu'il n'avait besoin que d'une boussole.

Cependant, lorsque les chercheurs ont caché une partie de l'information — en donnant au Transformer uniquement la position mais en cachant la vitesse — le Transformer est devenu un super-héros. Il a commencé à agir comme un détective voyageant dans le temps. En regardant une séquence de positions passées, il pouvait déduire la vitesse cachée et reconstruire l'état complet du système. Il construisait essentiellement une « mémoire différée » pour combler les pièces manquantes, tout comme on peut deviner la vitesse d'une voiture en regardant où elle se trouvait il y a quelques secondes. Le papier suggère que c'est ainsi que le Transformer fonctionne le mieux : en recousant un historique d'observations pour créer une image complète du présent.

Mais il y a un piège. Les chercheurs ont trouvé que le Transformer a besoin d'assez d'« espace » dans son cerveau pour faire cela. S'ils forçaient le modèle à compresser tout cet historique complexe dans un espace minuscule, l'image devenait désordonnée et se repliait sur elle-même, comme essayer de faire entrer une grande carte dans une petite enveloppe. Le papier montre que si le système est complexe, le Transformer a besoin d'un espace interne plus large pour garder les différentes possibilités séparées. De plus, ils ont découvert que si le système change en fonction d'un paramètre caché (comme la vitesse du vent), le Transformer pourrait être confus à moins que vous ne lui indiquiez explicitement ce paramètre. Sans cet indice supplémentaire, il pourrait confondre deux scénarios différents qui se ressemblent à court terme mais qui se comportent très différemment plus tard.

En fin de compte, le papier ne dit pas que les Transformers sont cassés, mais il dit qu'ils ne sont pas magiques. Ce sont des outils puissants capables d'apprendre à prédire des systèmes physiques, mais ils ont des règles spécifiques qu'ils doivent suivre. Ils luttent avec la soustraction simple dans leur mémoire, ils ont besoin d'assez d'espace pour déployer des formes complexes, et ils ont parfois besoin d'un petit coup de pouce de notre part pour comprendre les réglages cachés du monde qu'ils observent. En comprenant ces règles, les scientifiques peuvent cesser de traiter ces modèles comme des boîtes noires mystérieuses et commencer à les construire pour qu'ils soient plus fiables pour prédire le monde réel et mouvant qui nous entoure.

Résumé technique : Une analyse mécaniste des Transformers pour les systèmes dynamiques

Énoncé du problème

Bien que les architectures Transformer aient atteint un succès empirique significatif dans la prévision de séries temporelles et soient de plus en plus appliquées aux systèmes dynamiques (de la mécanique des fluides à la neurosciences), leurs mécanismes internes restent mal compris d'un point de vue de la théorie des systèmes dynamiques. Contrairement aux modèles autorégressifs (AR) et aux modèles d'espace d'état classiques, qui possèdent des fondements théoriques bien établis concernant la stabilité, l'observabilité et l'identifiabilité, les Transformers sont souvent traités comme des boîtes noires.

Ce fossé est critique car les modèles basés sur l'attention sont déployés pour la prévision généraliste ou "zero-shot" à travers divers régimes dynamiques. Plus précisément, il est unclear quelles classes de comportements dynamiques les Transformers peuvent représenter fidèlement, sous quelles conditions ils réussissent ou échouent, et comment leurs calculs internes se rapportent aux concepts établis de la dynamique non linéaire, tels que les plongements par coordonnées de retard et la reconstruction d'attracteurs. La littérature existante a exploré les connexions entre l'attention et l'intégration numérique ou l'apprentissage d'opérateurs, mais un lien mécaniste direct entre les opérations d'un Transformer à couche unique et les formulations classiques de systèmes dynamiques (par exemple, les modèles AR, le théorème de Takens) n'a pas encore été fermement établi.

Méthodologie

Les auteurs adoptent une approche d'interprétabilité mécaniste "bottom-up", en restreignant leur analyse à des Transformers à couche unique, à tête unique et de type décodeur uniquement. Cette architecture minimale permet d'isoler des composants spécifiques : le mécanisme d'auto-attention causale et le réseau de neurones à propagation avant (MLP).

L'étude examine deux principaux régimes opérationnels :

Systèmes Linéaires : Les auteurs analysent l'attention comme un opérateur autorégressif linéaire et variant dans le temps. En supprimant la connexion résiduelle et le MLP (ablation de l'attention seule), ils dérivent des expressions en forme close pour les coefficients AR effectifs induits par le mécanisme d'attention. Ils comparent ces résultats aux coefficients AR dérivés analytiquement de systèmes physiques (par exemple, des oscillateurs à 1 et 2 degrés de liberté).
Systèmes Non Linéaires : Les auteurs examinent des scénarios où l'état complet n'est pas observable (observabilité partielle). Ici, le Transformer est considéré comme un mécanisme de plongement par coordonnées de retard adaptatif. La couche d'attention agrège les observations historiques pour reconstruire un état implicite, qui est ensuite traité par le MLP pour approximer la carte de flux non linéaire.

L'étude utilise trois systèmes dynamiques représentatifs :

Linéaire : Oscillateurs structurels à 1 et 2 degrés de liberté.
ODE Non Linéaire : L'oscillateur de Van der Pol.
PDE Non Linéaires : L'équation de réaction-diffusion de Chafee-Infante et l'écoulement de Navier-Stokes 2D autour d'un cylindre.

L'analyse se concentre sur la manière dont le modèle gère l'observabilité partielle, le rôle du contexte temporel (nombre de tokens d'entrée $n$ ), l'impact de l'encodage de position (PE) et la dimensionnalité de l'espace latent ( $d_{lat}$ ) par rapport à la dimension intrinsèque de l'attracteur ( $d_A$ ).

Contributions clés et résultats

1. Systèmes Linéaires : La contrainte de convexité

Dans le cadre d'une configuration à tête unique et attention seule, les auteurs démontrent que la normalisation softmax impose une contrainte de convexité sur les opérateurs autorégressifs appris.

Mécanisme : Les poids d'attention $\alpha_{t,\ell}$ sont strictement non négatifs et leur somme est égale à l'unité. Par conséquent, les opérateurs de retard effectifs sont des multiples scalaires non négatifs d'une matrice unique.
Mode d'échec : Pour les systèmes linéaires nécessitant des coefficients autorégressifs à signes mixtes (par exemple, des oscillateurs faiblement amortis où les coefficients AR doivent avoir des signes opposés pour représenter une inversion de phase), une seule tête d'attention ne peut pas représenter fidèlement la dynamique. Cela conduit à un "lissage excessif" (oversmoothing) et à un échec de la récupération des pics de résonance ou des crêtes de décroissance modale cohérentes.
Mode de succès : Lorsque les dynamiques cibles admettent une représentation AR avec des coefficients de même signe, le mécanisme d'attention capture avec succès le comportement oscillatoire et les caractéristiques d'amortissement.
Scalabilité : Dans les systèmes à plusieurs degrés de liberté, l'attention peut récupérer plusieurs modes en interaction si le contexte temporel ( $n$ ) est suffisamment long pour compenser les observations spatiales manquantes, agissant ainsi efficacement comme un plongement par coordonnées de retard. Cependant, la contrainte fondamentale de signe reste une limitation pour les architectures à tête unique.

2. Systèmes Non Linéaires : Plongement de retard et reconstruction d'état

Pour les systèmes non linéaires, les auteurs constatent que l'utilité du Transformer est la plus prononcée sous observabilité partielle.

Observabilité Totale : Lorsque le vecteur d'état complet est disponible, un simple MLP (apprenant la carte de temps-un) est comparable au Transformer. L'attention n'apporte aucun avantage significatif car le système est déjà markovien.
Observabilité Partielle : Lorsqu'un sous-ensemble de variables est observé (par exemple, la position mais pas la vitesse), le Transformer surpasse nettement le MLP. Le mécanisme d'attention agit comme un plongement de retard adaptatif, agrégeant les observations passées pour lever l'ambiguïté des états qui partagent la même valeur instantanée mais diffèrent en phase.
Dimensionnalité Latente et Dépliage : La qualité de la reconstruction de l'état dépend de manière critique de la dimension latente ( $d_{lat}$ $d_{l a t}$ ).
- Dans le système de Chafee-Infante (dimension intrinsèque $d_A=2$ ), le fait de fixer $d_{lat}=2$ a provoqué l'effondrement de la représentation latente en une courbe étroite, échouant à "déplier" la variété (manifold) en raison de la symétrie du système et des contraintes de l'architecture.
- Augmenter $d_{lat}$ à 3 a permis au mécanisme d'attention de d'abord déplier les coordonnées de retard en une représentation intermédiaire plus riche, que le MLP pouvait ensuite projeter sur la variété intrinsèque 2D. Cela suggère que $d_{lat}$ doit être supérieur à $d_A$ pour éviter une compression et un repliement prématurés.
Conditionnement des Paramètres : Dans l'expérience d'écoulement de Navier-Stokes autour d'un cylindre, les modèles entraînés sans entrée explicite du nombre de Reynolds ($Re$) ont appris un espace latent où les cycles limites pour différents $Re$ se chevauchaient. Cette non-injectivité a conduit à une mauvaise reconstruction du champ de flux complet, particulièrement dans la zone de sillage. Fournir $Re$ comme une entrée explicite a permis de désenchevêtrer l'espace latent, séparant les cycles limites le long d'une variété continue dépendante des paramètres et permettant une reconstruction précise du champ complet.

Signification et affirmations

L'article affirme combler le fossé entre la performance empirique des Transformers et la théorie classique des systèmes dynamiques en fournissant une explication mécaniste de pourquoi et quand ces modèles réussissent ou échouent.

Interprétabilité : Les auteurs soutiennent que les Transformers ne doivent pas être vus simplement comme des régresseurs génériques de séquence à séquence, mais comme des modèles d'espace d'état adaptatifs aux données. Le mécanisme d'attention construit un état implicite à partir des observations passées, tandis que le MLP approxime la carte de flux locale.
Limites Théoriques : L'étude identifie des limitations de représentation fondamentales, spécifiquement l'incapacité de l'attention à tête unique à modéliser les dépendances à signes mixtes dans les systèmes linéaires en raison de la convexité de la softmax. Cela suggère que des architectures à têtes multiples ou des schémas de normalisation alternatifs peuvent être nécessaires pour certains régimes physiques.
Directives de Conception : Les résultats offrent des directives pratiques pour concevoir des modèles basés sur l'attention pour les systèmes dynamiques :
- S'assurer que la longueur du contexte temporel ( $n$ ) satisfait $n \ge 2d_A + 1$ (théorème de Takens) pour l'observabilité partielle.
- S'assurer que la dimension latente ( $d_{lat}$ ) est suffisamment grande pour déplier l'attracteur avant la projection, particulièrement pour les variétés symétriques.
- Conditionner explicitement sur les paramètres du système (par exemple, le nombre de Reynolds) si l'espace latent ne parvient pas à séparer de manière unique les différents régimes dynamiques.

Les auteurs concluent que bien que les Transformers puissent agir comme des intégrateurs temporels généraux, leurs biais inductifs (spécifiquement concernant le filtrage spectral et la topologie des variétés) doivent être soigneusement alignés avec les systèmes physiques qu'ils modélisent. Ils mettent en garde contre le traitement des Transformers comme des approximateurs universels "boîte noire" sans comprendre ces contraintes mécanistes sous-jacentes.