Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems

Cette étude démontre que les transformers, utilisés en apprentissage en contexte, peuvent estimer implicitement les états cachés et prédire avec précision les sorties de systèmes dynamiques linéaires et non linéaires, rivalisant ainsi avec des méthodes de filtrage bayésien classiques comme le filtre de Kalman, sans nécessiter de mises à jour de gradient ni de connaissance explicite du modèle.

L'essentiel

🧠 Les Transformers : Des Détectives qui Devinent l'Invisible

Imaginez que vous essayez de comprendre la météo d'une ville où il n'y a pas de capteurs. Vous ne voyez que des gens qui sortent avec des parapluies ou des lunettes de soleil (les observations). Votre but est de deviner s'il va pleuvoir ou s'il y a du soleil, même si vous ne voyez pas le ciel directement. C'est ce qu'on appelle un système dynamique : un système qui évolue dans le temps, mais dont l'état réel est caché.

Traditionnellement, les ingénieurs utilisent des formules mathématiques très complexes (comme le Filtre de Kalman) pour faire ces prédictions. C'est comme avoir un manuel d'instructions précis pour chaque situation. Mais que se passe-t-il si vous ne connaissez pas les règles du jeu ? Si le système change ou si vous avez des données bruitées (floues) ?

C'est là que cette étude intervient. Elle pose une question fascinante : Peut-on apprendre à une intelligence artificielle (un "Transformer") à deviner ces états cachés simplement en lui montrant des exemples, sans lui donner les formules mathématiques ?

La réponse est un grand OUI.

1. Le Concept : L'Apprentissage "In-Context" (Le "Copier-Coller" Intelligent)

Normalement, pour entraîner une IA, on lui donne des milliers d'exemples et on ajuste ses "poids" (ses connexions internes) pour qu'elle apprenne par cœur. C'est comme un étudiant qui révise tout l'année pour un examen.

Dans cette étude, les chercheurs utilisent une technique appelée Apprentissage en Contexte (In-Context Learning).

• L'analogie : Imaginez que vous donnez à un génie (le Transformer) une petite carte de l'historique récent : "Il y a 5 minutes, il y avait du vent, puis un nuage, puis un peu de pluie. Maintenant, que va-t-il se passer ?"
• Le génie ne change pas ses connaissances de base (il est "figé", il n'apprend pas de nouvelles formules). Il utilise simplement le contexte immédiat pour faire une déduction instantanée, comme un détective qui regarde les indices sur place.

2. La Découverte : Le Transformer imite le "Filtre de Kalman"

Les chercheurs ont découvert que, lorsqu'on donne assez d'exemples passés à un Transformer, il commence à se comporter exactement comme un Filtre de Kalman.

• Le Filtre de Kalman est le "roi" des prédictions pour les systèmes linéaires (comme un train qui roule sur une voie droite). Il est mathématiquement parfait pour deviner la position future en tenant compte du bruit.
• Le résultat surprenant : Le Transformer, sans avoir jamais vu les équations du Filtre de Kalman, a appris à les imiter en observant simplement des séquences de données. Il a découvert la "magie" des mathématiques par lui-même, juste en regardant les données.

C'est comme si vous donniez à un enfant des photos d'un ballon qui rebondit, sans lui expliquer la gravité, et qu'au bout d'un moment, il puisse prédire exactement où le ballon va atterrir en lançant une balle, simplement parce qu'il a "vu" le motif.

3. La Robustesse : Deviner ce qui manque

Le vrai test de génie a été de retirer des informations cruciales du contexte.

• L'expérience : On a caché au Transformer des paramètres importants, comme la vitesse de transition du système ou le niveau de bruit.
• Le résultat : Le Transformer n'a pas paniqué. Il a continué à faire de bonnes prédictions. Il a déduit ces paramètres manquants implicitement.
• L'analogie : C'est comme si vous deviez conduire une voiture de nuit dans le brouillard, sans phares ni GPS. Un humain normal s'arrêterait. Mais ce Transformer, en regardant juste les virages que la voiture a faits il y a quelques secondes, a réussi à deviner où se trouvait la route et à continuer de conduire. Il a "inversé" le problème pour retrouver les règles qu'on lui avait cachées.

4. La Complexité : Quand ça devient non-linéaire

La vie n'est pas toujours une ligne droite (comme un train). Parfois, c'est une courbe, un virage serré, ou un système chaotique (comme un oiseau qui vole ou un avion de chasse qui fait des manœuvres).

• Pour ces cas complexes, les méthodes classiques (comme le Filtre de Kalman étendu) sont souvent utilisées, mais elles sont lourdes et approximatives.
• La découverte : Le Transformer a non seulement réussi à gérer ces systèmes complexes, mais dans certains cas, il a surpassé les méthodes classiques. Il a appris à naviguer dans le chaos mieux que les experts humains qui utilisent des formules rigides.

5. La Taille Compte (La "Maturité" du Modèle)

Il y a une nuance importante : la taille du Transformer change son comportement.

• Les petits modèles (avec peu de "couches" de neurones) agissent comme des étudiants débutants : ils essaient de faire des moyennes simples ou des régressions linéaires. Ils ne comprennent pas la dynamique profonde.
• Les grands modèles (avec beaucoup de puissance) deviennent de véritables experts. Plus ils sont grands et plus on leur donne d'historique, plus ils comprennent la structure cachée du système et imitent les algorithmes de filtrage les plus avancés.

En Résumé

Cette recherche nous dit quelque chose de profond sur l'intelligence artificielle moderne :

1. Pas besoin de manuels : On n'a pas besoin d'encoder des équations physiques complexes dans une IA. Si on lui donne assez d'exemples, elle peut découvrir ces lois elle-même.
2. L'IA est un détective : Elle peut déduire des états cachés et des paramètres manquants juste en regardant les conséquences (les sorties) d'un système.
3. Flexibilité : Contrairement aux filtres classiques qui sont rigides et conçus pour un problème précis, le Transformer est un outil universel qui s'adapte à n'importe quel type de système dynamique, qu'il soit simple ou chaotique.

En gros, les Transformers ne font pas que "réciter" ce qu'ils ont appris ; ils apprennent à penser comme un ingénieur en temps réel, en utilisant le contexte pour prédire l'avenir, même dans l'incertitude. C'est une étape majeure vers des IA capables de comprendre et de naviguer dans un monde réel, bruyant et imprévisible.

Résumé technique

Voici un résumé technique détaillé de l'article "Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems", publié dans les Transactions on Machine Learning Research (mars 2026).

1. Problématique

L'estimation de l'état caché d'un système dynamique à partir d'observations bruitées est un problème fondamental en ingénierie et en sciences.

• Cas linéaire : Pour les systèmes linéaires avec des bruits gaussiens, le Filtre de Kalman est l'estimateur optimal au sens de l'erreur quadratique moyenne (MMSE).
• Cas non-linéaire : Pour les systèmes non-linéaires, on recourt généralement à des heuristiques sous-optimales comme le Filtre de Kalman Étendu (EKF) ou des méthodes numériques coûteuses comme le filtrage particulaire (PF).
• Limites des approches actuelles : Les méthodes d'apprentissage profond existantes (comme Deep Kalman Filters ou KalmanNet) nécessitent souvent une supervision explicite, une architecture modifiée ou un apprentissage des paramètres pour un système spécifique, ce qui limite leur généralisation.

La question centrale de cet article est la suivante : Un modèle Transformer pré-entraîné, utilisé en mode "Apprentissage en Contexte" (In-Context Learning - ICL), peut-il apprendre implicitement à effectuer le filtrage (estimation d'état) pour une large famille de systèmes dynamiques, sans mise à jour des gradients au moment du test et sans connaissance explicite du modèle du système ?

2. Méthodologie

A. Cadre de l'Apprentissage en Contexte (ICL)

Les auteurs utilisent un Transformer (architecture GPT-2, décodeur uniquement) pré-entraîné sur des trajectoires synthétiques générées à partir de paramètres de systèmes dynamiques échantillonnés aléatoirement.

• Entrée (Prompt) : Une séquence structurée contenant des paires entrée-sortie passées $(u_t, y_t)$, et optionnellement les paramètres du système (matrice de transition $F$, covariances de bruit $Q, R$, matrices de mesure $H$).
• Sortie : Prédiction de l'observation actuelle $y_t$ ou de l'état latent $x_t$.
• Contrainte : Le modèle est "gelé" (frozen) lors de l'inférence ; aucune mise à jour des poids n'est effectuée.

B. Construction Théorique : Du Filtre de Kalman au Transformer

L'article démontre par construction que les opérations du Filtre de Kalman peuvent être reformulées à l'aide d'opérateurs primitifs que les Transformers peuvent implémenter via le cadre RAW (Read-Arithmetic-Write) proposé par Akyürek et al. (2023) :

1. Opérateurs primitifs : Multiplication matricielle (Mul), division scalaire (Div), transformation affine (Aff), et transposition (Transpose).
2. Équivalence : Les étapes de prédiction et de mise à jour du Filtre de Kalman (calcul du gain de Kalman, mise à jour de la covariance, mise à jour de l'état) sont décomposées en une séquence de ces opérations primitives.
3. Mémoire implicite : Le Transformer utilise ses couches d'attention et ses couches feed-forward pour simuler une mémoire de travail, stockant les états intermédiaires (covariances, gains) dans les dimensions cachées de l'embedding, permettant ainsi d'implémenter la récursion du filtre itératif au sein d'une seule passe avant (forward pass).

C. Expérimentation

Les expériences couvrent deux régimes :

1. Systèmes Linéaires-Gaussiens : Comparaison avec le Filtre de Kalman, la Régression Ridge, les Moindres Carrés Ordinaires (OLS) et la Descente de Gradient Stochastique (SGD).
2. Systèmes Non-Linéaires : Évaluation sur des systèmes avec des dynamiques non-linéaires (ex: $\tanh$) et un suivi de cible manœuvrante avec taux de virage inconnu. Comparaison avec l'EKF et le Filtrage Particulaire.

3. Contributions Clés

1. Preuve de constructibilité du Filtre de Kalman : Les auteurs fournissent une preuve formelle (via l'opérateur RAW) qu'un Transformer peut, en principe, exécuter exactement les étapes du Filtre de Kalman.
2. Apprentissage implicite du filtrage : Ils montrent empiriquement qu'un Transformer gelé, conditionné sur un contexte court de paires entrée-sortie, apprend à prédire les sorties avec une précision proche du Filtre de Kalman optimal, sans jamais avoir vu les équations du système.
3. Généralisation aux systèmes non-linéaires : Le modèle parvient à imiter le comportement de l'EKF et du Filtrage Particulaire sur des systèmes non-linéaires complexes, surpassant parfois ces méthodes classiques.
4. Inférence implicite de paramètres manquants : Même lorsque des paramètres critiques (comme la matrice de transition $F$ ou les covariances de bruit) sont omis du contexte, le Transformer parvient à les estimer implicitement, se comportant comme un Filtre de Kalman Dual (qui estime à la fois l'état et les paramètres).
5. Rôle de l'échelle (Scale) : L'article établit une corrélation directe entre la capacité du modèle et l'algorithme appris :
   • Petits modèles / contextes courts $\rightarrow$ Comportement de régression linéaire (SGD, Ridge).
   • Grands modèles / contextes longs $\rightarrow$ Comportement de filtrage dynamique (Kalman, EKF).

4. Résultats Principaux

• Régime Linéaire :

  • Avec un contexte suffisant et une taille de modèle adéquate, l'erreur quadratique moyenne (MSE) du Transformer converge vers celle du Filtre de Kalman.
  • Le modèle est robuste aux paramètres manquants : même sans $F$, la performance reste proche de celle d'un filtre de Kalman dual, suggérant une capacité d'inférence de paramètres latents.
  • Le modèle généralise bien aux changements de distribution (ex: matrices de mesure $H$ tirées d'une loi uniforme au lieu d'une loi gaussienne).

• Régime Non-Linéaire :

  • Sur un système de suivi de cible avec un taux de virage inconnu, le Transformer atteint une précision supérieure à celle du Filtrage Particulaire et de l'EKF, démontrant sa capacité à gérer l'incertitude et la non-linéarité sans hypothèses de linéarisation explicites.

• Analyse de l'échelle :

  • Les tableaux 1 et 2 montrent que l'augmentation du nombre de couches ou de la dimension d'embedding réduit l'écart (MSPD) entre le Transformer et les filtres optimaux (EKF, PF), tandis que les petits modèles restent piégés dans des comportements de régression statique.

5. Signification et Impact

Cet article apporte une contribution majeure à la compréhension théorique de l'Apprentissage en Contexte (ICL) :

• Au-delà de la régression : Il démontre que l'ICL n'est pas limité à l'ajustement de fonctions statiques, mais peut encoder des algorithmes dynamiques récursifs complexes comme le filtrage bayésien.
• Alternative non-paramétrique : Les Transformers offrent une alternative flexible et non-paramétrique aux filtres manuellement conçus, capables de s'adapter à des dynamiques inconnues ou partiellement observées simplement via le contexte.
• Fondement théorique : En reliant les opérations d'attention aux primitives mathématiques du filtrage, l'article renforce l'hypothèse selon laquelle les Transformers agissent comme des "programmeurs de poids rapides" capables d'implémenter des algorithmes d'inférence bayésienne.

En résumé, ce travail suggère que l'inférence d'états cachés dans des systèmes dynamiques est une capacité émergente des Transformers à grande échelle, apprise implicitement à travers l'exposition à des trajectoires variées, sans nécessiter de supervision explicite sur les équations d'état.