TradeFM: A Generative Foundation Model for Trade-flow and Market Microstructure

Le papier présente TradeFM, un modèle génératif fondé sur un Transformer de 524 millions de paramètres qui apprend directement à partir de milliards d'événements de transactions pour modéliser la microstructure du marché, reproduire les faits stylisés des rendements financiers et généraliser sans apprentissage préalable à des marchés géographiquement distincts.

L'essentiel

🌊 TradeFM : Le "Météo" de la Bourse

Imaginez que la bourse est un océan immense et agité. Chaque jour, des millions de bateaux (les actions) naviguent, et des millions de vagues (les ordres d'achat et de vente) se croisent.

Jusqu'à présent, pour prédire comment ces vagues allaient se comporter, les experts utilisaient des règles mathématiques très rigides, un peu comme essayer de prédire la météo en regardant seulement un thermomètre. C'était précis, mais cela manquait de souplesse et ne comprenait pas la "météo" globale.

TradeFM, c'est comme un nouveau super-pouvoir créé par les chercheurs de J.P. Morgan. C'est une intelligence artificielle (un "modèle de fondation") qui a appris à comprendre la langue secrète de la bourse en lisant des milliards de pages d'histoires de transactions.

Voici comment ça marche, étape par étape :

1. Apprendre à parler la "Langue des Vagues" 🗣️

La bourse est un chaos : une action de 100 $ ne se comporte pas comme une action de 1 $. C'est comme si vous essayiez d'apprendre le français et le chinois en même temps, mais avec des règles différentes pour chaque mot.

• L'astuce de TradeFM : Au lieu d'apprendre chaque action individuellement, le modèle a appris à voir les motifs universels.
• L'analogie : Imaginez que vous apprenez à cuisiner. Au lieu d'apprendre une recette différente pour chaque pomme de terre, vous apprenez le concept de "saisir", "bouillir" ou "griller". TradeFM a appris que, peu importe si c'est une pomme de terre (Apple) ou une carotte (Tesla), la façon dont les gens achètent et vendent suit les mêmes lois physiques. Il a transformé des données brutes et compliquées en une langue unique que l'ordinateur peut comprendre.

2. Le "Simulateur de Vol" pour la Bourse ✈️

Une fois que TradeFM a appris cette langue, les chercheurs l'ont connecté à un simulateur de marché.

• Comment ça marche ? C'est comme un jeu vidéo de simulation de vol, mais pour la finance.
  1. TradeFM prédit la prochaine "vague" (un ordre d'achat ou de vente).
  2. Le simulateur exécute cette vague dans un monde virtuel.
  3. Le résultat change le prix, ce qui influence la prochaine prédiction de TradeFM.
• Le résultat : Le modèle crée une boucle infinie où il génère des scénarios de marché réalistes. Il ne se contente pas de mémoriser le passé ; il invente de nouveaux futurs plausibles.

3. Pourquoi est-ce révolutionnaire ? 🚀

Voici trois choses incroyables que ce modèle fait :

• Il est un "Touriste Polyglotte" (Généralisation Zéro-Shot) :
  Imaginez que vous apprenez à conduire uniquement en France (les actions américaines). Habituellement, vous seriez perdu en conduisant au Japon (les actions asiatiques) à cause des règles différentes.
  TradeFM, lui, a appris les lois fondamentales de la conduite. Quand on l'a testé sur des marchés qu'il n'avait jamais vus (comme le Japon ou la Chine), il a très bien réussi à conduire, même avec des règles locales différentes. Il a compris l'essence du marché, pas juste les détails.

• Il voit ce que les autres ignorent (Observation Partielle) :
  La plupart des modèles de bourse ont besoin de voir tous les ordres en attente (le carnet d'ordres complet), comme un pilote qui a un radar à 360 degrés.
  TradeFM, lui, fonctionne comme un conducteur ordinaire : il ne voit que ce qui se passe devant lui (les transactions réelles). Il apprend à prédire le futur même avec une vision partielle, ce qui est beaucoup plus proche de la réalité pour un investisseur normal.

• Il crée des "Mondes Parallèles" pour tester les catastrophes :
  C'est l'application la plus cool. Les banques peuvent utiliser TradeFM pour simuler des scénarios de crise extrême.

  • Exemple : "Que se passe-t-il si 10 000 personnes vendent tout en même temps ?"
    Le modèle génère une simulation réaliste de ce chaos, permettant aux banques de se préparer sans risquer un seul centime dans la réalité.

En résumé 🎯

TradeFM, c'est comme donner un cerveau à un enfant qui grandit en lisant tous les livres de la bibliothèque de la bourse. Au lieu de lui apprendre des règles strictes, on lui laisse découvrir les motifs cachés derrière le chaos.

Ensuite, on le met dans un laboratoire virtuel où il peut jouer à la bourse, faire des erreurs, apprendre, et nous montrer comment le marché réagirait à des événements que nous n'avons jamais vus.

C'est une étape majeure pour transformer la finance d'une discipline basée sur des formules rigides en une science capable de comprendre, prédire et simuler la complexité humaine des marchés.

Résumé technique

Résumé Technique : TradeFM

1. Problématique

La modélisation de la microstructure des marchés financiers (le flux d'ordres, les exécutés, les annulations) présente des défis majeurs :

• Hétérogénéité et Non-stationnarité : Les propriétés statistiques des données de transaction varient considérablement d'un actif à l'autre, selon les régimes de liquidité et les périodes temporelles.
• Observation Partielle : La plupart des modèles existants nécessitent l'accès complet au carnet d'ordres (Limit Order Book - LOB), une information privilégiée non disponible pour la majorité des participants réels qui ne voient que le flux d'événements (trade flow).
• Complexité des Dynamiques : Les marchés sont des systèmes adaptatifs complexes générant des "faits stylisés" universels (queues épaisses, clustering de la volatilité) que les modèles paramétriques classiques (comme les processus de Hawkes) peinent à capturer sans hypothèses restrictives.

L'objectif est de savoir si un modèle fondation unique peut apprendre une représentation généralisable des mécanismes de marché à partir de flux d'ordres bruts et hétérogènes, sans calibration spécifique par actif.

2. Méthodologie

Les auteurs proposent TradeFM, un modèle génératif basé sur une architecture Transformer (décodeur uniquement) pré-entraîné sur plus de 10 milliards de jetons.

A. Ingénierie des Caractéristiques (Feature Engineering)
Pour permettre la généralisation entre des milliers d'actifs, les auteurs construisent des caractéristiques invariantes d'échelle :

• Estimation du Prix Moyen (Mid-Price) : Utilisation d'un estimateur EW-VWAP (Exponentially-Weighted VWAP) pour reconstruire un prix de référence stable à partir des prix d'exécution bruts, en pondérant par le volume et la récence.
• Normalisation :
  • Volume : Transformation logarithmique pour gérer la distribution à loi de puissance.
  • Profondeur de prix : Normalisée par rapport au prix moyen (en points de base) plutôt qu'en ticks absolus.
  • Temps inter-arrivée : Temps réel écoulé entre les événements.
  • Niveau de prix relatif : Variation par rapport au prix d'ouverture de la journée.

B. Tokenisation Universelle
Le défi consiste à transformer un flux d'événements multi-fonctionnels (continu et catégoriel) en une séquence discrète unidimensionnelle :

• Binning Hybride : Utilisation de binning par quantile pour les features symétriques (prix) et de binning à largeur égale sur les valeurs logarithmiques (volume, temps) pour capturer les dynamiques multi-échelles.
• Composition de Jetons : Les indices de binning de chaque feature (temps, prix, volume, action, côté) sont combinés en un seul entier composite via un système de numération en base mixte. Cela crée un vocabulaire de 16 384 jetons prédictibles.
• Contexte : Le modèle reçoit également des jetons contextuels (niveau de liquidité, type de séquence : marché global vs participant individuel) pour conditionner la génération.

C. Architecture du Modèle

• TradeFM : Un Transformer décodeur de 524 millions de paramètres, basé sur la famille Llama (avec Grouped-Query Attention et Rotary Positional Encoding).
• Entraînement : Pré-entraînement sur des données US (plus de 9 000 actions) sur 368 jours, avec une stratégie de validation temporelle et géographique (hors échantillon).

D. Simulateur de Marché en Boucle Fermée
Pour évaluer la réalité des générations, TradeFM est couplé à un simulateur de marché déterministe :

1. Le modèle prédit le prochain jeton d'événement.
2. Le simulateur exécute cet ordre sur un carnet d'ordres virtuel selon la priorité prix-temps.
3. L'état mis à jour (prix moyen, carnet) est renvoyé au modèle comme contexte pour la prochaine prédiction.
   Ce bouclage permet d'étudier les effets de second ordre, comme l'impact des prix.

3. Contributions Clés

1. TradeFM : Le premier modèle fondation génératif à grande échelle pour la microstructure, apprenant la dynamique unifiée du flux d'ordres à partir de milliards de transactions.
2. Apprentissage à partir d'observations partielles : Contrairement aux approches précédentes nécessitant le carnet d'ordres complet, TradeFM apprend uniquement à partir du flux d'événements accessible à tout participant, rendant le modèle plus réaliste et applicable.
3. Représentation Invariante d'Échelle : Une méthodologie de tokenisation qui élimine le besoin de calibration spécifique par actif, permettant une généralisation "zero-shot" à travers des milliers d'actifs et de régimes de liquidité.
4. Simulation en Boucle Fermée : Intégration d'un simulateur pour valider la génération non seulement au niveau des jetons, mais aussi au niveau des dynamiques de prix émergentes.

4. Résultats Expérimentaux

Les performances sont évaluées sur la capacité à reproduire les faits stylisés des marchés et la fidélité distributionnelle.

• Reproduction des Faits Stylisés :
  • Absence d'autocorrélation : Les rendements simulés montrent une autocorrélation proche de zéro (conforme à l'hypothèse de marché efficient).
  • Clustering de la volatilité : L'autocorrélation des rendements absolus décroît lentement, capturant la mémoire longue de la volatilité.
  • Queues épaisses (Heavy Tails) : La distribution des rendements simulés présente une kurtosis élevée pour les intervalles courts, imitant la réalité des marchés.
• Fidélité Distributionnelle :
  • TradeFM surpasse les baselines (Processus de Hawkes Composites et Agents à Intelligence Zéro) avec une erreur distributionnelle 2 à 3 fois inférieure (mesurée par la distance de Wasserstein et le test de Kolmogorov-Smirnov) sur les volumes, les temps inter-arrivées et les déséquilibres du carnet d'ordres.
• Généralisation Zero-Shot :
  • Le modèle, entraîné uniquement sur des actions américaines, généralise bien aux marchés APAC (Chine, Japon) avec une dégradation modérée de la perplexité, malgré des différences structurelles majeures (mécanismes d'enchères, limites de prix).
• Contrôlabilité :
  • Le modèle répond correctement aux jetons de conditionnement (liquidité, niveau d'observation), générant des flux d'ordres aux propriétés statistiques distinctes et intuitives selon le contexte.

5. Signification et Perspectives

Ce travail démontre que les représentations invariantes d'échelle capturent une structure transférable fondamentale dans la microstructure des marchés.

Implications :

• Génération de Données Synthétiques : Création de données réalistes et privées pour le backtesting de stratégies, l'augmentation de données pour les actifs peu liquides et le partage de données sans risque de confidentialité.
• Tests de Résistance (Stress Testing) : Utilisation du simulateur pour évaluer la stabilité du marché face à des scénarios contrefactuels extrêmes (ex: injection massive d'ordres).
• Agents d'Échange : Le simulateur offre un environnement d'entraînement de haute fidélité pour des agents d'apprentissage par renforcement (RL) visant l'exécution optimale ou l'étude des systèmes multi-agents.

En conclusion, TradeFM marque un tournant vers l'utilisation de modèles fondation pour comprendre et simuler la dynamique complexe des marchés financiers, dépassant les limites des modèles paramétriques traditionnels.