Do LLMs Understand Limit Order Book Dynamics?

Dans le monde trépidant de la finance moderne, les marchés ne sont pas uniquement mus par l'intuition humaine ou les tendances économiques globales, mais par un flux constant et à haute vitesse d'instructions numériques. Au cœur de nombre de ces marchés se trouve un mécanisme appelé carnet d'ordres limite. Imaginez un registre numérique où acheteurs et vendeurs se mettent en file, chacun indiquant le prix spécifique qu'il est prêt à payer ou à accepter, ainsi que la quantité d'actions qu'il souhaite échanger. Ce registre n'est pas statique ; c'est un enregistrement vivant, qui respire, changeant chaque fois qu'un nouvel ordre arrive, qu'un ordre existant est exécuté ou qu'un participant décide d'annuler son offre. Les règles régissant ce registre sont strictes et logiques : un acheteur ne peut pas acheter une action à un prix inférieur au prix le plus bas demandé par un vendeur, et un vendeur ne peut pas vendre à un prix supérieur au prix le plus élevé offert par un acheteur. Depuis des décennies, des traders et des mathématiciens construisent des modèles complexes pour prédire comment ce registre évoluera, tentant d'anticiper le prochain mouvement dans cette danse complexe de l'offre et de la demande.

Récemment, un nouveau type d'intelligence artificielle, connu sous le nom de grand modèle de langage, a commencé à être appliqué à ces énigmes financières. Ces modèles sont généralement entraînés sur de vastes quantités de texte pour apprendre les motifs du langage, mais des chercheurs ont commencé à les entraîner sur des séquences d'événements de marché. L'espoir est que si un modèle peut apprendre à générer des séquences valides d'ordres de marché — en simulant correctement la façon dont un marché passe d'un état à un autre — il aura véritablement compris la mécanique sous-jacente du marché. Cela soulève une question profonde : si une machine peut écrire une histoire parfaite sur la façon dont un marché évolue, comprend-elle réellement l'histoire, ou ne fait-elle que mimer la syntaxe ? Une équipe de chercheurs de la Columbia Business School s'est donné pour mission de répondre à cela en testant si ces intelligences artificielles possèdent un véritable « modèle du monde » des marchés financiers ou si elles ne sont que des perroquets sophistiqués.

Les chercheurs ont commencé par créer une version simplifiée et simulée d'un carnet d'ordres limite. Dans ce bac à sable numérique, ils ont défini un ensemble fixe de niveaux de prix et de règles sur la manière dont les ordres pouvaient être placés, exécutés ou annulés. Ils ont ensuite entraîné un grand modèle de langage à partir de zéro en utilisant des données générées par cette simulation. Le processus d'entraînement était rigoureux : le modèle recevait un état initial du marché et un état cible, et il devait générer une séquence d'événements qui déplacerait le marché du début à la fin sans enfreindre aucune règle. Le modèle excellait dans cette tâche. Lorsqu'on lui demandait de produire une séquence de transactions, il réussissait presque toujours à créer un chemin valide, évitant des mouvements impossibles comme vendre une action qui n'existe pas ou exécuter une transaction à un prix qui viole les règles du marché. Pour un observateur occasionnel, le modèle semblait avoir maîtrisé la logique du marché.

Cependant, les chercheurs soupçonnaient que le succès du modèle était superficiel. Ils voulaient savoir si le modèle comprenait réellement l'état actuel du marché ou s'il se contentait de s'appuyer sur l'historique de la manière dont il y est parvenu. Dans un vrai marché, l'évolution future du carnet d'ordres dépend entièrement de son état actuel ; le chemin parcouru pour atteindre cet état ne devrait pas importer. C'est un principe fondamental connu sous le nom de propriété de Markov. Pour tester si le modèle respectait ce principe, les chercheurs ont conçu une série d'expériences qui allaient au-delà de la simple application de règles. Ils ont demandé au modèle de prédire ce qui se passerait ensuite, non pas seulement pour générer une séquence valide, mais pour prévoir les probabilités d'événements futurs.

Les résultats ont révélé une faille significative dans la compréhension du modèle. Bien que le modèle puisse générer des séquences valides, sa vision interne du marché était biaisée et incomplète. Lorsque les chercheurs ont examiné les prédictions du modèle, ils ont constaté qu'il attribuait systématiquement des probabilités incorrectes aux événements futurs. Par exemple, le modèle surestimait la probabilité d'un ordre d'annulation à un prix spécifique, même lorsque la probabilité mathématique réelle était bien plus faible. Plus inquiétant encore, les prévisions du modèle étaient influencées par l'historique des événements ayant conduit à l'état actuel, alors que cet historique aurait dû être non pertinent. Si le marché arrivait à un état spécifique via deux chemins différents, un modèle possédant une compréhension correcte prédirait exactement le même futur pour les deux. L'intelligence artificielle, cependant, donnait des prédictions différentes selon le chemin emprunté, suggérant qu'elle s'accrochait à des détails passés qui n'avaient aucun pouvoir prédictif.

Pour quantifier cette erreur, les chercheurs ont développé de nouveaux tests mesurant la distance entre les prédictions du modèle et la réalité mathématique du marché simulé. Ils ont découvert qu'à mesure que le modèle regardait plus loin dans le futur, ses erreurs augmentaient. Le modèle semblait croire qu'il pouvait trouver des motifs dans le passé qui n'existaient pas, un phénomène connu sous le nom de prédictibilité spécieuse. C'était comme si le modèle était convaincu qu'une série d'ordres d'achat passés rendait un ordre de vente futur plus probable, même lorsque l'état actuel du marché n'offrait aucune raison pour un tel changement. Ce biais n'était pas un bug mineur ; c'était un échec systématique à saisir la dynamique centrale du système. Le modèle avait appris la grammaire du marché, mais avait échoué à en apprendre la physique.

Les chercheurs ont également testé si ces problèmes étaient spécifiques à leur petite simulation simple ou s'ils persisteraient dans des environnements plus complexes. Ils ont répété les expériences avec des carnets d'ordres plus larges, dotés de plus de niveaux de prix et d'une liquidité plus profonde. Les résultats étaient cohérents : à mesure que la complexité du marché augmentait, la capacité du modèle à maintenir une représentation interne correcte de l'état s'aggravait en réalité. Le modèle continuait de générer des séquences valides, mais ses prévisions devenaient encore moins fiables. Cela suggère que le simple fait d'entraîner un modèle sur plus de données ou de rendre la simulation de marché plus vaste ne résoudra pas le problème fondamental. L'architecture du modèle, telle qu'elle existe, peine à abstraire l'état actuel du système du bruit de son histoire.

Ces conclusions ont des implications importantes pour l'utilisation de l'intelligence artificielle en finance. L'étude démontre que la capacité d'un modèle à générer des sorties valides n'est pas une preuve suffisante de sa compréhension du système qu'il simule. Dans le contexte des marchés financiers, où la prévision précise est critique, un modèle qui trouve des motifs là où il n'en existe pas pourrait conduire à des erreurs coûteuses. Les chercheurs concluent que, bien que les grands modèles de langage soient prometteurs pour comprendre les règles d'un système, ils manquent actuellement de la compréhension profonde et implicite de la dynamique stochastique requise pour une prédiction fiable. Tant que ces modèles ne pourront pas être entraînés pour véritablement intérioriser l'état du monde qu'ils simulent, plutôt que la séquence d'événements qui y a conduit, leurs prévisions dans des marchés réels et complexes resteront suspectes. La voie à suivre nécessite de nouvelles méthodes d'entraînement et des ensembles de données plus vastes, mais le défi central demeure : apprendre à une machine à voir le monde tel qu'il est, et non tel qu'elle s'en souvient.