Résumé Technique : MARKET-BENCH

Énoncé du Problème

Le domaine du trading quantitatif opère dans un environnement à enjeux élevés où les hallucinations de modèles ou les entrées incomplètes peuvent entraîner des pertes financières significatives. Alors que les évaluations existantes des grands modèles de langage (LLM) dans la finance se concentrent sur des tâches de haut niveau — telles que le résumé de conférences de résultats, l'analyse de sentiment ou la modélisation fondamentale — il existe une lacune critique dans l'évaluation de la capacité des modèles à assister les traders dans leurs tâches opérationnelles quotidiennes. Plus précisément, les benchmarks actuels n'évaluent pas si un LLM peut comprendre et appliquer des concepts de trading fondamentaux (par exemple, l'exécution d'ordres, le suivi de l'inventaire, la gestion des risques) pour construire un backtest fonctionnel et exécutable à partir d'une description en langage naturel. Le problème central abordé est l'incapacité des LLM actuels à traduire de manière fiable des descriptions de stratégies en un code qui produit des simulations de trading numériquement exactes et structurellement saines.

Méthodologie

Les auteurs introduisent MARKET-BENCH, un benchmark conçu pour évaluer les LLM sur des tâches de trading quantitatif d'introduction. Le cadre d'évaluation exige que les modèles génèrent du code Python exécutable simulant des stratégies de trading basées sur des descriptions en langage naturel et des données de marché fournies.

Conception du Benchmark

Le benchmark se compose de trois stratégies canoniques, chacune capturant des aspects distincts de la dynamique du marché :

1. Trading Programmés (Stratégie 1) : Une stratégie sur un actif unique sur Microsoft (MSFT) impliquant des ordres au marché à des horodatages prédéfinis. Elle teste l'interaction avec le carnet d'ordres, le suivi de position, la comptabilité FIFO pour le P&L réalisé, et le P&L non réalisé basé sur les prix médians (mid-prices).
2. Pairs Trading (Stratégie 2) : Une stratégie de retour à la moyenne entre Coca-Cola (KO) et Pepsi (PEP). Elle nécessite le calcul des z-scores de l'écart (spread), la gestion du capital conjoint sur deux symboles, et l'exécution de la logique d'entrée/sortie basée sur le franchissement de seuils.
3. Delta Hedging (Stratégie 3) : Une stratégie d'options sur MSFT où le modèle doit couvrir une série temporelle de delta d'options prédéfinie en utilisant l'action sous-jacente. Cela teste la gestion des ordres "fill-or-kill", les délais d'échange et l'agrégation du delta net.

Données et Simulation

• Sources de Données : Les données de marché sont dérivées de Databento (données de carnet d'ordres L10) ou générées synthétiquement (marche aléatoire pour le delta des options).
• Carnet Synthétique : Un composant critique du benchmark est l'exigence pour les modèles de suivre la liquidité retirée du carnet. Les modèles doivent maintenir un « carnet synthétique » qui neutralise les données brutes du carnet d'ordres par rapport à la liquidité consommée afin d'assurer un suivi précis des prix et des volumes.
• Protocole d'Évaluation :
  • Chaque stratégie est testée sur 5 rounds distincts (configurations de paramètres et graines de données différentes), totalisant 15 combinaisons par modèle.
  • Les modèles ont droit à un maximum de 3 tentatives indépendantes en "one-shot" par round.
  • Température : Fixée à 0.0 pour garantir le déterminisme.
  • Contraintes : Une limite de temps de 10 minutes et un ensemble restreint de packages Python autorisés (ex: pandas, numpy, datetime).

Métriques

L'évaluation sépare la fiabilité structurelle de l'exactitude numérique :

• Passages Exécutables : Compte le nombre de rounds où le modèle génère avec succès un code qui s'exécute sans erreurs de syntaxe ou d'assertions d'exécution.
• Erreur Absolue Moyenne (MAE) : Mesure l'écart entre les métriques de sortie du modèle (P&L total, drawdown maximum, chemins de position) et une implémentation de référence vérifiable.
  • Gestion des Échecs : Si un modèle échoue à l'exécution, il se voit attribuer une « MAE de base de métriques dupliquées », calculée en répétant les métriques de l'état initial pour tous les horodatages. Cela pénalise lement les sorties non exécutables.
• Agrégation : Les modèles sont classés par MAE Moyenne (moyenne de tous les rounds, incluant les échecs), Meilleur Run MAE (erreur la plus basse réalisée dans n'importe quel round) et total de Passages Exécutables.

Résultats Clés

L'étude a évalué 13 modèles de pointe, incluant des variantes de GPT-5, Claude 4.5, Gemini 3 Pro, ainsi que des modèles open-source comme Qwen3 et Llama 4.

Tendances de Performance

1. Fiabilité vs Exactitude : Il existe une divergence significative entre la capacité d'un modèle à produire du code fonctionnel et sa capacité à produire un code correct.
   • GPT-5.2 a démontré une forte performance globale, atteignant une exécutabilité parfaite (15/15 rounds) avec une faible MAE globale (969.39).
   • Qwen3 Max a atteint une exécutabilité parfaite (15/15) mais a souffert d'une divergence numérique catastrophique, particulièrement dans la Stratégie 2, entraînant une MAE moyenne globale de ~1.59 × 10⁸.
   • GPT-5.1 Codex-Max a obtenu l'erreur de run unique la plus faible (0.002 MAE) sur la Stratégie 1, mais a montré une grande variance entre les rounds.
2. Difficulté des Stratégies :
   • Stratégie 1 (Action Unique) : La tâche la plus facile. La plupart des modèles (moyenne de 4.08/5 rounds) ont pu l'exécuter, bien que les erreurs numériques varient de plusieurs ordres de grandeur.
   • Stratégie 2 (Pairs) : Plus structurellement complexe. Les Passages Exécutables moyens sont tombés à 3.46. Les modèles ont eu des difficultés avec le calcul du z-score et la gestion du capital multi-actifs.
   • Stratégie 3 (Delta Hedging) : La plus complexe. Les Passages Exécutables moyens sont tombés à 3.38. Les erreurs dans l'agrégation du delta et le timing ont conduit à des écarts de P&L massifs.
3. Modes de Défaillance :
   • Défaillances Structurelles : Erreurs de syntaxe, colonnes manquantes ou incompatibilités de types empêchant l'exécution.
   • Défaillances Sémantiques : Le code s'exécute mais implémente la logique de manière incorrecte (ex: mauvais ratios de couverture, comptabilité FIFO incorrecte, ignorance des contraintes de capital). Cela entraîne une MAE élevée malgré une exécution réussie.

Contributions Clés

• Benchmark MARKET-BENCH : Une nouvelle suite d'évaluation ciblant spécifiquement l'intersection de la génération de code et de la finance quantitative, allant au-delà de l'analyse financière textuelle pour l'implémentation de stratégies exécutables.
• Évaluation Multi-Round et Multi-Métrique : Un protocole rigoureux qui distingue le code qui tourne du code qui fonctionne, en utilisant une pénalité de base pour les sorties non exécutables afin de refléter la gravité des échecs dans les contextes de trading.
• Simulation de Carnet Synthétique : L'introduction d'un mécanisme exigeant que les modèles suivent la consommation de liquidité et maintiennent des carnets d'ordres synthétiques, une contrainte du monde réel souvent omise dans les benchmarks de génération de code.

Signification et Revendications

L'article conclut que bien que les LLM actuels puissent bâtir des infrastructures de trading de base, ils peinent à raisonner de manière robuste sur les prix, l'inventaire et le risque.

• Limites Actuelles : Les auteurs affirment que l'utilisation de la sortie d'un modèle comme remplacement direct des analystes quantitatifs est « extrêmement risquée ». Même pour des tâches d'introduction, les modèles ne parviennent pas à implémenter de manière cohérente des stratégies de base avec une fidélité numérique.
• Rôle des LLM : L'article suggère que les modèles actuels sont mieux adaptés comme « suppléments de codage » plutôt que comme des agents autonomes pour la synthèse d'idées de trading.
• Perspectives Futures : Les auteurs postulent qu'avec un meilleur entraînement sur des données de trading et des capacités de raisonnement améliorées, les modèles pourraient éventuellement combler l'écart entre la description des stratégies et leur implémentation avec une compréhension profonde de la dynamique du marché. Cependant, à l'issue de l'étude, l'écart reste substantiel.

Les auteurs publient le benchmark et un classement public pour faciliter les recherches futures dans ce domaine.