💻 computer science

An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

Cet article présente une étude empirique transparente d'un agent de trading de Bitcoin basé sur le PPO qui diagnostique et corrige des échecs d'entraînement critiques pour atteindre une modeste surperformance à long terme par rapport à la stratégie Buy-and-Hold, tout en démontrant simultanément que les données de carnet d'ordres en temps réel engendrent souvent une politique rationnelle de « non-trading » en raison de coûts de transaction dépassant les mouvements de micro-prix, plaidant ainsi pour la valeur de la publication de résultats négatifs reproductibles plutôt que pour des récits de succès lissés.

Auteurs originaux : william darryl towa

Publié 2026-07-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : william darryl towa

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à trader le Bitcoin. Vous voulez qu'il soit plus intelligent que le simple achat et conservation (buy and hold), mais vous voulez aussi éviter qu'il ne perde tout son argent. Ce document est un documentaire « dans les coulisses » de ce processus, où l'auteur, William Darryl Towa, décide d'être brutalement honnête sur tout ce qui s'est mal passé, ce qui s'est bien passé, et pourquoi le robot décide parfois de rester assis sur le canapé à ne rien faire.

Voici l'histoire de la recherche, décomposée en concepts simples :

1. Les deux camps d'entraînement différents

L'auteur n'a pas utilisé un seul ensemble de données. Il a entraîné son robot dans deux « gymnases » très différents :

Gym A (Le microscope haute vitesse) : Ceci utilisait une vue ultra-détaillée, seconde par seconde, du carnet d'ordres de Bitcoin (la liste des personnes attendant d'acheter ou de vendre) provenant d'une semaine spécifique de 2021. C'est comme regarder un pilote de course de Formule 1 au ralenti, en voyant chaque infime mouvement du volant.
Gym B (L'autoroute longue distance) : Ceci utilisait 2,4 années de graphiques de prix horaires. C'est comme regarder le même pilote sur plusieurs années, en voyant comment il gère différentes conditions météorologiques, le trafic et l'état de la route.

2. Le premier grand crash : « Le robot gelé »

Lorsque l'auteur a essayé d'entraîner le robot pour la première fois, celui-ci s'est immédiatement brisé. Le robot a effectué un seul trade, puis pendant 195 000 étapes, il est resté figé. Il a cessé d'apprendre et de bouger.

Le diagnostic : L'auteur a trouvé deux raisons à cet état de « gel » :

Des chiffres déroutants : Le robot recevait des nombres dont les tailles étaient radicalement différentes. Imaginez essayer de comparer le poids d'une plume (0,001) au poids d'une baleine bleue (85 000). Le robot était confus parce que la baleine étouffait la plume. L'auteur a corrigé cela en « normalisant » les données (en mettant tout à la même échelle).
Une fiche d'évaluation défectueuse : Le robot était évalué sur un test mathématiquement erroné. Parfois, le test lui donnait un score de « 1 000 » et parfois « -1 000 » pour la même action, simplement à cause d'une petite erreur mathématique. Cela faisait croire au robot que le monde était chaotique et imprévisible, alors il abandonnait. L'auteur a corrigé les mathématiques pour que les scores soient cohérents.

3. Le robot « paresseux » : Quand ne rien faire est le choix le plus intelligent

Après avoir réparé le crash, l'auteur a entraîné le robot sur les données du Microscope haute vitesse (Gym A). Il a appris une leçon très étrange : Ne jamais trader.

Au début, l'auteur a pensé que le robot était cassé ou qu'il n'avait pas assez de données pour apprendre. Mais il a ensuite réalisé la vérité : le robot était en fait intelligent.

L'analogie : Imaginez que vous êtes dans un marché aux puces. Chaque fois que vous achetez quelque chose et que vous essayez de le revendre 10 secondes plus tard, le marché vous facture des frais de 30 %. Même si le prix de l'objet augmente de 1 %, vous perdez quand même de l'argent à cause des frais.
La réalité : Dans les données à haute vitesse, le prix du Bitcoin bougeait à peine en une seconde (souvent 0,00000 %). Mais les frais de transaction étaient énormes (0,30 %).
La conclusion : Le robot a compris que n'importe quel trade lui ferait perdre de l'argent. Ainsi, la stratégie la plus rentable était de rester immobile et de ne rien faire. L'auteur appelle cela une « inaction économiquement rationnelle ». Ce n'était pas un échec ; c'était le robot qui comprenait correctement que le jeu était truqué contre le trading.

4. Le succès de la longue distance : Une victoire modeste

Lorsque le robot a été entraîné sur les données de l'Autoroute longue distance (Gym B) (les 2,4 années de graphiques horaires), il a fait quelque chose de différent. Il a appris à trader, mais très prudemment.

Le résultat : Le marché a chuté d'environ 21 % pendant la période de test.
- Si vous aviez simplement détenu du Bitcoin (Achat et conservation), vous auriez perdu 20,82 %.
- Le robot a perdu 19,42 %.
La leçon à retenir : Il n'a pas fait fortune. Il n'a pas battu le marché par une marge énorme. Mais il a perdu moins d'argent que la personne qui s'est contentée de conserver ses actifs. C'est une petite victoire constante, comme un coureur qui termine un marathon légèrement devant le peloton lors d'une très mauvaise course.

5. Le filtre « Ensemble » : Un gardien qui n'a rien fait

L'auteur a tenté de combiner les deux robots. Il a construit un « gardien » (un filtre d'ensemble) qui ne laisserait le robot de longue distance trader que si le robot de haute vitesse voyait une bonne opportunité.

Le test : Il a testé cela sur la seule semaine où les deux ensembles de données se chevauchaient.
Le résultat : Le gardien a bloqué 64 trades potentiels, mais cela n'a pas changé le résultat final. Pourquoi ? Parce que le robot de longue distance était déjà en train de rester les bras croisés, ne faisant rien la plupart du temps. Le gardien était comme un videur à l'entrée d'un club qui est déjà vide ; il empêche les gens d'entrer, mais comme personne n'essayait d'entrer de toute façon, le club est resté vide.
L'honnêteté : Au lieu de cacher ce « résultat nul », l'auteur l'a publié. Il soutient que admettre « cette partie n'a pas fonctionné » est plus précieux que de simuler un succès.

6. La grande leçon : « L'échec honnête » est préférable aux « mensonges polis »

La partie la plus importante de ce document n'est pas la stratégie de trading ; c'est l'attitude.

Dans le monde de l'IA et de la finance, les chercheurs ne publient souvent que les « fins heureuses » où le robot gagne des millions. Ce document est différent. Il dit :

« Voici exactement pourquoi notre première tentative a planté. »
« Voici pourquoi notre deuxième robot a décidé de ne rien faire (et pourquoi c'était correct). »
« Voici une partie de notre système qui n'a pas fonctionné, et voici la preuve. »

L'auteur estime que partager ces « résultats négatifs » et ces « diagnostics » aide l'ensemble de la communauté à apprendre plus vite que de partager une histoire parfaite et polie qui pourrait cacher des failles invisibles. Il a publié tout son code et ses notes afin que quiconque puisse vérifier son travail, prouvant que la transparence est le meilleur moyen de faire progresser la science.

En bref : Le document est l'histoire d'un robot qui a appris à trader le Bitcoin, qui a planté à cause de mauvaises mathématiques, qui a appris que parfois, le meilleur trade est de ne pas trader, et qui a finalement appris à perdre un peu moins d'argent que tout le monde — tout en promettant à l'auteur de dire toute la vérité, même les parties embarrassantes.

Résumé Technique : Un Agent de Trading PPO en Ensemble sur des Données Réelles de Carnet d'Ordres et des Données OHLCV à Longue Horizon

Énoncé du Problème
Le document traite du défi que représente l'entraînement d'agents d'Apprentissage par Renforcement (RL) pour le trading de cryptomonnaies sous deux régimes de données contrastés : une fenêtre courte de données de carnet d'ordres (LOB) réelles à haute fréquence et une fenêtre longue de données OHLCV à plus basse fréquence. L'étude souligne une tension méthodologique critique dans le RL financier : les jeux de données LOB fournis (souvent issus de concours) sont typiquement trop étroits dans le temps pour entraîner des politiques avec une efficacité d'échantillonnage et une confiance statistique suffisantes, tandis que les méthodes d'ensemble utiles nécessitent des données à long horizon pour couvrir plusieurs régimes de marché. De plus, l'article étudie le phénomène de « l'effondrement de la politique » (policy collapse), où les agents échouent à apprendre ou convergent vers des comportements dégénérés, et cherche à distinguer les échecs d'entraînement d'une inaction économiquement rationnelle.

Méthodologie
Les auteurs proposent une architecture à deux modèles entraînée via l'Optimisation de la Politique Proximale (PPO) au sein d'un environnement personnalisé compatible avec Gymnasium, s'écartant du simulateur officiel du concours pour permettre un contrôle total sur les spécifications de l'état, de l'action et de la récompense.

Sources de Données :
- Modèle A (Court Horizon/LOB) : Entraîné sur le jeu de données officiel du concours FinRL-AlphaSeek (494 749 instantanés de niveau seconde de la profondeur du carnet d'ordres BTC d'avril 2021). Les caractéristiques incluent le déséquilibre des ordres, la pression de l'annulation, le flux d'ordres au marché et le spread.
- Modèle B (Long Horizon/OHLCV) : Entraîné sur 2,4 années de données horaires BTC/USDT de Binance (2024–2026). Les caractéristiques incluent les rendements logarithmiques, la volatilité, le volume et le momentum.
Formulation MDP : L'espace d'action est discret {VENTE, ATTENTE, ACHAT} avec des transitions de position complète. La fonction de récompense est un proxy du ratio de Sortino sur les rendements logarithmiques de la valeur liquidative (mark-to-market), pénalisée pour les drawdowns.
Processus de Diagnostic : L'étude traite le processus d'entraînement comme une étude de cas diagnostique. Elle documente un « effondrement total de la politique » initial (un seul trade suivi de 195 000 étapes de comportement figé) et isole systématiquement les causes profondes :
1. Entrées non normalisées : Des niveaux de prix bruts (85 000 $) mélangés à de petites caractéristiques ( $10^{-3}$ ) ont créé un ratio de magnitude de $7,1 \times 10^7$ , déstabilisant le réseau.
2. Récompense numériquement instable : Le dénominateur du ratio de Sortino utilisait un plancher ( $10^{-8}$ ) bien en dessous de la volatilité empirique, causant une saturation de la récompense (clipping) sur 88 à 97 % des transitions.
3. Falsification d'hypothèse : Les auteurs ont testé si une « exploration insuffisante » causait la convergence vers un quasi « Buy-and-Hold » en augmentant le coefficient d'entropie par 4, ce qui n'a pas amélioré la performance, excluant ainsi un déficit d'exploration.
Mécanisme d'Ensemble : Un filtre proposé utilise les signaux dérivés du LOB du Modèle A (déséquilibre des ordres et spread) pour réguler les décisions de trading du Modèle B lors du chevauchement temporel des deux jeux de données.

Résultats Clés

Agent à Long Horizon (Modèle B) : Après correction de la normalisation des entrées et de l'échelle de la récompense, l'agent a convergé vers une politique qui surpasse modestement mais de manière constante la référence Buy-and-Hold sur les données de test (une période de déclin de prix sous-jacent de 21 %).
- Rendement : -19,42 % (PPO) contre -20,82 % (Buy-and-Hold).
- Métriques de Risque : Ratios de Sharpe (-1,274 contre -1,377) et de Sortino plus élevés, et drawdown maximal plus faible (31,45 % contre 32,54 %).
- Comportement : L'amélioration provient entièrement d'un timing d'entrée appris (un trade réalisé) plutôt que d'une fréquence de trading active.
Agent à Court Horizon (Modèle A) : L'agent entraîné sur des données LOB de niveau seconde a convergé vers une politique de non-trading (0 trade, 0,00 % de rendement).
- Diagnostic : Il ne s'agit pas d'un échec d'entraînement mais d'une inférence économiquement rationnelle. À une granularité d'une seconde, le mouvement de prix médian est de 0,00000 %, et même le 99e percentile (0,038 %) est environ 8 fois plus petit que le coût de transaction aller-retour configuré (0,30 %). Sous ces conditions économiques, l'inaction est la politique optimale.
Évaluation du Filtre d'Ensemble : Sur l'unique fenêtre où les sources de données se chevauchaient (avril 2021), le filtre a intercepté 64 des 165 signaux mais n'a changé aucun trade réalisé. Cela s'est produit car la politique de base (Modèle B) émettait des actions redondantes de type « no-op » sur cette fenêtre spécifique. Les auteurs rapportent cela comme un résultat nul plutôt que de le supprimer.

Signification et Revendications
L'article affirme que sa principale contribution est la transparence méthodologique plutôt que la performance de trading de pointe.

Valeur Diagnostique : Il fournit une analyse précise des causes profondes de l'effondrement de la politique PPO dans des contextes financiers, identifiant que les caractéristiques non normalisées et les fonctions de récompense mal conditionnées peuvent mener à un comportement dégénéré qui imite un « échec » mais est en réalité une réponse à la saturation du signal.
Rationalité Économique : Il démontre qu'un agent de RL convergeant vers le « non-trading » peut être une inférence correcte sur la microstructure du marché (spécifiquement, les coûts de transaction dominant les mouvements de prix à haute fréquence), plutôt qu'un manque de capacité d'apprentissage.
Rapport de Résultats Négatifs : Les auteurs soutiennent que rapporter des résultats nuls (par exemple, le filtre d'ensemble n'ayant aucun effet sur la fenêtre de test spécifique) et falsifier leurs propres hypothèses (par exemple, la rareté des échantillons vs les coûts de transaction) est plus précieux pour la communauté de recherche que des récits de succès polis mais invérifiables.
Reproductibilité : L'étude met l'accent sur la publication d'un code complet, de journaux de décision et d'un harnais d'évaluation pour soutenir la reproductibilité, notant que tous les résultats sont basés sur une seule graine aléatoire (42) et ne doivent pas être considérés comme statistiquement robustes sans une validation sur plusieurs graines.

L'article conclut que bien que l'agent à long horizon ait montré une surperformance modeste, l'approche d'ensemble nécessite une validation supplémentaire à travers plusieurs régimes de marché et plusieurs graines avant que les affirmations de performance ne puissent être généralisées.