A Reinforcement Learning Supervisor with Dynamic Performance-Metric Weighting for Cryptocurrency Portfolio Management

Investir sur les marchés financiers est un jeu d'adaptation constant. Les règles du jeu changent à mesure que l'économie passe d'une période de croissance florissante à une dérive lente et latérale, ou à un déclin soudain et brutal. Dans ces environnements, une stratégie unique qui fonctionne parfaitement pendant un boom échoue souvent lamentablement lorsque le marché se retourne. C'est le cœur du défi de la gestion de portefeuille : décider comment répartir l'argent entre différents actifs lorsque l'avenir est incertain et que le passé n'est pas une carte fiable. Pendant des décennies, les investisseurs se sont appuyés sur des formules mathématiques pour équilibrer le risque et le rendement, mais ces modèles statiques peinent souvent lorsque les conditions de marché changent rapidement. Plus récemment, les informaticiens se sont tournés vers un type d'intelligence artificielle appelé apprentissage par renforcement. Au lieu de se voir enseigner des règles spécifiques, ces programmes informatiques apprennent par essais et erreurs, interagissant avec un marché simulé pour découvrir quelles actions mènent aux meilleurs résultats à long terme. Bien que ces programmes puissent apprendre à trader, ils restent souvent bloqués dans une seule façon de penser, incapables de pivoter lorsque le régime de marché change.

Une équipe de chercheurs de l'Université nationale de transport de Corée a proposé une nouvelle façon de résoudre ce problème. Plutôt que d'essayer de construire un robot de trading parfait, ils ont créé un système qui agit comme un superviseur, gérant une équipe de cinq robots de trading différents, chacun entraîné avec une méthode d'apprentissage légèrement différente. Le superviseur ne réalise pas les transactions lui-même. Au lieu de cela, il observe comment chaque robot a performé récemment et décide lequel doit être aux commandes à un moment donné. Les chercheurs ont testé ce système en utilisant des données réelles à haute fréquence du marché des cryptomonnaies, un lieu connu pour sa volatilité extrême et ses changements rapides. Ils ont constaté que ce système de supervision surpassait systématiquement n'importe quel robot individuel, ainsi que les stratégies d'investissement traditionnelles, en basculant dynamiquement vers l'agent le mieux adapté aux conditions de marché actuelles.

Les chercheurs ont commencé par construire une équipe de cinq agents distincts. Chaque agent est un programme informatique conçu pour prendre des décisions d'investissement, mais ils ont été entraînés à l'aide de différentes approches mathématiques. Bien que tous les agents aient été entraînés dans le même environnement de portefeuille avec la même fonction de récompense, leurs mécanismes d'apprentissage distincts ont fait que chaque agent a développé une personnalité unique. L'un peut être très agressif, traquant des profits élevés mais prenant de gros risques, tandis qu'un autre peut être plus prudent, privilégiant la stabilité aux gains rapides. Dans un marché stable, l'agent agressif pourrait briller. Dans un marché turbulent, l'agent prudent pourrait être le seul à survivre. Le problème est qu'aucun agent unique n'est le meilleur en tout, tout le temps. Si un investisseur choisit un seul agent et s'y tient, il est susceptible de souffrir lorsque le marché change d'une manière que cet agent n'apprécie pas.

Pour résoudre cela, les chercheurs ont introduit un agent superviseur. Ce superviseur ne connaît pas le code interne des cinq agents qu'il gère. Au lieu de cela, il agit comme un entraîneur regardant un match, observant uniquement le tableau des scores. Il suit sept indicateurs de performance différents pour chaque agent, tels que le profit réalisé, le risque pris pour obtenir ce profit, et la proportion de périodes avec des rendements positifs. Il examine ces chiffres sur différentes périodes de temps, allant des dernières heures aux derniers jours. Le travail du superviseur est de déterminer quel indicateur est le plus important en ce moment. Dans un marché calme, le superviseur pourrait décider que des profits réguliers et constants sont le signe le plus important d'un bon agent. Dans un marché chaotique, il pourrait décider que l'évitement des pertes importantes est la seule chose qui compte.

Le superviseur apprend ce système de pondération grâce à son propre processus d'entraînement. Il observe le marché et les historiques récents des agents, puis apprend à attribuer des scores d'importance aux différents indicateurs de performance. Il ne choisit pas simplement l'agent ayant le profit récent le plus élevé. Au lieu de cela, il calcule un score pour chaque agent en combinant ses données de performance avec les poids d'importance que le superviseur a appris pour ce moment spécifique. L'agent ayant le score total le plus élevé est sélectionné pour gérer le portefeuille pour la période de trading suivante. Cela crée un système qui réévalue constamment ses choix, transférant sa confiance d'un agent à un autre à mesure que l'environnement de marché change.

Les chercheurs ont testé ce système en utilisant des données de prix à trente minutes de la plateforme d'échange Binance, couvrant la période du 1er janvier 2021 au 31 décembre 2025. Ils ont mis en place deux scénarios différents : l'un avec quatre cryptomonnaies populaires et un autre avec cinq, ajoutant un cinquième actif pour voir si le système pouvait gérer un groupe d'investissements légèrement plus large. Ils ont comparé leur système de supervision contre les cinq agents individuels, une stratégie simple d'achat et de conservation (buy and hold) de tous les actifs de manière égale, et plusieurs formules d'investissement traditionnelles. Les résultats étaient clairs. Le système de supervision a généré des valeurs de portefeuille finales nettement plus élevées que n'importe quel agent individuel ou stratégie traditionnelle. Dans le scénario à quatre actifs, le superviseur a fait croître la valeur du portefeuille à 2,349 fois le montant initial, alors que le meilleur agent individuel n'a atteint que 1,652. Dans le scénario à cinq actifs, le superviseur a atteint 3,044 fois la valeur initiale, contre 2,554 pour le meilleur agent individuel.

Crucialement, cette croissance supplémentaire n'est pas venue au prix d'un risque plus élevé. Le système de supervision a également connu des pertes maximales, connues sous le nom de drawdowns, plus faibles que les agents individuels. Cela suggère que le système ne se contentait pas de prendre de plus gros paris pour obtenir des rendements plus élevés ; il gérait en fait mieux le risque en sachant quand passer à un agent plus sûr. Les chercheurs ont également comparé leur système à une version plus simple qui utilisait une seule règle fixe pour changer d'agent, comme toujours choisir l'agent ayant le profit récent le plus élevé. Le système de supervision a largement surpassé ces stratégies à règle unique. Cela a prouvé que le succès du système provenait de sa capacité à pondérer plusieurs facteurs simultanément, plutôt que de compter sur un critère unique et rigide.

Pour comprendre exactement ce qui a fait fonctionner le système, les chercheurs ont mené une série de tests où ils ont retiré des parties du système pour voir ce qui se passait. Ils ont découvert que le système avait besoin des sept indicateurs de performance et des quatre fenêtres temporelles pour fonctionner de manière optimale. Retirer les indicateurs liés au profit a nui à la capacité du système à créer de la richesse, tandis que retirer les indicateurs liés au risque a nui à sa capacité de protection contre les pertes. De même, le système avait besoin de regarder l'historique de performance à court et à long terme. Dans le test à quatre actifs, l'historique à long terme était le plus important, tandis que dans le test à cinq actifs, l'historique à court terme importait davantage. Cette variation a montré que le système n'utilisait pas une règle fixe mais s'adaptait réellement aux besoins spécifiques du portefeuille actuel et des conditions de marché.

L'étude conclut que la gestion d'un portefeuille ne consiste pas seulement à trouver le meilleur algorithme de trading unique. Il s'agit de créer une structure capable de choisir le bon outil pour la tâche, au fur et à mesure que la tâche change. En utilisant un superviseur pour pondérer dynamiquement différents signaux de performance, le système peut naviguer dans la nature imprévisible des marchés de cryptomonnaies plus efficacement que n'importe quel agent individuel ou stratégie statique. Les chercheurs notent que leur système actuel utilise un ensemble spécifique de cinq agents et un ensemble spécifique de données de marché. Les travaux futurs pourraient l'étendre en inclant des agents avec différents profils de risque ou en testant le système sur d'autres types d'actifs. Cependant, la conclusion fondamentale reste robuste : une approche hiérarchique qui apprend à sélectionner des politiques basées sur une vue flexible et multidimensionnelle de la performance offre un moyen puissant de faire face à l'incertitude des marchés financiers.