Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading

Le monde du trading boursier est depuis longtemps un domaine où l'intuition humaine lutte contre des marchés chaotiques et changeants. Depuis des décennies, les traders s'appuient sur des algorithmes pour passer au crible des montagnes de données, espérant trouver des modèles capables de prédire si un prix va monter ou descendre. Ces dernières années, un type puissant d'intelligence artificielle connu sous le nom d'apprentissage par renforcement est apparu comme un outil de premier plan pour cette tâche. Imaginez un agent numérique apprenant à trader non pas en se voyant dire la bonne réponse, mais en essayant des actions, en commettant des erreurs et en apprenant lentement des profits et des pertes qu'il expérimente. Cette approche est prometteuse car elle peut s'adapter aux changements de conditions, contrairement aux méthodes plus anciennes qui supposent que le marché se comporte de la même manière aujourd'hui qu'hier. Cependant, enseigner à ces agents à être à la fois rentables et stables est incroyablement difficile. Le marché financier est bruyant et imprévisible, ne donnant souvent à l'agent que très peu de retours sur le fait qu'une décision spécifique était bonne ou mauvaise avant bien plus tard. Sans guide clair, l'agent peut avoir du mal à apprendre, devenant erratique ou échouant à généraliser ses compétences à de nouvelles conditions de marché.

Pour aider ces agents à apprendre plus rapidement et plus de manière fiable, les chercheurs leur confient souvent des tâches supplémentaires plus petites à résoudre parallèlement à l'objectif principal qui est de gagner de l'argent. Ce sont ce qu'on appelle des tâches auxiliaires. Traditionnellement, les experts doivent concevoir manuellement ces tâches supplémentaires, devinant ce qui pourrait aider l'agent à mieux comprendre le marché, comme prédire le prochain changement de prix ou estimer la volatilité potentielle du marché. Mais le problème avec cette approche manuelle est que le marché change constamment. Une tâche qui fonctionne bien pendant une période de calme peut être inutile, voire nuisible, lors d'une période de turbulence. Si les tâches d'assistance sont figées dans le marbre, elles ne peuvent pas s'adapter au paysage changeant de la bourse, laissant l'agent de trading avec des informations obsolètes ou non pertinentes.

Une équipe de chercheurs de l'Institut indien de technologie de Mandi a développé une nouvelle façon de résoudre ce problème. Au lieu de demander à un humain de deviner quelles tâches supplémentaires pourraient aider, ils ont créé un système qui découvre ces tâches automatiquement. Ils appellent ce nouveau cadre QUESTrader. L'idée centrale est de laisser l'intelligence artificielle découvrir par elle-même ce qu'elle doit apprendre. Le système utilise une conception à double réseau. Un réseau, le trader principal, apprend à acheter et vendre des actions pour maximiser le profit. Le second réseau agit comme un générateur de questions. Il propose constamment de nouvelles questions simples auxquelles le trader principal doit répondre, telles que « quel sera le prix dans les prochains jours ? » ou « quelle sera l'ampleur du mouvement du marché ? » en se basant sur les données de clôture quotidienne et les indicateurs techniques utilisés dans l'étude. Ces questions ne sont pas fixes ; elles sont générées dynamiquement en fonction de ce que le système expérimente actuellement. Le système entraîne ensuite le trader principal à répondre à ces questions tout en effectuant ses transactions.

Le génie de cette approche réside dans la façon dont le système décide quelles questions valent la peine d'être posées. Les chercheurs utilisent un mécanisme d'apprentissage sophistiqué qui examine les résultats à long terme. Il demande : « Répondre à cette question spécifique a-t-il aidé le trader à prendre de meilleures décisions plus tard ? » Si une question conduit à de meilleures performances de trading, le système ajuste ses paramètres pour continuer à la poser. Si une question s'avère être une distraction, le système affine ses paramètres pour cesser de la générer. Ce processus garantit que les tâches auxiliaires sont toujours pertinentes par rapport aux conditions actuelles du marché. Les chercheurs ont testé cette méthode sur quatre marchés boursiers mondiaux majeurs : le Dow Jones Industrial Average aux États-Unis, le FTSE 100 au Royaume-Uni, le Sensex en Inde et le TAIEX à Taïwan. Ils ont comparé leur nouveau système à un large éventail de stratégies existantes, incluant les méthodes d'investissement traditionnelles, les modèles d'intelligence artificielle standards et d'autres systèmes utilisant des tâches d'assistance conçues manuellement.

Les résultats ont été frappants. Sur les quatre marchés, le système QUESTrader a systématiquement surpassé les autres méthodes. Sur le marché américain, il a réalisé un rendement annuel de 21,785 %, nettement supérieur à la deuxième meilleure méthode, qui a atteint 18,176 %. Plus important encore, le système ne se contentait pas de gagner plus d'argent ; il le faisait avec une plus grande stabilité. Il a obtenu les scores de risque ajusté les plus élevés, ce qui signifie qu'il générait plus de profit pour chaque unité de risque prise. Lorsque le marché chutait, l'agent QUESTrader perdait moins d'argent que ses concurrents. Sur le marché indien, par exemple, il a maintenu une perte maximale de 10,584 %, ce qui est bien inférieur à la perte de 17,783 % observée chez d'autres modèles avancés. Le système s'est également révélé efficace sur le marché très volatil de Taïwan, où il a délivré un rendement annuel de 30,279 %, dépassant de loin toutes les autres approches.

Les chercheurs ont découvert que la clé de ce succès résidait dans la capacité du système à adapter ses tâches d'assistance en temps réel. En découvrant automatiquement les bonnes questions à poser, l'agent de trading a construit une compréhension plus riche et plus précise du marché. Il a appris à reconnaître des modèles que les tâches conçues par l'homme auraient pu manquer. L'étude a également exploré le nombre de questions que le système devrait poser à la fois et jusqu'où il devrait regarder dans le futur pour juger de la valeur d'une question. Ils ont trouvé qu'un nombre modéré de questions, environ seize à soixante-quatre, fonctionnait le mieux, et que regarder environ dix étapes en avant dans le processus d'apprentissage permettait au système d'attribuer correctement le mérite aux bonnes questions pour un succès futur. Cet équilibre a permis d'éviter que le système ne soit submergé par trop d'informations ou confus par une vision trop lointaine.

Ce travail suggère que l'avenir du trading automatisé ne réside peut-être pas dans des humains plus intelligents concevant de meilleures règles, mais dans des machines plus intelligentes capables de s'enseigner à elles-mêmes à quoi prêter attention. En laissant le système découvrir ses propres objectifs d'apprentissage, les chercheurs ont créé un agent de trading plus robuste, plus adaptable et, en fin de compte, plus rentable que ceux qui dépendent d'instructions statiques créées par l'homme. Les conclusions indiquent que dans le monde complexe et changeant de la finance, la capacité d'apprendre quoi apprendre est tout aussi importante que la capacité d'apprendre comment trader.