🤖 machine learning

CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach

Cet article présente un système d'apprentissage par renforcement profond augmenté par le sentiment pour la tâche 3 du CLaC@FinMMEval 2026, démontrant qu'un agent DDPG utilisant le sentiment de l'actualité de LLaMA 3.2 et des récompenses basées sur l'alpha surpasse significativement les stratégies d'achat et de conservation sur TSLA et BTC, tout en soulignant les défis de la généralisation des politiques des régimes de marché haussiers aux marchés baissiers.

Auteurs originaux : Andrei Neagu, Eeham Khan, Leila Kosseim

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrei Neagu, Eeham Khan, Leila Kosseim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à jouer à un jeu vidéo très complexe : la bourse. Le but n'est pas seulement de marquer des points ; il s'agit de battre le score d'un joueur qui ne cesse jamais de jouer, qui ne change jamais de stratégie et qui conserve son personnage tout au long du jeu (une stratégie appelée « buy-and-hold » ou achat et conservation). Le jeu est chaotique, rempli d'effets sonores bruyants, de rebondissements soudains et d'un flux constant de titres de presse qui pourraient changer les règles. Pour gagner, vous avez besoin d'un agent intelligent capable de regarder l'écran, de lire les nouvelles, de ressentir le rythme du jeu et de décider s'il doit avancer, rester immobile ou reculer. C'est le monde de l'Apprentissage par Renforcement Profond (Deep Reinforcement Learning - DRL). Considérez le DRL comme une méthode où une IA apprend par essais et erreurs, recevant un « high-five » (récompense) lorsqu'elle fait un bon mouvement et un « froncement de sourcils » (pénalité) lorsqu'elle se trompe. Le papier que vous allez lire explore comment construire le robot de trading ultime pour deux personnages très différents : une entreprise technologique appelée Tesla (TSLA) et une pièce numérique appelée Bitcoin (BTC).

Les chercheurs de l'Université Concordia ont entrepris de construire un système de trading qui ne se contente pas de deviner ; il apprend. Ils ont traité la bourse comme un niveau de jeu vidéo complexe où le joueur (l'IA) doit prendre une décision quotidienne : aller en Long (parier sur la hausse des prix), rester Flat (rester sur la touche) ou aller en Short (parier sur la baisse des prix). Pour aider l'IA à faire ces choix, ils l'ont nourrie de trois types d'informations : des Indicateurs Techniques (comme des compteurs de vitesse et des lignes de tendance tracées à partir des prix passés), des Cycles Calendaires (savoir si nous sommes lundi ou la fin du mois, car les marchés peuvent parfois agir différemment ces jours-là) et des Scores de Sentiment (un « anneau de changement de couleur » pour les nouvelles, calculé par une IA super intelligente qui lit les articles pour voir si les gens sont heureux ou effrayés par l'actif).

L'équipe a entraîné quatre types de « cerveaux » d'IA différents pour jouer à ce jeu : Policy Gradient (PG), Proximal Policy Optimization (PPO), Deep Q-Learning (DQL) et Deep Deterministic Policy Gradient (DDPG). Mais voici la partie astucieuse : au lieu de simplement récompenser l'IA pour l'argent qu'elle gagne, ils lui ont donné une « Récompense Alpha » spéciale. Imaginez que vous faisiez une course contre un ami ; au lieu de simplement vous récompenser pour votre vitesse, on ne vous donne des points que si vous courez plus vite que votre ami. Cela a forcé l'IA à se concentrer sur le fait de battre la référence « buy-and-hold » plutôt que de simplement avoir de la chance parce que le marché global montait. Ils ont également fait en sorte que les sessions d'entraînement commencent à des moments aléatoires pour que l'IA ne se contente pas de mémoriser le script d'un jeu spécifique, mais apprenne à gérer n'importe quelle situation.

Lorsqu'ils ont testé ces robots sur des données réelles de 2025, les résultats ont été un mélange de triomphe et de leçon brutale sur l'avenir. Pour Tesla, le robot DDPG a été la star, enregistrant un rendement massif de 54,96 %, tandis que le robot DQL arrivait juste derrière avec 52,62 %. Les deux ont écrasé la stratégie « buy-and-hold », qui n'a réalisé que 16,45 %. Le robot DDPG était particulièrement doué pour éviter les ennuis, maintenant ses pertes (drawdown) bien plus basses que les autres.

Cependant, le test Bitcoin était un niveau beaucoup plus difficile. Le marché s'est transformé en un marché baissier (bear market), où les prix se sont effondrés, et la stratégie « buy-and-hold » a perdu un énorme 34,27 %. Dans cette tempête, le robot DDPG a été le seul à réussir à rester à flot, terminant avec un gain infime mais positif de 1,58 %. Les autres robots, y compris le DQL qui avait semblé incroyable pendant l'entraînement, ont eu du mal à s'adapter au passage soudain d'un marché ascendant à un marché descendant.

Le papier suggère que, bien que ces agents d'IA puissent apprendre à trader efficacement, ils restent sensibles à la « météo » du marché. L'algorithme DDPG s'est avéré être le plus robuste, gérant aussi bien les journées ensoleillées de Tesla que les journées venteuses de Bitcoin que les autres. Cependant, les chercheurs ont trouvé un écart délicat : le robot qui semblait le meilleur pendant l'entraînement (DQL) n'a pas toujours gagné lors du test réel, surtout lorsque le régime de marché est passé d'un marché haussier (bull market) à un marché baissier (bear market). Cela nous indique que, bien que l'IA puisse apprendre à naviguer sur les mers financières, elle doit encore faire attention à ne pas trop s'habituer aux eaux calmes, car la prochaine vague pourrait être un tsunami. En fin de compte, l'étude montre que combiner le sentiment des nouvelles avec des algorithmes d'apprentissage intelligents peut aider à battre le marché, mais le « meilleur » robot dépend fortement du type de marché auquel il est confronté.

Résumé Technique : CLaC @ FinMMEval 2026 Task 3

Définition du Problème

Ce document traite de la Tâche 3 du laboratoire CLEF 2026 FinMMEval, un défi exigeant le développement d'un agent de trading automatisé capable de prendre des décisions quotidiennes (Long, Flat ou Short) pour deux actifs distincts : le Bitcoin (BTC) et Tesla (TSLA). L'agent doit synthétiser des données multimodales, incluant les prix historiques du marché, les indicateurs techniques et les articles de presse quotidiens, afin de maximiser les mesures de performance telles que le Rendement Cumulé (CR), le Ratio de Sharpe (SR) et le Drawdown Maximal (MDD). La difficulté principale réside dans la navigation au sein de dynamiques de marché complexes et non linéaires, ainsi que dans l'adaptation aux changements de régime (par exemple, la transition d'un marché haussier à un marché baissier) tout en évitant le surapprentissage (overfitting) sur les données d'entraînement historiques.

Méthodologie

1. Formulation du Processus de Décision de Markov (MDP)

Le problème de trading est formulé comme un MDP à actions discrètes $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$ :

Espace d'États ( $\mathcal{S}$ ) : Un vecteur à 15 dimensions comprenant :
- Dynamique des Prix : Rendements logarithmiques.
- État de l'Agent : Position précédente ( $p_{t-1} \in \{-1, 0, 1\}$ ) pour tenir compte des coûts de transaction.
- Encodages Calendaires : Représentations cycliques sinus/cosinus du jour de la semaine, du jour du mois et du mois de l'année pour capturer la saisonnalité.
- Indicateurs Techniques : EMA (10, 50) normalisée, RSI (14), MACD, Bandes de Bollinger et variation du volume logarithmique.
- Sentiment : Un score de sentiment quotidien dérivé des articles de presse.
Espace d'Actions ( $\mathcal{A}$ ) : Ensemble discret $\{-1 \text{ (short)}, 0 \text{ (flat)}, 1 \text{ (long)}\}$ .
Fonction de Récompense ( $\mathcal{R}$ ) : Utilise une formulation de Récompense Alpha (voir Contributions) plutôt que le rendement brut du portefeuille.
Dynamique de Transition : Présumée exogène (hypothèse de preneur de prix), où les actions de l'agent n'influencent pas les prix du marché.

2. Traitement des Données et Ingénierie des Caractéristiques

Sources de Données : Données historiques de prix/volume de Yahoo Finance (2010–2022 pour TSLA ; 2014–2022 pour BTC) et articles de presse du jeu de données Financial News Multi-Source.
Analyse de Sentiment : Le sentiment de la presse quotidienne est scoré en utilisant LLaMA 3.2 1B Instruct dans un cadre zero-shot. Les articles sont tronqués aux 300 premiers mots (titre et chapeau) pour se concentrer sur les signaux essentiels. Le modèle effectue une passe directe unique, extrayant les logits pour les jetons "positif", "négatif" et "neutre". Le score de sentiment est calculé comme $P(\text{positif}) - P(\text{négatif})$ , borné dans $[-1, 1]$ .
Alignement Temporel : Pour éviter le biais d'anticipation (look-ahead bias), les articles publiés après la clôture du marché sont décalés au jour de trading suivant pour TSLA, tandis que pour le BTC (24h/24, 7j/7), ils sont ancrés aux dates du calendrier UTC.
Séparation du Jeu de Données : Des séparations chronologiques ont été utilisées : Entraînement (pré-2023), Validation (2023–2024, une période de marché haussier), et Test (2025–2026, contenant un marché baissier pour le BTC).

3. Algorithmes de Deep Reinforcement Learning (DRL)

Quatre algorithmes ont été implémentés et comparés :

Gradient de Politique (PG) : Acteur basé sur LSTM avec rendements de Monte-Carlo et bonus d'entropie.
Optimisation de Politique Proximale (PPO) : Acteur-critique basé sur LSTM avec objectif de substitut tronqué (clipped surrogate objective) et GAE.
Deep Q-Learning (DQL) : Réseau feed-forward avec mises à jour Double DQN et replay d'expérience.
Deep Deterministic Policy Gradient (DDPG) : Acteur-critique avec espace d'actions continu discrétisé via des seuils ( $\pm 0.33$ ) et du bruit d'Ornstein-Uhlenbeck pour l'exploration.

4. Stratégie d'Entraînement

Récompense Alpha : La récompense est définie comme le rendement excédentaire par rapport au marché : $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$ . Cela incite l'agent à surpasser une stratégie de buy-and-hold plutôt qu'à viser un profit absolu.
Départs d'Épisodes Aléatoires : Les épisodes d'entraînement commencent à des jours aléatoires pour éviter la mémorisation de séquences fixes et améliorer la généralisation.
Optimisation des Hyperparamètres : Réalisée via Ray Tune avec 180 essais par paire algorithme-actif.
Sélection de Modèle : Les modèles ont été sélectionnés sur la base du Ratio de Sharpe de Validation, avec une application de l'arrêt précoce (early stopping).

Contributions Clés

Représentation d'État Multimodale : L'article démontre que la combinaison d'indicateurs techniques, d'encodages calendaires cycliques et de scores de sentiment dérivés de LLM crée un signal d'état efficace pour les agents DRL.
Formulation de la Récompense Alpha : Les auteurs introduisent et analysent une récompense alpha qui entraîne les agents à maximiser le rendement excédentaire par rapport au marché. Ils établissent trois propriétés théoriques :
- Elle est égale au log-alpha de la stratégie lorsqu'elle est sommée sur un épisode.
- Sous l'hypothèse de preneur de prix, elle partage les mêmes politiques optimales que les récompenses de log-rendement brut.
- Elle agit comme une variable de contrôle de réduction de la variance, réduisant considérablement la variance de l'estimateur de gradient dans les environnements à haute volatilité.
Comparaison Algorithmique Complète : Une évaluation rigoureuse de PG, PPO, DQL et DDPG avec optimisation des hyperparamètres révèle que le DDPG offre la performance la plus robuste sur les deux actifs, tout en soulignant la sensibilité de la sélection de modèle basée sur la validation face aux changements de régime de marché.

Résultats

Performance sur TSLA (Période de Test)

Baseline (Buy-and-Hold) : 16,45 % CR, SR 0,61.
DDPG : A atteint 54,96 % CR et SR 1,44, avec le plus bas Drawdown Maximal (MDD) de 19,20 %.
DQL : A atteint 52,62 % CR et SR 1,38, mais avec un MDD plus élevé (35,76 %).
PG et PPO : Ont sous-performé la baseline ou ont nettement suivi les meilleurs modèles à la baisse.

Performance sur BTC (Période de Test)

Baseline (Buy-and-Hold) : -34,27 % CR, SR -0,87 (marché baissier sévère).
DDPG : Le seul modèle à obtenir un rendement positif (1,58 %) avec un SR de 0,23 et un MDD de 35,30 %. Il a réussi à atténuer les pertes du marché en passant sur des positions flat/short lors des phases de baisse.
PG : A réduit les pertes à -14,53 % mais est resté négatif.
DQL et PPO : Ont largement sous-performé, le DQL atteignant -23,22 % et le PPO -33,80 %.

Écart de Généralisation

Un écart significatif de généralisation entre la validation et le test a été observé, particulièrement pour le BTC. La période de validation (2023–2024) était un marché haussier soutenu, ce qui a conduit des modèles comme le DQL (qui avait le SR de validation le plus élevé) à un surapprentissage sur le momentum haussier. Par conséquent, le DQL a échoué à se généraliser aux conditions de marché baissier du test, tandis que l'espace d'actions continu et l'architecture acteur-critique du DDPG ont offert une meilleure adaptabilité aux changements de régime.

Signification et Revendications

L'article affirme que l'intégration de l'analyse de sentiment par LLM avec le Deep Reinforcement Learning est une approche viable pour le trading algorithmique, à condition que :

Le Façonnage de la Récompense (Reward Shaping) : L'utilisation d'une récompense alpha aligne l'objectif d'entraînement sur le but compétitif de battre le marché, réduisant le surapprentissage lié aux mouvements de prix absolus.
La Sélection d'Algorithme : Le DDPG démontre une robustesse supérieure pour gérer les changements de régime par rapport aux méthodes récurrentes on-policy (PG, PPO) et aux méthodes de valeur purement off-policy (DQL), particulièrement dans les environnements volatils et baissiers.
Les Limites de la Validation : L'étude souligne une limitation critique du machine learning financier : la sélection de modèle basée sur une seule fenêtre de validation (particulièrement lorsqu'elle coïncide avec un marché haussier) peut mener à une faible généralisation lors de marchés baissiers ultérieurs. Les auteurs notent que bien que le DQL ait été sélectionné pour la compétition en direct sur la base des métriques de validation, le DDPG s'est avéré supérieur lors de la période de test réelle, soulignant la difficulté d'adapter des politiques entraînées en marchés haussiers aux conditions de marchés baissiers.

Les auteurs concluent que, bien que leur système ait obtenu une surperformance substantielle par rapport à la baseline buy-and-hold (notamment sur TSLA et pour la préservation du capital sur BTC), l'écart de généralisation observé suggère la nécessité de travaux futurs impliquant une validation croisée walk-forward et un RL hiérarchique pour mieux capturer les stratégies dépendantes des régimes de marché.