State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

Résumé technique : L'importance de la représentation de l'état dans l'apprentissage par renforcement profond pour le commerce de l'énergie

Formulation du problème
Le commerce de l'énergie pour l'hydroélectricité de pompage est un problème de prise de décision séquentielle en situation d'incertitude. Un agent doit décider chaque heure s'il doit pomper de l'eau (consommer de l'énergie), relâcher de l'eau (produire de l'énergie) ou maintenir sa position, en fonction des niveaux actuels du réservoir et des informations du marché. L'objectif est de maximiser les revenus en exploitant les différences de prix entre les heures de pompage et de génération. Bien que l'apprentissage par renforcement (RL) soit une solution naturelle pour ce contexte, la qualité de la politique apprise dépend fortement de la représentation de l'état fournie à l'agent. Cet article étudie comment différentes familles de caractéristiques de marché — spécifiquement les caractéristiques absolues, relatives et de prévision — affectent la performance et la généralisation des agents de RL profond sans modèle lorsque les conditions de marché changent (par exemple, changements des niveaux de prix, de la volatilité ou de la localisation géographique).

Méthodologie
Les auteurs utilisent HydroDam, un environnement contrôlé simulant une installation de pompage avec des contraintes physiques fixes (capacité, efficacité, débits) et un espace d'action fixe (pomper, maintenir, relâcher au taux maximal). La fonction de récompense est définie par le revenu commercial immédiat, tenant compte des prix de l'électricité positifs et négatifs.

Pour isoler l'impact de la représentation de l'état, l'étude utilise une étude d'ablation contrôlée utilisant une architecture et un protocole d'entraînement Double DQN (DDQN) fixes. La seule variable modifiée à travers les expériences est les caractéristiques de l'état d'entrée. Les familles de caractéristiques testées sont :

1. Caractéristiques Absolues : Prix actuels normalisés, prix transformés en logarithme, et encodages calendaires (sinus/cosinus pour l'heure/le jour, indicateurs de week-end).
2. Caractéristiques Relatives : Caractéristiques comparant les prix actuels à l'historique récent, incluant les z-scores sur 24h/168h, les scores de prix glissants (basés sur les quantiles), les caractéristiques calendaires relatives et les indicateurs techniques (RSI, bandes de Bollinger, moyennes mobiles).
3. Caractéristiques de Prévision : Une prévision de prix sur 24 heures générée par un ensemble de cinq modèles LightGBM, incluant les z-scores de prix futurs et les estimations d'incertitude de l'ensemble.

Configuration Expérimentale

• Données : Les données d'entraînement et de validation consistent en des prix journaliers belges de la période 2007–2011.
• Évaluation :
  • Test sur le même marché : La performance est évaluée sur des données belges de 2012–2025, une période présentant une volatilité nettement plus élevée, des prix négatifs et la crise énergétique de 2021–2022.
  • Test inter-zones : Des politiques fixes sont évaluées sur 39 autres zones de vente ENTSO-E pour tester le transfert "zero-shot" à travers différents régimes de marché.
• Baselines : Une heuristique de score de prix glissant (acheter quand les prix sont bas par rapport aux percentiles récents, vendre quand ils sont hauts) sert de base de comparaison robuste et non-RL. Le profit optimal est calculé via la programmation dynamique avec connaissance parfaite pour normaliser les résultats en pourcentage du profit théorique maximum.

Contributions Clés

1. Banc d'essai contrôlé : L'article formule HydroDam comme un banc d'essai spécifique pour étudier la représentation de l'état dans le RL profond sans modèle pour le commerce de l'énergie, en gardant l'environnement et l'algorithme fixes.
2. Ablation des caractéristiques : Il compare systématiquement les représentations d'état absolues, relatives et de prévision, isolant leurs effets individuels et combinés sur la performance de la politique.
3. Analyse de la généralisation : Il évalue les politiques sur des périodes de temps non vues et sur des marchés géographiques non vus, démontrant que la représentation de l'état est un facteur critique de transférabilité, et non un simple détail de prétraitement.

Résultats
L'étude révèle que la représentation de l'état modifie radicalement l'efficacité perçue de l'agent de RL :

• Caractéristiques Absolues : Ont atteint la performance de validation la plus élevée (78,9 % du profit optimal) mais ont souffert d'un surapprentissage sévère, chutant à 28,8 % sur l'ensemble de test du même marché et à une médiane de 5,7 % à travers les zones croisées.
• Caractéristiques Relatives & de Prévision (Individuelles) : Les deux ont performé faiblement de manière isolée. Les politiques uniquement relatives n'ont atteint que 10,3 % sur l'ensemble de test, et les politiques uniquement de prévision 33,4 %, échouant toutes deux à battre systématiquement l'heuristique simple du score de prix glissant dans les médianes inter-zones.
• Caractéristiques Combinées : La combinaison des familles de caractéristiques a produit des résultats nettement plus robustes.
  • Absolues + Relatives : Ont atteint 49,9 % sur l'ensemble de test et une médiane inter-zones de 39,8 %.
  • Absolues + Relatives + Prévisions : Ont obtenu la performance la plus forte, atteignant 55,6 % sur l'ensemble de test et une médiane de 47,5 % à travers 39 zones. Ce modèle complet a surpassé l'heuristique dans 38,2 des 39 zones en moyenne.

Signification et Revendications
L'article affirme que dans le commerce de l'énergie de stockage, la représentation de l'état est une partie centrale de la conception de la politique, et non un choix mineur de prétraitement. Les résultats suggèrent que :

• S'appuyer sur une seule famille de caractéristiques conduit à une faible généralisation lorsque les régimes de marché changent (par exemple, passer de périodes historiques calmes à des périodes de crise avec des prix négatifs).
• Un transfert robuste nécessite une représentation d'état hybride qui combine :
  1. L'échelle de prix (caractéristiques absolues) pour comprendre l'ampleur des opportunités.
  2. Le contexte relatif récent pour s'adapter aux changements de niveaux de prix.
  3. L'information de prévision à court horizon pour anticiper les conditions futures.
• Bien que l'approche combinée améliore considérablement les performances, elle ne résout pas tous les contextes de marché (par exemple, les zones nordiques avec de faibles écarts intraday restent difficiles), indiquant que la conception de l'état est nécessaire mais non suffisante pour un succès universel.

Les auteurs concluent que pour le RL sans modèle dans le commerce de l'énergie, les agents nécessitent un accès simultané à l'échelle de prix, à la position relative et aux informations de prévision pour maintenir leur efficacité sous des conditions de marché changeantes.