Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning

1. Problématique

Avec l'augmentation de la pénétration des énergies renouvelables variables (ENR) comme le photovoltaïque (PV) et l'éolien, l'intégration de ces sources sur les marchés de l'électricité devient cruciale. Les producteurs doivent participer aux marchés en temps réel et répondre aux signaux de prix à court terme. Pour maximiser leurs profits et éviter les pénalités liées aux déséquilibres (écarts entre la production réelle et les engagements de marché), l'utilisation de systèmes de stockage d'énergie par batterie (BESS) est essentielle.

Cependant, deux défis majeurs se posent :

1. L'incertitude : La production renouvelable et les prix du marché sont stochastiques et difficiles à modéliser avec précision.
2. Le couplage optimisation dimensionnement/stratégie : Les méthodes existantes traitent souvent le dimensionnement optimal de la batterie et la stratégie de soumission d'offres (bidding) comme deux étapes séparées (approche en deux temps).
   • Les méthodes basées sur des règles simplifiées ignorent la dynamique du marché.
   • Les approches d'optimisation globale (comme la programmation stochastique) sont trop lourdes computationnellement.
   • Les méthodes d'apprentissage automatique en deux étapes (entraîner un modèle, puis optimiser la taille) nécessitent des ressources de calcul massives pour couvrir tout l'espace de recherche et supposent que le modèle entraîné reste précis sur l'ensemble de cet espace.

L'objectif de cet article est de proposer une méthode co-optimisée et computationnellement efficace pour déterminer simultanément la taille optimale d'une batterie et la stratégie de soumission d'offres associée.

2. Méthodologie

Les auteurs proposent un algorithme basé sur l'Apprentissage par Renforcement (RL) profond, étendu pour permettre la co-optimisation.

A. Modèle de Marché et de Bidding

• Contexte : Marché de l'électricité en temps réel.
• Variables : Le producteur soumet une offre $b_t$ basée sur des prévisions. La puissance livrée $x^D_t$ dépend de la production renouvelable $x_t$ et des flux de charge/décharge de la batterie ($p^c_t, p^d_t$).
• Pénalités : Tout écart entre l'offre et la livraison réelle entraîne des paiements de déséquilibre (surplus ou déficit) avec des prix pénalisés ($\lambda^{sur}_t, \lambda^{def}_t$).
• Objectif : Maximiser le profit net total, qui inclut les revenus du marché, moins les coûts de dégradation de la batterie et les pénalités.

B. Cadre d'Apprentissage par Renforcement (RL)

• Algorithme de base : Utilisation d'un Deep Recurrent Q-Network (DRQN). Ce réseau combine le Deep Q-Learning avec des réseaux de mémoire à court terme (LSTM) pour gérer les séquences temporelles et l'incertitude partielle (POMDP - Partially Observable Markov Decision Process).
• État et Action :
  • L'agent observe l'historique des productions, prix et l'état de charge (SOC) de la batterie.
  • Les actions sont la valeur de l'offre $b_t$ et un facteur d'échelle $\rho_t$ pour ajuster la charge/décharge en fonction du prix (arbitrage).

C. Algorithme de Co-optimisation (Contribution Principale)

Contrairement aux méthodes RL standards où la conception du système (ici la capacité de la batterie $E_{max}$) est fixe, les auteurs proposent d'optimiser ce paramètre durant l'entraînement de la politique.

• Approche : La taille de la batterie $\omega = \{E_{max}\}$ est traitée comme une action supplémentaire, mais fixée pour toute une "épisode" (une séquence de temps complète).
• Distribution de conception : Une distribution de probabilité $p_\mu(\omega)$ (Gaussienne) est utilisée pour échantillonner la taille de la batterie au début de chaque épisode. Le paramètre de moyenne $\mu$ est apprenable.
• Mise à jour :
  1. Un DRQN standard met à jour les poids du réseau de neurones ($\theta$) pour optimiser la politique de bidding pour une taille donnée.
  2. Tous les $N_{up}$ épisodes, le paramètre $\mu$ (représentant la croyance sur la taille optimale) est mis à jour via un gradient de politique (Policy Gradient) basé sur le retour cumulé (profit net moins coût d'installation).
• Architecture distribuée : L'algorithme s'appuie sur un cadre RL distribué (inspiré d'Ape-X) pour paralléliser la collecte de données et gérer efficacement les longues séries temporelles.

3. Résultats Expérimentaux

Les auteurs ont validé leur méthode sur des données réelles (production PV et prix JEPX au Japon).

A. Données à court terme (1 semaine)

• Comparaison : La méthode proposée a été comparée à une approche en deux étapes où l'on entraîne un agent pour chaque taille de batterie possible (de 10% à 130% de la capacité de production).
• Convergence : La méthode co-optimisée a convergé vers des tailles de batterie (exprimées en pourcentage de la capacité de production) cohérentes avec les résultats de l'approche exhaustive (ex: ~120% pour un coût de batterie de 2000 ¥/kWh/an, ~50% pour 4000 ¥/kWh/an).
• Efficacité : Bien que la convergence prenne plus de temps que l'entraînement d'un agent avec une taille fixe (4000 épisodes vs 600-800), elle est beaucoup plus rapide que le calcul exhaustif de tous les scénarios possibles.

B. Données à long terme (1 année complète)

• Défi : L'apprentissage sur une année complète est plus difficile en raison des variations saisonnières et de la longueur des épisodes.
• Résultats :
  • Avec une taille de batterie fixe, l'entraînement a échoué dans 87,5 % des cas (profit négatif).
  • Avec la co-optimisation, le taux d'échec est tombé à 37,5 %.
  • Conclusion clé : L'optimisation simultanée de la taille de la batterie aide l'agent à éviter les configurations de système qui rendent l'apprentissage de la politique impossible, améliorant ainsi la robustesse de l'entraînement.

4. Contributions Clés

1. Algorithme de Co-optimisation Novel : Première application d'un algorithme de co-optimisation (inspiré de la cognition incarnée) aux systèmes énergétiques, permettant d'optimiser la conception physique (taille de la batterie) et la politique de contrôle (bidding) simultanément.
2. Intégration DRQN et RL Distribué : Combinaison de réseaux récurrents (DRQN) pour gérer l'incertitude temporelle et d'un cadre distribué pour traiter de grandes quantités de données historiques.
3. Efficacité Computationnelle : Réduction significative du temps de calcul par rapport aux méthodes d'optimisation globale ou aux approches en deux étapes basées sur des modèles de substitution.
4. Robustesse de l'Entraînement : Démonstration que l'adaptation dynamique de la taille du système améliore la stabilité et le taux de réussite de l'entraînement des politiques RL sur de longues périodes.

5. Signification et Impact

Ce travail apporte une solution pratique aux producteurs d'énergies renouvelables confrontés à la complexité de dimensionner leurs systèmes de stockage dans un marché incertain. En évitant le compromis coûteux entre la précision du modèle et le temps de calcul, cette méthode permet de trouver des configurations de batterie économiquement optimales tout en garantissant une stratégie de trading robuste. Elle ouvre la voie à l'application de techniques de co-optimisation inspirées de la robotique (cognition incarnée) dans le domaine de l'ingénierie énergétique et de la gestion de réseau.