Optimal design of solar-battery hybrid resources considering multi-market participation under weather and price uncertainty

Résumé technique : Conception optimale de ressources hybrides solaire-batterie tenant compte de la participation à plusieurs marchés dans un contexte d'incertitude météorologique et de prix

Énoncé du problème
L'intégration rapide des énergies renouvelables variables (ERV) nécessite des ressources flexibles et coordonnées capables de participer simultanément à plusieurs marchés de l'électricité. Bien que les ressources hybrides, qui intègrent la production renouvelable et le stockage par batterie au sein d'une seule entité de marché, offrent des avantages opérationnels et financiers significatifs par rapport aux ressources co-localisées (soumission séparée), leur conception optimale demeure un défi complexe. La difficulté fondamentale réside dans le couplage des décisions d'investissement à long terme (dimensionnement du système) avec l'optimisation opérationnelle à court terme dans des conditions stochastiques (incertitude de la production renouvelable et des prix de marché).

Les approches d'optimisation conventionnelles reposent souvent sur des prévisions déterministes ou des modèles d'incertitude simplifiés, qui peuvent échouer à capturer les dynamiques non linéaires et les contraintes opérationnelles inhérentes à la participation à plusieurs marchés (marchés de l'énergie, services auxiliaires et marchés de capacité). De plus, la littérature existante traite fréquemment la conception du système et les stratégies opérationnelles comme des problèmes distincts ou se concentre principalement sur les marchés de l'énergie, négligeant les compromis complexes impliqués dans la fourniture de services auxiliaires (SA) et les avantages spécifiques des architectures hybrides couplées en courant continu (CC), tels que la récupération de l'énergie photovoltaïque (PV) « rognée ».

Méthodologie
Pour répondre à ces défis, les auteurs proposent un cadre de co-optimisation basé sur l'apprentissage par renforcement profond (Deep Reinforcement Learning - DRL). Cette approche intègre directement les variables de conception du système dans le processus d'apprentissage de la politique, permettant l'optimisation conjointe du dimensionnement du système hybride et des stratégies de soumission coordonnées sur plusieurs marchés au sein d'une formulation stochastique unifiée.

• Architecture du cadre : La méthode étend les travaux antérieurs sur la co-optimisation par DRL en intégrant la participation à plusieurs marchés. Le cadre utilise un réseau à mémoire à court et long terme (LSTM) pour gérer l'observabilité partielle des variables de marché et renouvelables, en traitant les données de séries temporelles de la production PV et des prix de marché. L'agent emploie un algorithme de gradient de politique déterministe profond (Deep Deterministic Policy Gradient - DDPG) pour apprendre les politiques opérationnelles.
• Optimisation de la conception : Contrairement aux approches bi-niveaux traditionnelles qui séparent la conception et l'exploitation, ce cadre traite le vecteur de conception du système (capacité PV, capacité énergétique de la batterie et puissance nominale de la batterie) comme un paramètre d'une politique stochastique. La distribution des paramètres de conception est mise à jour via des méthodes de gradient de politique basées sur les retours économiques cumulatifs (recettes moins coûts) observés au cours des épisodes d'entraînement.
• Gestion des contraintes : Un composant critique de la méthodologie est la stratégie d'« allocation sérielle de capacité ». Pour assurer la faisabilité dans l'incertitude, les actions de l'agent sont transformées en soumissions réalisables grâce à un processus d'allocation séquentielle :
  1. Réserves de contingence : Allouées en premier, principalement à partir de la capacité de décharge de la batterie, en respectant les limites de l'état de charge (SOC) et les exigences de durée.
  2. Services de régulation : Les capacités de régulation ascendante et descendante sont allouées ensuite, en tenant compte des marges restantes de la batterie et d'un facteur de fiabilité pour les prévisions de production PV.
  3. Soumissions au marché de l'énergie : La plage opérationnelle réalisable restante détermine la soumission au marché de l'énergie à terme, en tenant explicitement compte des déséquilibres potentiels.
• Modèle de marché : L'étude modélise la participation aux marchés de l'énergie à terme, aux réserves de contingence, aux services de régulation et aux marchés de capacité. Elle prend explicitement en compte les erreurs de prévision PV, modélisant les déséquilibres énergétiques comme des coûts de pénalité plutôt que de s'appuyer sur des hypothèses d'arbitrage en temps réel. Le cadre distingue les ressources hybrides couplées en CC (entité unique, onduleur partagé) des ressources co-localisées couplées en courant alternatif (CA) (entités séparées).

Contributions clés
L'article identifie et comble trois lacunes de recherche spécifiques :

1. DRL conscient des contraintes pour la fourniture de SA hybrides : Bien que le DRL ait été appliqué au stockage par batterie, ce travail étend le cadre aux hybrides PV-batterie avec des contraintes opérationnelles strictes. Il permet la participation conjointe aux SA de la PV et de la batterie dans un contexte d'incertitude des prévisions, allant au-delà des contraintes souples ou des hypothèses de prévisions parfaites trouvées dans les études antérieures.
2. Comparaison quantitative des structures de marché : L'article fournit une comparaison quantitative systématique entre les modèles de participation hybride et co-localisée dans des contextes multi-marchés. Il évalue les différences en matière de flexibilité opérationnelle, de stratégies de soumission et de performance économique, offrant des perspectives sur la manière dont les structures de marché influencent la valeur des ressources.
3. Co-optimisation de la conception et de l'exploitation consciente de l'incertitude : La contribution principale est l'intégration de la participation à plusieurs marchés dans l'optimisation de la conception des systèmes PV-batterie dans l'incertitude. Contrairement aux travaux antérieurs qui s'appuient sur des prévisions déterministes pour le dimensionnement, ce cadre apprend simultanément les capacités optimales et les politiques opérationnelles, optimisant directement la performance économique à long terme dans des environnements stochastiques.

Résultats
Des études de cas numériques utilisant des données historiques de la CAISO démontrent l'efficacité du cadre :

• Hybride vs Co-localisé : Dans des tailles de système identiques, les ressources hybrides ont systématiquement obtenu des récompenses supérieures à celles des ressources co-localisées. La configuration hybride a réduit les pénalités de déséquilibre d'environ 40 % (de 3 622 $à 2 193$ sur un exemple de semaine) en atténuant internement les erreurs de prévision PV. De plus, l'architecture couplée en CC a permis la récupération de l'énergie PV « rognée », en la déplaçant vers des périodes à prix élevé, augmentant ainsi les revenus du marché de l'énergie.
• Résultats de la co-optimisation : L'optimisation conjointe de la conception et de l'exploitation a produit des configurations surpassant les références à conception fixe. Par exemple, dans un scénario de référence, le cadre a identifié une durée optimale de batterie de 2,71 heures, inférieure à l'exigence de capacité de 4 heures du marché de capacité, mais restant rentable grâce aux revenus des marchés de l'énergie et des SA.
• Sensibilité de la politique : Le cadre s'est adapté avec succès à des changements de politique hypothétiques. Lorsque l'exigence de durée du marché de capacité a été augmentée à 8 heures, la conception optimale s'est orientée vers une plus grande capacité PV et une capacité de batterie plus faible, indiquant que les mandats de durée seuls ne garantissent pas le déploiement de batteries s'ils entrent en conflit avec la viabilité économique. À l'inverse, une augmentation des prix des SA pour la régulation ascendante a orienté la conception optimale vers des puissances nominales de batterie plus élevées.
• Applicabilité à long terme : En utilisant un cadre d'apprentissage par renforcement distribué avec un an de données, l'étude a confirmé que les variations saisonnières influencent considérablement les structures de revenus et les stratégies optimales. L'approche distribuée a réduit le temps d'entraînement pour l'optimisation sur une année complète à environ 10 heures, démontrant la faisabilité computationnelle pour la planification à long terme.

Importance et revendications
L'article affirme que son cadre proposé offre un outil robuste pour identifier des configurations de systèmes hybrides économiquement rationnelles, résilientes aux incertitudes météorologiques et de prix. En intégrant les variables de conception dans le processus d'apprentissage, la méthode évite la charge computationnelle de l'optimisation bi-niveau et capture l'interaction complexe entre le dimensionnement du système et les stratégies opérationnelles multi-marchés.

Les auteurs soulignent que leur travail apporte de nouvelles perspectives sur la valeur des ressources hybrides, en particulier leur capacité à récupérer l'énergie rognée et à atténuer les déséquilibres, aspects souvent négligés dans les études se concentrant uniquement sur les marchés de l'énergie ou supposant des prévisions parfaites. L'étude conclut que, bien que les ressources hybrides offrent une flexibilité et une rentabilité supérieures, leur conception optimale est hautement sensible aux règles du marché (telles que les exigences de durée de capacité) et aux signaux de prix, nécessitant des outils de planification adaptatifs et conscients de l'incertitude. Les auteurs notent modestement que des travaux futurs pourraient étendre ce cadre à des contextes impliquant plusieurs décideurs, tels que les centrales électriques virtuelles.