Addressing Terminal Constraints in Data-Driven Demand Response Scheduling

Résumé technique : Traitement des contraintes terminales dans la planification de la réponse à la demande basée sur les données

Énoncé du problème
Les procédés chimiques électrifiés, tels que les unités de séparation de l'air (ASA), sont de plus en plus incités à participer à des schémas de réponse à la demande (DR) pour tirer parti des marchés de l'électricité variables dans le temps. Cela nécessite une exploitation flexible — réduire la production pendant les périodes de prix élevés et utiliser les stocks stockés pour satisfaire la demande — tout en respectant des contraintes opérationnelles strictes. Un défi critique dans ce domaine est de satisfaire les contraintes terminales (par exemple, garantir un niveau minimum de stockage de produit à la fin de l'horizon de planification) afin de maintenir la stabilité dynamique pour les périodes suivantes.

Les méthodes d'optimisation conventionnelles basées sur des modèles (par exemple, la commande prédictive non linéaire) sont coûteuses en calcul et difficiles à maintenir en raison de la complexité des modèles de premiers principes. Bien que l'apprentissage par renforcement (RL) offre une alternative basée sur les données avec un faible coût de calcul en ligne, les algorithmes de RL sans modèle luttent contre l'attribution de crédit à long horizon. Plus précisément, lorsque les contraintes terminales sont imposées via des signaux de récompense clairsemés et retardés (par exemple, une pénalité uniquement à la dernière étape temporelle), l'agent échoue à relier les actions de contrôle précoces aux résultats lointains. Cela conduit souvent à un comportement myope, où l'agent épuise le stockage pour minimiser les coûts immédiats, violant les contraintes terminales et déstabilisant le procédé.

Méthodologie
Les auteurs proposent un cadre hybride intégrant la planification dans l'espace des objectifs (GSP) avec l'algorithme du gradient déterministe de politique profond (DDPG) pour résoudre le problème d'attribution de crédit à long horizon. L'approche repose sur une structure de contrôle hiérarchique où un agent RL de haut niveau calcule des consignes optimales, et un contrôleur prédictif linéaire (LMPC) de bas niveau suit ces consignes.

Les contributions méthodologiques principales incluent :

1. Formulation de l'objectif : Au lieu de traiter les contraintes terminales uniquement comme des problèmes d'optimisation sous contraintes, les auteurs les encodent comme des états d'objectif désirables. Pour l'ASA, l'espace des objectifs ($G$) est défini en discrétisant le niveau de stockage du produit et les périodes temporelles. Cette abstraction réduit l'espace d'état de haute dimension (incluant les impuretés et les températures) en une représentation de basse dimension centrée sur la variable de contrainte (stockage).
2. Modèles d'abstraction temporelle : Le système apprend deux types de modèles :
   • Modèles État-vers-Objectif : Des réseaux de neurones ($r_\gamma, \Gamma$) qui estiment le retour actualisé et le facteur d'actualisation d'un état courant vers un sous-objectif atteignable.
   • Modèles Objectif-vers-Objectif : Des transitions apprises ($\tilde{r}, \tilde{\Gamma}$) entre périodes temporelles adjacentes dans l'espace des objectifs, construites à partir de trajectoires observées.
3. Façonnage de récompense basé sur le potentiel : Pour propager la valeur sur des horizons étendus, les auteurs emploient une mise à jour de façonnage de récompense basée sur le potentiel. La récompense immédiate est augmentée par la différence des valeurs de potentiel ($\Phi$), où la fonction de potentiel est dérivée de la valeur projetée du sous-objectif atteignable le plus précieux. Cela fournit un signal d'apprentissage dense, par étape, qui guide l'agent vers les objectifs terminaux sans altérer la politique optimale.
4. Élagage de graphe : Pour assurer la validité de la planification dans l'espace des objectifs, un mécanisme d'élagage en deux étapes (recherche en largeur avant et arrière) est appliqué au graphe orienté acyclique (DAG) de transition d'objectifs. Cela élimine les nœuds déconnectés ou les impasses qui ne peuvent pas atteindre l'ensemble terminal, garantissant que l'itération de valeur opère sur un sous-graphe connecté.

Contributions clés

• Intégration de GSP avec DDPG : L'article démontre comment GSP peut être intégré avec des algorithmes standards d'apprentissage par renforcement acteur-critique pour résoudre des problèmes de planification à long horizon avec contraintes terminales.
• Efficacité d'échantillonnage : En utilisant des modèles d'abstraction temporelle, la méthode découple la propagation de la valeur des dynamiques haute fréquence, réduisant considérablement le nombre de backups de Bellman nécessaires pour propager la valeur terminale aux états précoces.
• Atténuation de la myopie : L'approche traite explicitement le fossé d'attribution de crédit dans le RL sans modèle, empêchant l'agent de sacrifier la stabilité à long terme pour des économies de coûts à court terme.

Résultats
La méthode proposée a été évaluée sur un benchmark d'ASA simulé sur un horizon de 72 heures avec des prix de l'électricité variables dans le temps.

• Courbes d'apprentissage : La variante « GSP en ligne » (apprentissage de modèles pendant l'entraînement) et « GSP hors ligne » (utilisation de modèles pré-entraînés) ont toutes deux démontré une efficacité d'échantillonnage supérieure par rapport au DDPG standard. Le GSP en ligne a atteint une performance optimale à l'étape 1 000, et le GSP hors ligne a convergé en moins de 500 étapes, tandis que le DDPG standard peinait à converger efficacement dans le même laps de temps.
• Satisfaction des contraintes : Les politiques DDPG standard ont exhibé un comportement myope, épuisant le stockage tôt dans l'horizon et manquant significativement la contrainte de stockage terminal. En revanche, les politiques basées sur GSP ont maintenu des niveaux de stockage élevés et ont répondu stratégiquement aux signaux de prix, satisfaisant constamment la contrainte terminale.
• Étude d'ablation : La suppression de la projection État-vers-Objectif (GSP en ligne sans projection) a entraîné une dégradation des performances, confirmant que la cartographie fine des états vers les objectifs abstraits est essentielle pour une attribution de crédit efficace.
• Surcharge computationnelle : Le coût computationnel du GSP en ligne était modeste, ajoutant environ 15 % au temps réel par épisode en raison de la reconstruction du graphe et de l'itération de valeur, tandis que le GSP hors ligne ajoutait moins de 5 %.

Importance et revendications
L'article revendique que la planification dans l'espace des objectifs fournit un mécanisme efficace pour injecter des connaissances de domaine dans le RL sans modèle en construisant des espaces d'objectifs alignés sur les variables de contrainte clés. Les auteurs affirment que cette approche permet aux agents d'acquérir des représentations interprétables des compromis temporels, résolvant le problème d'attribution de crédit à long horizon qui limite généralement l'applicabilité des méthodes basées sur les données dans les systèmes de procédés. Les résultats suggèrent que les abstractions basées sur les objectifs sont une voie prometteuse pour aborder d'autres problèmes de contrôle où les contraintes terminales ou de trajectoire sont critiques, offrant un équilibre entre la flexibilité des méthodes basées sur les données et les exigences de stabilité des procédés industriels.