Résumé Technique : Planification Conjoints de la Demande Différable et Non Différable avec une Production Stochastique Colocalisée

1. Formulation du Problème

Ce papier aborde la planification optimale de deux types distincts de demandes électriques au sein d'un système énergétique disposant d'une production stochastique colocalisée (par exemple, solaire sur toiture) et d'électricité importée du réseau. Le système est modélisé comme un processus de décision markovien (MDP) à horizon fini, temps discret, état continu et sous contraintes.

Les deux types de demandes sont :

• Demande Différable : Elle arrive de manière aléatoire (par exemple, la recharge des véhicules électriques) et doit être achevée avant une échéance spécifique. La quantité servie peut être retardée, mais toute demande non satisfaite à l'échéance entraîne une pénalité strictement croissante et convexe.
• Demande Non Différable : Elle est toujours présente (par exemple, CVC, éclairage) et doit être servie immédiatement. Cependant, la quantité servie est sensible au prix, déterminée par une fonction d'utilité connue, différentiable et concave.

Le système fonctionne sous un tarif de comptage net (Net Energy Metering - NEM) réglementé, qui est déterministe, variant dans le temps et linéaire par morceaux. Ce tarif distingue les taux d'importation ($\pi^+_t$) et les taux d'exportation ($\pi^-_t$), où $\pi^+_t \ge \pi^-_t$. L'objectif est de maximiser le surplus économique attendu (utilité totale de la consommation moins les paiements pour l'électricité et les pénalités d'achèvement) sur l'horizon de planification.

Le défi central réside dans l'espace de politique de dimension infinie résultant des variables d'état continues (demande différable restante et production stochastique) et des variables d'action continues (taux de service pour les deux types de demandes), aggravé par la non-linéarité de la structure de tarification NEM.

2. Méthodologie et Analyse Théorique

Le Principe de Procrastination

Les auteurs établissent que la politique de planification optimale suit un « Principe de Procrastination ». Ce principe dicte que l'achat d'électricité auprès du réseau doit être différé jusqu'à ce qu'il soit strictement nécessaire pour respecter les échéances, et inversement, que la production renouvelable locale doit être priorisée pour une consommation immédiate ou une exportation, en fonction des risques futurs de prix et de production.

Caractérisation Structurelle de la Politique Optimale

Par une analyse rigoureuse de l'équation de Bellman, le papier démontre que la politique optimale peut être réduite d'un espace de dimension infinie à un espace euclidien de dimension finie défini par trois paramètres de procrastination (seuils) pour chaque instant $t$ :

1. $\theta^-_t(g_t)$ : Un seuil inférieur sur la demande différable restante. En dessous de ce seuil, le système priorise l'exportation de la production locale par rapport à la satisfaction de la demande différable, même si cela signifie retarder davantage la charge.
2. $\theta^+_t(g_t)$ : Un seuil supérieur. Au-dessus de ce seuil, le système doit servir agressivement la demande différable en utilisant à la fois la production locale et les achats sur le réseau pour éviter les pénalités d'achèvement.
3. $\theta^0_t(g_t)$ : Un paramètre régissant la région « zéro net » où le foyer n'importe ni n'exporte.

Ces seuils partitionnent l'espace d'état en trois modes opérationnels distincts :

• Production Nette : La production locale excède la demande ; le surplus est exporté.
• Consommation Nette : La demande excède la production locale ; de l'électricité du réseau est achetée.
• Zéro Net : La production locale correspond exactement à la demande ; aucune interaction avec le réseau.

Dans ces régions, la politique définit une structure de priorité pour l'allocation de la production locale entre la demande non différable, la demande différable et l'exportation. Par exemple, dans la région « zéro net », la politique équilibre l'utilité marginale des appareils non différables contre la valeur marginale de la satisfaction de la charge différable, déterminée par les valeurs spécifiques des seuils.

Apprentissage par Renforcement des Seuils de Procrastination (PTRL)

Pour résoudre le MDP lorsque les distributions de probabilité sous-jacentes sont inconnues, les auteurs proposent PTRL, un algorithme d'apprentissage par renforcement (RL) structuré.

• Réduction de Dimensionnalité : Au lieu d'apprendre une politique d'action complète sur l'espace continu de dimension $(K+1)$ (où $K$ est le nombre d'appareils non différables), PTRL apprend uniquement les trois seuils de procrastination ($\theta_t$).
• Architecture de l'Algorithme : PTRL utilise un cadre Soft Actor-Critic (SAC). Le réseau « Actor » sort la moyenne et la covariance des seuils de procrastination basés sur l'état actuel. Le réseau « Critic » estime la valeur (fonction Q) d'une paire état-seuil.
• Exécution de la Politique : Une fois les seuils générés par l'acteur, les actions de planification réelles (taux de service) sont calculées de manière déterministe en utilisant les règles structurelles dérivées dans le Théorème 2.

3. Résultats Clés

Contributions Théoriques

• Optimalité de la Procrastination : Le papier prouve formellement que pour les tarifs NEM invariants et variants dans le temps, la politique optimale est caractérisée par les trois seuils de procrastination. Cela réduit considérablement la complexité du problème de planification.
• Dépendance Temporelle Linéaire : Pour les modèles de production indépendants du temps, le papier démontre que les seuils de procrastination satisfont une dépendance temporelle linéaire ($\theta^+_t = \theta^+_{t+1} + \bar{v}$), réduisant davantage le nombre de paramètres à apprendre.

Performance Numérique

Des expériences ont été menées en utilisant des traces de données réelles du Réseau de Recharge Adaptative (ACN) pour la demande de véhicules électriques et l'ensemble de données Pecan Street pour la production solaire et la consommation des ménages.

• Convergence : PTRL a convergé significativement plus vite (environ 800 épisodes pour les modèles indépendants, 2 000 pour les modèles markoviens) par rapport aux références standard comme SAC et DDPG, qui nécessitaient respectivement environ 6 000 et 2 000 épisodes.
• Écart d'Optimalité : Sous des données de test synthétiques correspondant à la distribution d'entraînement, PTRL a atteint un écart par rapport à la politique optimale de seulement 3,34 %, contre 36,76 % pour SAC et 25,91 % pour DDPG.
• Robustesse aux Données Terrain : Lorsqu'il a été testé sur des données terrain hors échantillon, PTRL a surpassé toutes les références (SAC, DDPG et Commande Prédictive par Modèle) avec des marges substantielles (par exemple, une amélioration d'environ 107 % par rapport à SAC). Cela confirme la robustesse de l'algorithme face aux écarts de modèle et à la stochasticité du monde réel.
• Efficacité Computationnelle : PTRL a démontré un avantage computationnel significatif par rapport à la Commande Prédictive par Modèle (MPC), étant environ 19 fois plus rapide en temps d'évaluation, ce qui le rend adapté à une mise en œuvre en ligne.
• Utilisation des Sources d'Énergie : PTRL a appris efficacement à prioriser la consommation d'énergie renouvelable pendant les heures creuses (lorsque les prix d'exportation sont plus bas) et à réserver les renouvelables de haute valeur des heures de pointe pour l'exportation, une stratégie que les références standard n'ont pas réussi à reproduire aussi efficacement.

4. Signification et Revendications

Le papier revendique que sa contribution principale est la caractérisation structurelle de la politique optimale pour un problème complexe de planification énergétique du monde réel. En identifiant le « Principe de Procrastination », les auteurs transforment un MDP ingérable de dimension infinie en un problème d'estimation de paramètres de faible dimension.

La signification de ce travail réside dans :

1. Le Pont entre Théorie et Pratique : Il fournit une fondation théorique (politiques à seuils) qui permet le développement d'algorithmes d'apprentissage pilotés par les données, hautement efficaces (PTRL), surpassant à la fois les méthodes RL standard et les méthodes de contrôle traditionnelles (MPC).
2. Gestion de la Tarification Non Linéaire : Contrairement aux travaux antérieurs qui supposent souvent une tarification de gros linéaire, ce papier aborde la nature linéaire par morceaux et variant dans le temps des tarifs de détail réglementés NEM, ce qui est crucial pour un déploiement pratique dans les contextes résidentiels et commerciaux.
3. Optimisation Conjoints : C'est le premier travail à planifier conjointement les demandes différables et non différables avec une production stochastique colocalisée, capturant les dépendances inter-temporelles et les compromis économiques inhérents aux systèmes modernes de prosumers.

Les auteurs font preuve de modestie concernant les extensions futures, notant que le cadre actuel suppose des fonctions d'utilité connues pour la demande non différable et un seul type de tâche différable. Ils suggèrent que des travaux futurs pourraient intégrer une optimisation inverse en ligne pour apprendre les utilités et étendre le cadre à plusieurs tâches différables simultanées.