Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

Résumé technique : Prédire ce qui importe : l'apprentissage par renforcement axé sur la décision pour la recharge contrôlée des VE avec des heures de départ inconnues

Formulation du problème
L'adoption rapide des véhicules électriques (VE) introduit des défis importants pour les réseaux électriques, notamment des pics de demande et une instabilité du réseau. Bien que l'apprentissage par renforcement (RL) offre une approche basée sur les données pour optimiser les programmes de recharge des VE (par exemple, minimiser les coûts ou lisser les charges), son efficacité est souvent entravée par une information incomplète. Une incertitude critique dans les scénarios réels est l'heure de départ du véhicule. Sans savoir quand un véhicule partira, un agent de RL ne peut pas déterminer avec précision la flexibilité temporelle disponible pour décaler la recharge vers les heures creuses, ce qui peut conduire à des sessions de charge incomplètes ou à une gestion des coûts sous-optimale.

La littérature existante suppose souvent une connaissance parfaite des heures de départ ou s'appuie sur des modèles de prévision traditionnels entraînés uniquement pour la précision prédictive (par exemple, minimiser l'erreur quadratique moyenne ou MSE). Cependant, l'article soutient qu'un prévoyeur optimisé pour la précision ne produit pas nécessairement des prédictions qui mènent à des décisions de contrôle optimales. Les erreurs des prévisions standards peuvent se propager à travers la boucle de contrôle, dégradant la performance globale de la politique de contrôle.

Méthodologie : Apprentissage par renforcement axé sur la décision (DF-RL)
Pour remédier au décalage entre la précision de la prédiction et la qualité de la décision, les auteurs proposent un cadre d'Apprentissage par Renforcement Axé sur la Décision (DF-RL). L'innovation centrale est l'entraînement conjoint de bout en bout d'un prévoyeur de l'heure de départ et d'un agent de contrôle par RL, où le prévoyeur est mis à jour en fonction de la qualité des décisions de contrôle en aval plutôt que de la simple erreur de prédiction.

• Formulation MDP : Le problème est modélisé comme un processus de décision markovien (MDP). L'espace d'état comprend des variables mesurables (prix de l'électricité, énergie restante, moment de la journée) et une durée de session restante prédite ($\hat{d}_t$). L'espace d'action est binaire : charger à pleine puissance ou rester inactif.
• Le prévoyeur : Un réseau de neurones ($f_\psi$) prédit la durée totale de la session ($\hat{T}_t$) en fonction des caractéristiques temporelles, de l'énergie chargée jusqu'à présent et de l'énergie restante. La durée restante est dérivée en soustrayant le temps écoulé de cette prédiction.
• L'agent de RL : Les auteurs utilisent l'algorithme Soft Actor-Critic (SAC), un algorithme acteur-critique hors politique (off-policy) qui maximise le rendement attendu tout en maintenant l'entropie de la politique pour l'exploration.
• Objectif d'entraînement conjoint : Le prévoyeur est entraîné à l'aide d'une fonction de perte composite (Éq. 9) :
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$ : Une perte de régression standard (MSE) mesurant l'écart entre la prévision et la durée réelle de la session.
  • $L_{DF}$ : La composante axée sur la décision, qui exploite la fonction d'avantage ($A(s,a)$) de l'agent de RL pour guider les mises à jour du prévoyeur. Ce terme encourage le prévoyeur à produire des prédictions qui entraînent des récompenses cumulées plus élevées pour l'agent de RL.
  • $\beta$ : Un hyperparamètre ($\in [0,1]$) qui équilibre le poids entre la précision de la prédiction et la qualité de la décision.

Principales contributions

1. Cadre DF-RL pour la recharge des VE : L'article introduit une application novatrice de l'apprentissage axé sur la décision à la planification de la recharge des VE, ciblant spécifiquement l'incertitude des heures de départ. Contraênment aux travaux précédents qui intègrent l'apprentissage DF avec le contrôle prédictif basé sur un modèle (MPC) ou des méthodes d'optimisation (qui nécessitent une différenciation implicite complexe des conditions KKT), cette approche intègre lement l'apprentissage DF directement dans un pipeline de RL.
2. Optimisation de bout en bout : Le cadre permet d'entraîner le prévoyeur directement à partir de l'objectif de contrôle. Le prévoyeur et la politique de RL sont mis à jour conjointement, permettant au prévoyeur d'apprendre « ce qui importe » pour le contrôleur plutôt que de simplement minimiser l'erreur statistique.
3. Augmentation de l'état : La méthode enrichit la représentation de l'état de l'agent de RL avec une prévision de la durée de la session basée sur un réseau de neurones, permettant à l'agent de prendre des décisions éclairées malgré l'absence de données de départ réelles.

Résultats expérimentaux
Les auteurs ont évalué le cadre DF-RL en utilisant un ensemble de données réelles de sessions de recharge de VE provenant d'un parking d'hôpital. Ils ont comparé leur approche à :

• BAU : Recharge immédiate dès l'arrivée.
• RL (Sans prévision) : RL sans aucune information sur l'heure de départ.
• RL (Prévoyeur conventionnel) : RL avec un prévoyeur entraîné uniquement sur la perte de régression ($\beta=1$).
• RL (Départ réel) : Une base de référence supérieure avec une connaissance parfaite des heures de départ.

Principales conclusions :

• Amélioration de la performance : La méthode DF-RL proposée (spécifiquement avec $\beta=0,2$ ou $0,4$) a obtenu une amélioration de 14 % de la récompense totale et une réduction de 55 % de l'énergie non fournie (recharge ayant échoué car le VE est parti) par rapport à la méthode RL sans prévision de l'heure de départ.
• Comparaison avec la prévision conventionnelle : Par rapport à la méthode RL utilisant un prévoyeur conventionnel ($\beta=1$), l'approche DF-RL a réduit la demande non satisfaite d'environ 14 % (passant de 7,3 % à 6,3 % dans le meilleur des cas) et a amélioré la récompense totale de 5 %.
• Aperçu comportemental : L'article note que le DF-RL ne produit pas nécessairement des prédictions numériques plus précises de la durée de départ. Au lieu de cela, il produit des prédictions plus « conservatrices » qui sont plus utiles pour la prise de décision. Par exemple, dans une étude de cas, le prévoyeur DF-RL a prédit une durée de session légèrement plus courte que la réalité, incitant l'agent à charger plus tôt et à achever avec succès la session. En revanche, le prévoyeur conventionnel a surestimé la durée, entraînant un retard de charge et une session incomplète.
• Compromis : Des valeurs plus faibles de $\beta$ (priorisant la qualité de la décision sur la précision brute) ont entraîné moins de VE non satisfaits mais des coûts de recharge légèrement plus élevés, reflétant un compromis entre la satisfaction des demandes énergétiques et la minimisation des dépenses d'électricité.

Signification et affirmations
L'article affirme que la principale signification de ce travail réside dans la démonstration que la précision de la prédiction n'est pas le seul déterminant de la performance du contrôle. En entraînant le prévoyeur avec le retour d'information de l'agent de contrôle, le système apprend à générer des prédictions qui sont robustes aux contraintes et objectifs spécifiques du problème de recharge.

Les auteurs déclarent modestement que bien que leur approche DF-RL produise des décisions de recharge supérieures aux bases de référence, elle constitue une étape vers la gestion de l'incertitude dans la recharge des VE sans la complexité de l'intégration de l'apprentissage DF avec les solveurs d'optimisation traditionnels. Ils reconnaissent que le présent travail se concentre sur un scénario de véhicule unique avec un profil de prix déterministe et prévoient des travaux futurs pour étendre le cadre aux scénarios coopératifs multi-véhicules, aux profils de prix dynamiques et à des modèles de prévision plus expressifs pour capturer les motifs temporels comme la saisonnalité.