Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks

---

1. Problématique

La gestion optimale des systèmes de stockage d'énergie (ESS) dans les réseaux de distribution devient de plus en plus complexe en raison de la pénétration croissante des énergies renouvelables distribuées (DER), de la volatilité des prix de l'électricité et des changements fréquents de topologie (reconfiguration du réseau).

Les défis principaux identifiés sont :

• Couplage économique et sécurité : Il faut minimiser les coûts opérationnels tout en maintenant la stabilité de la tension et en respectant les contraintes physiques du réseau (flux de puissance, limites de courant).
• Dépendance à la topologie : L'impact des actions de stockage sur les tensions dépend de la connectivité électrique et des impédances des lignes. Les contrôleurs classiques (agnostiques à la topologie) peinent à généraliser lorsque la structure du réseau change.
• Limites des méthodes existantes : Les approches d'optimisation basées sur des modèles (programmation non linéaire - NLP) sont précises mais trop lentes pour une prise de décision en temps réel. Les méthodes d'apprentissage par renforcement (RL) traditionnelles utilisant des réseaux de neurones (NN) à entrées plates ne capturent pas efficacement les relations spatiales et physiques du réseau.

2. Méthodologie

Les auteurs proposent une architecture d'Apprentissage par Renforcement (RL) basée sur des Graphes (GNN) pour la dispatch des ESS, intégrée dans l'algorithme TD3 (Twin Delayed Deep Deterministic Policy Gradient).

A. Formulation du problème

Le problème est modélisé comme un Processus de Décision Markovien (MDP) :

• État ($s_t$) : Inclut l'heure, le prix de l'électricité, la demande de puissance, l'état de charge (SOC) des ESS et les tensions aux nœuds équipés d'ESS.
• Action ($a_t$) : La puissance de charge/décharge de chaque ESS.
• Récompense ($r_t$) : Une fonction composite pondérant la réduction des coûts d'achat d'électricité et la pénalité pour les écarts de tension par rapport à la valeur nominale.

B. Architecture du Modèle (GNN-RL)

L'innovation centrale réside dans l'utilisation d'un encodeur de caractéristiques graphiques pour représenter l'état du réseau :

1. Représentation Graphique : Le réseau est modélisé comme un graphe $G=(E, X)$ où les nœuds sont les bus et les arêtes les lignes. Les caractéristiques des nœuds incluent les variables d'état et un indicateur binaire signalant la présence d'un ESS.
2. Encodeurs GNN : Trois variantes de GNN sont comparées pour extraire les embeddings graphiques :
   • GCN (Graph Convolutional Network) : Agrégation normalisée des voisins directs.
   • TAGConv (Topology Adaptive Graph Convolution) : Utilise des filtres polynomiaux d'ordre $K$ pour capturer les dépendances multi-sauts (multi-hop) sans empiler trop de couches.
   • GAT (Graph Attention Network) : Utilise un mécanisme d'attention pour pondérer dynamiquement l'importance des voisins.
3. Structure Actor-Critic Asymétrique :
   • Acteur : Utilise les embeddings spécifiques aux nœuds d'ESS pour générer les actions de contrôle.
   • Critique : Utilise un pooling global (moyenne) sur l'ensemble du graphe pour estimer la valeur de l'état global, intégrant ainsi les contraintes du réseau.

3. Contributions Clés

1. Développement d'un encodeur GNN conscient de la topologie : Intégration de GCN, TAGConv et GAT dans un cadre RL pour capturer les dépendances spatiales et les couplages électriques.
2. Évaluation systématique des variantes GNN : Comparaison rigoureuse de trois architectures GNN contre une baseline NN (réseau de neurones classique) et une optimisation NLP, sur deux réseaux de test (34 et 69 nœuds).
3. Analyse de la robustesse et de la généralisation :
   • Tests de transfert sur des topologies reconfigurées au sein du même réseau.
   • Tests de transfert "zero-shot" entre des réseaux de tailles différentes (34 vers 69 nœuds et vice-versa).
4. Preuve de concept pour le temps réel : Démonstration que l'inférence RL est des centaines de fois plus rapide que la résolution NLP en ligne.

4. Résultats Expérimentaux

Les expériences ont été menées sur les systèmes IEEE 34-bus et 69-bus avec des ESS simulés.

A. Performance Économique et Vitesse

• Vitesse : Les contrôleurs RL réduisent le temps d'exécution de 86 à 614 fois par rapport à la résolution NLP en ligne, rendant la décision quasi instantanée.
• Coûts (Système 34-bus) : La baseline NN performe légèrement mieux que les GNN, suggérant que pour des réseaux simples, la topologie explicite n'est pas critique.
• Coûts (Système 69-bus) : Les approches TD3-GCN et TD3-TAGConv surpassent la baseline NN, atteignant respectivement ~109% et ~102% de la performance de la NN. Cela indique que pour des réseaux plus complexes, la prise en compte de la topologie est bénéfique.

B. Régulation de la Tension

• Les méthodes basées sur GNN réduisent systématiquement la fréquence et l'amplitude des violations de tension par rapport à la NN.
• L'avantage est plus marqué sur le système 69-bus et lors des reconfigurations, car les GNN capturent mieux la propagation des effets de tension à travers le réseau.
• TAGConv et GAT montrent un meilleur équilibre entre économie et contraintes de tension que GCN, probablement grâce à leur capacité à capturer des couplages à moyenne portée.

C. Généralisation et Transfert

• Reconfiguration intra-réseau : Les politiques entraînées sur une topologie donnée fonctionnent bien sur des topologies légèrement modifiées (changement de quelques connexions). Les GNN maintiennent une performance plus stable que les NN lors de ces changements structurels.
• Transfert inter-réseau (Zero-shot) : Le transfert direct entre des réseaux de tailles fondamentalement différentes (ex: 34 vers 69 nœuds) entraîne une dégradation significative des performances (baisse de précision économique à ~30-50% et augmentation des violations de tension). Cela indique que les modèles apprennent des motifs spécifiques à la structure du réseau d'entraînement et ne généralisent pas parfaitement sans adaptation.

5. Signification et Conclusion

Cet article démontre que l'intégration de Graph Neural Networks dans l'apprentissage par renforcement offre une solution prometteuse pour la gestion des ESS dans les réseaux de distribution modernes.

• Avantage principal : La capacité à modéliser explicitement la connectivité physique permet une meilleure régulation de la tension et une plus grande robustesse face aux reconfigurations du réseau, en particulier dans les systèmes de grande taille et complexes.
• Limitation : Le transfert "zero-shot" entre des réseaux de topologies très différentes reste un défi majeur, nécessitant probablement des stratégies d'adaptation (fine-tuning) ou un entraînement avec diversification topologique.
• Impact pratique : La méthode proposée permet une prise de décision en temps réel (inférence rapide) tout en respectant les contraintes de sécurité du réseau, comblant ainsi le fossé entre l'optimisation précise mais lente (NLP) et le contrôle rapide mais parfois imprécis (RL classique).

En résumé, cette recherche valide l'approche GNN-RL comme une voie viable pour le déploiement de contrôleurs intelligents et adaptatifs dans les réseaux de distribution futurs, à condition de gérer soigneusement les scénarios de transfert de domaine.