Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

Résumé Technique : Cadre de Contrôle de la Fréquence de Charge pour les Systèmes Électriques Intégrant des Énergies Renouvelables via l'Optimisation de Politique Proximale

Énoncé du Problème
L'intégration rapide des sources d'énergie renouvelables (éolien et photovoltaïque) dans les réseaux électriques modernes a fondamentalement modifié la dynamique du système, principalement en réduisant l'inertie globale du système. Contrairement aux générateurs synchrones conventionnels, les énergies renouvelables interfacées par convertisseurs fournissent une inertie mécanique négligeable, ce qui entraîne une augmentation des taux de variation de la fréquence (RoCoF), des creux de fréquence plus profonds et une sensibilité accrue aux perturbations. Les stratégies traditionnelles de contrôle de la fréquence de charge (LFC), telles que les contrôleurs Proportionnel-Intégral (PI) à gains fixes ou au réglage heuristique (par exemple, Ziegler-Nichols), échouent souvent à maintenir la stabilité dans ces conditions de faible inertie et de sorties renouvelables stochastiques. Bien que des études récentes aient exploré l'apprentissage par renforcement (RL) pour le LFC, de nombreuses approches existantes utilisent le RL simplement comme un mécanisme de réglage de gain pour des contrôleurs prédéfinis (par exemple, PID ou Fuzzy-PI) ou utilisent des algorithmes de RL profond complexes (par exemple, DDPG, TD3) qui souffrent d'une complexité de calcul élevée, d'une sensibilité aux hyperparamètres et d'une instabilité de convergence. Il subsiste un manque pour un cadre de contrôle entièrement adaptable, structurellement simplifié et efficace en termes de calcul, capable de gérer des perturbations multi-scénarios réalistes sans couches de réglage auxiliaires.

Méthodologie
Le document propose un cadre de LFC secondaire où le signal de commande est généré directement par un agent d'Optimisation de Politique Proximale (PPO), formulant la régulation de la fréquence comme un problème de décision de contrôle continu plutôt que comme une tâche de programmation de gain.

• Modélisation du Système : Le système physique est modélisé à l'aide d'un modèle dynamique de substitution d'ordre réduit basé sur l'équation de l'oscillation (swing equation). Ce modèle intègre la réduction de l'inertie effective due à la pénétration des renouvelables, le retard de l'actionneur, les contraintes de vitesse de variation (ramp-rate) et le lissage de la fréquence. Le vecteur d'état comprend l'écart de fréquence instantané ($\Delta f$), l'intégrale de l'écart de fréquence ($I_f$) et la commande de génération réalisée ($P_{act}$).
• Formulation PPO : Le contrôleur utilise une politique stochastique $\pi_\theta(a_t|s_t)$ où les actions sont échantillonnées à partir d'une distribution gaussienne. L'algorithme emploie une fonction d'objectif de substitution tronquée (clipped surrogate objective) pour limiter les mises à jour de la politique, garantissant ainsi un apprentissage stable et empêchant les étapes de mise à jour importantes et déstabilisantes.
• Structure de Récompense : Une fonction de récompense multi-objectif unifiée est conçue pour pénaliser l'écart de fréquence, l'erreur intégrale cumulée, l'effort de commande, la fluidité de l'actionnement et les coûts opérationnels (modélisés via une fonction de coût de carburant quadratique). Crucialement, la récompense inclut également des pénalités pour la violation des limites de sécurité de fréquence et la saturation de l'actionneur, guidant l'agent vers un fonctionnement sûr et économique.
• Scénarios de Perturbation : Le cadre est évalué sous quatre conditions de perturbation distinctes et réalistes :
  1. Cas 1 : Perturbations de charge par étapes combinées à des oscillations de fond des énergies renouvelables.
  2. Cas 2 : Perturbations cycliques de longue durée avec des impulsions intermittentes et du bruit stochastique.
  3. Cas 3 : Stress oscillatoire transitoire simulant la variabilité des renouvelables induite par des tempêtes ou des passages nuageux.
  4. Cas 4 : Une contingence multi-événements réaliste impliquant des pannes de renouvelables, des charges de pointe et une récupération par étapes.

Contributions Clés

1. Contrôle Direct Basé sur la Politique : Contra-rent à l'études utilisant le RL pour le réglage de gain, ce travail formule le LFC comme un problème de contrôle continu direct où l'agent PPO apprend une politique de correspondance entre les états du système et les actions de commande sans structures de contrôleurs prédéfinies.
2. Validation Multi-Scénario Complète : Le cadre est rigoureusement testé contre quatre scénarios de perturbation complexes qui imitent les tensions réelles des réseaux, incluant l'intermittence des renouvelables, les variations de long cycle et les contingences composites, allant au-delà des simples tests de charge par échelon.
3. Supériorité de Performance : Le contrôleur PPO proposé est comparé à des contrôleurs classiques optimisés (GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) ainsi qu'à des variantes avancées de RL profond (DDPG, TD3, SAC).
4. Intégration Économique : La fonction de récompense intègre explicitement les coûts de génération, démontorant que la politique apprise atteint la stabilité de la fréquence tout en minimisant simultanément les coûts opérationnels.

Résultats
Les résultats de simulation, menés sur des horizons temporels étendus (jusqu'à 86 400 secondes), démontrent des améliorations de performance significatives du contrôleur basé sur PPO par rapport à tous les modèles de référence :

• Cas 1 (Charge par échelon) : Le contrôleur PPO a réduit l'Erreur Quadratique Intégrale (ISE) à 0,45196, une amélioration drastique par rapport à environ 1060 pour les contrôleurs de référence. Il a atteint un dépassement de 0,0171 Hz et un écart de fréquence absolu moyen de 0,0010 Hz.
• Cas 2 (Perturbation Cyclique) : Sous des variations cycliques à long terme, le contrôleur PPO a réduit l'ISE à 0,031126 avec une amplitude de changement moyenne de 0,00043351 Hz, tandis que les autres méthodes présentaient des écarts autour de 0,3125 Hz.
• Cas 3 (Stress Oscillatoire) : Le contrôleur a maintenu la fréquence dans une bande étroite, atteignant un ISE d'environ 0,03 et une erreur absolue moyenne inférieure à 0,0005 Hz.
• Cas 4 (Contingence Réaliste) : Dans le scénario le plus complexe impliquant des pannes et des charges de pointe, le contrôleur PPO a atteint un ISE de 0,10953 et un dépassement contraint de 0,023203 Hz, avec un temps de stabilisation de 59 secondes contre plus de 7 000 secondes pour certains modèles de référence.
• Efficacité Économique : Dans tous les cas, la formulation de la récompense multi-objectif a entraîné une réduction de 60 à 75 % des coûts de génération totale par rapport aux méthodes de base.
• Stabilité : Le processus d'entraînement a montré une amélioration constante de la récompense et une convergence sans surapprentissage, validant la stabilité de la politique apprise.

Signification et Revendications
Les auteurs affirment que le cadre proposé basé sur PPO offre une solution résiliente, adaptable et rentable pour la stabilisation de la fréquence dans les systèmes électriques dominés par les énergies renouvelables. L'étude soutient que la méthode répond avec succès aux limites des contrôleurs traditionnels (manque d'adaptabilité) et des méthodes de RL profond complexes (charge de calcul et instabilité). En apprenant une politique de contrôle directe, le cadre élimine le besoin de réglage heuristique ou d'architectures hybrides, fournissant une approche structurellement simplifiée mais hautement efficace. Les conclusions suggèrent que l'apprentissage par renforcement par gradient de politique, spécifiquement PPO, peut servir d'alternative robuste tant aux techniques de contrôle classiques qu'aux techniques de contrôle acteur-critique avancées dans les systèmes à faible inertie. Le document conclut que cette approche est adaptée à une application en temps réel et peut être étendue à des systèmes multi-zones dans des travaux futurs.