Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

Sintesi Tecnica: Framework di Controllo della Frequenza del Carico per Sistemi di Potenza Integrati con Rinnovabili mediante Ottimizzazione della Politica Prossimale

Definizione del Problema
La rapida integrazione di fonti di energia rinnovabile (eolico e fotovoltaico) nei moderni sistemi elettrici ha alterato fondamentalmente la dinamica del sistema, riducendo principalmente l'inerzia aggregata del sistema. A differenza dei generatori sincroni convenzionali, le rinnovabili interfacciate tramite convertitori forniscono un'inerzia meccanica trascurabile, portando a tassi di variazione della frequenza (RoCoF) più elevati, nadir di frequenza più profondi e una maggiore suscettibilità alle perturbazioni. Le strategie tradizionali di Controllo della Frequenza del Carico (LFC), come i controllori Proporzionale-Integrale (PI) con guadagni fissi o la sintonizzazione euristica (ad esempio, Ziegler-Nichols), spesso non riescono a mantenere la stabilità in queste condizioni dinamiche a bassa inerzia e con output rinnovabili stocastici. Sebbene studi recenti abbiano esplorato l'Apprendimento per Rinforzo (RL) per l'LFC, molti approcci esistenti utilizzano l'RL solo come meccanismo di sintonizzazione dei guadagni per controllori predefiniti (ad esempio, PID o Fuzzy-PI) o utilizzano algoritmi di deep RL complessi (ad esempio, DDPG, TD3) che soffrono di alta complessità computazionale, sensibilità agli iperparametri e instabilità di convergenza. Esiste una lacuna per un framework di controllo computazionalmente efficiente, completamente adattivo e strutturalmente semplificato, capace di gestire disturbi multi-scenario realistici senza livelli di sintonizzazione ausiliari.

Metodologia
Il documento propone un framework LFC secondario in cui il segnale di controllo è generato direttamente da un agente di Ottimizzazione della Politica Prossimale (PPO), formulando la regolazione della frequenza come un problema di decisione di controllo continuo piuttosto che come un compito di sintonizzazione del guadagno.

• Modellazione del Sistema: Il sistema fisico è modellato utilizzando un modello dinamico surrogato a ordine ridotto basato sull'equazione dello swing. Questo modello incorpora la riduzione dell'inerzia effettiva dovuta alla penetrazione delle rinnovabili, il ritardo dell'attuatore, i vincoli di velocità di variazione (ramp-rate) e lo smoothing della frequenza. Il vettore di stato include la deviazione istantanea della frequenza ($\Delta f$), la deviazione integrale della frequenza ($I_f$) e il comando di generazione realizzato ($P_{act}$).
• Formulazione PPO: Il controllore utilizza una politica stocastica $\pi_\theta(a_t|s_t)$ dove le azioni sono campionate da una distribuzione Gaussiana. L'algoritmo impiega una funzione obiettivo surrogata "clipped" per limitare gli aggiornamenti della politica, garantendo un apprendimento stabile e prevenendo passi destabilizzanti di grandi dimensioni.
• Struttura della Ricompensa: È stata progettata una funzione di ricompensa unificata e multi-obiettivo che penalizza la deviazione di frequenza, l'errore integrale cumulativo, lo sforzo di controllo, la fluidità dell'attuazione e i costi operativi (modellati tramite una funzione di costo del combustibile quadratica). Fondamentalmente, la ricompensa include anche penalità per la violazione dei limiti di sicurezza della frequenza e la saturazione dell'attuatore, guidando l'agente verso un funzionamento sicuro ed economico.
• Scenari di Disturbo: Il framework è valutato sotto quattro distinti e realistici scenari di disturbo:
  1. Caso 1: Disturbi di carico a stadi combinati con oscillazioni di fondo delle rinnovabili.
  2. Caso 2: Disturbi ciclici a lunga durata con impulsi intermittenti e rumore stocastico.
  3. Caso 3: Stress oscillatorio transitorio che simula la variabilità delle rinnovabili indotta da tempeste e nuvolosità.
  4. Caso 4: Una contingenza realistica multi-evento che coinvolge guasti alle rinnovabili, carichi di picco e recupero a stadi.

Contributi Chiave

1. Controllo Diretto Basato sulla Politica: A differenza degli studi che utilizzano l'RL per la sintonizzazione del guadagno, questo lavoro formula l'LFC come un problema di controllo continuo diretto, dove l'agente PPO apprende una politica che mappa gli stati del sistema alle azioni di controllo senza strutture di controllo predefinite.
2. Validazione Multi-Scenario Esaustiva: Il framework è rigorosamente testato contro quattro complessi scenari di disturbo che imitano gli stress reali della rete, incluse l'intermittenza delle rinnovabili, variazioni a lungo ciclo e contingenze composite, andando oltre i semplici test di gradino del carico.
3. Superiorità delle Prestazioni: Il controllore PPO proposto è confrontato con controllori classici ottimizzati (GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) e varianti avanzate di deep RL (DDPG, TD3, SAC).
4. Integrazione Economica: La funzione di ricompensa integra esplicitamente i costi di generazione, dimostrando che la politica appresa raggiunge la stabilità della frequenza minimizzando simultaneamente i costi operativi.

Risultati
I risultati delle simulazioni, condotti su orizzonti temporali estesi (fino a 86.400 secondi), dimostrano miglioramenti significativi delle prestazioni del controllore basato su PPO rispetto a tutti i benchmark:

• Caso 1 (Gradino di Carico): Il controllore PPO ha ridotto l'Errore Quadratico Integrale (ISE) a 0,45196, un miglioramento drastico rispetto agli circa 1060 dei controllori benchmark. Ha ottenuto un overshoot di 0,0171 Hz e una deviazione media assoluta della frequenza di 0,0010 Hz.
• Caso 2 (Disturbo Ciclico): Sotto variazioni cicliche a lungo termine, il controllore PPO ha ridotto l'ISE a 0,031126 con un cambiamento di ampiezza media di 0,00043351 Hz, mentre altri metodi hanno mostrato deviazioni intorno a 0,3125 Hz.
• Caso 3 (Stress Oscillatorio): Il controllore ha mantenuto la frequenza entro una banda stretta, ottenendo un ISE di circa 0,03 e un errore assoluto medio inferiore a 0,0005 Hz.
• Caso 4 (Contingenza Realistica): Nello scenario più complesso che coinvolge guasti e carichi di picco, il controllore PPO ha ottenuto un ISE di 0,10953 e un overshoot vincolato di 0,023203 Hz, con un tempo di assestamento di 59 secondi rispetto ai più di 7.000 secondi di alcuni benchmark.
• Efficienza Economica: In tutti i casi, la formulazione della ricompensa multi-obiettivo ha portato a una riduzione del 60–75% dei costi totali di generazione rispetto ai metodi di base.
• Stabilità: Il processo di addestramento ha mostrato un miglioramento costante della ricompensa e convergenza senza overfitting, validando la stabilità della politica appresa.

Significatività e Rivendicazioni
Gli autori affermano che il framework proposto basato su PPO offre una soluzione resiliente, adattabile ed economica per la stabilizzazione della frequenza nei sistemi di potenza dominati dalle rinnovabili. Lo studio asserisce che il metodo affronta con successo i limiti dei controllori tradizionali (mancanza di adattabilità) e dei metodi di deep RL complessi (carico computazionale e instabilità). Apprendendo una politica di controllo diretta, il framework elimina la necessità di sintonizzazione euristica o architetture ibride, fornendo un approccio strutturalmente semplificato ma altamente efficace. I risultati suggeriscono che l'apprendimento per rinforzo basato sul gradiente della politica, specificamente PPO, può servire come un'alternativa robusta sia alle tecniche di controllo classiche che a quelle avanzate actor-critic nei sistemi di potenza a bassa inerzia. Il documento conclude che questo approccio è adatto per l'applicazione in tempo reale e può essere scalato a sistemi multi-area in lavori futuri.