Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

Sintesi Tecnica: Valutazione Comparativa del Controllo PID RL-TD3 rispetto a Ottimizzatori Ibridi e Convenzionali in Microreti Isolate a Base Rinnovabile

Definizione del Problema
L'integrazione di fonti di energia rinnovabile (RES) nelle microreti isolate (IMG) introduce sfide significative al controllo della frequenza del carico (LFC). Tali sfide derivano principalmente dalla ridotta inerzia del sistema, dai modelli di generazione inaffidabili e dalle dinamiche del carico imprevedibili. I sistemi di controllo tradizionali, in particolare quelli basati su controllori Proporzionale-Integrale-Derivativo (PID) a guadagno fisso o su metodi di sintonizzazione standard come Ziegler–Nichols, spesso non riescono a mantenere la stabilità della frequenza in condizioni operative non standard e con parametri di sistema variabili. Sebbene siano stati proposti algoritmi di ottimizzazione meta euristica (ad esempio, Algoritmi Genetici, Ottimizzazione a Sciame di Particelle) per sintonizzare i guadagni PID, essi spesso faticano a gestire disturbi di carico casuali e richiedono ingenti risorse computazionali per bilanciare gli iperparametri. Esiste una critica necessità di strategie di controllo che offrano adattabilità, robustezza e ottimizzazione basata su dati in tempo reale per gestire la natura stocastica delle IMG a base rinnovabile.

Metodologia
Il documento propone un nuovo framework di controllo che integra un agente di Apprendimento per Rinforzo (RL), specificamente l'algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3), con un controllore PID. L'agente TD3 è progettato per sintonizzare adattivamente i guadagni PID ($K_p, K_i, K_d$) in tempo reale sulla base delle interazioni di sistema, anziché affidarsi a valori ottimali pre-calcolati.

• Modellazione del Sistema: È stato sviluppato un modello matematico dinamico di una IMG, che incorpora diverse unità di Generazione Distribuita (Generatore a Motore Diesel, Fotovoltaico Solare, Turbina Eolica, Turbina a Biogas, Cella a Combustibile) e Sistemi di Accumulo di Energia (Batteria, Volano, Veicoli Elettrici). Questi componenti sono stati modellati utilizzando funzioni di trasferimento del primo ordine ed equazioni di swing per simulare il funzionamento autonomo.
• Framework RL-TD3: L'algoritmo TD3, un metodo actor-critic, è stato impiegato per minimizzare le deviazioni di frequenza. L'agente è stato addestrato offline su 1.000 episodi (di 90 secondi ciascuno) utilizzando una funzione di ricompensa progettata per penalizzare gli errori di frequenza. L'addestramento ha utilizzato un replay buffer, reti critic doppie per ridurre gli errori di sovrastima e lo smoothing della politica target per migliorare la stabilità.
• Benchmark Comparativi: Il controllore RL-TD3-PID proposto è stato confrontato con due approcci di ottimizzazione meta euristica:
  1. COA-PID: Ottimizzato tramite l'algoritmo Coati Optimization Algorithm.
  2. CS-GWO-PID: Ottimizzato tramite un ibrido di Grey Wolf Optimization e Cuckoo Search.
• Scenari di Simulazione: Le prestazioni sono state valutate in MATLAB sotto due scenari:
  1. Scenario I: Un cambio di carico a due stadi (da 0.06 a 0.075 p.u.).
  2. Scenario II: Disturbi di carico a gradino casuali variabili tra 0.02 e 0.09 p.u.
• Analisi della Robustezza: È stata condotta un'analisi di sensibilità variando i parametri chiave del sistema (costante di inerzia $M$, coefficiente di smorzamento $D$ e costanti di tempo per celle a combustibile e generatori diesel) del ±25% sia in configurazioni unassiali che multassiali.

Contributi Chiave

1. Sviluppo di un Framework Adattivo: Gli autori hanno sviluppato un framework basato sull'agente RL TD3 capace di controllare adattivamente i parametri PID nelle IMG per contrastare la variabilità delle rinnovabili e i disturbi di carico.
2. Modello di Simulazione Dinamica: È stato costruito un modello di simulazione dinamica completo di una IMG per validare le capacità di regolazione della frequenza del controllore proposto.
3. Adattamento Online: Lo studio dimostra la capacità del controllore RL-TD3-PID di eseguire un adattamento online basato sui dati, migliorando la robustezza contro le incertezze del sistema senza richiedere un modello matematico fisso dell'ambiente.
4. Studio Comparativo Completo: Il documento fornisce un confronto strutturato tra l'approccio RL proposto e i metodi di ottimizzazione meta euristica stabiliti (COA e GWO-CS), valutando le prestazioni in termini di risposta dinamica, rigetto dei disturbi e incertezza dei parametri.

Risultati
I risultati della simulazione indicano che il controllore RL-TD3-PID generalmente supera i controllori COA-PID e CS-GWO-PID in termini di risposta dinamica e rigetto dei disturbi.

• Metriche di Prestazione: In entrambi lo Scenario I e lo Scenario II, il controllore TD3-PID ha ottenuto valori inferiori per gli indici di prestazione integrale, inclusi l'Integrale dell'Errore Assoluto Pesato nel Tempo (ITAE) e l'Integrale dell'Errore Quadratico Pesato nel Tempo (ITSE), rispetto ai controllori basati sull'ottimizzazione.
• Risposta Transitoria: Il controllore TD3-PID ha dimostrato tempi di assestamento più rapidi e una migliore soppressione delle oscillazioni di frequenza. Ad esempio, nello Scenario I, l'ITAE per TD3-PID era di $2.65 \times 10^{-2}$, significativamente inferiore a $7.09 \times 10^{-2}$ per CS-GWO-PID e $8.40 \times 10^{-2}$ per COA-PID.
• Robustezza: Sotto incertezze parametriche (variazioni del ±25%), il controllore TD3-PID ha mantenuto un funzionamento stabile con una deviazione minima negli indici nel dominio del tempo. Sebbene alcuni valori di overshoot e undershoot siano aumentati sotto disturbi multassiali complessi, il controllore ha costantemente riportato il sistema a uno stato quasi stazionario con un basso errore a regime.
• Convergenza: Il processo di addestramento ha mostato che l'agente RL è riuscito a convergere verso valori di guadagno PID stabili, con la funzione di ricompensa che indicava un miglioramento delle prestazioni di controllo nel corso dei 1.000 episodi.

Significatività e Rivendicazioni
Il documento sostiene che l'integrazione del deep reinforcement learning con il controllo PID classico offra un approccio promettente per una regolazione della frequenza affidabile ed efficiente nelle microreti isolate a base rinnovabile. Lo studio evidenzia come l'approccio RL-TD3 fornisca una superiore adattabilità alle incertezze del sistema e alle variazioni di carico rispetto ai metodi di ottimizzazione statica.

Gli autori posizionano il lavoro come un passo significativo verso la risoluzione dei limiti dei controllori convenzionali o sintonizzati tramite meta euristica nei sistemi a bassa inerzia. Tuttavia, il documento mantiene un tono modesto riguardo ai propri limiti, riconoscendo che i risultati si basano su studi di simulazione e non sono ancora stati validati tramite hardware-in-the-loop o implementazione sperimentale in tempo reale. Gli autori osservano che, sebbene il metodo proposto abbia mostrato una prestazione superiore nella maggior parte degli scenari testati, gli algoritmi di ottimizzazione selezionati hanno leggermente superato le prestazioni del RL-TD3-PID in specifici casi di disturbo. Il lavoro futuro è identificato come necessario per la validazione sperimentale e per estendere il framework a topologie di microrete più complesse e ambienti con ritardo di comunicazione.