Probabilistic Reachability Analysis of Multi-scale Voltage Dynamics Using Reinforcement Learning

1. Il Problema

Le moderne reti elettriche presentano dinamiche di tensione accoppiate su multiple scale temporali (dalle dinamiche rapide dei regolatori di tensione e dei motori a quelle lente dei trasformatori con regolazione del rapporto di trasformazione, LTC).

• Limiti degli approcci convenzionali: I metodi tradizionali si basano spesso sulla separazione delle scale temporali o su margini di stabilità statici. Queste semplificazioni possono ignorare instabilità critiche causate dall'interazione tra transitori lenti e veloci (ad esempio, quando l'evoluzione a lungo termine spinge il sistema verso una perdita di equilibrio a breve termine).
• Incertezza e Costo Computazionale: L'incertezza nelle condizioni operative (carico, generazione rinnovabile) complica la valutazione. Le simulazioni di Monte Carlo, sebbene accurate per gestire l'incertezza, sono computazionalmente proibitive per modelli dinamici completi e multi-scala, costringendo spesso all'uso di modelli ridotti che perdono dettagli critici.
• Obiettivo: È necessario un metodo in grado di quantificare la probabilità di rischio di collasso di tensione in condizioni stocastiche, tenendo conto esplicitamente delle dinamiche non lineari e multi-scala.

2. Metodologia

Il paper propone un framework basato sul Reinforcement Learning (RL) profondo per l'analisi della raggiungibilità probabilistica.

• Formulazione del Problema: Il problema è modellato come un problema di raggiungibilità di tipo "evitamento" (invariance). L'obiettivo è calcolare la probabilità massima che le traiettorie del sistema rimangano all'interno di un insieme sicuro $C$ entro un orizzonte temporale finito $\tau$.
• Apprendimento per Rinforzo (RL) senza Modello:
  • Viene utilizzato un approccio model-free (senza conoscenza esplicita della dinamica di transizione) basato su algoritmi come TD3 (Twin Delayed DDPG).
  • Stato Augmentato: Per gestire l'orizzonte temporale finito, lo stato del sistema viene ampliato includendo il tempo residuo $h$.
  • Definizione della Ricompensa: Viene definita una ricompensa unitaria solo se il sistema rimane sicuro e il tempo residuo è positivo. Questo trasforma il calcolo della probabilità di sicurezza in un problema di massimizzazione del ritorno atteso standard.
• Analisi Specifica per Meccanismo (Multi-Critic):
  • Un contributo chiave è l'architettura Multi-Critic. Invece di apprendere una singola probabilità di fallimento, il sistema distingue diversi meccanismi di instabilità (es. instabilità indotta dal generatore vs. indotta dal motore).
  • Vengono definiti insiemi assorbenti distinti ($S^{(m)}_{abs}$) per ciascun meccanismo di instabilità $m$.
  • Il framework utilizza un attore condiviso ottimizzato per massimizzare il minimo tra i valori appresi da critici multipli, ognuno dedicato a un meccanismo specifico. Questo permette di stimare separatamente le probabilità di rischio per ogni tipo di collasso.

3. Contributi Chiave

1. Framework di Raggiungibilità Probabilistica basato su RL: Adattamento della teoria della raggiungibilità probabilistica all'analisi delle reti elettriche multi-scala, superando la "maledizione della dimensionalità" tipica dei metodi di programmazione dinamica classici.
2. Distinzione dei Meccanismi di Instabilità: Introduzione di un'architettura multi-critic che permette di quantificare e separare i contributi di diverse cause di collasso (es. S-LT1: perdita di equilibrio a breve termine dovuta all'evoluzione lenta delle variabili) all'interno di un unico framework di apprendimento.
3. Gestione dell'Incertezza: Capacità di valutare i rischi in condizioni operative stocastiche senza ricorrere a costose simulazioni di Monte Carlo su modelli complessi.
4. Validazione su Sistema Reale: Applicazione e validazione su un sistema a 4 bus che include dinamiche realistiche come LTC (Load Tap Changers), OXL (Over-Excitation Limiters), AVR e motori asincroni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un sistema a 4 bus soggetto a un disturbo (disconnessione di una linea) e incertezze sul carico e sul rapporto tra carichi motori ed esponenziali.

• Correlazione con la Teoria: Il metodo appreso ha mostrato una forte correlazione con le aspettative ingegneristiche:
  • La probabilità di rischio aumenta con l'orizzonte temporale (più tempo per l'evoluzione delle dinamiche lente).
  • Un aumento della potenza attiva del generatore ($P_g$) riduce il margine di stabilità, aumentando il rischio di instabilità del generatore.
  • Un alto rapporto di carico motore ($R_{motor}$) aumenta specificamente il rischio di instabilità del motore (stallo).
• Efficacia del Controllo: L'applicazione di azioni correttive (regolazione del riferimento LTC) tramite l'attore RL ha dimostrato una riduzione significativa della probabilità di rischio su tutti gli orizzonti temporali.
• Separazione dei Meccanismi: Il framework multi-critic ha successfully distinto le probabilità di fallimento: in alcune condizioni prevale il rischio di collasso del generatore, in altre quello del motore, fornendo insight interpretabili sulle cause dominanti.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella valutazione della stabilità delle reti elettriche moderne:

• Superamento delle Semplificazioni: Dimostra che è possibile analizzare dinamiche accoppiate (lente/veloci) senza ricorrere a semplificazioni che potrebbero nascondere i meccanismi di instabilità reali.
• Decisioni Informate: Fornisce agli operatori di rete non solo una stima binaria (stabile/instabile), ma una quantificazione probabilistica del rischio suddivisa per causa, permettendo decisioni di controllo più mirate.
• Scalabilità: L'uso del Deep RL offre una via scalabile per analizzare sistemi di grandi dimensioni con molte fonti rinnovabili e incertezze, dove i metodi tradizionali fallirebbero per costi computazionali.
• Pionierismo: È uno dei primi studi ad applicare la raggiungibilità probabilistica (invece di quella deterministica) direttamente all'analisi di stabilità delle reti elettriche, aprendo la strada a valutazioni di rischio più robuste in ambienti stocastici.