Riepilogo Tecnico: Apprendimento per Rinforzo Gerarchico con Vincoli e Confini Dinamici per la Programmazione Spazio-Temporale Vehicle-to-Grid

1. Formulazione del Problema

Il documento affronta la sfida di integrare flotte di Veicoli Elettrici (EV) su larga scala nel framework di Optimal Power Flow (OPF) per la programmazione Vehicle-to-Grid (V2G). Questa integrazione è critica per la stabilità della rete e la mitigazione delle energie rinnovabili, ma deve affrontare due ostacoli primari:

1. Complessità Computazionale: Le formulazioni tradizionali di Mixed-Integer Nonlinear Programming (MINMP) per l'OPF-EV soffrono di elevati costi computazionali a causa degli stati di connessione discreti degli EV e delle equazioni non lineari del flusso di potenza. I solver come SCIP scalano scarsamente, e il Model Predictive Control (MPC) comporta un overhead significativo a causa della sua natura iterativa, rendendo impraticabile la coordinazione in tempo reale di grandi flotte.
2. Soddisfacimento dei Vincoli nell'Apprendimento: Gli esistenti metodi di Deep Reinforcement Learning (DRL) faticano a bilanciare la scalabilità con il rigoroso rispetto dei vincoli. La maggior parte degli approcci "Safe RL" si affida a penalità morbide o proiezioni post-hoc che non garantiscono il rigoroso rispetto dei vincoli di uguaglianza del bilancio di potenza fisica (AC-OPF) o dei carichi di ricarica temporalmente accoppiati dei singoli EV. Inoltre, i framework RL standard spesso assumono dimensioni di stato/azione fisse, non riuscendo ad adattarsi all'arrivo e alla partenza dinamica degli EV.

L'obiettivo è minimizzare il costo combinato di generazione della rete e di ricarica degli EV, soddisfacendo al contempo le equazioni del flusso di potenza AC, i limiti di generatore/tensione e garantendo che ogni EV raggiunga il proprio target di Stato di Carica (SOC) prima della partenza.

2. Metodologia: Framework HPC-RL

Gli autori propongono l'HPC-RL (Hierarchical Policy for Constrained Reinforcement Learning), un'architettura a due livelli progettata per decomporre i vincoli spaziali della rete dai vincoli temporali degli EV.

2.1 Livello Superiore: GRG-SAC Integrato con la Fisica

Il livello superiore gestisce le variabili a livello di rete (potenza attiva/reattiva dei generatori, magnitudo della tensione e angoli di fase) e la domanda di ricarica aggregata.

• Integrazione GRG: Invece di trattare le equazioni del flusso di potenza come vincoli morbidi, il framework le incorpora analiticamente nel processo di generazione della policy utilizzando il metodo del Gradiente Ridotto Generalizzato (GRG) combinato con Soft Actor-Critic (SAC).
• Decomposizione delle Variabili: Le variabili decisionali sono suddivise in azioni base ($a_B$, ad esempio, potenza del generatore, magnitudo della tensione ai bus non di carico) prodotte dalla policy RL, e variabili non base ($a_N$, ad esempio, tensioni ai bus di carico, angoli di fase).
• Mappatura Implicita: Le variabili non base sono derivate deterministicamente risolvendo le equazioni di equilibrio della potenza ($h(a_B, a_N) = 0$) tramite il metodo di Newton. Questo crea una mappatura implicita $a_N = \phi(a_B)$.
• Propagazione del Gradiente: Utilizzando il Teorema della Funzione Implicita, i gradienti vengono propagati attraverso questa mappatura per aggiornare la policy, garantendo che gli aggiornamenti rimangano all'interno dello spazio tangente dei vincoli di uguaglianza.
• Gestione delle Disuguaglianze: Un meccanismo di proiezione mappa le azioni nell'insieme ammissibile se i vincoli di disuguaglianza (ad esempio, i limiti di tensione) vengono violati.

2.2 Livello Inferiore: Strategia dei Confini Dinamici

Il livello inferiore gestisce la distribuzione dei singoli EV all'interno delle stazioni di ricarica per affrontare i vincoli temporalmente accoppiati (garantire che gli EV raggiungano il target di SOC prima della partenza).

• Confini Dinamici: Il framework introduce una strategia innovativa per calcolare in tempo reale i limiti di potenza di ricarica ammissibili ($P^{min}_{i,ch}$ e $P^{max}_{i,ch}$) per ogni EV.
  • Il limite superiore è vincolato dai tassi di ricarica fisici e dalla capacità residua della batteria.
  • Il limite inferiore è calcolato in base al tempo rimanente fino alla partenza e al deficit tra lo stato di carica attuale e quello target, garantendo che la ricarica possa essere completata se viene applicata la potenza minima.
• Allocazione delle Priorità: L'allocatore di livello inferiore assicura prima che tutti gli EV ricevano la loro potenza minima richiesta (imposta dai confini dinamici). La capacità residua della stazione viene poi distribuita agli EV con la maggiore urgenza di ricarica (basata sui deficit di SOC e sulla partenza imminente).
• Rappresentazione dello Stato: Un livello specializzato di embedding della domanda codifica i requisiti di ricarica futuri nello spazio degli stati per migliorare l'efficienza dell'apprendimento.

3. Contributi Chiave

1. Enforcement Unificato dei Vincoli Spazio-Temporali: Il documento integra il metodo GRG nell'RL per imporre rigorosamente la sicurezza fisica a livello di rete (uguaglianza del flusso di potenza) utilizzando al contempo una strategia di confine dinamico per garantire le richieste di ricarica temporali. Ciò va oltre le penalità morbide verso il soddisfacimento dei vincoli hard.
2. Scalabilità Gerarchica: Decoupling (decomponendo) la distribuzione della potenza a livello di rete dall'allocazione dei singoli EV, il framework supera la "maledizione della dimensionalità" associata alle flotte di EV su larga scala e di dimensioni variabili.
3. Fattibilità in Tempo Reale: Il metodo raggiunge una programmazione quasi ottimale con tassi di violazione dei vincoli vicini allo zero, riducendo drasticamente il tempo di calcolo online rispetto ai solver tradizionali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sistemi IEEE 14, 30 e un sistema 141-bus modificato, confrontando HPC-RL con MPC e varie baseline di Safe RL (CPO, CUP, DDPGLA, SACLA).

• Soddisfacimento dei Vincoli: HPC-RL ha raggiunto il 100% di soddisfazione della domanda e violazioni dei vincoli quasi nulle in tutte le scale. Al contrario, i metodi Safe RL di base spesso hanno subito gravi violazioni dei vincoli (ad esempio, CPO ha mostrato magnitudo di violazione da 0,77 a 164,25) o non sono riusciti a soddisfare le richieste di ricarica degli EV (66–92% di soddisfazione).
• Efficienza Computazionale: HPC-RL ha ridotto il tempo di inferenza online di fattori di 52×, 67× e 319× rispetto a MPC sui sistemi a 14, 30 e 141 bus, rispettivamente. Mentre l'MPC richiedeva centinaia o migliaia di secondi, HPC-RL operava in meno di 5 secondi anche per il sistema a 141 bus.
• Ottimalità: HPC-RL ha incorso un gap di costo dell'obiettivo moderato (circa 7–13%) rispetto alla soluzione ottimale MPC, ma ha fornito una soluzione che è computazionalmente proibitiva per l'uso in tempo reale con l'MPC.
• Scalabilità: Il sistema ha mantenuto l'efficienza all'aumentare del numero di EV attivi da 1 a 50, con tempi di inferenza che sono rimasti bassi (sotto i 2 secondi per 50 EV) rispetto alla crescita esponenziale dell'MPC.
• Studi di Ablazione:
  • Demand Embedding: L'incorporazione delle informazioni sulla domanda futura nella rappresentazione dello stato ha migliorato significativamente la velocità di convergenza e ha ridotto le violazioni dei vincoli.
  • Allocazione delle Priorità: L'allocazione basata sulla priorità dinamica ha superato la distribuzione media statica nell'accumulo di reward, mantenendo al contempo la sicurezza dei vincoli.

5. Significato e Rivendicazioni

Il documento afferma che l'HPC-RL fornisce un paradigma computazionalmente trattabile e fisicamente affidabile per la coordinazione V2G su larga scala. La sua importanza risiede nel risolvere il fondamentale compromesso tra scalabilità in tempo reale e il rigoroso soddisfacimento dei vincoli spazio-temporali accoppiati. Integrando analiticamente i vincoli fisici nel processo di apprendimento e decomponendo gli obblighi temporali tramite confini dinamici, il metodo consente l'implementazione della programmazione V2G basata su RL in scenari in cui la programmazione tradizionale è troppo lenta o lo standard RL è insicuro. Gli autori posizionano questo come un passo verso la gestione della generazione rinnovabile stocastica e delle complesse topologie di distribuzione nel lavoro futuro.