Riepilogo Tecnico: Programmazione Congiunta della Domanda Differibile e Non Differibile con Fornitura Stocastica Co-localizzata

1. Formulazione del Problema

Questo articolo affronta la programmazione ottimale di due distinti tipi di domanda elettrica all'interno di un sistema energetico caratterizzato da fornitura stocastica co-localizzata (ad esempio, solare su tetto) ed elettricità importata dalla rete. Il sistema è modellato come un Processo Decisionale di Markov (MDP) a stato continuo, tempo discreto e orizzonte finito, soggetto a vincoli.

I due tipi di domanda sono:

• Domanda Differibile: Arriva in modo casuale (ad esempio, ricarica di veicoli elettrici) e deve essere completata entro una scadenza specifica. La quantità erogata può essere ritardata, ma la domanda non servita alla scadenza comporta una penalità strettamente crescente e convessa.
• Domanda Non Differibile: È sempre presente (ad esempio, HVAC, illuminazione) e deve essere servita immediatamente. Tuttavia, la quantità erogata è sensibile al prezzo, determinata da una funzione di utilità nota, differenziabile e concava.

Il sistema opera sotto una tariffa Net Energy Metering (NEM) regolamentata, che è deterministica, variabile nel tempo e lineare a tratti. Questa tariffa distingue tra tariffe di importazione ($\pi^+_t$) e tariffe di esportazione ($\pi^-_t$), dove $\pi^+_t \ge \pi^-_t$. L'obiettivo è massimizzare l'eccedenza economica attesa (totale utilità del consumo meno pagamenti per l'elettricità e penalità di completamento) sull'orizzonte di programmazione.

La sfida principale risiede nello spazio delle politiche infinito-dimensionale risultante dalle variabili di stato continue (domanda differibile residua e generazione stocastica) e dalle variabili di azione continue (tassi di servizio per entrambi i tipi di domanda), aggravata dalla non linearità della struttura di prezzo NEM.

2. Metodologia e Analisi Teorica

Il Principio della Procrastinazione

Gli autori stabiliscono che la politica di programmazione ottimale segue un "Principio della Procrastinazione". Questo principio stabilisce che l'acquisto di elettricità dalla rete deve essere ritardato fino a quando non è strettamente necessario per rispettare le scadenze, e, viceversa, la generazione rinnovabile locale deve essere prioritaria per il consumo immediato o l'esportazione in base ai rischi futuri di prezzo e generazione.

Caratterizzazione Strutturale della Politica Ottimale

Attraverso un'analisi rigorosa dell'equazione di Bellman, l'articolo dimostra che la politica ottimale può essere ridotta da uno spazio infinito-dimensionale a uno spazio euclideo finito-dimensionale definito da tre parametri di procrastinazione (soglie) per ogni passo temporale $t$:

1. $\theta^-_t(g_t)$: Una soglia inferiore sulla domanda differibile residua. Al di sotto di questa, il sistema priorizza l'esportazione della generazione locale rispetto al servizio della domanda differibile, anche se ciò significa ritardare ulteriormente il carico.
2. $\theta^+_t(g_t)$: Una soglia superiore. Al di sopra di questa, il sistema deve servire aggressivamente la domanda differibile utilizzando sia la generazione locale che gli acquisti dalla rete per evitare penalità di completamento.
3. $\theta^0_t(g_t)$: Un parametro che governa la regione "net-zero" in cui la casa non importa né esporta.

Queste soglie dividono lo spazio degli stati in tre modalità operative distinte:

• Net-Produzione: La generazione locale supera la domanda; l'eccedenza viene esportata.
• Net-Consumo: La domanda supera la generazione locale; viene acquistata potenza dalla rete.
• Net-Zero: La generazione locale corrisponde esattamente alla domanda; nessuna interazione con la rete.

All'interno di queste regioni, la politica definisce una struttura di priorità per l'allocazione della generazione locale tra domanda non differibile, domanda differibile ed esportazione. Ad esempio, nella regione "net-zero", la politica bilancia l'utilità marginale dei dispositivi non differibili contro il valore marginale del servizio del carico differibile, determinato dai valori specifici delle soglie.

Apprendimento per Rinforzo con Soglie di Procrastinazione (PTRL)

Per risolvere l'MDP quando le distribuzioni di probabilità sottostanti sono sconosciute, gli autori propongono PTRL, un algoritmo di Apprendimento per Rinforzo (RL) strutturato.

• Riduzione della Dimensionalità: Invece di apprendere una politica di azione completa sullo spazio continuo $(K+1)$-dimensionale (dove $K$ è il numero di dispositivi non differibili), PTRL apprende solo le tre soglie di procrastinazione ($\theta_t$).
• Architettura dell'Algoritmo: PTRL utilizza un framework Soft Actor-Critic (SAC). La rete "Attore" produce la media e la covarianza delle soglie di procrastinazione in base allo stato corrente. La rete "Critico" stima il valore (funzione Q) di una coppia stato-soglia.
• Esecuzione della Politica: Una volta generate le soglie dall'attore, le azioni di programmazione effettive (tassi di servizio) sono calcolate deterministicamente utilizzando le regole strutturali derivate nel Teorema 2.

3. Risultati Chiave

Contributi Teorici

• Ottimalità della Procrastinazione: L'articolo dimostra formalmente che, sia per tariffe NEM invarianti nel tempo che variabili nel tempo, la politica ottimale è caratterizzata dalle tre soglie di procrastinazione. Questo riduce significativamente la complessità del problema di programmazione.
• Dipendenza Lineare dal Tempo: Per modelli di generazione indipendenti dal tempo, l'articolo dimostra che le soglie di procrastinazione soddisfano una dipendenza lineare dal tempo ($\theta^+_t = \theta^+_{t+1} + \bar{v}$), riducendo ulteriormente il numero di parametri da apprendere.

Prestazioni Numeriche

Gli esperimenti sono stati condotti utilizzando tracciati di dati reali dalla Adaptive Charging Network (ACN) per la domanda di veicoli elettrici e dal dataset Pecan Street per la generazione solare e il consumo domestico.

• Convergenza: PTRL ha convergito significativamente più velocemente (circa 800 episodi per modelli indipendenti, 2.000 per modelli markoviani) rispetto ai benchmark standard come SAC e DDPG, che hanno richiesto rispettivamente circa 6.000 e 2.000 episodi.
• Divario di Ottimalità: Sotto dati di test sintetici che corrispondono alla distribuzione di addestramento, PTRL ha raggiunto un divario rispetto alla politica ottimale di solo 3,34%, rispetto al 36,76% per SAC e al 25,91% per DDPG.
• Robustezza ai Dati sul Campo: Quando testato su dati sul campo fuori campione, PTRL ha superato tutti i benchmark (SAC, DDPG e Controllo Predittivo Modello) con margini sostanziali (ad esempio, ~107% di miglioramento rispetto a SAC). Ciò conferma la robustezza dell'algoritmo rispetto al disallineamento del modello e alla stocasticità del mondo reale.
• Efficienza Computazionale: PTRL ha dimostrato un vantaggio computazionale significativo rispetto al Controllo Predittivo Modello (MPC), essendo circa 19 volte più veloce nel tempo di valutazione, rendendolo adatto all'implementazione online.
• Utilizzo della Fonte Energetica: PTRL ha appreso efficacemente a priorizzare il consumo di energia rinnovabile durante le ore fuori picco (quando i prezzi di esportazione sono più bassi) e a conservare le rinnovabili di alto valore delle ore di picco per l'esportazione, una strategia che i benchmark standard non sono riusciti a replicare con la stessa efficacia.

4. Significato e Affermazioni

L'articolo afferma che il suo contributo principale è la caratterizzazione strutturale della politica ottimale per un complesso problema di programmazione energetica del mondo reale. Identificando il "Principio della Procrastinazione", gli autori trasformano un MDP intrattabile e infinito-dimensionale in un problema di stima di parametri a bassa dimensionalità.

Il significato di questo lavoro risiede in:

1. Colmare il Divario tra Teoria e Pratica: Fornisce una base teorica (politiche a soglia) che permette lo sviluppo di algoritmi di apprendimento basati sui dati altamente efficienti (PTRL) che superano sia l'RL standard che i metodi di controllo tradizionali (MPC).
2. Gestione della Tariffazione Non Lineare: A differenza di lavori precedenti che spesso assumono una tariffazione all'ingrosso lineare, questo articolo affronta la natura lineare a tratti e variabile nel tempo delle tariffe NEM al dettaglio regolamentate, che è critica per l'implementazione pratica in contesti residenziali e commerciali.
3. Ottimizzazione Congiunta: È il primo lavoro a programmare congiuntamente domande differibili e non differibili con fornitura stocastica co-localizzata, catturando le dipendenze intertemporali e i compromessi economici intrinseci nei moderni sistemi prosumer.

Gli autori mantengono una certa modestia riguardo alle estensioni future, notando che l'attuale framework assume funzioni di utilità note per la domanda non differibile e un singolo tipo di compito differibile. Suggeriscono che il lavoro futuro potrebbe coinvolgere l'integrazione dell'ottimizzazione inversa online per apprendere le utilità e l'estensione del framework a più compiti differibili simultanei.