Addressing Terminal Constraints in Data-Driven Demand Response Scheduling

Sintesi Tecnica: Gestione dei Vincoli Terminali nella Programmazione della Risposta alla Domana Basata sui Dati

Enunciato del Problema
I processi chimici elettrificati, come le Unità di Separazione dell'Aria (ASU), sono sempre più incentivati a partecipare a schemi di Risposta alla Domanda (DR) per sfruttare i mercati dell'energia elettrica a variazione temporale. Ciò richiede un funzionamento flessibile — riducendo la produzione durante i periodi di prezzi elevati e utilizzando le scorte immagazzinate per soddisfare la domanda — nel rispetto di vincoli operativi rigorosi. Una sfida critica in questo ambito è soddisfare i vincoli terminali (ad esempio, garantire un livello minimo di stoccaggio del prodotto alla fine dell'orizzonte di programmazione) per mantenere la stabilità dinamica nei periodi successivi.

I metodi convenzionali di ottimizzazione basati su modelli (ad esempio, MPC Non Lineare) sono computazionalmente costosi e difficili da mantenere a causa della complessità dei modelli basati sui primi principi. Sebbene l'Apprendimento per Rinforzo (RL) offra un'alternativa basata sui dati con basso costo computazionale online, gli algoritmi RL privi di modello faticano con l'assegnazione del credito a lungo termine. Nello specifico, quando i vincoli terminali sono imposti tramite segnali di ricompensa sparsi e ritardati (ad esempio, una penalità solo all'ultimo passo temporale), l'agente non riesce a collegare le azioni di controllo iniziali a risultati distanti. Ciò porta spesso a un comportamento miope, dove l'agente esaurisce le scorte per minimizzare i costi immediati, violando i vincoli terminali e destabilizzando il processo.

Metodologia
Gli autori propongono un framework ibrido che integra la Pianificazione nello Spazio degli Obiettivi (GSP) con l'algoritmo Deep Deterministic Policy Gradient (DDPG) per affrontare l'assegnazione del credito a lungo termine. L'approccio si basa su una struttura di controllo gerarchica in cui un agente RL di alto livello calcola i setpoint ottimali, mentre un Controllore Predittivo a Modello Lineare (LMPC) di basso livello traccia tali setpoint.

I contributi metodologici principali includono:

1. Formulazione degli Obiettivi: Invece di trattare i vincoli terminali esclusivamente come problemi di ottimizzazione vincolata, gli autori li codificano come stati obiettivo desiderabili. Per l'ASU, lo spazio degli obiettivi ($G$) è definito discretizzando il livello di stoccaggio del prodotto e i periodi temporali. Questa astrazione riduce lo spazio degli stati ad alta dimensionalità (inclusi impurità e temperature) in una rappresentazione a bassa dimensionalità focalizzata sulla variabile vincolante (stoccaggio).
2. Modelli Temporamente Astratti: Il sistema apprende due tipi di modelli:
   • Modelli Stato-Obiettivo: Reti neurali ($r_\gamma, \Gamma$) che stimano il ritorno scontato e il fattore di sconto da uno stato corrente a un sub-obiettivo raggiungibile.
   • Modelli Obiettivo-Obiettivo: Transizioni apprese ($\tilde{r}, \tilde{\Gamma}$) tra periodi temporali adiacenti nello spazio degli obiettivi, costruite a partire dalle traiettorie osservate.
3. Modellazione della Ricompensa Basata sul Potenziale: Per propagare il valore su orizzonti estesi, gli autori adottano un aggiornamento di modellazione della ricompensa basato sul potenziale. La ricompensa immediata è aumentata dalla differenza nei valori di potenziale ($\Phi$), dove la funzione di potenziale è derivata dal valore proiettato del sub-obiettivo raggiungibile più prezioso. Ciò fornisce un segnale di apprendimento denso, per ogni passo, che guida l'agente verso gli obiettivi terminali senza alterare la politica ottimale.
4. Potatura del Grafo: Per garantire la validità della pianificazione nello spazio degli obiettivi, viene applicato un meccanismo di potatura in due fasi (ricerca in ampiezza in avanti e all'indietro) al Grafo Aciclico Diretto (DAG) delle transizioni degli obiettivi. Ciò rimuove i nodi disconnessi o i vicoli ciechi che non possono raggiungere l'insieme terminale, assicurando che l'iterazione del valore operi su un sottografo connesso.

Contributi Chiave

• Integrazione di GSP con DDPG: Il documento dimostra come GSP possa essere integrato con algoritmi RL standard attore-critico per risolvere problemi di programmazione a lungo termine con vincoli terminali.
• Efficienza del Campionamento: Utilizzando modelli temporaneamente astratti, il metodo disaccoppia la propagazione del valore dalle dinamiche ad alta frequenza, riducendo significativamente il numero di backup di Bellman necessari per propagare il valore terminale agli stati iniziali.
• Mitigazione della Miotropia: L'approccio affronta esplicitamente il divario di assegnazione del credito nel RL privo di modello, impedendo all'agente di sacrificare la stabilità a lungo termine per risparmi di costo a breve termine.

Risultati
Il metodo proposto è stato valutato su un benchmark simulato di ASU su un orizzonte di 72 ore con prezzi dell'energia elettrica variabili nel tempo.

• Curve di Apprendimento: La variante "GSP Online" (che apprende i modelli durante l'addestramento) e "GSP Offline" (utilizzando modelli pre-addestrati) hanno entrambe dimostrato una superiore efficienza del campionamento rispetto al DDPG standard. Il GSP Online ha raggiunto prestazioni ottimali entro il passo 1.000, e il GSP Offline è convergente entro 500 passi, mentre il DDPG standard ha faticato a convergere efficacemente nello stesso arco temporale.
• Soddisfazione dei Vincoli: Le politiche DDPG standard hanno mostrato un comportamento miope, esaurendo le scorte all'inizio dell'orizzonte e mancando significativamente il vincolo di stoccaggio terminale. Al contrario, le politiche basate su GSP hanno mantenuto livelli di stoccaggio elevati e hanno risposto strategicamente ai segnali di prezzo, soddisfacendo costantemente il vincolo terminale.
• Studio di Ablazione: La rimozione della proiezione stato-obiettivo (GSP Online senza proiezione) ha portato a un degrado delle prestazioni, confermando che la mappatura dettagliata dagli stati agli obiettivi astratti è essenziale per un'efficace assegnazione del credito.
• Sovraccarico Computazionale: Il costo computazionale del GSP Online è stato modesto, aggiungendo circa il 15% al tempo reale per episodio a causa della ricostruzione del grafo e dell'iterazione del valore, mentre il GSP Offline ha aggiunto meno del 5%.

Significato e Affermazioni
Il documento afferma che la Pianificazione nello Spazio degli Obiettivi fornisce un meccanismo efficace per iniettare conoscenze di dominio nel RL privo di modello costruendo spazi di obiettivi allineati con le variabili vincolanti chiave. Gli autori affermano che questo approccio permette agli agenti di acquisire rappresentazioni interpretabili dei compromessi temporali, risolvendo il problema dell'assegnazione del credito a lungo termine che tipicamente limita l'applicabilità dei metodi basati sui dati nei sistemi di processo. I risultati suggeriscono che le astrazioni basate sugli obiettivi sono una strada promettente per affrontare altri problemi di controllo in cui i vincoli terminali o di percorso sono critici, offrendo un equilibrio tra la flessibilità dei metodi basati sui dati e i requisiti di stabilità dei processi industriali.