Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

Sintesi Tecnica: Prevedere ciò che conta: RL orientata alla decisione per la ricarica controllata di EV con tempi di partenza sconosciuti

Formulazione del problema
La rapida adozione dei veicoli elettrici (EV) introduce sfide significative per i sistemi di potenza, tra cui picchi di domanda e instabilità della rete. Sebbene l'Apprendimento per Rinforzo (Reinforcement Learning, RL) offra un approccio basato sui dati per ottimizzare i programmi di ricarica degli EV (ad esempio, minimizzando i costi o appiattendo i carichi), la sua efficacia è spesso ostacolata da informazioni incomplete. Un'incertezza critica negli scenari reali è il tempo di partenza del veicolo. Senza conoscere quando un veicolo partirà, un agente RL non può determinare accuratamente la flessibilità temporale disponibile per spostare la ricarica nelle ore di fuori picco, il che può portare a sessioni di ricarica incomplete o a una gestione dei costi subottimale.

La letteratura esistente spesso assume una visione perfetta dei tempi di partenza o si affida a modelli di previsione tradizionali addestrati esclusivamente sulla precisione predittiva (ad esempio, minimizzando l'Errore Quadratico Medio). Tuttavia, l'articolo sostiene che un previsore ottimizzato per l'accuratezza non produce necessariamente previsioni che portino a decisioni di controllo ottimali. Gli errori nelle previsioni standard possono propagarsi attraverso l'anello di controllo, degradando le prestazioni complessive della politica di controllo.

Metodologia: RL orientata alla decisione (DF-RL)
Per affrontare il disallineamento tra accuratezza della previsione e qualità della decisione, gli autori propongono un framework di Decision-Focused Reinforcement Learning (DF-RL). L'innovazione principale è l'addestramento congiunto end-to-end di un previsore del tempo di partenza e di un agente di controllo RL, dove il previsore viene aggiornato in base alla qualità delle decisioni di controllo a valle piuttosto che solo sull'errore di previsione.

• Formulazione MDP: Il problema è modellato come un Processo Decisionale di Markov (MDP). Lo spazio degli stati include variabili misurabili (prezzo dell'elettricità, energia residua richiesta, ora del giorno) e una durata della sessione residua prevista ($\hat{d}_t$). Lo spazio delle azioni è binario: ricarica alla piena potenza o rimani inattivo.
• Il Previsore: Una rete neurale ($f_\psi$) prevede la durata totale della sessione ($\hat{T}_t$) basandosi su caratteristiche temporali, energia caricata finora ed energia residua. La durata residua è derivata sottraendo il tempo trascorso dalla previsione.
• L'Agente RL: Gli autori utilizzano l'algoritmo Soft Actor-Critic (SAC), un algoritmo actor-critic off-policy che massimizza il ritorno atteso mantenendo l'entropia della policy per l'esplorazione.
• Obiettivo di Addestramento Congiunto: Il previsore è addestrato utilizzando una funzione di perdita composita (Eq. 9):
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$: Una funzione di perdita di regressione standard (MSE) che misura lo scostamento tra la previsione e la durata effettiva della sessione.
  • $L_{DF}$: La componente orientata alla decisione, che sfrutta la funzione di vantaggio ($A(s,a)$) dell'agente RL per guidare gli aggiornamenti del previsore. Questo termine incoraggia il previsore a produrre previsioni che risultino in premi cumulativi più elevati per l'agente RL.
  • $\beta$: Un iperparametro ($\in [0,1]$) che bilancia il peso tra l'accuratezza della previsione e la qualità della decisione.

Contributi Chiave

1. Framework DF-RL per la ricarica EV: L'articolo introduce una nuova applicazione dell'apprendimento orientato alla decisione alla pianificazione della ricarica degli EV, mirando specificamente all'incertezza dei tempi di partenza. A differenza di lavori precedenti che integrano il DF learning con il Controllo Predittivo del Modello (MPC) o metodi di ottimizzazione (che richiedono la complessa differenziazione implicita delle condizioni KKT), questo approccio integra il DF learning direttamente in una pipeline RL.
2. Ottimizzazione End-to-End: Il framework consente di addestrare il previsore direttamente dall'obiettivo di controllo. Il previsore e la policy RL vengono aggiornati congiuntamente, consentendo al previsore di apprendere "ciò che conta" per il controllore piuttosto che limitarsi a minimizzare l'errore statistico.
3. Augmentation dello Stato: Il metodo arricchisce la rappresentazione dello stato dell'agente RL con una previsione della durata della sessione basata su rete neurale, permettendo all'agente di prendere decisioni informate nonostante la mancanza di dati reali sulla partenza.

Risultati Sperimentali
Gli autori hanno valutato il framework DF-RL utilizzando un dataset reale di sessioni di ricarica EV da un parcheggio ospedaliero. Hanno confrontato il loro approccio con:

• BAU: Ricarica immediata all'arrivo.
• RL (Senza Previsione): RL senza alcuna informazione sul tempo di partenza.
• RL (Previsore Convenzionale): RL con un previsore addestrato solo sulla perdita di regressione ($\beta=1$).
• RL (Partenza Reale): Un baseline superiore con conoscenza perfetta dei tempi di partenza.

Risultati Principali:

• Miglioramento delle Prestazioni: Il metodo proposto DF-RL (specificamente con $\beta=0.2$ o $0.4$) ha ottenuto un miglioramento del 14% nel reward totale e una riduzione del 55% nell'energia non fornita (ricarica fallita perché l'EV è partito) rispetto al metodo RL senza previsione del tempo di partenza.
• Confronto con la Previsione Convenzionale: Rispetto al metodo RL che utilizza un previsore convenzionale ($\beta=1$), l'approccio DF-RL ha ridotto la domanda non soddisfatta di circa il 14% (dal 7,3% al 6,3% nel caso migliore) e ha migliorato il reward totale del 5%.
• Insight Comportamentale: L'articolo nota che il DF-RL non produce necessariamente previsioni numeriche più accurate della durata di partenza. Invece, produce previsioni più "conservative" che sono più utili per il processo decisionale. Ad esempio, in un caso di studio, il previsore DF-RL ha previsto una durata della sessione leggermente più breve della realtà, spingendo l'agente a caricare prima e completare con successo la sessione. Al contrario, il previsore convenzionale ha sovrastimato la durata, portando a una ricarica ritardata e a una sessione incompleta.
• Trade-off: Valori più bassi di $\beta$ (che danno priorità alla qualità della decisione rispetto alla pura accuratezza) hanno portato a meno EV non soddisfatti ma a costi di ricarica leggermente più elevati, riflettendo un compromesso tra il soddisfacimento delle richieste di energia e la minimizzazione delle spese elettriche.

Significatività e Rivendicazioni
L'articolo sostiene che la principale significatività di questo lavoro risiede nel dimostrare che l'accuratezza della previsione non è l'unico determinante delle prestazioni del controllo. Addestrando il previsore con il feedback dall'agente di controllo, il sistema impara a generare previsioni che sono robuste rispetto ai vincoli e agli obiettivi specifici del problema di ricarica.

Gli autori affermano modestamente che, sebbene il loro approccio DF-RL produca decisioni di ricarica superiori rispetto ai baseline, esso rappresenta un passo verso la gestione dell'incertezza nella ricarica degli EV senza la complessità di integrare il DF learning con i risolutori di ottimizzazione tradizionali. Riconoscono che l'attuale lavoro si concentra su uno scenario di singolo veicolo con un profilo di prezzo deterministico e pianificano lavori futuri per estendere il framework a scenari cooperativi multi-veicolo, profili di prezzo dinamici e modelli di previsione più espressivi per catturare pattern temporali come la stagionalità.