Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

Technische Samenvatting: Voorspellen wat ertoe doet: Decision-Focused RL voor gecontroleerd EV-laden met onbekende vertrektijden

Probleemformulering
De snelle adoptie van elektrische voertuigen (EV's) introduceert aanzienlijke uitdagingen voor energiesystemen, waaronder piekvraag en instabiliteit van het net. Hoewel Reinforcement Learning (RL) een datagestuurde aanpak biedt om EV-laadschema's te optimaliseren (bijv. kosten minimaliseren of belastingen afvlakken), wordt de effectiviteit ervan vaak gehinderd door onvolledige informatie. Een cruciale onzekerheid in realistische scenario's is de vertrektijd van het voertuig. Zonder te weten wanneer een voertuig vertrekt, kan een RL-agent de beschikbare tijdflexibiliteit niet nauwkeurig bepalen om het laden naar daluren te verschuiven, wat potentieel kan leiden tot onvolledige laadsessies of suboptimaal kostenbeheer.

Bestaande literatuur gaat vaak uit van perfect vooruitzicht op vertrektijden of vertrouwt op traditionele voorspellingsmodellen die uitsluitend zijn getraind op voorspellende nauwkeurigheid (bijv. het minimaliseren van de gemiddelde kwadratische fout of MSE). Echter, het artikel betoogt dat een voorspeller die geoptimaliseerd is voor nauwkeurigheid niet noodzakelijkerwijs voorspellingen genereert die leiden tot optimale controlebeslissingen. Fouten in standaardvoorspellingen kunnen door de controlelus propageren, waardoor de algehele prestaties van het laadbeleid verslechteren.

Methodologie: Decision-Focused Reinforcement Learning (DF-RL)
Om de kloof tussen voorspellingsnauwkeurigheid en de kwaliteit van besluitvorming te overbruggen, stellen de auteurs een Decision-Focused Reinforcement Learning (DF-RL) raamwerk voor. De kerninnovatie is de end-to-end gezamenlijke training van een vertrektijdvoorspeller en een RL-controleagent, waarbij de voorspeller wordt bijgewerkt op basis van de kwaliteit van de downstream-controlebeslissingen in plaats van enkel op de voorspellingsfout.

• MDP-formulering: Het probleem wordt gemodelleerd als een Markov Beslissingsproces (MDP). De toestandsruimte bevat meetbare variabelen (elektriciteitsprijs, resterende energiebehoefte, tijdstip van de dag) en een voorspelde resterende sessieduur ($\hat{d}_t$). De actieruimte is binair: laden met vol vermogen of in rust blijven.
• De Voorspeller: Een neuraal netwerk ($f_\psi$) voorspelt de totale sessieduur ($\hat{T}_t$) op basis van tijdsfeatures, tot nu toe geladen energie en de resterende energie. De resterende duur wordt afgeleid door de verstreken tijd af te trekken van deze voorspelling.
• De RL-agent: De auteurs maken gebruik van Soft Actor-Critic (SAC), een off-policy actor-critic algoritme dat de verwachte return maximaliseert terwijl de beleidsentropie behouden blijft voor exploratie.
• Gezamenlijk Trainingsdoel: De voorspeller wordt getraind met een samengestelde verliesfunctie (Vergelijking 9):
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$: Een standaard regressieverlies (MSE) dat de afwijking tussen de voorspelling en de werkelijke sessieduur meet.
  • $L_{DF}$: Het decision-focused component, dat de advantage-functie ($A(s,a)$) van de RL-agent gebruikt om de updates van de voorspeller te sturen. Deze term stimuleert de voorspeller om voorspellingen te genereren die resulteren in hogere cumulatieve beloningen voor de RL-agent.
  • $\beta$: Een hyperparameter ($\in [0,1]$) die het gewicht tussen voorspellingsnauwkeurigheid en de kwaliteit van de besluitvorming balanceert.

Belangrijkste Bijdragen

1. DF-RL Raamwerk voor EV-laden: Het artikel introduceert een nieuwe toepassing van decision-focused learning voor EV-laadschema's, specifiek gericht op de onzekerheid van vertrektijden. In tegen tegenstelling tot eerdere werken die DF-learning integreren met Model Predictive Control (MPC) of optimalisatiemethoden (die complexe impliciete differentiatie van KKT-condities vereisen), integreert deze aanpak DF-learning direct in een RL-pipeline.
2. End-to-End Optimalisatie: Het raamwerk maakt het mogelijk om de voorspeller direct te trainen vanuit het controle-objectief. De voorspeller en het RL-beleid worden gezamenlijk bijgewerkt, waardoor de voorspeller kan leren "wat ertoe doet" voor de controller in plaats van alleen statistische fouten te minimaliseren.
3. Toestandsaugmentatie: De methode verrijkt de toestandsrepresentatie van de RL-agent met een voorspelling van de sessieduur gebaseerd op een neuraal netwerk, waardoor de agent geïnformeerde beslissingen kan nemen ondanks het gebrek aan grondwaarheid over vertrektijden.

Experimentele Resultaten
De auteurs hebben het DF-RL raamwerk geëvalueerd met behulp van een real-world dataset van EV-laadsessies van een parkeerfaciliteit bij een ziekenhuis. Ze vergeleken hun aanpak met:

• BAU: Direct laden bij aankomst.
• RL (Zonder Voorspelling): RL zonder enige informatie over de vertrektijd.
• RL (Conventionele Voorspeller): RL met een voorspeller die uitsluitend is getraind op regressieverlies ($\beta=1$).
• RL (Werkelijke Vertrek): Een upper-bound baseline met perfect kennis van de vertrektijden.

Belangrijkste Bevindingen:

• Prestatieverbetering: De voorgestelde DF-RL methode (specifiek met $\beta=0.2$ of $0.4$) behaalde een verbetering van 14% in de totale reward en een reductie van 55% in onvervulde energie (laden dat faalde omdat de EV vertrok) vergeleken met de RL-methode zonder vertrektijdvoorspelling.
• Vergelijking met Conventionele Voorspelling: Vergeleken met de RL-methode die een conventionele voorspeller gebruikt ($\beta=1$), verminderde de DF-RL aanpak de onvervulde vraag met ongeveer 14% (van 7,3% naar 6,3% in het beste geval) en verbeterde de totale reward met 5%.
• Gedragsinzicht: Het artikel merkt op dat DF-RL niet noodzakelijkerwijs meer nauwkeurige numerieke voorspellingen van de vertrektijd produceert. In plaats daarvan produceert het "conservatieve" voorspellingen die nuttiger zijn voor de besluitvorming. Bijvoorbeeld, in een casestudy voorspelde de DF-RL voorspeller een iets kortere sessieduur dan de werkelijkheid, wat de agent ertoe aanzette eerder te laden en de sessie succesvol te voltooien. In contrast hiermee overschatte de conventionele voorspeller de duur, wat leidde tot vertraagd laden en een onvolledige sessie.
• Trade-offs: Lagere waarden van $\beta$ (waarbij prioriteit wordt gegeven aan de kwaliteit van de besluitvorming boven de ruwe nauwkeurigheid) resulteerden in minder ontevreden EV's maar iets hogere laadkosten, wat een afweging weerspiegelt tussen het voldoen aan de energiebehoeften en het minimaliseren van de elektriciteitskosten.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis van dit werk ligt in het aantonen dat voorspellingsnauwkeurigheid niet de enige determinant is van de prestaties van de controle. Door de voorspeller te trainen met feedback van de controleagent, leert het systeem voorspellingen te genereren die robuust zijn tegen de specifieke beperkingen en doelstellingen van het laadprobleem.

De auteurs stellen bescheiden dat hoewel hun DF-RL aanpak superieure laadbeslissingen oplevert vergeleken met baselines, het een stap is naar het omgaan met onzekerheid in EV-laden zonder de complexiteit van het integreren van DF-learning met traditionele optimalisatiesolvers. Ze erkennen dat het huidige werk zich richt op een scenario met één voertuig met een determinatief prijsprofiel en plannen toekomstig werk om het raamwerk uit te breiden naar multi-voertuig coöperatieve scenario's, dynamische prijsprofielen en meer expressieve voorspellingsmodellen om temporele patronen zoals seasonaliteit te vangen.