Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

Technische Zusammenfassung: Vorhersagen, was zählt: Decision-Focused RL für die kontrollierte EV-Ladung bei unbekannten Abfahrtszeiten

Problemformulierung
Die rasche Verbreitung von Elektrofahrzeugen (EVs) führt zu erheblichen Herausforderungen für Stromsysteme, einschließlich Spitzenlasten und Netzinstabilitäten. Während Reinforcement Learning (RL) einen datengesteuerten Ansatz zur Optimierung von EV-Ladeplänen bietet (z. B. Minimierung der Kosten oder Glättung der Lasten), wird seine Effektivität oft durch unvollständige Informationen behindert. Eine kritische Unsicherheit in realen Szenarien ist die Abfahrtszeit des Fahrzeugs. Ohne das Wissen darüber, wann ein Fahrzeug abfährt, kann ein RL-Agent die verfügbare zeitliche Flexibilität nicht genau bestimmen, um das Laden in Nebenzeiten zu verschieben, was potenziell zu unvollständigen Ladevorgängen oder einem suboptimalen Kostenmanagement führen kann.

In der bestehenden Literatur wird oft eine perfekte Vorhersehung der Abfahrtszeiten vorausgesetzt oder es werden traditionelle Prognosemodelle verwendet, die ausschließlich auf die Vorhersagegenauigkeit (z. B. Minimierung des mittleren quadratischen Fehlers, MSE) trainiert sind. Das Paper argumentiert jedoch, dass ein auf Genauigkeit optimierter Prognosemodell nicht zwangsläufig Vorhersagen liefert, die zu optimalen Steuerungsentscheidungen führen. Fehler in Standardprognosen können durch den Regelkreis propagieren und die Gesamtleistung der Steuerungsstrategie verschlechtern.

Methodik: Decision-Focused RL (DF-RL)
Um die Diskrepanz zwischen Vorhersagegenauigkeit und Entscheidungsqualität zu adressieren, schlagen die Autoren einen Decision-Focused Reinforcement Learning (DF-RL)-Rahmen vor. Die Kerninnovation ist das End-to-End-Joint-Training eines Abfahrtszeit-Prognosemodells und eines RL-Steuerungsagenten, wobei das Prognosemodell basierend auf der Qualität der nachgeschalteten Steuerungsentscheidungen aktualisiert wird, anstatt nur auf dem Vorhersagefehler.

• MDP-Formulierung: Das Problem wird als Markov-Entscheidungsprozess (MDP) modelliert. Der Zustandsraum umfasst messbare Variablen (Strompreis, verbleibender Energiebedarf, Tageszeit) und eine vorhergesagte verbleibende Sitzungsdauer ($\hat{d}_t$). Der Aktionsraum ist binär: Mit voller Leistung laden oder im Leerlauf bleiben.
• Das Prognosemodell: Ein neuronales Netzwerk (f_\psi}) sagt die gesamte Sitzungsdauer ($\hat{T}_t$) basierend auf Zeitmerkmalen, bisher geladener Energie und verbleibender Energie voraus. Die verbleibende Dauer wird durch Subtraktion der verstrichenen Zeit von dieser Vorhersage ermittelt.
• Der RL-Agent: Die Autoren verwenden den Soft Actor-Critic (SAC), einen Off-Policy Actor-Critic-Algorithmus, der den erwarteten Ertrag maximiert und gleichzeitig die Entropie der Policy für die Exploration aufrechterhält.
• Gemeinsames Trainingsziel: Das Prognosemodell wird mit einer zusammengesetzten Verlustfunktion (Gleichung 9) trainiert:
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$: Ein Standard-Regressionsverlust (MSE), der die Abweichung zwischen der Prognose und der tatsächlichen Sitzungsdauer misst.
  • $L_{DF}$: Die entscheidungsfokussierte Komponente, welche die Advantage-Funktion ($A(s,a)$) des RL-Agenten nutzt, um die Updates des Prognosemodells zu leiten. Dieser Term ermutigt das Prognosemodell, Vorhersagen zu treffen, die zu höheren kumulativen Belohnungen für den RL-Agenten führen.
  • $\beta$: Ein Hyperparameter ($\in [0,1]$), der das Gewicht zwischen Vorhersagegenauigkeit und Entscheidungsqualität ausbalanciert.

Wesentliche Beiträge

1. DF-RL-Framework für das EV-Laden: Das Paper führt eine neuartige Anwendung des Decision-Focused Learning auf die EV-Ladeplanung ein, die gezielt die Unsicherheit der Abfahrtszeiten adressiert. Im Gegensatz zu bisherigen Arbeiten, die DF-Learning mit Modellprädiktiver Regelung (MPC) oder Optimierungsmethoden integrieren (welche eine komplexe implizite Differenzierung der KKT-Bedingungen erfordern), integriert dieser Ansatz DF-Learning direkt in eine RL-Pipeline.
2. End-to-End-Optimierung: Der Rahmen ermöglicht es, das Prognosemodell direkt aus dem Steuerungsziel heraus zu trainieren. Das Prognosemodell und die RL-Policy werden gemeinsam aktualisiert, was es dem Prognosemodell ermöglicht, zu lernen, „was zählt“, anstatt lediglich den statistischen Fehler zu minimieren.
3. Zustandserweiterung: Die Methode reichert den Zustand des RL-Agenten mit einer auf einem neuronalen Netzwerk basierenden Prognose der Sitzungsdauer an, was es dem Agenten ermöglicht, trotz fehlender Ground-Truth-Abfahrtsdaten fundierte Entscheidungen zu treffen.

Experimentelle Ergebnisse
Die Autoren evaluierten das DF-RL-Framework unter Verwendung eines Datensatzes realer EV-Ladesitzungen aus einem Krankenhausparkhaus. Sie verglichen ihren Ansatz mit:

• BAU: Sofortiges Laden bei Ankunft.
• RL (Ohne Prognose): RL ohne jegliche Information über die Abfahrtszeit.
• RL (Konventionelles Prognosemodell): RL mit einem Prognosemodell, das nur auf Regressionsverlust trainiert wurde ($\beta=1$).
• RL (Reale Abfahrt): Eine Obergrenze-Baseline mit perfektem Wissen über die Abfahrtszeiten.

Wichtigste Erkenntnisse:

• Leistungssteigerung: Die vorgeschlagene DF-RL-Methode (speziell mit $\beta=0.2$ oder $0.4$) erreichte eine Verbesserung der Gesamtbelohnung um 14 % und eine Reduktion der unversorgten Energie um 55 % (Ladevorgänge, die fehlschlugen, weil das EV bereits abfuhr) im Vergleich zur RL-Methode ohne Abfahrtszeitprognose.
• Vergleich mit konventioneller Prognose: Im Vergleich zur RL-Methode mit einem konventionellen Prognosemodell ($\beta=1$) reduzierte der DF-RL-Ansatz die ungedeckte Nachfrage um etwa 14 % (von 7,3 % auf 6,3 % im besten Fall) und verbesserte die Gesamtbelohnung um 5 %.
• Verhaltensanalyse: Das Paper stellt fest, dass DF-RL nicht zwangsläufig präzisere numerische Vorhersagen der Abfahrtszeit produziert. Stattdessen erzeugt es „konservative“ Vorhersagen, die für die Entscheidungsfindung nützlicher sind. Beispielsweise prognostizierte der DF-RL-Prognosemodells in einer Fallstudie eine etwas kürzere Sitzungsdauer als die Realität, was den Agenten dazu veranlasste, früher zu laden und die Sitzung erfolgreich abzuschließen. Im Gegensatz dazu überschätzte das konventionelle Prognosemodell die Dauer, was zu verzögertem Laden und einem unvollständigen Ladevorgang führte.
• Trade-offs: Niedrigere Werte für $\beta$ (die die Entscheidungsqualität gegenüber der reinen Genauigkeit priorisieren) führten zu weniger unversorgten EVs, aber etwas höheren Ladekosten, was einen Trade-off zwischen der Deckung des Energiebedarfs und der Minimierung der Stromkosten widerspiegelt.

Bedeutung und Behauptungen
Das Paper behauptet, dass die primäre Bedeutung dieser Arbeit darin liegt, zu zeigen, dass die Vorhersagegenauigkeit nicht der alleinige Bestimmungsfaktor für die Steuerungsleistung ist. Durch das Training des Prognosemodells mit Feedback vom Steuerungsagenten lernt das System, Vorhersagen zu generieren, die robust gegenüber den spezifischen Randbedingungen und Zielen des Ladevorgangs sind.

Die Autoren stellen bescheiden fest, dass ihr DF-RL-Ansatz zwar überlegene Ladeentscheidungen im Vergleich zu den Baselines liefert, jedoch ein Schritt hin zum Umgang mit Unsicherheit beim EV-Laden ist, ohne die Komplexität der Integration von DF-Learning in traditionelle Optimierungslöser. Sie räumen ein, dass sich die aktuelle Arbeit auf ein einzelnes Fahrzeugszenario mit einem deterministischen Preisprofil konzentriert und planen zukünftige Arbeiten, um das Framework auf Multi-Fahrzeug-Kooperationsszenarien, dynamische Preisprofile und expressivere Prognosemodelle zur Erfassung temporaler Muster wie Saisonalität auszuweiten.