⚡ electrical engineering

Joint Scheduling of Deferrable and Nondeferrable Demand with Colocated Stochastic Supply

Dieser Beitrag behandelt die optimale Planung von verschiebbaren und nicht-verschiebbaren elektrischen Lasten unter Verwendung von kollokierten stochastischen Angeboten, indem er nachweist, dass die optimale Politik einem „Prinzip der Aufschiebung" folgt, um die Komplexität des Problems zu reduzieren, und schlägt einen Reinforcement-Learning-Algorithmus vor, der diese optimale Strategie unter unbekannten Wahrscheinlichkeitsverteilungen effektiv approximiert.

Ursprüngliche Autoren: Minjae Jeon, Lang Tong, Qing Zhao

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minjae Jeon, Lang Tong, Qing Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager eines Haushalts-Energiesystems. Sie haben zwei Arten von „Aufträgen", die Strom benötigen, um erledigt zu werden, und Sie haben zwei Möglichkeiten, diesen Strom zu beziehen.

Die zwei Aufträge:

Der „dringende" Auftrag (nicht verzögerbar): Dies ist vergleichbar damit, Ihr Haus warm zu halten oder zu kühlen, oder die Lichter anzulassen. Sie können dies nicht ausschalten, aber Sie können entscheiden, wie hart gearbeitet wird. Wenn Strom günstig ist, lassen Sie die Klimaanlage vielleicht auf Hochtouren laufen. Wenn er teuer ist, stellen Sie sie vielleicht nur auf eine niedrige Stufe. Diesen Auftrag müssen Sie jetzt sofort erledigen.
Der „flexible" Auftrag (verzögerbar): Dies ist vergleichbar mit dem Laden eines Elektroautos oder dem Betrieb eines Hochleistungs-Servers. Sie haben eine Frist (z. B. „das Auto muss um 7 Uhr voll sein"), aber Sie können wählen, wann Sie die Arbeit erledigen. Sie könnten es heute Nacht langsam laden oder bis morgen früh warten.

Die zwei Stromquellen:

Die „kostenlose" Sonne: Sie haben Solarpaneele auf Ihrem Dach. Die Sonne ist unvorhersehbar (stochastisch). Manchmal scheint sie hell, manchmal ist es bewölkt. Diese Energie ist kostenlos, aber wenn Sie sie nicht nutzen, können Sie sie mit einem kleinen Gewinn an das Netz zurückverkaufen.
Das „teure" Netz: Sie können Strom vom Versorgungsunternehmen kaufen. Der Preis ändert sich je nach Tageszeit (zeitbasierte Preisgestaltung). Nachts ist er günstig, tagsüber jedoch sehr teuer.

Das Problem:
Das Ziel ist es, Geld zu verdienen (oder zu sparen), indem diese Aufträge und Stromquellen ausgeglichen werden.

Wenn Sie den kostenlosen Solarstrom für Ihren dringenden Auftrag nutzen, sparen Sie Geld.
Wenn Sie den kostenlosen Solarstrom für Ihren flexiblen Auftrag nutzen, sparen Sie Geld.
Aber wenn Sie den kostenlosen Solarstrom für Ihren flexiblen Auftrag jetzt nutzen, haben Sie vielleicht später nicht genug übrig, um ihn zu einem besseren Preis an das Netz zurückzuverkaufen, oder Sie laufen Gefahr, später nicht genug Strom für Ihren dringenden Auftrag zu haben.

Dies ist ein riesiges Rätsel mit unendlichen Möglichkeiten, da das Verhalten der Sonne und das Eintreffen neuer Ladeanfragen zufällig sind.

Die große Idee des Papers: „Die Kunst des Aufschiebens"

Die Autoren entdeckten eine clevere Regel, um dieses Rätsel zu lösen, die sie als Prinzip des Aufschiebens bezeichnen.

Stellen Sie sich Aufschieben nicht als Faulheit vor, sondern als strategisches Warten.

Stellen Sie sich vor, Sie haben eine Frist, um einen Bericht zu fertigzustellen. Sie wissen, dass Sie viel Arbeit zu erledigen haben.

Der alte Weg: Sie beginnen sofort zu arbeiten, auch wenn Sie später viel freie Zeit haben.
Der Weg des Papers: Sie warten. Sie beginnen erst zu arbeiten, wenn Sie absolut müssen, um die Frist einzuhalten.

In der Energiewelt bedeutet dies:

Kaufen Sie noch keinen teuren Netzstrom. Wenn Sie einen flexiblen Auftrag haben (wie das Laden eines Autos), warten Sie. Vielleicht kommt später die Sonne heraus, oder vielleicht sinkt der Preis. Kaufen Sie erst Strom, wenn Ihnen die Zeit davonläuft und Sie den Auftrag müssen fertigstellen.
Nutzen Sie noch keinen kostenlosen Solarstrom. Wenn Sie einen flexiblen Auftrag haben, nutzen Sie den kostenlosen Solarstrom nicht sofort, wenn Sie diesen Solarstrom gerade jetzt mit Gewinn an das Netz zurückverkaufen können. Warten Sie ab, ob Sie diesen Solarstrom später benötigen, um teuren Netzstrom zu vermeiden.

Die „drei magischen Zahlen"

Das Paper beweist, dass Sie keinen Supercomputer benötigen, um dieses unendliche Rätsel zu lösen. Sie müssen nur drei einfache Zahlen (Schwellenwerte) für jeden Zeitpunkt verfolgen:

Der „Warten"-Schwellenwert: Wenn die verbleibende Arbeit unter dieser Zahl liegt, tun Sie nichts. Verkaufen Sie einfach Ihren Solarstrom an das Netz. Es ist zu früh, sich Sorgen zu machen.
Der „Start"-Schwellenwert: Wenn die Arbeit zwischen der „Warten"-Zahl und einer höheren „Start"-Zahl liegt, beginnen Sie, Ihren kostenlosen Solarstrom zu nutzen, um die Arbeit zu erledigen, kaufen Sie aber noch keinen teuren Netzstrom.
Der „Panik"-Schwellenwert: Wenn die Arbeit über dieser Zahl liegt, hören Sie auf zu warten. Nutzen Sie Ihren gesamten Solarstrom UND kaufen Sie den teuren Netzstrom, den Sie benötigen, um den Auftrag fristgerecht zu erledigen.

Indem ein komplexes, unendliches Problem auf das Verfolgen dieser drei Zahlen reduziert wird, wird das Problem viel einfacher.

Die Lösung: Ein intelligenter Lerner (PTRL)

Da wir nicht immer genau wissen, wie sich die Sonne verhalten wird oder wie viel unsere Nachbarn verbrauchen, entwickelten die Autoren einen Lernalgorithmus namens PTRL (Procrastination Threshold Reinforcement Learning).

Stellen Sie sich PTRL als intelligenten Lehrling vor.

Anstatt zu versuchen, jedes einzelne mögliche Szenario zu lernen (was unmöglich ist), wird der Lehrling darin unterwiesen, nur die drei magischen Zahlen zu lernen.
Der Lehrling beobachtet reale Daten (wie tatsächliche Solarerträge und Strompreise).
Im Laufe der Zeit lernt er genau, wann er „warten", wann er „starten" und wann er in „Panik" verfallen muss.

Die Ergebnisse

Die Autoren testeten dies mit realen Daten aus dem Laden von Elektrofahrzeugen und Solaranlagen.

Es funktioniert: Die „Aufschieben"-Strategie performte fast so gut wie die perfekte, theoretische Lösung (die wir im echten Leben tatsächlich nicht berechnen können).
Es ist besser als die Konkurrenz: Es schlug Standardmethoden wie „Model Predictive Control" (die versucht, die Zukunft vorherzusagen, dies aber oft falsch macht) und andere KI-Methoden, die versuchen, alles auf einmal zu lernen.
Es ist schnell: Da es nur drei Zahlen lernt statt Millionen von Möglichkeiten, trifft es sehr schnell Entscheidungen, was für das Echtzeit-Energiemanagement entscheidend ist.

Kurz gesagt: Das Paper lehrt uns, dass bei unvorhersehbaren Energien und flexiblen Aufgaben die beste Strategie oft darin besteht, zu warten, bis Sie absolut handeln müssen. Indem wir mathematisch genau definieren, wann dieser „müssen"-Moment ist, können wir viel Geld sparen und unsere Energiesysteme viel effizienter betreiben.

Technische Zusammenfassung: Gemeinsame Planung von aufschiebbarer und nicht aufschiebbarer Nachfrage mit kollokierter stochastischer Erzeugung

1. Problemformulierung

Dieser Beitrag behandelt die optimale Planung zweier unterschiedlicher Arten elektrischer Nachfrage in einem Energiesystem mit kollokierter stochastischer Erzeugung (z. B. Dach-Solaranlagen) und Netzbezug. Das System wird als Markov-Entscheidungsprozess (MDP) mit endlichem Horizont, diskreter Zeit, kontinuierlichem Zustand und Nebenbedingungen modelliert.

Die beiden Nachfragetypen sind:

Aufschiebbare Nachfrage: Tritt zufällig auf (z. B. Laden von Elektrofahrzeugen) und muss bis zu einer bestimmten Frist abgeschlossen sein. Die bediente Menge kann verzögert werden, jedoch führt nicht bediente Nachfrage zum Fristende zu einer streng monoton steigenden, konvexen Strafe.
Nicht aufschiebbare Nachfrage: Ist stets vorhanden (z. B. HLK, Beleuchtung) und muss sofort bedient werden. Die bediente Menge ist jedoch preisresponsive, bestimmt durch eine bekannte, differenzierbare, konkave Nutzenfunktion.

Das System arbeitet unter einem regulierten Net-Metering-Tarif (NEM), der deterministisch, zeitvariabel und stückweise linear ist. Dieser Tarif unterscheidet zwischen Bezugspreisen ( $\pi^+_t$ ) und Einspeisevergütungen ( $\pi^-_t$ ), wobei $\pi^+_t \ge \pi^-_t$ gilt. Das Ziel ist die Maximierung des erwarteten wirtschaftlichen Überschusses (Gesamtnutzen des Verbrauchs abzüglich Stromzahlungen und Abschlussstrafen) über den Planungszeitraum.

Die Kernherausforderung liegt im unendlich-dimensionalen Policy-Raum, der sich aus kontinuierlichen Zustandsvariablen (verbleibende aufschiebbare Nachfrage und stochastische Erzeugung) und kontinuierlichen Aktionsvariablen (Bedienraten für beide Nachfragetypen) ergibt, verstärkt durch die Nichtlinearität der NEM-Preisstruktur.

2. Methodik und theoretische Analyse

Das Prinzip der Aufschiebung

Die Autoren zeigen, dass die optimale Planungspolitik einem „Prinzip der Aufschiebung" folgt. Dieses Prinzip schreibt vor, dass der Bezug von Strom aus dem Netz so lange verzögert werden sollte, bis er strikt notwendig ist, um Fristen einzuhalten, und umgekehrt lokale erneuerbare Erzeugung priorisiert für den sofortigen Verbrauch oder die Einspeisung basierend auf zukünftigen Preis- und Erzeugungsrisiken genutzt werden sollte.

Strukturelle Charakterisierung der optimalen Politik

Durch eine rigorose Analyse der Bellman-Gleichung beweist der Beitrag, dass die optimale Politik von einem unendlich-dimensionalen Raum auf einen endlich-dimensionalen euklidischen Raum reduziert werden kann, der für jeden Zeitschritt $t$ durch drei Aufschiebungsparameter (Schwellenwerte) definiert ist:

$\theta^-_t(g_t)$ : Ein unterer Schwellenwert für die verbleibende aufschiebbare Nachfrage. Darunter priorisiert das System die Einspeisung lokaler Erzeugung gegenüber der Bedienung aufschiebbarer Nachfrage, selbst wenn dies bedeutet, die Last weiter zu verzögern.
$\theta^+_t(g_t)$ : Ein oberer Schwellenwert. Darüber muss das System die aufschiebbare Nachfrage aggressiv sowohl mit lokaler Erzeugung als auch mit Netzbezug bedienen, um Abschlussstrafen zu vermeiden.
$\theta^0_t(g_t)$ : Ein Parameter, der den „Netto-Null"-Bereich regelt, in dem der Haushalt weder bezieht noch einspeist.

Diese Schwellenwerte unterteilen den Zustandsraum in drei distincte Betriebsmodi:

Netto-produzierend: Lokale Erzeugung übersteigt die Nachfrage; Überschuss wird eingespeist.
Netto-verbrauchend: Nachfrage übersteigt lokale Erzeugung; Netzstrom wird bezogen.
Netto-Null: Lokale Erzeugung entspricht genau der Nachfrage; keine Netzinteraktion.

Innerhalb dieser Bereiche definiert die Politik eine Prioritätsstruktur für die Zuteilung lokaler Erzeugung auf nicht aufschiebbare Nachfrage, aufschiebbare Nachfrage und Einspeisung. Beispielsweise balanciert die Politik im „Netto-Null"-Bereich den Grenznutzen nicht aufschiebbarer Geräte gegen den Grenzwert der Bedienung aufschiebbarer Last, bestimmt durch die spezifischen Schwellenwertwerte.

Verstärkungslernen mit Aufschiebungsschwellen (PTRL)

Um das MDP zu lösen, wenn die zugrunde liegenden Wahrscheinlichkeitsverteilungen unbekannt sind, schlagen die Autoren PTRL vor, einen strukturierten Verstärkungslern-Algorithmus (RL).

Dimensionsreduktion: Anstatt eine vollständige Aktionspolitik über den kontinuierlichen $(K+1)$ -dimensionalen Raum zu lernen (wobei $K$ die Anzahl der nicht aufschiebbaren Geräte ist), lernt PTRL nur die drei Aufschiebungsschwellen ( $\theta_t$ ).
Algorithmusarchitektur: PTRL nutzt ein Soft Actor-Critic (SAC)-Framework. Das „Actor"-Netzwerk gibt den Mittelwert und die Kovarianz der Aufschiebungsschwellen basierend auf dem aktuellen Zustand aus. Das „Critic"-Netzwerk schätzt den Wert (Q-Funktion) eines Zustands-Schwellenwert-Paares ab.
Policy-Ausführung: Sobald die Schwellenwerte vom Actor generiert wurden, werden die tatsächlichen Planungsaktionen (Bedienraten) deterministisch unter Verwendung der in Theorem 2 abgeleiteten strukturellen Regeln berechnet.

3. Wichtige Ergebnisse

Theoretische Beiträge

Optimalität der Aufschiebung: Der Beitrag beweist formal, dass für sowohl zeitinvariante als auch zeitvariable NEM-Tarife die optimale Politik durch die drei Aufschiebungsschwellen charakterisiert ist. Dies reduziert die Komplexität des Planungsproblems erheblich.
Lineare Zeitabhängigkeit: Für zeitunabhängige Erzeugungsmodelle zeigt der Beitrag, dass die Aufschiebungsschwellen einer linearen Zeitabhängigkeit genügen ( $\theta^+_t = \theta^+_{t+1} + \bar{v}$ ), was die Anzahl der zu lernenden Parameter weiter reduziert.

Numerische Leistung

Experimente wurden mit realen Datenspuren des Adaptive Charging Network (ACN) für EV-Nachfrage und dem Pecan Street-Datensatz für Solarerzeugung und Haushaltsverbrauch durchgeführt.

Konvergenz: PTRL konvergierte signifikant schneller (ca. 800 Episoden für unabhängige Modelle, 2.000 für Markov-Modelle) im Vergleich zu Standard-Benchmarks wie SAC und DDPG, die jeweils etwa 6.000 bzw. 2.000 Episoden benötigten.
Optimalitätslücke: Unter synthetischen Testdaten, die der Trainingsverteilung entsprachen, erreichte PTRL eine Lücke zur optimalen Politik von nur 3,34 %, verglichen mit 36,76 % für SAC und 25,91 % für DDPG.
Robustheit gegenüber Felddaten: Bei Tests mit out-of-sample Felddaten übertraf PTRL alle Benchmarks (SAC, DDPG und Model Predictive Control) mit erheblichen Margen (z. B. ~107 % Verbesserung gegenüber SAC). Dies bestätigt die Robustheit des Algorithmus gegenüber Modellabweichungen und realer Stochastik.
Rechenleistung: PTRL zeigte einen erheblichen Rechenvorteil gegenüber Model Predictive Control (MPC) und war bei der Evaluierungszeit etwa 19-mal schneller, was es für die Online-Implementierung geeignet macht.
Nutzung von Energiequellen: PTRL lernte effektiv, erneuerbare Energie in Schwachlastzeiten (wenn die Einspeisepreise niedriger sind) zu priorisieren und hochwertige erneuerbare Energie in Spitzenlastzeiten für die Einspeisung zu sparen, eine Strategie, die Standard-Benchmarks weniger effektiv replizierten.

4. Bedeutung und Behauptungen

Der Beitrag behauptet, dass sein primärer Beitrag die strukturelle Charakterisierung der optimalen Politik für ein komplexes, reales Energieplanungsproblem ist. Durch die Identifizierung des „Prinzips der Aufschiebung" verwandeln die Autoren ein unlösbares, unendlich-dimensionales MDP in ein niedrigdimensionales Parameterschätzproblem.

Die Bedeutung dieser Arbeit liegt in:

Brücke zwischen Theorie und Praxis: Sie liefert eine theoretische Grundlage (Schwellenwert-Politiken), die die Entwicklung hocheffizienter, datengesteuerter Lernalgorithmen (PTRL) ermöglicht, die sowohl Standard-RL als auch traditionelle Steuerungsmethoden (MPC) übertreffen.
Umgang mit nichtlinearer Preisgestaltung: Im Gegensatz zu früheren Arbeiten, die oft lineare Großhandelspreise annehmen, behandelt dieser Beitrag die stückweise lineare, zeitvariable Natur regulierter retail NEM-Tarife, was für die praktische Umsetzung in Wohn- und Gewerbebereichen entscheidend ist.
Gemeinsame Optimierung: Es ist die erste Arbeit, die aufschiebbare und nicht aufschiebbare Nachfrage gemeinsam mit kollokierter stochastischer Erzeugung plant und die intertemporalen Abhängigkeiten und wirtschaftlichen Zielkonflikte, die in modernen Prosumer-Systemen inhärent sind, erfasst.

Die Autoren äußern sich bescheiden bezüglich zukünftiger Erweiterungen und stellen fest, dass das aktuelle Framework bekannte Nutzenfunktionen für nicht aufschiebbare Nachfrage und einen einzigen Typ aufschiebbarer Aufgabe voraussetzt. Sie schlagen vor, dass zukünftige Arbeiten die Integration von Online-Inversionsoptimierung zur Lernung von Nutzenfunktionen sowie die Erweiterung des Frameworks auf mehrere gleichzeitige aufschiebbare Aufgaben beinhalten könnten.