⚡ electrical engineering

Joint Scheduling of Deferrable and Nondeferrable Demand with Colocated Stochastic Supply

Dit artikel behandelt de optimale planning van uitstelbare en niet-uitstelbare elektrische vraag met behulp van gekoppelde stochastische aanbod door te bewijzen dat het optimale beleid een "Principe van Uitstel" volgt om de complexiteit van het probleem te verminderen, en door een versterkingsleer-algoritme voor te stellen dat deze optimale strategie effectief benadert onder onbekende waarschijnlijkheidsverdelingen.

Oorspronkelijke auteurs: Minjae Jeon, Lang Tong, Qing Zhao

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minjae Jeon, Lang Tong, Qing Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een huishoudelijk energiesysteem. Je hebt twee soorten "taken" die elektriciteit nodig hebben om uitgevoerd te worden, en je hebt twee manieren om die elektriciteit te krijgen.

De twee taken:

De "Urgente" Taak (Niet-uitstelbaar): Dit is zoals je huis warm houden of koelen, of het licht aan laten. Je kunt dit niet uitzetten, maar je kunt wel beslissen hoe hard je werkt. Als elektriciteit goedkoop is, zet je de airconditioner misschien op volle toeren. Als het duur is, houd je hem misschien op een lage stand. Je moet deze taak nu uitvoeren.
De "Flexibele" Taak (Uitstelbaar): Dit is zoals het opladen van een elektrische auto of het draaien van een zware server. Je hebt een deadline (bijvoorbeeld: "de auto moet om 7 uur 's ochtends vol zijn"), maar je kunt kiezen wanneer je het werk doet. Je kunt het vanavond langzaam opladen, of wachten tot morgenochtend.

De twee stroombronnen:

De "Gratis" Zon: Je hebt zonnepanelen op je dak. De zon is onvoorspelbaar (stochastisch). Soms schijnt het fel, soms is het bewolkt. Deze stroom is gratis, maar als je het niet gebruikt, kun je het tegen een kleine winst terugverkopen aan het net.
Het "Dure" Net: Je kunt elektriciteit kopen van het nutsbedrijf. De prijs verandert afhankelijk van het tijdstip van de dag (Time-of-Use-tarieven). Het is 's nachts goedkoop, maar overdag zeer duur.

Het Probleem:
Het doel is geld te verdienen (of geld te besparen) door deze taken en stroombronnen in evenwicht te brengen.

Als je de gratis zonne-energie gebruikt voor je urgente taak, bespaar je geld.
Als je de gratis zonne-energie gebruikt voor je flexibele taak, bespaar je geld.
Maar, als je de gratis zonne-energie nu gebruikt voor je flexibele taak, heb je misschien later niet genoeg over om tegen een betere prijs terug te verkopen aan het net, of loop je later vast in stroom voor je urgente taak.

Dit is een enorm raadsel met oneindige mogelijkheden, omdat het gedrag van de zon en de komst van nieuwe oplaadverzoeken willekeurig zijn.

Het Grote Idee van het Artikel: "De Kunst van Uitstel"

De auteurs ontdekten een slimme regel om dit raadsel op te lossen, die ze het Principe van Uitstel noemen.

Zie uitstel niet als luiheid, maar als strategisch wachten.

Stel je voor dat je een deadline hebt om een rapport af te maken. Je weet dat je veel werk hebt.

De Oude Manier: Je begint direct te werken, zelfs als je later veel vrije tijd hebt.
De Manier van het Artikel: Je wacht. Je begint pas met werken wanneer je absoluut moet om de deadline te halen.

In de energiewereld betekent dit:

Koop nog geen dure netstroom. Als je een flexibele taak hebt (zoals het opladen van een auto), wacht dan. Misschien komt de zon later wel tevoorschijn, of daalt de prijs. Koop alleen stroom wanneer je de tijd bijna op hebt en het werk moet afmaken.
Gebruik nog geen gratis zonne-energie. Als je een flexibele taak hebt, gebruik dan de gratis zonne-energie niet direct als je die zonne-energie nu met winst terug kunt verkopen aan het net. Wacht om te zien of je die zonne-energie later nodig hebt om dure netstroom te vermijden.

De "Drie Magische Getallen"

Het artikel bewijst dat je geen supercomputer nodig hebt om dit oneindige raadsel op te lossen. Je hoeft alleen maar drie simpele getallen (drempelwaarden) te volgen voor elk moment in de tijd:

De "Wacht"-drempel: Als het resterende werk onder dit getal ligt, doe niets. Verkoop gewoon je zonne-energie aan het net. Het is te vroeg om je zorgen te maken.
De "Start"-drempel: Als het werk ligt tussen het "Wacht"-getal en een hoger "Start"-getal, begin dan met het gebruik van je gratis zonne-energie om het werk te doen, maar koop nog geen dure netstroom.
De "Paniek"-drempel: Als het werk boven dit getal ligt, stop met wachten. Gebruik al je zonne-energie EN koop de dure netstroom die je nodig hebt om het werk op tijd af te maken.

Door een complex, oneindig probleem terug te brengen tot het volgen van slechts deze drie getallen, wordt het probleem veel eenvoudiger.

De Oplossing: Een Slimme Leerling (PTRL)

Omdat we niet altijd precies weten hoe de zon zich zal gedragen of hoeveel onze buren zullen verbruiken, hebben de auteurs een leeralgoritme ontwikkeld dat PTRL (Procrastination Threshold Reinforcement Learning) heet.

Zie PTRL als een slimme leerling.

In plaats van te proberen elk mogelijk scenario te leren (wat onmogelijk is), wordt de leerling geleerd om alleen de drie magische getallen te leren.
De leerling observeert real-world data (zoals de werkelijke zonne-energieopbrengst en elektriciteitsprijzen).
Na verloop van tijd leert het precies wanneer het moet "Wachten", wanneer het moet "Starten" en wanneer het moet "Panikeren".

De Resultaten

De auteurs hebben dit getest op echte data van het opladen van elektrische voertuigen en zonnepanelen.

Het werkt: De "Uitstel"-strategie presteerde bijna even goed als de perfecte, theoretische oplossing (die we in het echt eigenlijk niet kunnen berekenen).
Het is beter dan de concurrentie: Het sloeg standaardmethoden zoals "Model Predictive Control" (die probeert de toekomst te voorspellen maar dit vaak fout doet) en andere AI-methoden die proberen alles tegelijk te leren.
Het is snel: Omdat het slechts drie getallen leert in plaats van miljoenen mogelijkheden, neemt het zeer snel beslissingen, wat cruciaal is voor real-time energiebeheer.

Kortom: Het artikel leert ons dat bij het omgaan met onvoorspelbare energie en flexibele taken, de beste strategie vaak is om te wachten tot je absoluut moet handelen. Door wiskundig precies te definiëren wanneer dat "moet"-moment is, kunnen we veel geld besparen en onze energiesystemen veel efficiënter laten draaien.

Technische Samenvatting: Gecombineerde Planning van Uitstelbare en Niet-Uitstelbare Vraag met Gecombineerde Stochastische Aanbod

1. Probleemformulering

Dit artikel behandelt de optimale planning van twee onderscheiden typen elektrische vraag binnen een energiesysteem met gecombineerde stochastische aanbodbronnen (bijvoorbeeld daksolair) en ingevoerde elektriciteit uit het net. Het systeem wordt gemodelleerd als een Markov-besluitproces (MDP) met een eindige horizon, discrete tijd, continue toestandsvariabelen en beperkingen.

De twee vraagtypen zijn:

Uitstelbare Vraag: Komt willekeurig binnen (bijvoorbeeld opladen van elektrische voertuigen) en moet tegen een specifieke deadline zijn voltooid. De geleverde hoeveelheid kan worden uitgesteld, maar niet-geleverde vraag bij de deadline leidt tot een strikt stijgende, convexe boete.
Niet-Uitstelbare Vraag: Is altijd aanwezig (bijvoorbeeld HVAC, verlichting) en moet onmiddellijk worden geleverd. De geleverde hoeveelheid is echter prijsgevoelig, bepaald door een bekende, differentieerbare, concave nutfunctie.

Het systeem opereert onder een gereguleerd Net Energy Metering (NEM)-tarief, dat deterministisch, tijdsvariabel en stuksgewijs lineair is. Dit tarief onderscheidt tussen invoertarieven ( $\pi^+_t$ ) en uitvoertarieven ( $\pi^-_t$ ), waarbij $\pi^+_t \ge \pi^-_t$ . Het doel is om de verwachte economische meerwaarde (totale nut van verbruik minus elektriciteitsbetalingen en voltooingsboetes) over de planningshorizon te maximaliseren.

De kernuitdaging ligt in de oneindig-dimensionale beleidsruimte die voortvloeit uit continue toestandsvariabelen (resterende uitstelbare vraag en stochastische opwekking) en continue actievariabelen (levertarieven voor beide vraagtypen), verergerd door de niet-lineariteit van de NEM-prijsstructuur.

2. Methodologie en Theoretische Analyse

Het Principe van Uitstel

De auteurs stellen vast dat het optimale planningsbeleid volgt uit een "Principe van Uitstel". Dit principe dicteert dat het kopen van elektriciteit uit het net moet worden uitgesteld totdat het strikt noodzakelijk is om deadlines te halen, en omgekeerd dat lokale hernieuwbare opwekking prioriteit moet krijgen voor direct verbruik of uitvoer, gebaseerd op toekomstige prijs- en opwekrisico's.

Structurele Karakterisering van het Optimale Beleid

Door middel van rigoureuze analyse van de Bellman-vergelijking bewijst het artikel dat het optimale beleid kan worden gereduceerd van een oneindig-dimensionale ruimte naar een eindig-dimensionale Euclidische ruimte, gedefinieerd door drie uitstelparameters (drempelwaarden) voor elke tijdstap $t$ :

$\theta^-_t(g_t)$ : Een ondergrens voor resterende uitstelbare vraag. Onder deze grens prioriteert het systeem het uitvoeren van lokale opwekking boven het bedienen van uitstelbare vraag, zelfs als dit betekent dat de belasting verder wordt uitgesteld.
$\theta^+_t(g_t)$ : Een bovengrens. Boven deze grens moet het systeem agressief de uitstelbare vraag bedienen met zowel lokale opwekking als netinkopen om voltooingsboetes te vermijden.
$\theta^0_t(g_t)$ : Een parameter die het "netto-nul" gebied regelt, waarin het huishouden noch invoert noch uitvoert.

Deze drempelwaarden partitioneren de toestandsruimte in drie distincte operationele modi:

Netto-producerend: Lokale opwekking overschrijdt de vraag; overtollige energie wordt uitgevoerd.
Netto-verbruikend: De vraag overschrijdt de lokale opwekking; netstroom wordt ingekocht.
Netto-nul: Lokale opwekking komt exact overeen met de vraag; geen netinteractie.

Binnen deze gebieden definieert het beleid een prioriteitsstructuur voor het toewijzen van lokale opwekking aan niet-uitstelbare vraag, uitstelbare vraag en uitvoer. Bijvoorbeeld, in het "netto-nul" gebied balanceert het beleid de marginale nut van niet-uitstelbare apparaten tegen de marginale waarde van het bedienen van uitstelbare last, bepaald door de specifieke drempelwaarden.

Versterkend Leren met Uitsteldrempels (PTRL)

Om het MDP op te lossen wanneer onderliggende kansverdelingen onbekend zijn, stellen de auteurs PTRL voor, een gestructureerd Reinforcement Learning (RL) algoritme.

Dimensiereductie: In plaats van een volledig actiebeleid te leren over de continue $(K+1)$ -dimensionale ruimte (waarbij $K$ het aantal niet-uitstelbare apparaten is), leert PTRL slechts de drie uitsteldrempels ( $\theta_t$ ).
Algoritme-architectuur: PTRL maakt gebruik van een Soft Actor-Critic (SAC) raamwerk. Het "Actor"-netwerk voert het gemiddelde en de covariantie van de uitsteldrempels uit op basis van de huidige toestand. Het "Critic"-netwerk schat de waarde (Q-functie) van een toestand-drempelpaar.
Beleidsexecutie: Zodra de drempels zijn gegenereerd door de actor, worden de daadwerkelijke planningsacties (levertarieven) deterministisch berekend met behulp van de structurele regels die in Stelling 2 zijn afgeleid.

3. Belangrijkste Resultaten

Theoretische Bijdragen

Optimaliteit van Uitstel: Het artikel bewijst formeel dat voor zowel tijdsinvariante als tijdsvariante NEM-tarieven het optimale beleid wordt gekenmerkt door de drie uitsteldrempels. Dit reduceert de complexiteit van het planningsprobleem aanzienlijk.
Lineaire Tijdsafhankelijkheid: Voor tijdsafhankelijke opwekmodellen toont het artikel aan dat de uitsteldrempels voldoen aan een lineaire tijdsafhankelijkheid ( $\theta^+_t = \theta^+_{t+1} + \bar{v}$ ), wat het aantal te leren parameters verder reduceert.

Numerieke Prestaties

Experimenten werden uitgevoerd met real-world datasporen van het Adaptive Charging Network (ACN) voor EV-vraag en de Pecan Street-dataset voor zonne-energie en huishoudelijk verbruik.

Convergentie: PTRL convergeerde aanzienlijk sneller (ongeveer 800 episodes voor onafhankelijke modellen, 2.000 voor Markoviaanse modellen) in vergelijking met standaard benchmarks zoals SAC en DDPG, die respectievelijk ongeveer 6.000 en 2.000 episodes vereisten.
Optimaliteitskloof: Onder synthetische testdata die overeenkwamen met de trainingsverdeling, bereikte PTRL een kloof met het optimale beleid van slechts 3,34%, vergeleken met 36,76% voor SAC en 25,91% voor DDPG.
Robuustheid met Velddata: Bij testen met out-of-sample velddata overtrof PTRL alle benchmarks (SAC, DDPG en Model Predictive Control) met aanzienlijke marges (bijvoorbeeld ~107% verbetering ten opzichte van SAC). Dit bevestigt de robuustheid van het algoritme voor modelmismatch en real-world stochastiek.
Berekenings-efficiëntie: PTRL toonde een significant rekenkundig voordeel ten opzichte van Model Predictive Control (MPC), ongeveer 19 keer sneller in evaluatietijd, waardoor het geschikt is voor online implementatie.
Benutting van Energiebronnen: PTRL leerde effectief om hernieuwbare energie te prioriteren tijdens daluren (wanneer uitvoerprijzen lager zijn) en hoogwaardige hernieuwbare energie in piekuren op te slaan voor uitvoer, een strategie die standaard benchmarks minder effectief wisten te repliceren.

4. Betekenis en Claims

Het artikel claimt dat de primaire bijdrage de structurele karakterisering is van het optimale beleid voor een complex, real-world energieplanningsprobleem. Door het "Principe van Uitstel" te identificeren, transformeren de auteurs een onhandelbaar, oneindig-dimensionaal MDP in een laag-dimensionaal parameter-schattingprobleem.

De betekenis van dit werk ligt in:

Brug tussen Theorie en Praktijk: Het biedt een theoretische onderbouwing (drempelbeleid) die de ontwikkeling mogelijk maakt van zeer efficiënte, datagedreven leeralgoritmen (PTRL) die zowel standaard RL als traditionele besturingsmethoden (MPC) overtreffen.
Omgaan met Niet-lineaire Prijzen: In tegenstelling tot eerdere werken die vaak lineaire groothandelsprijzen veronderstellen, behandelt dit artikel de stuksgewijs lineaire, tijdsvariante aard van gereguleerde retail NEM-tarieven, wat cruciaal is voor praktische implementatie in residentiële en commerciële omgevingen.
Gecombineerde Optimalisatie: Het is het eerste werk dat uitstelbare en niet-uitstelbare vraag gecombineerd plant met gecombineerde stochastische aanbodbronnen, waarbij de inter-temporele afhankelijkheden en economische afwegingen die inherent zijn aan moderne prosumer-systemen worden vastgelegd.

De auteurs tonen bescheidenheid wat betreft toekomstige uitbreidingen, met de opmerking dat het huidige raamwerk bekende nutfuncties voor niet-uitstelbare vraag en één type uitstelbare taak veronderstelt. Zij suggereren dat toekomstig werk zou kunnen bestaan uit het integreren van online inverse optimalisatie om nutten te leren en het uitbreiden van het raamwerk naar meerdere gelijktijdige uitstelbare taken.