⚡ electrical engineering

Forecast-Assisted Deep Reinforcement Learning for Energy Management of Hydrogen-Enabled Community Microgrids

Dit artikel toont aan dat het integreren van imperfecte multi-horizon community load-voorspellingen in een Proximal Policy Optimization (PPO) controller voor een waterstofgestuurde microgrid de leerconvergentie versnelt en bescheiden economische winsten en verbeteringen in hernieuwbaar gebruik oplevert, ondanks de lage nauwkeurigheid van de voorspellingen en het gebrek aan een meetbare verbetering in veerkracht.

Oorspronkelijke auteurs: Mohamed Atef, Sanath Alahakoon, Umme Mumtahina, Peter Wolfs, Tamer Khatib, Moslem Uddin

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Atef, Sanath Alahakoon, Umme Mumtahina, Peter Wolfs, Tamer Khatib, Moslem Uddin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een buurt voor waar elk huis zijn eigen kleine elektriciteitscentrale heeft, zoals zonnepanelen op het dak of een kleine windturbine. Stel je nu voor dat deze buurt, in plaats van deze simpelweg aan het hoofdnet te koppelen, probeert zichzelf te besturen als een kleine, onafhankelijke stad. Dit wordt een "microgrid" genoemd. De grote uitdaging? De zon schijnt niet altijd, de wind waait niet altijd, en mensen gebruiken niet altijd op hetzelfde moment elektriciteit. Soms is er te veel vermogen, soms is er te weinig. Om dit op te lossen, gebruiken deze buurten "batterijen" (zoals reusachtige telefoonopladers) om extra stroom voor later op te slaan. Maar batterijen zijn duur en raken snel leeg. Daarom proberen wetenschappers een nieuwe truc: het gebruik van waterstof. Denk aan waterstof als een superbatterij die energie weken of maanden lang kan vasthouden. Je verandert overtollige elektriciteit in waterstofgas, slaat het op in een tank, en zet het weer om in elektriciteit wanneer je het nodig hebt. De grote vraag is: hoe beheer je al deze bewegende delen—zon, wind, batterijen, waterstof en het hoofdnet—zonder geld te verspillen of zonder stroom tekort te komen?

Dit artikel gaat over het leren van een computerbrein (een kunstmatige intelligentie) om de slimme manager van een dergelijke buurt te zijn. De onderzoekers wilden zien of het de AI een "glazen bol" (een voorspelling) zou geven om te voorspellen wat de energiebehoeften van de buurt in de toekomst zullen zijn, of dat dit de AI een betere manager zou maken. Ze testten dit op een gesimuleerde buurt van 1.000 huizen in Rockhampton, Australië, met een mix van zon, wind, batterijen en waterstof.

Hier is het verhaal van wat ze ontdekten.

Het Probleem van de Glazen Bol

De onderzoekers bouwden een speciale AI-manager met behulp van een methode genaamd "Deep Reinforcement Learning". Je kunt deze AI zien als een videogame-personage dat leert door dingen uit te proberen. Als het een goede zet doet (zoals geld besparen), krijgt het een punt. Als het een slechte zet doet (zoals energie verspillen), verliest het punten. Na verloop van tijd leert het de beste strategie.

Normaal gesproken kijkt deze AI alleen naar wat er op dit moment gebeurt. Het ziet dat de zon schijnt en de batterij vol is, en besluit dan wat te doen. Maar de onderzoekers vroegen zich af: Wat als we de AI een voorspelling gaven? Wat als het de weersomstandigheden en de energiebehoeften van de buurt voor de komende 1, 6, 12 of zelfs 24 uur kon zien? Zou het een genie-manager worden?

Ze gebruikten een geavanceerd type AI genaamd een "Transformer" (hetzelfde soort technologie dat wordt gebruikt bij sommige chatbots) om deze voorspellingen te doen. Maar hier komt de wending: de glazen bol was niet perfect. Sterker nog, hij was behoorlijk rommelig.

Voor de komende 1 uur was de voorspelling oké, maar niet geweldig.
Voor 6 en 12 uur in de toekomst waren de voorspellingen eigenlijk slechter dan gewoon het gemiddelde raden! De wiskunde liet zien dat het model in de war was.
Voor 24 uur was het iets beter dan de 12-uurs gok, maar nog steeds verre van perfect.

Het Verrassende Resultaat: Imperfect is Toch Nuttig

Je zou kunnen denken: "Als de glazen bol kapot is, waarom zouden we er dan de moeite voor doen?" Maar hier is de magie van het artikel: Zelfs een kapotte glazen bol hielp de AI-manager om geld te besparen.

Toen de onderzoekers de AI gebruikten met deze imperfecte voorspellingen, leerde deze sneller en maakte deze betere beslissingen dan de AI die alleen naar het heden keek.

Leersnelheid: De AI met de voorspelling leerde zijn strategie ongeveer 14,3% sneller (het bereikte zijn beste prestaties in ongeveer 30 trainingssessies in plaats van 35).
Gespaard Geld: Over een heel jaar bespaarde de buurt met de "imperfecte voorspelling"-AI A$2.765,83. De buurt zonder de voorspelling bespaarde slechts A$2.439,86. Dat is een extra A$325,97 in de zak, puur door een iets betere gok over de toekomst te hebben.
Groene Stroom: De buurt gebruikte een beetje meer van zijn eigen zon- en windenergie, van 35,3% naar 36,4%.

Wat de AI Wel (en Niet) Deed

De AI werd geen superheld die alle stroomuitval stopte of alle verspilling elimineerde.

Het Goede: Het werd beter in timing. Het wist wanneer het de batterijen moest opladen en wanneer het stroom terug moest verkopen aan het hoofdnet om de beste prijs te krijgen. Het gedroeg zich als een slimme shopper die weet dat er morgen een uitverkoop is, en dus wacht met kopen.
Het Minder Goede: De voorspelling hielp niet veel bij grote noodsituaties. Wanneer de onderzoekers een stroomstoring simuleerden (een netuitval), deed de AI met de voorspelling precies hetzelfde als de AI zonder de voorspelling. De "glazen bol" maakte de buurt niet veerkrachtiger tegen rampen in deze test; de batterijen en waterstoftanks deden dat werk, ongeacht de voorspelling.
De Limieten: De voorspelling voorkwam niet dat de buurt wat energie verspilde (genaamd "curtailment"), en het verlaagde het piekverbruik van elektriciteit ook niet aanzienlijk. De grote winst was puur economisch: het timen van de juiste momenten om wat dollars te besparen.

De Kern van het Verhaal

Dit artikel leert ons een waardevolle les over de toekomst van slimme energie: Je hebt geen perfecte voorspelling nodig om een beter resultaat te krijgen. Zelfs als je weer-app soms fout zit, helpt het weten van iets over de toekomst je om vandaag slimmere keuzes te maken.

De onderzoekers lieten zien dat door deze "imperfecte" voorspellingen toe te voegen aan hun AI-manager, ze een beetje extra besparingen en efficiëntie konden uitwringen. Ze benadrukken echter zeer voorzichtig dat dit geen magische oplossing voor alles is. De voorspellingen waren nog steeds behoorlijk onnauwkeurig, en het systeem loste niet alle problemen op (zoals het onbreekbaar maken van het net tijdens stormen). Maar het bewijst dat zelfs een wankele gok over de toekomst beter is dan helemaal geen idee hebben. Het is als rijden met een licht wazige kaart: je raakt misschien nog steeds verdwaald, maar je komt waarschijnlijk sneller op de bestemming aan en met minder benzine dan wanneer je met een blinddoek om zou rijden.

Technische Samenvatting: Voorspellingsgestuurd Deep Reinforcement Learning voor Energiebeheer van Waterstofgestuurde Community Microgrids

1. Probleemstelling

Community microgrids die waterstofopslag integreren, bieden een pad om het gebruik van hernieuwbare energie en lokale veerkracht te verbeteren. De exploitatie ervan wordt echter bemoeilijkt door onzekere residentiële vraag, variabele hernieuwbare opwekking, dynamische elektriciteitsprijzen en de gekoppelde dynamiek van kortetermijnbatterijopslag en langdurige waterstofopslag.

Bestaande energiesystemen (EMS) vertrouwen vaak op regelgebaseerde controle of deterministische optimalisatie, die moeite hebben met het aanpassen aan snelle veranderingen in hernieuwbare productie en vraag. Hoewel Deep Reinforcement Learning (DRL), specifs Proximal Policy Optimization (PPO), al is toegepast op dergelijke systemen, werkten eerdere iteraties (bijv. [12]) reactief op basis van instantane observaties zonder expliciet toekomstige lastinformatie te incorporeren. Dit artikel adresseert de kloof in het ontwikkelen van een voorspellend controleframework dat multi-horizon lastvoorspellingen integreert in de DRL-toestandsruimte om de economische dispatch en leerrendement te verbeteren, specifiek binnen de context van een waterstofgestuurd community microgrid.

2. Methodologie

2.1. Systeemarchitectuur

De studie evalueert een residentieel microgrid van 1000 huishoudens in Rockhampton, Australië, bestaande uit:

Opwekking: Fotovoltaïsche (PV) arrays en windturbines.
Opslag: Een Battery Energy Storage System (BESS) voor kortetermijnbalancering en een waterstofsubsysteem (elektrolyser, opslagtanks, brandstofcel) voor langdurige autonomie.
Netinteractie: Import/export mogelijkheden met het nutsbedrijf.
Wiskundig Model: Het systeem wordt gemodelleerd in discrete tijd met vermogensbalansvergelijkingen die opwekking, opslag, waterstofconversie en netuitwisseling koppelen.

2.2. Voorspellingsframework

Een Transformer-gebaseerd voorspellingsmodel wordt ingezet om de community-last over meerdere horizonten ( $H \in \{1, 6, 12, 24, 48, 72\}$ uur) te voorspellen.

Inputkenmerken: Historische last, instraling, omgevingstemperatuur, windsnelheid, elektriciteitsprijzen en temporele indicatoren.
Architectuur: Het model maakt gebruik van input embeddings, positional encoding en multi-head self-attention mechanismen om langetermijn temporele afhankelijkheden te vangen.
Prestaties: Het model wordt onafhankelijk getraind en bevroren voordat het in het EMS wordt geïntegreerd. Evaluatiemetrieken zijn RMSE, MAE, MAPE, $R^2$ en correlatie.

2.3. Voorspellend Energy Management System (EMS)

De kernbijdrage is de uitbreiding van een PPO-gebaseerde controller naar een voorspellingsgestuurd framework.

Toestandsruimte Augmentatie: De standaard PPO-toestand (batterij SOC, waterstofniveau, huidige prijzen, etc.) wordt uitgebreid met de multi-horizon lastvoorspellingsvector ( $\hat{P}_{L, t+1:t+H}$ ).
Actieruimte: Continue acties voor batterij laden/ontladen, dieselgenerator dispatch (tijdens uitval) en waterstofproductie/consumptie.
Beloningsfunctie: Ontworpen om operationele kosten (netimport/export, degradatie, onvervulde vraag) te minimaliseren, terwijl operaties nabij opslagextremen worden bestraft.
Training: De PPO-agent leert de gedisconteerde cumulatieve beloning te maximaliseren. De studie vergelijkt vier scenario's:
1. Geen batterij (fysieke baseline).
2. PPO zonder voorspellingen (reactief).
3. PPO met imperfecte voorspellingen (voorgesteld).
4. PPO met perfecte voorspellingen (theoretische bovengrens).

3. Belangrijkste Bijdragen

Multi-Horizon Voorspellingsevaluatie: Een uitgebreide evaluatie van community-lastvoorspelling op 1, 6, 12, 24, 48 en 72-uur horizonten met behulp van een Transformer-architectuur.
Voorspellingsverrijkte PPO-controller: Ontwikkeling van een voorspellend EMS waarbij toekomstige lastverwachtingen direct in de DRL-toestand worden ingebed, waardoor het beleid vraagpieken en prijsveranderingen kan anticiperen.
Kwantitatieve Isolatie van Voorspellingswaarde: Een rigoureuze vergelijking die de operationele waarde van voorspellingsinformatie isoleert door de voorspellingsgestuurde PPO te contrasteren met niet-predictieve PPO en perfect-forecast benchmarks.
Holistische Beoordeling: Rapportage over economische, operationele, milieutechnische en veerkracht-impact, waarbij expliciet rekening wordt gehouden met beperkingen wat betreft voorspellingsnauwkeurigheid en specifieke componenttrajecten.

4. Resultaten

4.1. Voorspellingsnauwkeurigheid

De prestaties van de voorspelling waren gemengd en horizon-afhankelijk:

1-uur horizon: Behaalde de beste prestaties met een RMSE van 239,32 kW en $R^2 = 0,201$ .
Intermediaire horizonten (6u, 12u): Presteerden slecht, met negatieve $R^2$ -waarden ($-0,757$ en $-1,914$), wat duidt op prestaties die slechter zijn dan een gemiddelde-waarde voorspeller.
24-uur horizon: RMSE van 249,79 kW, MAPE van 62,52% en $R^2$ van 0,126.
Langere horizonten (48u, 72u): RMSE stabiliseerde rond de 246–247 kW met $R^2$ -waarden iets boven 0,1.

4.2. Leer- en Economische Prestaties

Ondanks de beperkte voorspellende nauwkeurigheid, toonde de voorspellingsgestuurde PPO significante voordelen:

Convergentie: De voorspellingsgestuurde controller convergeerde ongeveer 14,3% eerder (Episode 30 vs. 35) dan de niet-predictieve controller.
Verbetering van Beloning: De uiteindelijke beloning steeg met 8,3% vergeleken met de niet-predictieve baseline.
Jaarlijkse Besparingen:
- Zonder voorspellingen: A$2.439,86.
- Met voorspellingen: A$2.765,83.
- Incrementele Winst: A$325,97 (13,4% toename).
- Het geïmplementeerde model legde ongeveer 90,5% van de besparingen vast die haalbaar zijn met perfecte voorspellingen.
Hernieuwbaar Gebruik: Steeg van 35,3% (geen voorspelling) naar 36,4% (met voorspelling).
Netimport: Verminderd met 170,15 kWh ten opzichte van de niet-predictieve situatie.

4.3. Operationele en Veerkracht-bevindingen

Piekbelasting & Curtailment: Voorspelling verminderde de netto piekbelasting niet significant (slechts 0,65 kW reductie) of curtailment; sterker nog, de curtailment was iets hoger met voorspellingen. De primaire waarde lag in de economische timing in plaats van in peak shaving.
Veerkracht: Tijdens scenario's van netuitval bood de batterij/controller configuratie een beschermingswaarde van 20,1% vergeleken met het hebben van geen batterij. Echter, er werd geen meetbare verbetering in veerkracht waargenomen tussen de voorspellingsgestuurde en de niet-predictieve controller; de voorspelling verbeterde de afhandeling van uitval niet in de geteste stressscenario's.
Milieu-impact: Voorspelling verminderde de netimport-gerelateerde emissies met een extra 85,08 kg CO2 vergeleken met de niet-predictieve situatie. Grote gerapporteerde emissiereducties werden gedreven door export-credit boekhouding in plaats van directe fysieke emissiereducties.

5. Betekenis en Claims

Het artikel concludeert dat imperfecte voorspellingen nog steeds de DRL-lering en economische dispatch kunnen verbeteren, zelfs wanneer de voorspellingsnauwkeurigheid (gemeten via $R^2$ ) laag of negatief is voor bepaalde horizonten. De controller slaagde erin nuttige temporele structuren uit de voorspellingen te extraheren om de opslagplanning en nettransacties te optimaliseren.

De auteurs hanteren echter een bescheiden standpunt met betrekking tot de bredere implicaties:

Beperkte Scope: De resultaten ondersteunen geen claims van superieure voorspellingsnauwkeurigheid, grote reductie van piekbelasting of voorspellingsversterkte veerkracht.
Specifieke Waarde: De waarde van voorspelling is primair economisch (kostenbesparing) en gerelateerd aan leerrendement (snellere convergentie), in plaats van fysieke netstabiliteit of piekreductie.
Toekomstige Vereisten: Het artikel benadrukt dat voordat er claims kunnen worden gemaakt over bredere implementatie, verder werk nodig is op het gebied van voorspellingskalibratie, langer durende uitvalsstudies en de rapportage van component-niveau trajecten (specifiek de werking van de waterstof-elektrolyser en brandstofcel) om te verifiëren hoe voorspellingen de langdurige opslagbeheer beïnvloeden.

De studie dient als een proof-of-concept dat het integreren van multi-horizon voorspellingen in DRL-toestandsruimten tastbare economische voordelen oplevert in complexe, waterstofgestuurde microgrids, zelfs wanneer de onderliggende voorspellingsmodellen niet zeer accuraat zijn.