⚡ electrical engineering

Safe Deep Reinforcement Learning for Building Heating Control and Demand-side Flexibility

Dit paper introduceert een veilige deep reinforcement learning-structuur met een real-time adaptief veiligheidsfilter die de verwarming van gebouwen optimaliseert om netflexibiliteit te bieden, waarbij tot 50% kostenbesparing wordt bereikt ten opzichte van regelgebaseerde controllers terwijl de naleving van systeemoperatoren en het comfort van bewoners gewaarborgd blijven.

Oorspronkelijke auteurs: Colin Jüni, Mina Montazeri, Yi Guo, Federica Bellizio, Giovanni Sansavini, Philipp Heer

Gepubliceerd 2026-04-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Colin Jüni, Mina Montazeri, Yi Guo, Federica Bellizio, Giovanni Sansavini, Philipp Heer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Slimme Thermostaat die Altijd Beloften Houdt

Stel je voor dat je huis een enorme, levende machine is die energie verbruikt om warm te blijven. In de toekomst wordt onze stroom steeds vaker gemaakt door de zon en de wind. Het probleem? De zon schijnt niet altijd en de wind waait niet altijd op het moment dat we het het hardst nodig hebben. Om het elektriciteitsnet stabiel te houden, moeten huizen soms hun energieverbruik aanpassen: minder verbruiken als er weinig stroom is, en meer als er een overschot is. Dit noemen we vraagflexibiliteit.

Maar hoe doe je dat zonder dat het koud wordt in huis of je portemonnee leegloopt? En hoe weet je zeker dat je de belofte aan het energienet ook echt houdt?

Dit artikel beschrijft een slimme oplossing die twee wereldjes combineert: kunstmatige intelligentie (AI) en een veiligheidscontrole.

1. De Slimme Leerling (De AI)

Stel je een jonge, zeer slimme thermostaat voor. We noemen deze AI een "Deep Reinforcement Learning" agent.

Hoe werkt het? Deze thermostaat is als een kind dat leert fietsen. Het probeert van alles: soms zet hij de verwarming heel hard aan, soms heel zacht. Als het warm is en de stroom goedkoop is, krijgt hij een "sterretje" (beloning). Als het koud wordt of de stroom duur is, krijgt hij een "veeg" (straf).
Het doel: Na veel proberen leert deze AI de perfecte balans: het huis warm houden, maar zo goedkoop mogelijk, en slim inspelen op de prijs van stroom.
Het probleem: Omdat deze AI leert door te proberen, kan het soms een foutje maken. Stel, het net vraagt: "Verbruik morgenochtend 30% minder!" De AI denkt: "Oké, ik ga de verwarming uitzetten." Maar misschien zet hij hem te lang uit, waardoor het huis te koud wordt, of hij verbruikt toch te veel. De AI is slim, maar niet altijd 100% betrouwbaar als het gaat om strenge regels.

2. De Strakke Coach (De Veiligheidsfilter)

Hier komt de echte innovatie van dit artikel om de hoek kijken: de Real-time Adaptive Safety Filter.

De analogie: Stel je voor dat de AI de bestuurder is van een raceauto. Hij wil zo snel mogelijk gaan (zo goedkoop mogelijk stroom). Maar er zit een coach naast hem met een rem. Deze coach kijkt continu naar de snelheid en de regels van de race.
Hoe werkt het? De AI zegt: "Ik ga de verwarming nu op 80% zetten!" De coach kijkt direct: "Wacht even, we hebben een afspraak gemaakt om de komende uren minder te verbruiken. Als je op 80% blijft, haal je die afspraak niet."
De aanpassing: De coach grijpt in en zegt: "Oké, we doen het op 60%." Dit gebeurt in een fractie van een seconde. De coach zorgt ervoor dat de AI altijd binnen de regels blijft, zelfs als de AI zelf even vergeten is wat de regels waren.
Slimme aanpassing: Deze coach is niet star. Als het buiten heel koud is en het risico is groot dat het huis te koud wordt, maakt de coach de regels iets soepeler om comfort te garanderen. Als de stroomprijs juist heel laag is, maakt hij de regels iets strenger om geld te besparen. Hij past zich continu aan.

3. Wat hebben ze getest?

De onderzoekers hebben dit systeem getest in een echt appartement in Zwitserland (het UMAR-appartement in het NEST-gebouw). Ze hebben gekeken naar drie scenario's:

De oude manier: Een simpele thermostaat die alleen aan/uit gaat als het te koud of te warm is. (Dit is duur en niet flexibel).
De AI alleen: De slimme thermostaat die leert. (Dit is goedkoper en comfortabeler, maar soms faalt hij in het houden van afspraken met het energienet).
De AI + De Coach: De slimme thermostaat met de veiligheidsfilter.

4. De Resultaten: Een Win-Win

De resultaten waren indrukwekkend:

Geld: De combinatie van AI en Coach bespaarde tot 50% minder kosten dan de oude thermostaat.
Comfort: Het huis bleef net zo comfortabel als bij de oude methode, soms zelfs beter omdat de temperatuur minder schommelde.
Betrouwbaarheid: Het enige wat de "AI alleen" soms niet kon, deed de "AI + Coach" perfect: 100% van de afspraken met het energienet werden nagekomen.

Conclusie in één zin

Dit onderzoek laat zien dat we een slimme, lerende AI kunnen gebruiken om onze verwarming te sturen, zolang we er maar een strenge, slimme "coach" bij zetten die zorgt dat de AI nooit de regels breekt. Zo krijgen we een huis dat goedkoop, comfortabel én betrouwbaar is voor het energienet.

Het is alsof je een Formule 1-auto laat rijden door een beginnend coureur, maar met een ervaren piloot die de rem bedient op de momenten dat het gevaarlijk wordt. Het resultaat? Sneller, veiliger en altijd binnen de baan.

Probleemstelling

Gebouwen zijn verantwoordelijk voor ongeveer 40% van het wereldwijde energieverbruik. Met de toenemende integratie van intermitterende hernieuwbare energiebronnen (zoals wind en zonne-energie) is het essentieel om vraagzijdige flexibiliteit (demand-side flexibility) te bieden om de stabiliteit van het elektriciteitsnet te waarborgen.
Bestaande regelstrategieën voor verwarming, ventilatie en airconditioning (HVAC) hebben echter beperkingen:

Regelgebaseerde besturing (RBC): Is simpel maar kan niet effectief inspelen op fluctuerende energieprijzen, bezettingspatronen of hernieuwbare beschikbaarheid.
Model Predictive Control (MPC): Vereist nauwkeurige fysieke modellen en is computatierijk, wat de schaalbaarheid beperkt.
Deep Reinforcement Learning (DRL): Biedt een data-gedreven alternatief dat complexe dynamische omgevingen kan leren, maar heeft een inherent veiligheidsrisico. DRL-agenten zijn exploratief en kunnen tijdens het leren of in onvoorspelbare situaties beleidsovertredingen begaan die het thermisch comfort van bewoners schaden of de verplichtingen aan netbeheerders (flexibiliteitsverzoeken) schenden.

Er is dus behoefte aan een aanpak die de leerkracht van DRL combineert met strikte veiligheidsgaranties om zowel comfort, kosten en netstabiliteit te optimaliseren zonder de veiligheid te riskeren.

Methodologie

De auteurs stellen een veilig DRL-besturingskader voor dat specifiek is ontworpen voor ruimteverwarming met een warmtepomp, met als doel vraagzijdige flexibiliteit te bieden. De architectuur bestaat uit drie kerncomponenten:

DRL-Controller (DDPG):
- Er wordt gebruikgemaakt van het Deep Deterministic Policy Gradient (DDPG) algoritme, geschikt voor continue actie-ruimtes (zoals de openingsgraad van een klep).
- De agent leert een optimale verwarmingsstrategie door interactie met een gebouwdynamisch model.
- Toestand (State): Omvat zonne-instraling, buitentemperatuur, kamertemperatuur, burenkamertemperatuur, tijdsgegevens, het huidige verwarmingscenario, het flexibiliteitsvenster, en het reeds verbruikte energiebudget.
- Beloning (Reward): Een functie die een balans zoekt tussen thermisch comfort (straf voor temperatuurafwijkingen), elektriciteitskosten en naleving van flexibiliteitsverzoeken.
Thermisch Model (PCNN):
- Voor de simulatie wordt een Physically Consistent Neural Network (PCNN) gebruikt. Dit is een hybride model dat lineaire fysische kennis combineert met een niet-lineair neuronaal netwerk voor ongedwongen dynamiek. Dit zorgt voor nauwkeurige en interpreteerbare temperatuurvoorspellingen zonder een volledig fysiek model te vereisen.
Real-time Adaptieve Veiligheidsfilter (RASF):
- Dit is de kerninnovatie. Omdat de DRL-agent niet gegarandeerd altijd aan flexibiliteitsverzoeken voldoet, fungeert de RASF als een tussenlaag.
- De filter berekent een veilige actie ( $u_{safe,t}$ ) op basis van het resterende energiebudget en de resterende tijd van het flexibiliteitsvenster.
- De filter past een tolerantie ( $\tau_t$ ) dynamisch aan op basis van twee factoren:
  - Thermische flexibiliteit: Hoe dicht de kamertemperatuur bij de comfortgrenzen komt (meer tolerantie nodig om comfort te behouden).
  - Prijsvoordeel: Hoe laag de elektriciteitsprijs is (meer tolerantie om goedkoop energie te verbruiken).
- De uiteindelijke actie wordt begrensd tussen een maximaal en minimaal toegestaan niveau om te garanderen dat het cumulatieve energieverbruik binnen het door de netbeheerder opgelegde budget blijft.

Belangrijkste Bijdragen

Model-vrij Real-time Veiligheidsfilter: Een filter dat geen voorafgaande kennis van het systeemmodel vereist. Het past besturingsacties in real-time aan op basis van kamertemperatuur en elektriciteitsprijs om strikte naleving van flexibiliteitsverzoeken te garanderen.
Integratie in DRL-kader: De succesvolle koppeling van de RASF aan een DRL-gebaseerd besturingssysteem voor vraagzijdige flexibiliteit, waardoor veilige bediening mogelijk is zonder de prestaties van de controller te ondermijnen.
Validatie in een "Living Laboratory": De methode is getest met data van het UMAR-appartement in het NEST-gebouw van Empa (Zwitserland), wat een realistische simulatie biedt van thermische dynamiek en bewonerscomfort.

Resultaten

De methode is getest in een simulatie over een periode van één maand en vergeleken met drie andere scenario's: een regelgebaseerde controller (RB), een DRL-controller zonder flexibiliteit, en een DRL-controller met flexibiliteit maar zonder veiligheidsfilter.

Kostenbesparing: De DRL-controller met het veiligheidsfilter (Case IV) boekte een kostenbesparing van 64,5% ten opzichte van de regelgebaseerde controller.
Energieverbruik: Er werd tot 50% besparing op energiekosten bereikt ten opzichte van de regelgebaseerde controller.
Flexibiliteitsnaleving: In tegenstelling tot de standalone DRL-controller (die soms flexibiliteitsverzoeken niet volledig nakwam), garandeerde de RASF 100% naleving van de door de netbeheerder opgelegde energiebegrotingen.
Comfort: Hoewel de naleving van flexibiliteitsverzoeken leidde tot een minimale toename van comfortovertredingen (temperatuurafwijkingen) ten opzichte van de DRL zonder filter, bleef dit verwaarloosbaar in vergelijking met de enorme winst in kosten en netstabiliteit. De controller presteerde aanzienlijk beter dan de regelgebaseerde controller qua comfort (45,5% verbetering).

Betekenis en Conclusie

Dit onderzoek demonstreert dat Safe Reinforcement Learning (SRL) een haalbare en krachtige oplossing is voor het beheer van gebouwenergie in een decarboniserend energiesysteem.

Veiligheid: De RASF lost het kritieke probleem van DRL op: het risico op onveilige acties. Het zorgt ervoor dat gebouwen kunnen fungeren als actieve deelnemers aan netbalancering zonder contractuele verplichtingen te schenden.
Schaalbaarheid: Omdat de aanpak model-vrij is (geen gedetailleerd fysiek model nodig), is deze beter schaalbaar naar diverse gebouwtypen dan traditionele MPC-methoden.
Toekomstperspectief: De studie benadrukt dat flexibiliteitsverzoeken tijdens extreme weersomstandigheden zorgvuldig moeten worden gecoördineerd om comfortovertredingen te minimaliseren. De methode opent de weg voor intelligente, veilige en kostenefficiënte gebouwbeheersystemen die essentieel zijn voor de integratie van hernieuwbare energie.