⚡ electrical engineering

Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC

Dit artikel presenteert een eenmaandse veldimplementatie waarin Model Predictive Control (MPC) en Model-Based Reinforcement Learning (RL) voor residentiële HVAC worden vergeleken, waarbij wordt aangetoond dat hoewel beide vergelijkbare energiebesparingen bereikten (respectievelijk 18,1% en 20,9%) met vergelijkbare gegevensbehoeften, RL aanzienlijk minder engineeringinspanning vereiste maar aanvankelijk het comfort van de bewoners in gevaar bracht door veiligheids- en initialisatieproblemen.

Oorspronkelijke auteurs: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het verwarmings- en koelsysteem van je huis voor als een zeer enthousiaste, maar ietwat domme robotbediende. Zijn enige taak is om het huis op de temperatuur te houden die je op een draaiknop instelt. Als je hem vertelt dat hij op 20°C moet blijven, zal hij de verwarming laten loeien tot de 20°C is bereikt, om vervolgens uit te schakelen, om alleen maar weer aan te gaan wanneer het huis afkoelt. Deze "instellen en vergeten"-methode werkt wel, maar is verspillend. Het is alsof je een auto bestuurt met je voet aan het gaspedaal geplakt, waarbij je alleen op de rem trapt wanneer je bijna een botsing maakt, in plaatsast de voet soepel van het gaspedaal te halen vóór de stoplijn.

Om dit op te lossen, proberen wetenschappers de robot slimmer te maken. Er zijn twee belangrijke manieren om dit te doen. De eerste is alsof je de robot een gedetailleerde kaart en een natuurkundeboek geeft. Dit wordt Model Predictive Control (MPC) genoemd. De robot gebruikt de kaart om precies te berekenen hoe het huis de komende dag zal opwarmen of afkoelen, en plant zijn zetten perfect om energie te besparen terwijl hij jou comfortabel houdt. De tweede manier is Reinforcement Learning (RL). In plaats van een kaart, geef je de robot een beloningssysteem: "Goed gedaan als je energie bespaart, slecht gedaan als je het huis te koud maakt." De robot leert door middel van vallen en opstaan, waarbij hij door te kijken naar wat er gebeurt, de beste zetten ontdekt – vergelijkbaar met een videogame-personage dat een level probeert te verslaan door herhaaldelijk dood te gaan totdat hij het patroon doorheeft.

De grote vraag is: welke methode is beter voor een echt huis? De tekstboekmethode (MPC) is bewezen, maar vereist een menselijke ingenieur om de kaart te bouken en de regels af te stemmen, wat veel tijd en moeite kost. De leermethode (RL) belooft het werk automatisch te doen, maar niemand wist zeker of de robot snel genoeg kon leren zonder het huis ijskoud te maken of energie te verspillen terwijl hij "dingen uitvogelde". Dit artikel haalt deze twee benaderingen uit het computerlaboratorium en plaatst ze in een echt, bewoond huis in een koud klimaat om te zien welke er in de praktijk echt werkt.

De Grote Thermostaat Showdown: Kaarten versus Leren

In een gezellig huis uit de jaren 1920 in West Lafayette, Indiana, gingen twee digitale breinen een maand lang de strijd aan. Eén brein was het Model Predictive Control (MPC) systeem, de "planner" die vertrouwt op een vooraf gebouwd model van hoe het huis op warmte reageert. De andere was Ibex-RL, een Reinforcement Learning systeem, de "leerling" die probeert het gedrag van het huis ter plekke te ontdekken terwijl het draait. Beiden hadden de taak om een warmtepomp te besturen – het hart van de verwarming van het huis – om elektriciteit te besparen terwijl de bewoners comfortabel bleven.

De Scorelijst: Wie bespaarde de meeste energie?
De resultaten waren verrassend dicht bij elkaar, als twee hardlopers die de finish bereiken met een haarbreed verschil.

De MPC-planner slaagde erin om 18,1% van de energie te besparen vergeleken met de standaard, constante temperatuurinstelling.
De RL-leerling wist er zelfs net iets bovenop te zitten en bespaarde 20,9% van de energie.

Beide methoden waren statistisch bewezen beter dan niets doen, maar het verschil tussen de twee robots was niet groot genoeg om een duidelijke winnaar te verklaren in termen van pure energiebesparing.

De Comfortfactor: Het "Te Koud" Probleem
Hier hadden de twee robots heel verschillende persoonlijkheden.
De MPC-planner was het type dat voorzichtig en regelvolgend was. Het hield zich zeer strikt aan de temperatuur die de bewoners wensten (18°C 's nachts, 20°C overdag). De bewoners waren tevreden en het systeem behield de hele tijd "acceptabele" comfortniveaus.

De RL-leerling was echter een risiconemer. Het leerde dat het huis iets koeler houden meer energie bespaarde. Als gevolg daarvan hield het huis koeler dan de bewoners prefereerden, vooral tijdens de eerste paar dagen terwijl het nog aan het "leren" was. Dit leidde tot drie meldingen van ongemak van de mensen die er woonden. Het huis werd koud genoeg dat de bewoners daadwerkelijk klaagden. Hoewel het RL-systeem zich uiteindelijk aanpaste, bracht het meer tijd door in de "te koude" zone dan het MPC-systeem.

De Inspanning: Hoe moeilijk was de installatie?
Dit is waar het verhaal interessant wordt voor iedereen die deze systemen probeert te bouwen.

MPC is als het maken van een maatpak. Er is een kleermaker (een ingenieur) nodig om maten te nemen, de stof aan te passen en de naden te verstellen. De onderzoekers schatten dat het opzetten van MPC voor een nieuw huis ongeveer vijf dagen aan tijd van een ingenieur zou kosten voor alleen de besturingslogica, plus vier dagen voor de fysieke installatie.
RL is als het kopen van een slimme, zelf aanpassende jas. Zodra het basiskader er is, past het zich aan de drager aan. De onderzoekers schatten dat het opzetten van RL voor een nieuw huis slechts ongeveer twee dagen aan controlewerk zou kosten.

Kortom, het RL-systeem vereiste ongeveer een derde minder engineeringinspanning om te implementeren dan het MPC-systeem. Het was sneller operationeel, maar dat ging gepaard met de initiële "leerkurve" waarbij de bewoners het wat koeler hadden.

De Haperingen en de "Black Box"
Het experiment was niet zonder problemen. Het RL-systeem kreeg een beetje een identiteitscrisis. Het was de bedoeling dat het de natuurkunde van het huis zou leren (hoe snel de muren afkoelen, hoeveel zonlicht er door de ramen komt), maar omdat het leerde van echte wereldgegevens zonder eerst een perfecte "simulator" te hebben om op te oefenen, werden sommige van de geleerde waarden vreemd. Zo dacht het systeem kortstondig dat zonlicht het huis afkoelde (een negatieve zonne-oppervlakte), wat fysiek onmogelijk is. Echter, het systeem was gebouwd met veiligheidshekjes (constraints) die voorkamen dat deze vreemde ideeën ervoor zorgden dat de verwarming volledig doorsloeg. Het hield het huis veilig, ook al was de interne kaart een beetje vervormd.

Het Oordeel
Dit onderzoek suggereert dat Reinforcement Learning een levensvatbaar pad is om huizen slimmer te maken en energie te besparen, wat potentieel ingenieurs veel tijd kan besparen. Het benadrukt echter ook dat RL nog geen toverstaf is. Het kan aan het begin wat "ruwer aan de randen" zijn, waarbij het risico op een gebrek aan comfort voor de bewoners loopt terwijl het zichzelf probeert te begrijpen.

Het paper concludeert dat hoewel RL een snellere, meer geautomatiseerde manier biedt om slimme controles te implementeren, het nog steeds uitdagingen heeft op het gebied van het garanderen van veiligheid en comfort tijdens de leerfase. De ideale toekomst is misschien geen keuze tussen de twee, maar een hybride: het gebruik van de veiligheid en structuur van de "planner" (MPC) om de "leerling" (RL) te begeleiden, waardoor een systeem ontstaat dat zowel gemakkelijk op te zetten is als zacht is voor het comfort van de bewoners. Voor nu geldt: als je de absoluut veiligste keuze wilt voor een nieuw huis, blijft de planner (MPC) de betrouwbare keuze. Als je de toekomst van automatisering wilt uitproberen en bereid bent om enkele koude nachten te tolereren terwijl het leert, dan is de leerling (RL) er klaar voor om een kans te krijgen.

Technische Samenvatting: Vergelijkbare Veldimplementatie van Model-Based Reinforcement Learning en Model Predictive Control voor Residentiële HVAC

Probleemstelling

Model Predictive Control (MPC) heeft een aanzienlijk potentieel aangetoond voor het verbeteren van de energie-efficiëntie in residentiële verwarmings-, ventilatie- en airconditioning-systemen (HVAC) vergeleken met standaard besturingsmethoden. De implementatie van MPC vereist echter vaak aanzienlijke engineeringinspanning, inclusief het handmatig afstemmen van fysische modellen en kostenfuncties. Reinforcement Learning (RL) biedt een veelbelovend alternatief dat de ontdekking van strategieën kan automatiseren en de last van modellering kan verminderen. Toch blijft de praktische toepassing van RL in residentiële omgevingen grotendeids onbewezen. Er bestaan kritieke hiaten met betrekking tot het comfort van bewoners tijdens de leerfase, de gegevensvereisten en de veiligheid van online adaptatie. Bovendien leunt het meeste RL-onderzoek op hoogwaardige simulators, wat een bottleneck vormt die het doel van schaalbare, "simulator-vrije" implementatie tenietdoet. Er is een gebrek aan empirische, langdurige vergelijkende studies die de afwegingen tussen MPC en RL in echte, bewoonde huizen evalueren.

Methodologie

Om deze hiaten aan te pakken, voerden de auteurs een maandlange veldimplementatie uit in een enkel bewoond vrijstaand huis in West Lafayette, Indiana, tijdens een koude winterperiode. De studie vergeleken twee supervisie-besturingsalgoritmen voor een lucht-naar-lucht warmtepomp met getrapte elektrische weerstand als back-up:

MPC Variant: Een datagedreven MPC-aanpak die een fysisch geïnformeerd systeemdynamica-model (2R1C thermisch circuit) leert via offline systeemidentificatie. Het gebruikt een Support Vector Machine (SVM) om exogene warmtetoevoegingen te voorspellen. De controller optimaliseert een kostenfunctie die een balans zoekt tussen energiekosten en thermisch ongemak, met online afstemming van de ongemaksgewicht om de tevredenheid van de bewoner te behouden.
RL Variant (Ibex-RL): Een model-gebaseerde RL-aanpak gebaseerd op het Differentiable MPC policy framework. In tegenstelling tot standaard model-vrije RL, leert Ibex-RL gelijktijdig een fysisch geïnformeerd systeemdynamica-model en een kwadratische kostenfunctie. Het hanteert een hybride offline-naar-online strategie:
- Offline Fase: Gebruikt imitatie-leren op historische data om systeemdynamica en kostenparameters te initialiseren, wat zorgt voor een "veilige maar suboptimale" start zonder een hoogwaardige simulator te vereisen.
- Online Fase: Adapteert continu zowel de dynamica-parameters ( $\theta_{state}$ ) als de kostenparameters ( $\theta_{cost}$ ) met behulp van gradiëntgebaseerde updates afgeleid van een niet-kwadratisch beloningssignaal dat de MPC-doelstelling weerspiegelt.

Experimentele Opstelling:

Besturingsactie: Beide controllers pasten de temperatuurinstelling van de thermostaat aan (verzonden via API) op basis van binnentemperatuur en elektrische vermogensmetingen.
Constraints: Beiden maakten gebruik van een 2R1C thermisch circuit model. Een harde veiligheidsrestrictie voorkwam instellingen onder de 17°C.
Baseline: Prestaties werden vergeleken met een constante instellingsbaseline (door de bewoner geprefereerd schema) en een periode zonder supervisie.
Data: Training en validatie maakten gebruik van historische data uit verschillende perioden (2022 voor MPC, 2023 voor RL). Evaluatiedata werd verzameld tijdens de 30-daagse deployment (januari–februari 2025).

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen aan de literatuur:

Eerste Empirische Vergelijking: Het biedt de eerste directe, zij-aan-zij vergelijking van MPC en model-gebaseerde RL in een bewoond residentieel huis, waarbij de focus verschuift van simulatiestudies naar de praktijk.
Langdurige RL-Deployment: Het documenteert een maandlange veldtest van een model-gebaseerd RL-algoritme (Ibex-RL) zonder het veiligheidsnet van een vooraf getrainde hoogwaardige simulator, wat inzichten biedt in langdurige adaptatie en stabiliteit.
Praktisch Roadmap: Het schetst specifieke lessen die zijn geleerd met betrekking tot modelnauwkeurigheid, veiligheidsborging en engineeringinspanning, wat een realistische beoordeling geeft van de uitdagingen bij het implementeren van geavanceerde controllers "in het wild".

Resultaten

Energiebesparingen

Relatief ten opzichte van een constante instellingsbaseline bereikten beide controllers significante weer-genormaliseerde energiebesparingen:

MPC: Bespaarde 18,1% (95% BI: 4,4% tot 30,9%).
RL (Ibex-RL): Bespaarde 20,9% (95% BI: 2,6% tot 38,3%).
Statistische analyse gaf aan dat er geen significant verschil was in energiebesparing tussen de twee algoritmen. Wanneer genormaliseerd door het verschil tussen binnen- en buitentemperatuur (om de efficiëntie van de apparatuur te isoleren van de reductie van de instelling), vertoonde MPC een iets hogere efficiëntie (11,28% besparing) vergeleken met RL (8,04%), hoewel dit verschil niet statistisch significant was.

Bewonerscomfort

MPC: Handhaafde acceptabele comfortniveaus, met een tijdgemiddelde Predicted Percentage of Dissatisfied (PPD) van 9,92%, wat binnen de typische 10% acceptabiliteitsdrempel valt. Er werden geen meldingen van ongemak ontvangen.
RL: Ontving drie meldingen van ongemak door de bewoner. Het huis was over het algemeen koeler dan de voorkeur van de gebruiker, met name tijdens een initiële adaptatiefase en op specifieke koude dagen. De tijdgemiddelde PPD was hoger, namelijk 13,53%. De RL-controller hield het huis koeler om energiebesparing te maximaliseren, waarbij prioriteit werd gegeven aan het beloningssignaal boven strikte instelling-tracking tijdens de leerfase.

Engineeringinspanning en Schaalbaarheid

De auteurs schatten de terugkerende engineeringinspanning die nodig is om deze specifieke algoritmen in een nieuw huis te implementeren (uitgaande van bestaande infrastructuur en historische data):

MPC: Ongeveer 5 engineer-dagen (voor modelfitting, datapreprocessing en tuning).
RL: Ongeveer 2 engineer-dagen (voor de imitatie-leren setup en hyperparameter tuning).
De auteurs schatten dat een nieuwe RL-deployment ongeveer een derde minder engineeringinspanning zou vereisen dan MPC. Ze merken echter op dat de initiële ontwikkeling van het RL-algoritme een aanzienlijke aanpassing van het Gnu-RL framework vereiste (ongeveer 45 student-dagen) en unieke onderhoudsuitdagingen kende, zoals API-communicatiefouten die de online leerdata corrumpeerden.

Betekenis en Claims

Het artikel claimt dat hoewel RL de deployment-inspanning vermindert en vergelijkbare energiebesparingen bereikt als MPC, het te maken heeft met specifieke uitdagingen met betrekking tot veilige controller-initialisatie en mismatches tussen gemodelleerde en werkelijke state/action spaces.

De auteurs benadrukken dat hun bevindingen specifiek zijn voor de geïmplementeerde varianten (Ibex-RL en de specifieke MPC-implementatie) en niet moeten worden gezien als een algemeen oordeel over alle RL- of MPC-methoden. Ze stellen dat de studie een kritieke afweging belicht: RL biedt een pad naar schaalbare, geautomatiseerde besturing met lagere terugkerende engineeringkosten, maar dit gaat gepaard met risico's voor het comfort van de bewoner tijdens de adaptatiefase en vereist robuuste veiligheidslagen om de problemen met de integriteit van real-world data op te vangen.

Uiteindelijk suggereert het artikel dat de toekomst van geavanceerde HVAC-besturing niet ligt in een competitie tussen paradigma's, maar in hun convergentie. De auteurs postuleren dat hybride oplossingen—het samenvoegen van het geautomatiseerde leren en de adaptatie van RL binnen het interpreteerbare, constraint-bewuste framework van MPC—de meest levensvatbare weg kunnen zijn naar schaalbare, real-world inzetbaarheid.