Technische Samenvatting: Een Geïntegreerd Python Framework voor Directe PPO-gebaseerde Regeling van Luchtbehandelingskasten

Probleemstelling

HVAC-systemen in gebouwen zijn verantwoordelijk voor een aanzienlijk deel van het wereldwijde energieverbruik (30–40% van het energieverbruik in gebouwen), maar het handhaven van optimale prestaties is uitdagend vanwege de niet-lineaire kenmerken van gebouwschillen en stochastische lastvariaties. Traditionele regelstrategieën, zoals aan/uit-thermostaten en PID-regelaars met vaste setpoints, worstelen vaak om thermisch comfort, binnenluchtkwaliteit (IAQ) en energie-efficiëntie gelijktijdig in evenwicht te brengen. Specifiek falen deze conventionele methoden vaak om ventilatieratio's dynamisch aan te passen op basis van real-time bezetting en CO2-niveaus, wat leidt tot ofwel excessief energieverlies door over-ventilatie of gezondheidsrisico's door slechte IAQ. Bovendien behandelen bestaande studies op het gebied van Deep Reinforcement Learning (DRL) IAQ vaak als een zachte straf in plaats van een harde beperking, vertrouwen op complexe co-simulatie-tools die implementatie belemmeren, of missen geïntegreerde fysische modellen (zoals thermische netwerken en massabalansvergelijkingen) binnen een verenigd Python-omgeving.

Methodologie

De auteurs stellen een verenigd Python-framework voor dat een Direct Proximal Policy Optimization (PPO)-algoritme implementeert om een Luchtbehandelingskast (AHU) te regelen. De methodologie is gebaseerd op de volgende componenten:

1. Fysische en Wiskundige Modellering

De simulatieomgeving maakt gebruik van een 2R-2C thermisch netwerkmodel gekoppeld aan dynamische massabalansvergelijkingen voor vocht en CO2.

• Thermische Dynamiek: Gemodelleerd met behulp van thermische weerstand ($R_{in}, R_{out}$) en capaciteit ($C_{wall}$) om het transiënte thermodynamische gedrag te simuleren.
• Vocht en CO2: Het systeem berekent de binnenluchtvochtigheid en CO2-concentratie op basis van generatiesnelheden door bezetting, eigenschappen van de toevoerlucht en ventilatieratio's.
• Economizer-Logica: Een enthalpie-gebaseerde economizer is geïntegreerd om "gratis koeling" mogelijk te maken wanneer de buitenomstandigheden (temperatuur en vochtigheid) gunstiger zijn dan de binnenomstandigheden.

2. Vergelijkde Regelstrategieën

De studie evalueert vier verschillende regelstrategieën over een dynamische simulatie van 24 uur:

1. Aan/Uit-thermostaat: Een basis schakellogica met een vast differentieel (hysteresis).
2. PID-regelaar: Een continu regelsignaal dat de ventilatorsnelheid moduleert op basis van proportionele, integrale en differentieel-versterkingen.
3. Standaard PPO-agent: Een RL-agent getraind om de temperatuur te regelen met een vast percentage verse lucht (50%).
4. Voorgestelde "Slimme" PPO-agent: Een geavanceerde agent met Hiërarchische Stroomlogica.

3. Het Voorgestelde PPO-framework

De kerninnovatie ligt in de Hiërarchische Stroomlogica en het ontwerp van de omgeving:

• Toestandruimte: De agent observeert de huidige binnentemperatuur ($T_{air}$) en de instantane thermische fout ($e(t)$).
• Actieruimte: De agent geeft een continue actie uit om het totale luchtdebiet te regelen.
• Hiërarchische Stroomlogica (IAQ-override): Dit is een kritiek veiligheidsmechanisme. De omgeving berekent het minimale volume verse lucht dat nodig is om CO2 onder de 1000 ppm te houden, gebaseerd op real-time bezetting. De uiteindelijke activering is het maximum van de door de agent gevraagde stroom en de berekende IAQ-minimumstroom. Dit zorgt ervoor dat de agent de ventilatie niet kan uitschakelen om energie te besparen als dit de luchtkwaliteit in gevaar zou brengen.
• Beloningsfunctie: De agent wordt beloond op basis van het negatieve kwadraat van de afwijking van de temperatuur ten opzichte van het setpoint van 22°C ($R = -|T_{air} - T_{set}|^2$).
• Training: De agent wordt getraind met de Stable Baselines3-bibliotheek over 300.000 tijdstappen met dynamische uurlijkse verstoringen.

Belangrijkste Bijdragen

Het paper identificeert drie primaire bijdragen aan het vakgebied van HVAC-regeling:

1. Zelfstandige Gym-omgeving: Een aangepaste Python-omgeving die een 2R-2C thermisch model koppelt aan een dynamische CO2-balans, waardoor de behoefte aan externe co-simulatie-tools wordt geëlimineerd.
2. Harde IAQ-beperkingen: In tegenstelling tot veel RL-studies die IAQ als een zachte straf behandelen, dwingt dit framework IAQ af als een harde beperking via de Hiërarchische Stroomlogica, waardoor wordt gegarandeerd dat CO2-niveaus de veiligheidslimiet van 1000 ppm nooit overschrijden.
3. Geïntegreerde optimalisatie: Het systeem balanceert succesvol het enige doel van temperatuurregeling met de fysieke noodzaak van ventilatie, en demonstreert dat een RL-agent kan leren energiegebruik te optimaliseren zonder de gezondheid van de bewoners in te leveren.

Resultaten

De simulatieresultaten, die de vier strategieën vergelijken over een periode van 24 uur met dynamische bezettings- en weersprofielen, wijzen het volgende uit:

• Thermisch comfort: Zowel de PID- als de PPO-regelaars presteerden aanzienlijk beter dan de aan/uit-thermostaat, door de grote temperatuurschommelingen (zaagtandpatroon) die geassocieerd zijn met binaire schakeling te elimineren. De PPO-agenten bereikten stabiliteit die vergelijkbaar was met die van de PID-regelaar.
• Binnenluchtkwaliteit (CO2):
  • De aan/uit-thermostaat resulteerde in frequente CO2-pieken die 1300 ppm overschreden.
  • De PID-regelaar hield CO2 rond de 920 ppm, maar vertoonde occasionele overschrijdingen van de limiet tijdens dalingen in bezetting.
  • De Slimme PPO met Economizer-logica toonde de hoogste precisie, waarbij CO2-niveaus tijdens piekbelasting strikt onder de 910 ppm werden gehouden en de 1000 ppm-drempel nauwkeurig werd gevolgd om over-ventilatie te voorkomen.
• Energie-efficiëntie:
  • Aan/Uit: 2776 kWh
  • PID: 2760 kWh
  • Standaard PPO: 2762 kWh
  • Slimme PPO (met Economizer/DCV): 2609 kWh
    De Slimme PPO-strategie behaalde ongeveer 6% energiebesparing in vergelijking met de PID- en aan/uit-baselines, terwijl gelijktijdig de laagste CO2-niveaus werden bereikt.

Betekenis en Claims

Het paper stelt dat dit onderzoek significante gaten in de huidige HVAC-regelliteratuur opvult door een robuuste, gegeneraliseerde en eenvoudig implementeerbare Python-gebaseerde oplossing te bieden. De betekenis van het werk is tweeledig:

1. Praktische implementatie: Door fysische modellen (2R-2C, massabalans) direct te integreren in een Gym-stijl omgeving, biedt het framework een weg naar "end-to-end" oplossingen die makkelijker kunnen worden overgebracht naar echte hardware-implementaties in vergelijking met complexe co-simulatiebenaderingen.
2. Veiligheid en efficiëntie: De Hiërarchische Stroomlogica bewijst dat RL-agenten kunnen worden beperkt om veiligheid (IAQ) te prioriteren zonder hun vermogen om optimale energiebeleid te leren te compromitteren. De studie demonstreert dat dynamische, vraaggestuurde ventilatie aangedreven door RL energieverbruik kan verminderen terwijl strikt wordt voldaan aan gezondheidsnormen, en biedt een levenswaardig alternatief voor traditionele op regels gebaseerde of reactieve regelsystemen.

De auteurs concluderen dat hoewel het huidige werk een simulatie is, het framework is ontworpen om te worden ingezet op echte fysieke AHU's, met toekomstig werk gepland om deze bevindingen te valideren met behulp van werkelijke gebouwdata en implementatie in de echte wereld.