Technische Samenvatting: Building2Building (B2B)

Probleemstelling

Reinforcement Learning (RL) heeft sterke prestaties getoond in controle-taken, maar geleerde beleidsregels blijven vaak kwetsbaar bij veranderingen in dynamiek, actieruimtes, observatieruimtes of doelen. Dit gebrek aan generalisatie is een kritische barrière voor de implementatie in de echte wereld. Bestaande benchmarks voor het bestuderen van generalisatie, zoals Meta-World en RLBench, zijn grotendeels beperkt tot robotica en videogames. Ze introduceren vaak een beperkte diversiteit, waarbij de focus primair ligt op variaties in dynamische parameters (bijv. wrijving) of taaldoelen, terwijl ze zelden heterogene observatie- en actieruimtes of complexe fysieke omgevingen bieden. Bijgevolg leunt onderzoek naar cross-domein adaptatie en transfer in RL vaak op aangepaste, niet-reproduceerbare experimentele opstellingen, wat de voortgang fragmenteert.

De auteurs identificeren de regeling van verwarming, ventilatie en airconditioning (HVAC) in gebouwen als een ideaal domein om deze hiaten aan te pakken. Gebouwen vertonen een enorme diversiteit in lay-outs, materialen, klimaatblootstelling en HVAC-configuraties, maar delen gemeenschappelijke fysieke principes gebaseerd op thermodynamica en energiebehoud. Bovendien vormen HVAC-systemen een aanzienlijke maatschappelijke uitdaging, aangezien ze verantwoordelijk zijn voor bijna de helft van het energieverbruik in gebouwen (die ongeveer een derde van het wereldwijde energieverbruik beslaan).

Methodologie

De Building2Building (B2B) Suite

De auteurs introduceren Building2Building (B2B), een grootschalige suite van realistische HVAC-controleomgevingen gebouwd op EnergyPlus, een state-of-the-art simulator voor gebagroenergie. B2B is ontworpen om volledig compatibel te zijn met de Gymnasium-interface.

Omgevingsgeneratie:

• Schaal: De suite genereert een dataset van 6.000 omgevingen verspreid over meerdere gebouwtypen (huizen, restaurants, magazijnen, winkels, kleine/middelgrote kantoren), klimaten en HVAC-configuraties.
• Generatoren:
  1. Een residentiële generator die single-zone huizen produceert op basis van de statistische kenmerken van de residentiële gebouwvoorraad in Québec.
  2. Een parametrische generator gebaseerd op ASHRAE 90.1 referentiecommerciële gebouwen in 16 Noord-Amerikaanse locaties. Deze generator bemonster de grootte van het gebouw, de verhouding tussen raam en muur, isolatie en luchtinfiltratie, terwijl het klimaatafhankelijke parametergrenzen afdwingt om fysieke consistentie te waarborgen.
• Controle-interface: B2B legt laag-niveau HVAC-actuatoren bloot, waarbij het volgende afhandelt:
  • Unitary systemen: Controle van de toevoerluchttemperatuur (SAT) en de debiet van de toevoerlucht.
  • Centrale luchtloop-systemen: Controle van centrale SAT, buitenluchtmengers, openingen van zone-kleppen en zone-niveau verwarmingsspoelen.
  • Baseboard/Alleen-verwarmingssystemen: Controle via zone-thermostaten.
• Observaties: Agenten ontvangen weergegevens (temperatuur, luchtvochtigheid), kalenderinformatie, binnenzone-temperaturen en genormaliseerd HVAC-energieverbruik.

Gestructureerde Omgevingsrepresentatie

Om het gebrek aan standaardmanieren om heterogene vloten van omgevingen te beschrijven aan te pakken, introduceert B2B een gestructureerde representatie die de standaard Gymnasium API uitbreidt.

• Morphologische Universe: Definieert een gemeenschappelijke vocabulaire voor een familie van omgevingen, inclus\n bij een gemeenschappelijke attribuutruimte ($C_c$), observatieruimte ($S_c$) en actieruimte ($A_c$), naast een set typen knopen ($T$) met lokale ruimtes.
• Morphologie: Beschrijft een specifiek omgevingsexemplaar als een graaf waarbij knopen componenten vertegenwoordigen (bijv. thermische zones, HVAC-apparatuur) met specifieke lokale attributen.
• Decompositie: Observaties en acties worden gedecomponeerd in een gemeenschappelijk deel en een morfologisch graafdeel. Dit stelt algoritmen (bijv. Graph Neural Networks, Heterogeneous Graph Transformers) in staat om op de structuur van de omgeving te opereren in plaats van op vaste input/output-groottes.

Benchmark Taken

De auteurs definiëren vier reproduceerbare benchmark-instellingen om specifieke bronnen van variatie te isoleren:

1. Doeladaptatie (Goal Adaptation): Trainen en testen op dezelfde gebouwindynamiek maar met variërende beloningsfuncties (bijv. veranderende energiegewichten $w_E$ of temperatuursetpoint-strategieën: constant, op bezetting gebaseerd, of willekeurig).
2. Dynamiekadaptatie (Dynamics Adaptation): Vaste beloning en actieruimte, maar variërende gebouwindynamiek (klimaat, grootte, schil) binnen hetzelfde archetype.
3. Actieruimteverschuivingen (Action-Space Shifts): Vaste dynamiek en beloning, maar een veranderend pakket van controleerbare actuatoren tussen training en testen (bijv. trainen op alleen luchtstroom, testen op luchtstroom + SAT).
4. Cross-Domein Generalisatie (Cross-Domain Generalization): Trainen en testen op volledig andere gebouwtypen met heterogene observatie- en actieruimtes (bijv. trainen op winkels, testen op kleine kantoren).

Beloningsformulering

De beloningsfunctie balanceert thermisch comfort en energie-efficiëntie:
$$r_t = -\frac{1}{Z \tau_T} \sum_{z=1}^{Z} (T_z(t) - T^{target}_z(t))^2 - w_E \frac{1}{\tau_E} E_{HVAC}(t)$$
Om schaalverschillen over duizenden omgevingen heen af te handelen, introduceren de auteurs normaliserende constanten $\tau_T$ en $\tau_E$. $\tau_E$ is vastgesteld als het gemiddelde vermogensverbruik per stap van een reactief baseline-beleid voor een gegeven gebouwtype en klimaat, waardoor een enkele gewicht $w_E$ de trade-off over diverse omgevingen kan definiëren.

Belangrijkste Resultaten

Baselines:
De auteurs hebben baselines vastgesteld met behulp van:

1. Reactieve Controle: Toezichthoudende controlelogica geïnspireerd door ASHRAE Guideline 36 (PI-lussen en Trim-and-Respond mechanismen).
2. PPO Agents: Getraind op subsets van de testset.

Experimenten met Dynamiekadaptatie:

• Drie modelklassen werden getest op single-zone huizen: (1) Per-gebouw specialisten, (2) Niet-specialistische agenten (resampling van gebouwen), en (3) Geparametriseerde agenten (resampling + gebouweigenschappen).
• Bevindingen: Per-gebouw specialisten behaalden de beste prestaties, maar er was een aanzienlijke kloof vergeleken met niet-specialisten. Geparametriseerde agenten presteerden beter dan niet-specialisten, wat het voordeel aantoont van conditionering op gebouwparameters (vloeroppervlak, bouwjaar, etc.) voor dynamiekadaptatie. Echter, niet-specialistische en geparametriseerde modellen vertoonden "long tail" fouten op specifieke testgebouwen, terwijl specialisten consistent waren.

Experimenten met Cross-Domein Transfer:

• Een enkel beleid werd simultaan getraind op vier gebouwtypen (winkel, restaurant, klein kantoor, middelgroot kantoor) met behulp van een variant van de Amorpheus architectuur (type-specifieke encoders/decoders met een gedeelde transformer).
• Bevindingen: Het gegeneraliseerde beleid slaagde erin zich aan te passen aan ongeziene gebouwen uit de testset. In verschillende gevallen presteerde het beter dan de reactieve baseline-controller, wat de haalbaarheid aantoont van het leren van controlebeleid over heterogene morfologieën zonder per-gebouw hertraining.

Betekenis en Claims

Het artikel beweert dat B2B een noodzakelijke grootschalige, diverse en fysiek gefundeerde testomgeving biedt voor de systematische studie van generalisatie en transfer in continue controle. De betekenis ligt in drie gebieden:

1. Vooruitgang in RL-onderzoek: Door een gestandaardiseerd framework aan te bieden met heterogene observatie- en actieruimtes, maakt B2B een rigoureuze studie mogelijk van multi-task learning, meta-learning en cross-domein transfer, waarmee de beperkingen van huidige robotica-gecentreerde benchmarks worden overstegen.
2. Toepasbaarheid in de echte wereld: De benchmark overbrugt de kloof tussen fundamenteel RL-onderzoek en implementatie in de echte wereld voor energiebeheer. Het ondersteunt een nieuw trainingsparadigma waarbij beleidsregels worden getraind over een distributie van gebouwen, in plaats van dat er voor elk individueel gebouw een zeer gedetailleerde digitale tweeling nodig is.
3. Maatschappelijke impact: Door verbeterde HVAC-regeling op schaal mogelijk te maken, draagt dit werk direct bij aan het verminderen van het energieverbruik in gebouwen, het verlagen van operationele kosten en het helpen bij de mitigatie van klimaatverandering.

De auteurs benadrukken dat hoewel huidige RL-methoden veelbelovend zijn wat betreft generalisatie, de B2B-benchmark laat zien dat er nog steeds aanzienlijke uitdagingen zijn, met name bij het omgaan met de "long tail" van foutgevallen bij het transferen naar ongeziene omgevingen zonder specifieke conditionering.