🤖 machine learning

Building2Building: A Large Scale Benchmark for Generalizable Real-World Reinforcement Learning

यह शोध पत्र बिल्डिंग-टू-बिल्डिंग (B2B) को प्रस्तुत करता है, जो एनर्जीप्लस (EnergyPlus) पर आधारित एक बड़े पैमाने का, भौतिक रूप से सुदृढ़ बेंचमार्क सूट है, जो सामान्यीकरण (generalization), स्थानांतरण (transfer) और बहु-कार्य शिक्षण (multi-task learning) का व्यवस्थित अध्ययन करने के लिए विविध HVAC नियंत्रण वातावरण प्रदान करके वास्तविक दुनिया की तैनाती में सुदृढीकरण शिक्षण (reinforcement learning) की भंगुरता को संबोधित करता है।

मूल लेखक: Vincent Taboga, Justin Veilleux, Doseok Jang, Anushree Rankawat, Pierre-Luc Bacon

प्रकाशित 2026-07-21

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Vincent Taboga, Justin Veilleux, Doseok Jang, Anushree Rankawat, Pierre-Luc Bacon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट वीडियो गेम में लाखों बार अभ्यास करके चलना, खेल खेलना या पहेलियाँ सुलझाना सीखते हैं। यह रीइन्फोर्समेंट लर्निंग (RL) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक कंप्यूटर "एजेंट" प्रयास और त्रुटि (trial and error) के माध्यम से सीखता है, अच्छे कदमों के लिए अंक पाता है और गलत कदमों के लिए अंक खो देता है। इसे एक कुत्ते को गेंद लाना सिखाने जैसा समझें: वह गेंद को पकड़ने की कोशिश करता है, यदि वह सफल होता है तो उसे इनाम (treat) मिलता है, और अंततः वह दौड़ने और कूदने का सबसे अच्छा तरीका समझ जाता है।

लेकिन यहाँ एक पेच है: इनमें से अधिकांश सुपर-स्मार्ट AI एजेंट उन संगीत प्रतिभाओं की तरह हैं जो केवल एक ही गाना पूरी तरह से बजा सकते हैं। यदि आप लय बदल दें, पियानो की जगह गिटार रख दें, या उन्हें कोई अलग धुन बजाने के लिए कहें, तो वे अक्सर ठप पड़ जाते हैं। वास्तविक दुनिया में चीजें अस्त-व्यस्त होती हैं। एक रोबोट जिसे चिकने कंक्रीट पर चलने के लिए डिज़ाइन किया गया है, वह बजरी पर लड़खड़ा सकता है; एक थर्मोस्टेट जिसे धूप वाले कार्यालय के लिए प्रशिक्षित किया गया है, वह बारिश वाले गोदाम में विफल हो सकता है। वैज्ञानिक इसे जनरलाइजेशन (generalization) की समस्या कहते हैं—जो आपने सीखा है उसे नई, थोड़ी अलग स्थितियों में लागू करने की क्षमता, बिना फिर से शुरुआत किए। बड़ा सवाल यह है: हम AI को एक 'वन-हिट-वंडर' के बजाय एक बहुमुखी जैज़ संगीतकार बनने के लिए कैसे सिखाएं?

यहाँ बिल्डिंग टू बिल्डिंग (B2B) का आगमन होता है, जो शोधकर्ताओं द्वारा ठीक इसी समस्या को हल करने के लिए बनाया गया एक विशाल नया खेल का मैदान है। रोबोटों या वीडियो गेमों का उपयोग करने के बजाय, उन्होंने AI को इमारतों में हीटिंग, वेंटिलेशन और एयर कंडीशनिंग (HVAC) सिस्टम को नियंत्रित करना सिखाने का निर्णय लिया। इमारतें क्यों? क्योंकि वे हर जगह हैं, वे भारी मात्रा में ऊर्जा का उपयोग करती हैं, और हर एक इमारत अद्वितीय है। कुछ एक कमरे वाले छोटे घर हैं; अन्य दर्जनों ज़ोन वाले विशाल कार्यालय हैं। कुछ में पुराने, भारी हीटर हैं; दूसरों में हाई-टेक सेंट्रल एयर सिस्टम हैं।

शोधकर्ताओं ने एक विशाल डिजिटल फैक्ट्री बनाई जो 6,000 अलग-अलग आभासी (virtual) इमारतें उत्पन्न कर सकती है, जिनमें से प्रत्येक का अपना व्यक्तित्व, आकार और जलवायु है। फिर उन्होंने AI एजेंटों को इन इमारतों को आरामदायक बनाए रखने के साथ-साथ ऊर्जा बचाने के लिए चुनौती दी। लक्ष्य केवल एक ऐसा AI बनाना नहीं था जो एक इमारत के लिए काम करे, बल्कि एक "यूनिवर्सल" कंट्रोलर बनाना था जो किसी भी बिल्कुल नई इमारत में जा सके जिसे उसने पहले कभी नहीं देखा हो और तुरंत जान सके कि तापमान को कैसे समायोजित करना है।

परिणाम उत्साहजनक थे लेकिन कोई जादुई समाधान नहीं थे। जब उन्होंने अपने AI का परीक्षण किया, तो उन्होंने पाया कि कई अलग-अलग इमारतों के मिश्रण पर प्रशिक्षित एजेंट वास्तव में नई इमारतों के अनुकूल हो सकते हैं, और अक्सर आज के वास्तविक जीवन में उपयोग किए जाने वाले मानक, पूर्व-निर्धारित कंट्रोलरों को मात देते हैं। हालाँकि, AI पूर्ण नहीं था; जब इमारत देखी गई किसी भी चीज़ से बहुत अलग थी, या जब खेल के नियम बदल गए (जैसे अचानक लोगों को गर्म रखने के बजाय पैसे बचाने पर अधिक ध्यान देना), तो वह कभी-कभी संघर्ष करता था।

यह शोध पत्र सुझाव देता है कि इस विविध, विशाल डेटासेट पर प्रशिक्षण देकर, हम AI को अधिक लचीला बना सकते हैं। यह एक छात्र को न केवल एक गणितीय समस्या को हल करना सिखाने जैसा है, बल्कि अंतर्निहित तर्क को समझने के लिए है ताकि वे उन समस्याओं को हल कर सकें जिन्हें उन्होंने पहले कभी नहीं देखा है। हालांकि यह वर्तमान में एक सिमुलेशन है और कल किसी वास्तविक इमारत में जाने वाला रोबोट नहीं है, फिर भी यह AI का परीक्षण करने और सुधारने का एक शक्तिशाली नया तरीका प्रदान करता है। यदि सफल रहा, तो यह स्मार्ट, हरित इमारतों की ओर ले जा सकता है जो ऊर्जा और पैसा बचाती हैं, जिससे यह सिद्ध होगा कि वास्तव में स्मार्ट AI की कुंजी उसे एक बहुत व्यापक, अधिक विविध शिक्षा देने में हो सकती है।

तकनीकी सारांश: Building2Building (B2B)

समस्या विवरण (Problem Statement)

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने नियंत्रण कार्यों (control tasks) में मजबूत प्रदर्शन प्रदर्शित किया है, फिर भी सीखे गए नीतियां (policies) डायनेमिक्स, एक्शन स्पेस, ऑब्जर्वेशन स्पेस या लक्ष्यों में बदलाव के सामने अक्सर नाजुक (brittle) बनी रहती हैं। सामान्यीकरण (generalization) की यह कमी वास्तविक दुनिया में तैनाती के लिए एक महत्वपूर्ण बाधा है। सामान्यीकरण के अध्ययन के लिए मौजूदा बेंचमार्क, जैसे कि Meta-World और RLBench, मुख्य रूप से रोबोटिक्स और वीडियो गेम तक सीमित हैं। वे अक्सर सीमित विविधता पेश करते हैं, जो मुख्य रूप से डायनेमिक पैरामीटर विविधताओं (जैसे घर्षण) या कार्य लक्ष्यों पर केंद्रित होते हैं, जबकि वे शायद ही कभी विषम (heterogeneous) ऑब्जर्वेशन और एक्शन स्पेस या जटिल भौतिक वातावरण प्रदान करते हैं। फलस्वरूप, RL में क्रॉस-डोमेन अनुकूलन और स्थानांतरण (transfer) के अनुसंधान अक्सर कस्टम, गैर-पुनरुत्पादनीय (non-reproducible) प्रयोगात्मक सेटअपों पर निर्भर करते हैं, जिससे प्रगति खंडित होती है।

लेखक हीटिंग, वेंटिलेशन और एयर कंडीशनिंग (HVAC) नियंत्रण को इन कमियों को दूर करने के लिए एक आदर्श डोमेन के रूप में पहचानते हैं। इमारतें लेआउट, सामग्री, जलवायु जोखिम और HVAC कॉन्फ़िगरेशन में विशाल विविधता प्रदर्शित करती हैं, फिर भी वे ऊष्मागतिकी (thermodynamics) और ऊर्जा संरक्षण पर आधारित सामान्य भौतिक सिद्धांतों को साझा करती हैं। इसके अलावा, HVAC सिस्टम एक महत्वपूर्ण सामाजिक चुनौती का प्रतिनिधित्व करते हैं, जो इमारतों में ऊर्जा खपत (जो वैश्विक ऊर्जा उपयोग का लगभग एक-तिहाई हिस्सा है) के लगभग आधे हिस्से के लिए जिम्मेदार हैं।

कार्यप्रणाली (Methodology)

Building2Building (B2B) सुइट

लेखक Building2Building (B2B) का परिचय देते हैं, जो EnergyPlus (एक अत्याधुनिक बिल्डिंग एनर्जी सिम्युलेटर) पर निर्मित वास्तविक HVAC नियंत्रण वातावरणों का एक बड़े पैमाने का सुइट है। B2B को Gymnasium इंटरफ़ेस के साथ पूरी तरह से संगत होने के लिए डिज़ाइन किया गया है।

पर्यावरण निर्माण (Environment Generation):

पैमाना (Scale): सुइट कई प्रकार की इमारतों (घर, रेस्तरां, गोदाम, रिटेल स्टोर, छोटे/मध्यम कार्यालय), जलवायु और HVAC कॉन्फ़िगरेशन में फैले 6,000 वातावरणों का एक डेटासेट उत्पन्न करता है।
जनरेटर (Generators):
1. एक आवासीय जनरेटर जो क्यूबेक (Québec) के आवासीय बिल्डिंग स्टॉक की सांख्यिकीय विशेषताओं के आधार पर सिंगल-ज़ोन घर बनाता है।
2. एक पैरामेट्रिक जनरेटर जो 16 उत्तरी अमेरिकी स्थानों में ASHRAE 90.1 संदर्भ वाणिज्यिक भवनों पर आधारित है। यह जनरेटर बिल्डिंग साइज, विंडो-टू-वॉल रेश्यो, इंसुलेशन और एयर इनफिल्ट्रेशन का नमूना लेता है और भौतिक निरंतरता सुनिश्चित करने के लिए जलवायु-निर्भर पैरामीटर बाउंड्स को लागू करता है।
नियंत्रण इंटरफ़ेस (Control Interface): B2B लो-लेवल HVAC एक्टुएटर्स (actuators) को एक्सपोज़ करता है, जो निम्नलिखित को संभालता है:
- यूनिटरी सिस्टम्स (Unitary systems): सप्लाई एयर टेम्परेचर (SAT) और सप्लाई एयर फ्लो रेट का नियंत्रण।
- सेंट्रल एयर लूप सिस्टम्स (Central air loop systems): सेंट्रल SAT, आउटडोर-एयर मिक्सर, ज़ोन डैम्पर ओपनिंग और ज़ोन-लेवल रीहीट कॉइल्स का नियंत्रण।
- बेसबोर्ड/हीटिंग-ओनली सिस्टम्स (Baseboard/Heating-only systems): ज़ोन थर्मोस्टैट्स के माध्यम से नियंत्रण।
ऑब्जर्वेशन (Observations): एजेंटों को मौसम का डेटा (तापमान, आर्द्रता), कैलेंडर की जानकारी, इनडोर ज़ोन तापमान, और सामान्यीकृत (normalized) HVAC ऊर्जा खपत प्राप्त होती है।

संरचित पर्यावरण प्रतिनिधित्व (Structured Environment Representation)

विषम (heterogeneous) वातावरणों के बेड़े (fleets) का वर्णन करने के तरीके की कमी को दूर करने के लिए, B2B एक संरचित प्रतिनिधित्व पेश करता है जो मानक Gymnasium API का विस्तार करता है।

मॉर्फोलॉजिकल यूनिवर्स (Morphological Universe): वातावरणों के एक परिवार के लिए एक सामान्य शब्दावली को परिभाषित करता है, जिसमें एक सामान्य एट्रिब्यूट स्पेस ( $C_c$ ), ऑब्जर्वेशन स्पेस ( $S_c$ ), और एक्शन स्पेस ( $A_c$ ), साथ ही स्थानीय स्पेस के साथ नोड प्रकारों ( $T$ ) का एक सेट शामिल है।
मॉर्फोलॉजी (Morphology): एक विशिष्ट वातावरण इंस्टेंस को एक ग्राफ के रूप में वर्णित करता है जहाँ नोड्स घटकों (जैसे थर्मल ज़ोन, HVAC उपकरण) का प्रतिनिधित्व करते हैं जिनमें विशिष्ट स्थानीय एट्रिब्यूट्स होते हैं।
विघटन (Decomposition): ऑब्जर्वेशन और एक्शन को एक सामान्य भाग और एक मॉर्फोलॉजिकल ग्राफ भाग में विभाजित किया जाता है। यह एल्गोरिदम (जैसे, ग्राफ न्यूरल नेटवर्क, हेटेरोजेनियस ग्राफ ट्रांसफॉर्मर) को निश्चित इनपुट/आउटपुट आकार के बजाय वातावरण की संरचना पर काम करने की अनुमति देता है।

बेंचमार्क कार्य (Benchmark Tasks)

लेखक विशिष्ट भिन्नताओं के स्रोतों को अलग करने के लिए चार पुनरुत्पादनीय बेंचमार्क सेटिंग्स को परिभाषित करते हैं:

लक्ष्य अनुकूलन (Goal Adaptation): समान बिल्डिंग डायनेमिक्स पर प्रशिक्षण और परीक्षण, लेकिन अलग-अलग रिवॉर्ड फंक्शन के साथ (जैसे, बदलते ऊर्जा वेट $w_E$ या तापमान सेटपॉइंट रणनीतियाँ: स्थिर, अधिभोग-आधारित, या रैंडम)।
डायनेमिक्स अनुकूलन (Dynamics Adaptation): फिक्स्ड रिवॉर्ड और एक्शन स्पेस, लेकिन एक ही आर्किटाइप के भीतर बदलते बिल्डिंग डायनेमिक्स (जलवायु, आकार, एनवेलप) के साथ।
एक्शन-स्पेस शिफ्ट्स (Action-Space Shifts): फिक्स्ड डायनेमिक्स और रिवॉर्ड, लेकिन प्रशिक्षण और परीक्षण के बीच नियंत्रणीय एक्टुएटर्स का सेट बदलना (जैसे, केवल एयरफ्लो पर प्रशिक्षण, एयरफ्लो + SAT पर परीक्षण)।
क्रॉस-डोमेन सामान्यीकरण (Cross-Domain Generalization): पूरी तरह से अलग बिल्डिंग प्रकारों के साथ प्रशिक्षण और परीक्षण, जिनमें विषम ऑब्जर्वेशन और एक्शन स्पेस हों (जैसे, रिटेल स्टोर पर प्रशिक्षण, छोटे कार्यालयों पर परीक्षण)।

रिवॉर्ड फॉर्मूलेशन (Reward Formulation)

रिवॉर्ड फंक्शन थर्मल कम्फर्ट और ऊर्जा दक्षता के बीच संतुलन बनाता है:
$r_t = -\frac{1}{Z \tau_T} \sum_{z=1}^{Z} (T_z(t) - T^{target}_z(t))^2 - w_E \frac{1}{\tau_E} E_{HVAC}(t)$
हजारों वातावरणों में स्केल अंतर को संभालने के लिए, लेखक सामान्यीकरण स्थिरांक (normalizing constants) $\tau_T$ और $\tau_E$ पेश करते हैं। $\tau_E$ को एक दिए गए बिल्डिंग टाइप और जलवायु के लिए एक बेसलाइन रिएक्टिव पॉलिसी के प्रति-स्टेप औसत पावर कंजम्पशन के रूप में फिक्स्ड रखा गया है, जिससे एक एकल वेट $w_E$ विविध वातावरणों में ट्रेड-ऑफ को परिभाषित कर सकता है।

मुख्य परिणाम (Key Results)

बेसलाइन्स (Baselines):
लेखकों ने निम्नलिखित का उपयोग करके बेसलाइन्स स्थापित किए:

रिएक्टिव कंट्रोल (Reactive Control): ASHRAE गाइडलाइन 36 से प्रेरित सुपरवाइजरी कंट्रोल लॉजिक (PI लूप्स और ट्रिम-एंड-रिस्पोंड मैकेनिज्म)।
PPO एजेंट्स (PPO Agents): टेस्ट सेट के उपसमुच्चयों (subsets) पर प्रशिक्षित।

डायनेमिक्स अनुकूलन प्रयोग (Dynamics Adaptation Experiments):

सिंगल-ज़ोन घरों पर तीन मॉडल क्लास का परीक्षण किया गया: (1) प्रति-बिल्डिंग स्पेशलिस्ट्स, (2) नॉन-स्पेशलिस्ट एजेंट्स (रीसैंपलिंग बिल्डिंग्स), और (3) पैरामीटराइज्ड एजेंट्स (रीसैंपलिंग + बिल्डिंग एट्रिब्यूट्स)।
निष्कर्ष: प्रति-बिल्डिंग स्पेशलिस्ट्स ने सर्वश्रेष्ठ प्रदर्शन किया, लेकिन नॉन-स्पेशलिस्ट्स की तुलना में एक बड़ा अंतर था। पैरामीटराइज्ड एजेंट्स ने नॉन-स्पेशलिस्ट्स से बेहतर प्रदर्शन किया, जो डायनेमिक्स अनुकूलन के लिए बिल्डिंग पैरामीटर्स (फ्लोर एरिया, कंस्ट्रक्शन ईयर, आदि) पर कंडीशनिंग करने के लाभ को दर्शाता है। हालांकि, नॉन-स्पेशलिस्ट और पैरामीटराइज्ड मॉडल्स ने विशिष्ट टेस्ट बिल्डिंग्स पर "लॉन्ग टेल" विफलताओं को दिखाया, जबकि स्पेशलिस्ट्स सुसंगत थे।

क्रॉस-डोमेन ट्रांसफर प्रयोग (Cross-Domain Transfer Experiments):

एक सिंगल पॉलिसी को Amorpheus आर्किटेक्चर (टाइप-विशिष्ट एनकोडर/डिकोडर के साथ एक साझा ट्रांसफार्मर) के वेरिएंट का उपयोग करके चार बिल्डिंग प्रकारों (रिटेल, रेस्तरां, छोटा कार्यालय, मध्यम कार्यालय) पर एक साथ प्रशिक्षित किया गया।
निष्कर्ष: सामान्यीकृत पॉलिसी ने टेस्ट सेट से अनदेखी (unseen) बिल्डिंग्स के अनुकूल सफलतापूर्वक ढलने में सफलता प्राप्त की। कई मामलों में, इसने रिएक्टिव बेसलाइन कंट्रोलर को पछाड़ दिया, जो विषम मॉर्फोलॉजी के बीच नियंत्रण नीतियों को सीखने की व्यवहार्यता को प्रदर्शित करता है बिना प्रति-बिल्डिंग रिट्रेनिंग के।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि B2B निरंतर नियंत्रण (continuous control) में सामान्यीकरण और स्थानांतरण के व्यवस्थित अध्ययन के लिए एक आवश्यक बड़े पैमाने के, विविध और भौतिक रूप से ग्राउंडेड टेस्टबेड के रूप में कार्य करता है। इसका महत्व तीन क्षेत्रों में है:

RL अनुसंधान को आगे बढ़ाना: विषम ऑब्जर्वेशन और एक्शन स्पेस के साथ एक मानकीकृत ढांचे की पेशकश करके, B2B मल्टी-टास्क लर्निंग, मेटा-लर्निंग और क्रॉस-डोमेन ट्रांसफर के कठोर अध्ययन को सक्षम बनाता है, जो वर्तमान रोबोटिक्स-केंद्रित बेंचमार्क की सीमाओं से आगे बढ़ता है।
वास्तविक-दुनिया की प्रयोज्यता: यह बेंचमार्क मौलिक RL अनुसंधान और ऊर्जा प्रबंधन में वास्तविक दुनिया की तैनाती के बीच के अंतर को पाटता है। यह एक नए प्रशिक्षण प्रतिमान (paradigm) का समर्थन करता है जहाँ नीतियां प्रत्येक व्यक्तिगत इमारत के लिए अत्यधिक विस्तृत डिजिटल ट्विन की आवश्यकता के बजाय बिल्डिंग्स के वितरण (distribution) पर प्रशिक्षित की जाती हैं।
सामाजिक प्रभाव: इमारतों में बेहतर HVAC नियंत्रण को सक्षम करके, यह कार्य सीधे तौर पर इमारतों में ऊर्जा खपत को कम करने, परिचालन लागत को कम करने और जलवायु परिवर्तन शमन में सहायता करने में योगदान देता है।

लेखक इस बात पर जोर देते हैं कि जबकि वर्तमान RL विधियां सामान्यीकरण में आशाजनक दिखती हैं, B2B बेंचमार्क यह प्रकट करता है कि महत्वपूर्ण चुनौतियां अभी भी मौजूद हैं, विशेष रूप से बिना विशिष्ट कंडीशनिंग के अनदेखे वातावरणों में स्थानांतरित होते समय "लॉन्ग टेल" विफलता के मामलों को संभालने में।