⚡ electrical engineering

Safe Deep Reinforcement Learning for Building Heating Control and Demand-side Flexibility

यह शोध पत्र एक डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट एल्गोरिदम और एक रियल-टाइम एडेप्टिव सेफ्टी फिल्टर का उपयोग करते हुए एक सुरक्षित डीप रीइन्फोर्समेंट लर्निंग फ्रेमवर्क प्रस्तावित करता है, जो डिमांड-साइड फ्लेक्सिबिलिटी अनुरोधों का कड़ाई से अनुपालन सुनिश्चित करने और अधिभोगी आराम बनाए रखते हुए, बिल्डिंग हीटिंग नियंत्रण को अनुकूलित करने के लिए महत्वपूर्ण ऊर्जा और लागत बचत प्राप्त करता है।

मूल लेखक: Colin Jüni, Mina Montazeri, Yi Guo, Federica Bellizio, Giovanni Sansavini, Philipp Heer

प्रकाशित 2026-04-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Colin Jüni, Mina Montazeri, Yi Guo, Federica Bellizio, Giovanni Sansavini, Philipp Heer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके घर की हीटिंग प्रणाली एक जटिल भोजन पका रहे शेफ की तरह है जो एक परिवार के लिए खाना बना रहा है। शेफ का काम खाने (कमरे के तापमान) को पूरी तरह से गर्म रखना है, लेकिन उन्हें दो कठिन चीजों से भी निपटना पड़ता है:

सामग्री की कीमत: कभी बिजली सस्ती होती है (जैसे सेल में सब्जियां खरीदना) और कभी महंगी (जैसे ट्रफल्स खरीदना)।
विशेष ऑर्डर: पावर ग्रिड (एक "रेस्टोरेंट मैनेजर") आपको कॉल कर सकता है और कह सकता है, "अरे, हमें अगले दो घंटों के लिए कम खाना पकाने की जरूरत है क्योंकि अभी हमारे पास बहुत अधिक सौर ऊर्जा उपलब्ध है," या "थोड़ा और पकाएं क्योंकि हमें बिजली की आवश्यकता है।"

समस्या: पुराना शेफ बनाम नया शेफ

पुराना तरीका (नियम-आधारित नियंत्रण):
पुराने हीटिंग सिस्टम को एक ऐसे शेफ के रूप में सोचें जो केवल एक सरल नियम का पालन करता है: "यदि सूप ठंडा है, तो चूल्हा चालू करें। यदि यह गर्म है, तो इसे बंद कर दें।"

पक्ष: यह सरल है।
विपक्ष: इसे इस बात की परवाह नहीं है कि अभी बिजली महंगी है। यह "रेस्टोरेंट मैनेजर" की बात नहीं सुनता। यह बस सूप को गर्म रखता है, जिससे पैसा बर्बाद होता है और मदद करने के अवसर छूट जाते हैं।

नया तरीका (डीप रिइन्फोर्समेंट लर्निंग - DRL):
अब, एक सुपर-स्मार्ट AI शेफ की कल्पना करें। यह शेफ अनुभव और त्रुटियों (trial and error) से सीखता है। वह सूप को चखता है, सामग्री की कीमत की जांच करता है, और सीखता है कि "यदि मैं तब थोड़ा अतिरिक्त गर्मी देता हूँ जब कीमत कम हो, तो मैं बाद में जब कीमत अधिक हो तब चूल्हा बंद कर सकता हूँ।"

पक्ष: यह बहुत सारे पैसे बचाता है और खाने को एकदम सही तापमान पर रखता है।
विपक्ष: क्योंकि यह प्रयोग करके सीख रहा है, यह बहुत लालची हो सकता है। यह पैसा बचाने के लिए चूल्हा बहुत जल्दी बंद करने की कोशिश कर सकता है, जिससे सूप ठंडा (परिवार के लिए असुविधाजनक) हो सकता है। या, यह "रेस्टोरेंट मैनेजर" के विशेष ऑर्डर को अनदेखा कर सकता है, जिससे पूरे पावर ग्रिड के लिए समस्याएं पैदा हो सकती हैं।

समाधान: "सेफ्टी फ़िल्टर" (सुरक्षा फिल्टर)

यहीं पर इस पेपर का बड़ा विचार आता है। लेखकों ने एक सेफ्टी फ़िल्टर बनाया है, जो AI शेफ के ठीक बगल में खड़े एक सख्त लेकिन सहायक सु-शेफ (sous-chef) की तरह काम करता है।

यह सु-शेफ कैसे काम करता है:

AI शेफ एक योजना बनाता है: "मैं पैसे बचाने के लिए चूल्हा कम करने जा रहा हूँ!"
सु-शेफ नियमों की जांच करता है: "रुको! 'रेस्टोरेंट मैनेजर' ने हमसे अगले एक घंटे के लिए खाना पना कम करने को कहा है। यदि तुम इसे उतना कम कर दोगे, तो हम ऑर्डर पूरा नहीं कर पाएंगे।"
समायोजन (Adjustment): सु-शेफ कहता है, "ठीक है, तुम इसे कम कर सकते हो, लेकिन केवल इतना ही। इससे ज्यादा नहीं।"
परिणाम: AI शेफ अभी भी स्मार्ट बना रहता है और पैसे बचाता है, लेकिन अंतिम क्रिया सुरक्षित और नियमों का पालन करने वाली गारंटी के साथ होती है।

यह विशेष क्यों है?

अतीत में अधिकांश सुरक्षा प्रणालियाँ कठोर नियमपुस्तकों की तरह थीं जिन्हें इमारत के भौतिकी (जैसे कि दीवारें कितनी गर्मी रोक सकती हैं) के सटीक मानचित्र की आवश्यकता होती थी। यदि इमारत पुरानी या अजीब थी, तो मानचित्र गलत हो जाता था, और सिस्टम विफल हो जाता था।

यह नया सेफ्टी फ़िल्टर अनुकूलनशील (adaptive) है। इसे किसी सटीक मानचित्र की आवश्यकता नहीं है। यह वास्तविक समय में वर्तमान स्थिति को देखता है:

"क्या कमरा बहुत ठंडा हो रहा है?" -> AI को गर्म करने देने के लिए नियमों को थोड़ा ढीला करें।
"क्या बिजली बहुत सस्ती है?" -> बाद में पैसा बचाने के लिए AI को थोड़ा अधिक ऊर्जा का उपयोग करने दें।
"क्या 'मैनेजर' बड़ी कटौती के लिए कह रहा है?" -> तुरंत नियमों को सख्त करें।

परिणाम: एक खुश शेफ, एक खुश परिवार और एक खुश ग्रिड

लेखकों ने इसका परीक्षण एक वास्तविक अपार्टमेंट बिल्डिंग (स्विट्जरलैंड में एक "लिविंग लैब") में किया। यहाँ क्या हुआ:

पुराने शेफ की तुलना में: नए सिस्टम ने ऊर्जा बिलों में लगभग 50% की बचत की। यह आपके किराने के बिल को आधा करने जैसा है!
बिना सु-शेफ वाले AI शेफ की तुलना में: AI अकेला पैसा बचाने में बहुत अच्छा था लेकिन कभी-कभी "मैनेजर" के नियमों को तोड़ देता था। सेफ्टी फ़िल्टर के साथ, इसने अपने पैसे बचाने के जादू को बहुत कम खोए बिना नियमों का 100% समय पालन किया।
आराम (Comfort): परिवार गर्म रहा। एकमात्र कमी उन क्षणों में मामूली वृद्धि थी जब कमरा आदर्श से थोड़ा ठंडा था, लेकिन यह भारी बचत और ग्रिड स्थिरता के लिए एक उचित सौदा था।

बड़ी तस्वीर

पावर ग्रिड को एक व्यस्त राजमार्ग के रूप में सोचें।

नवीकरणीय ऊर्जा (पवन/सौर) कारों की अचानक भीड़ की तरह है।
इमारतें ऐसी कारों की तरह हैं जो तेज हो सकती हैं या धीमी हो सकती हैं।
सेफ्टी फ़िल्टर वह ट्रैफिक पुलिस है जो AI ड्राइवर (इमारत) को ठीक से बताता है कि कब धीमा होना है या कब तेज होना है ताकि कोई दुर्घटना न हो, जबकि ड्राइवर को सबसे कुशल मार्ग लेने भी देता है।

यह पेपर साबित करता है कि हम स्मार्ट, स्व-शिक्षण वाली इमारतों को रख सकते हैं जो हमारे पैसे बचाती हैं और ग्रह की मदद करती हैं, जब तक कि हम उन्हें एक सुरक्षा जाल (safety net) देते हैं ताकि वे पटरी से न उतरें।

यहाँ शोध पत्र "Safe Deep Reinforcement Learning for Building Heating Control and Demand-side Flexibility" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

भवन क्षेत्र वैश्विक ऊर्जा खपत का लगभग 40% और CO2 उत्सर्जन का एक महत्वपूर्ण हिस्सा है। जैसे-जैसे ग्रिड में रुक-रुक कर चलने वाले नवीकरणीय ऊर्जा स्रोतों (RES) का एकीकरण बढ़ रहा है, डिमांड-साइड फ्लेक्सिबिलिटी (DSF) की तत्काल आवश्यकता है, जहाँ भवन ग्रिड स्थिरता का समर्थन करने के लिए अपनी ऊर्जा खपत को समायोजित करते हैं।

हालाँकि, ग्रिड ऑपरेटरों द्वारा अनुरोधित विशिष्ट ऊर्जा कमी लक्ष्यों या निवासी थर्मल कम्फर्ट (आराम) जैसे महत्वपूर्ण मानदंडों का उल्लंघन किए बिना, डिमांड-साइड फ्लेक्सिबिलिटी प्रदान करने के लिए बिल्डिंग HVAC सिस्टम को नियंत्रित करना तीन मुख्य चुनौतियाँ पेश करता है:

सुरक्षा और बाधाएं (Safety and Constraints): मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एजेंट अन्वेषणात्मक होते हैं और महत्वपूर्ण बाधाओं का उल्लंघन कर सकते हैं, जैसे कि निवासी थर्मल कम्फर्ट या ग्रिड ऑपरेटरों द्वारा अनुरोधित विशिष्ट ऊर्जा कमी लक्ष्य।
मॉडल निर्भरता (Model Dependency): पारंपरिक मॉडल प्रेडिक्टिव कंट्रोल (MPC) के लिए भवन के सटीक भौतिक मॉडलों की आवश्यकता होती है, जिन्हें प्राप्त करना और विविध प्रकार के भवनों में लागू करना कठिन है।
रियल-टाइम अनुकूलन क्षमता (Real-time Adaptability): मौजूदा समाधान अक्सर स्थिर नियमों या जटिल सिस्टम आइडेंटिफिकेशन पर निर्भर करते हैं, जो उतार-चढ़ाव वाली बिजली कीमतों और वास्तविक समय के फ्लेक्सिबिलिटी अनुरोधों के प्रति उनकी गतिशील अनुकूलन क्षमता को सीमित करते हैं।

मुख्य समस्या एक ऐसा नियंत्रण ढांचा डिजाइन करने की है जो लागत और आराम के लिए हीटिंग को अनुकूलित करे, जबकि बिना किसी पूर्व-निर्धारित भौतिक मॉडल के सख्त अनुपालन (strict compliance) की गारंटी दे सके (जैसे कि एक विशिष्ट समय अंतराल के दौरान ऊर्जा उपयोग को एक विशिष्ट कारक द्वारा कम करना)।

2. कार्यप्रणाली (Methodology)

लेखकों ने एक सेफ डीप रिइन्फोर्समेंट लर्निंग (SRL) फ्रेमवर्क प्रस्तावित किया है जिसमें तीन मुख्य घटक शामिल हैं:

A. डीप रिइन्फोर्समेंट लर्निंग कंट्रोलर (DDPG)

एल्गोरिदम: मुख्य नियंत्रक डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (DDPG) एल्गोरिदम का उपयोग करता है, जो निरंतर एक्शन स्पेस (वाल्व ओपनिंग लेवल) के लिए उपयुक्त है।
स्टेट स्पेस ( $S_t$ ): इसमें सौर विकिरण, परिवेश का तापमान, कमरे का तापमान, पड़ोसी कमरे का तापमान, समय संबंधी विशेषताएं, बिजली की कीमत, फ्लेक्सिबिलिटी विंडो टाइमिंग और संचयी ऊर्जा उपयोग शामिल हैं।
एक्शन (Action): हीट पंप के लिए निरंतर वाल्व ओपनिंग स्तर ( $u_t$ )।
रिवॉर्ड फंक्शन (Reward Function): एक भारित योग (weighted sum) जो तीन उद्देश्यों को संतुलित करने के लिए डिज़ाइन किया गया है:
- थर्मल कम्फर्ट (तापमान $23.5^\circ\text{C} - 25^\circ\text{C}$ से विचलन को दंडित करना)।
- बिजली की लागत (कम करने के लिए $u_t \times \text{price}$ )।
- फ्लेक्सिबिलिटी अनुपालन (अनुरोधित ऊर्जा बजट से विचलन को दंडित करना)।
थर्मल मॉडल: वातावरण एक फिजिकली कंसिस्टेंट न्यूरल नेटवर्क (PCNN) का उपयोग करता है। यह हाइब्रिड मॉडल एक रैखिक भौतिक मॉडल को एक नॉन-लीनियर न्यूरल नेटवर्क के साथ जोड़ता है ताकि अनफोर्स्ड डायनेमिक्स को कैप्चर किया जा सके, जिससे पूर्ण फर्स्ट-प्रिंसिपल मॉडल की आवश्यकता के बिना सटीक तापमान भविष्यवाणी सुनिश्चित होती है।

B. रियल-टाइम एडेप्टिव सेफ्टी फिल्टर (RASF)

मानक DRL की सुरक्षा सीमाओं को संबोधित करने के लिए, एक मॉडल-फ्री, रियल-टाइम सेफ्टी फिल्टर पेश किया गया है। यह फिल्टर DRL एजेंट और बिल्डिंग एनवायरनमेंट के बीच स्थित होता है।

कार्य: यह DRL एजेंट से प्रस्तावित एक्शन ( $u_t$ ) लेता है और इसे एक सुरक्षित एक्शन ( $u_{safe,t}$ ) में समायोजित करता है ताकि यह सुनिश्चित हो सके कि फ्लेक्सिबिलिटी विंडो के भीतर संचयी ऊर्जा खपत ऑपरेटर के अनुरोध से अधिक न हो।
तंत्र (Mechanism):
1. बेसलाइन गणना: शेष समय में ऊर्जा बजट को पूरा करने के लिए आवश्यक शेष औसत सुरक्षित एक्शन ( $u_{1,t}$ ) की गणना करता है।
2. डायनेमिक टॉलरेंस ( $\tau_t$ ): दो सामान्यीकृत संकेतकों के आधार पर एक टॉलरेंस फैक्टर की गणना करता है:
  - थर्मल फ्लेक्सिबिलिटी: कमरा कम्फर्ट लिमिट के कितने करीब है (यदि कमरा लिमिट से दूर है तो उच्च टॉलरेंस)।
  - प्राइस फेवरेबिलिटी: बिजली की कीमत कितनी कम है (यदि कीमतें कम हैं तो उच्च टॉलरेंस)।
3. एक्शन एडजस्टमेंट: फिल्टर $u_{1,t}$ $u_{1, t}$ और $\tau_t$ $τ_{t}$ के आधार पर वाल्व ओपनिंग के ऊपरी और निचले स्तरों को परिभाषित करता है।
  - यदि ऊर्जा कम करनी है: $u_{safe,t} = \min(u_t, u_{maximal,t})$ ।
  - यदि ऊर्जा बढ़ानी है: $u_{safe,t} = \max(u_t, u_{minimal,t})$ ।

C. सिमुलेशन एनवायरनमेंट

सिस्टम का परीक्षण NEST बिल्डिंग (एम्पा, स्विट्जरलैंड) के UMAR अपार्टमेंट यूनिट के ऐतिहासिक डेटा का उपयोग करके किया गया। सिमुलेशन 15-मिनट के रिज़ॉल्यूशन के साथ एक महीने की अवधि को कवर करता है, जो रूल-बेस्ड कंट्रोल (RBC) और मानक DRL के विरुद्ध प्रस्तावित पद्धति की तुलना करता है।

3. प्रमुख योगदान (Key Contributions)

मॉडल-फ्री एडेप्टिव सेफ्टी फिल्टर: एक अभिनव RASF जिसे किसी पूर्व सिस्टम आइडेंटिफिकेशन या भौतिक मॉडलिंग की आवश्यकता नहीं है। यह कमरे के तापमान और बिजली की कीमतों के आधार पर वास्तविक समय में नियंत्रण कार्यों को गतिशील रूप से समायोजित करता है ताकि फ्लेक्सिबिलिटी अनुरोधों का 100% अनुपालन सुनिश्चित किया जा सके।
एकीकृत सेफ DRL फ्रेमवर्क: DDPG-आधारित कंट्रोल आर्किटेक्चर में सेफ्टी फिल्टर का सफल एकीकरण, जो एजेंट को बाहरी ग्रिड बाधाओं का सख्ती से पालन करते हुए इष्टतम नीतियां सीखने में सक्षम बनाता है।
वास्तविक-विश्व सत्यापन: एक लिविंग लैब बिल्डिंग के डेटा का उपयोग करके एक वास्तविकता के करीब सिमुलेशन, जो ऊर्जा उपयोग को अनुकूलित करने, थर्मल कम्फर्ट बनाए रखने और फ्लेक्सिबिलिटी सेवाएं प्रदान करने की क्षमता प्रदर्शित करता है।

4. परिणाम (Results)

अध्ययन ने चार परिदृश्यों की तुलना की:

बेसलाइन: रूल-बेस्ड कंट्रोल (हिस्टेरेसिस)।
DRL (No Flex): लागत/कम्फर्ट को अनुकूलित करता है लेकिन फ्लेक्सिबिलिटी अनुरोधों को अनदेखा करता है।
DRL (Flex): फ्लेक्सिबिलिटी के लिए अनुकूलित करता है लेकिन इसमें सेफ्टी फिल्टर की कमी है (उल्लंघन का जोखिम)।
DRL + RASF: प्रस्तावित विधि।

मुख्य निष्कर्ष (एक-माह का सिमुलेशन):

लागत दक्षता: DRL + RASF दृष्टिकोण ने रूल-बेस्ड बेसलाइन की तुलना में 64.5% लागत में कमी हासिल की (CHF 40.75 बनाम CHF 19.42)।
ऊर्जा बचत: इसने बेसलाइन की तुलना में ऊर्जा खपत को लगभग 50% कम कर दिया (134.62 kWh बनाम 69.02 kWh)।
फ्लेक्सिबिलिटी अनुपालन: मानक DRL (केस 3) के विपरीत, जो कुछ फ्लेक्सिबिलिटी अनुरोधों को पूरा करने में विफल रहा, RASF ने ऑपरेटर बाधाओं के साथ 100% अनुपालन सुनिश्चित किया।
कम्फर्ट ट्रेड-ऑफ: हालांकि फ्लेक्सिबिलिटी लागू करने से थर्मल कम्फर्ट उल्लंघन में थोड़ी वृद्धि हुई (No Flex में 75.62 Kh से Flex + RASF में 103.56 Kh), फिर भी सिस्टम समग्र थर्मल स्थिरता और लागत में बेसलाइन (97.12 Kh) की तुलना में काफी बेहतर प्रदर्शन करता है।
बेसलाइन के मुकाबले प्रदर्शन: प्रस्तावित कंट्रोलर ने रूल-बेस्ड कंट्रोलर की तुलना में लागत में 64.5% की कमी की और थर्मल कम्फर्ट मेट्रिक्स में 45.5% का सुधार किया।

5. महत्व (Significance)

यह शोध पत्र स्मार्ट ग्रिड अनुसंधान में एक महत्वपूर्ण अंतर को संबोधित करता है: डेटा-संचालित बिल्डिंग कंट्रोल में गारंटीकृत सुरक्षा की कमी।

ग्रिड स्थिरता: फ्लेक्सिबिलिटी अनुरोधों का सख्ती से पालन सुनिश्चित करके, यह विधि भवनों को ग्रिड बैलेंसिंग और कंजेशन मैनेजमेंट में विश्वसनीय, सक्रिय भागीदार के रूप में कार्य करने की अनुमति देती है।
स्केलेबिलिटी: इस दृष्टिकोण की मॉडल-फ्री प्रकृति (जो जटिल भौतिक समीकरणों के बजाय PCNNs और डेटा पर निर्भर करती है) इसे उन विविध प्रकार के भवनों के लिए अत्यधिक स्केलेबल बनाती है जहाँ सटीक भौतिक मॉडल उपलब्ध नहीं हैं।
आर्थिक व्यवहार्यता: परिणाम दर्शाते हैं कि सख्त सुरक्षा बाधाएं आर्थिक लाभों को बाधित नहीं करती हैं; सिस्टम ग्रिड ऑपरेटरों को संतुष्ट करते हुए भारी लागत बचत प्राप्त करता है।
भविष्य का प्रभाव: यह फ्रेमवर्क महत्वपूर्ण बुनियादी ढांचे में AI को तैनात करने के लिए एक ब्लूप्रिंट प्रदान करता है जहाँ सुरक्षा उल्लंघन (जैसे असुविधा या ग्रिड अस्थिरता) अस्वीकार्य हैं, जो विकेंद्रित, लचीली ऊर्जा प्रणालियों का मार्ग प्रशस्त करता है।