Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC
यह शोध पत्र आवासीय HVAC के लिए मॉडल प्रेडिक्टिव कंट्रोल (MPC) और मॉडल-बेस्ड रिइन्फोर्समेंट लर्निंग (RL) की तुलना करते हुए एक महीने के फील्ड परिनियोजन को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि जहाँ दोनों ने समान डेटा आवश्यकताओं के साथ समान ऊर्जा बचत (क्रमशः 18.1% और 20.9%) प्राप्त की, वहीं RL को सुरक्षा और इनिशियलाइजेशन चुनौतियों के कारण शुरुआत में अधिभोगी आराम से समझौता करना पड़ा, लेकिन इसके लिए काफी कम इंजीनियरिंग प्रयास की आवश्यकता थी।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके घर की हीटिंग और कूलिंग प्रणाली एक बहुत ही उत्साही, लेकिन थोड़े मंदबुद्धि, रोबोट बटलर की तरह है। इसका एकमात्र काम घर को उस तापमान पर रखना है जो आप डायल पर सेट करते हैं। यदि आप इसे 20°C पर रहने के लिए कहते हैं, तो यह 20°C तक पहुँचने तक हीटर चलाता रहेगा, फिर बंद हो जाएगा, और केवल तभी फिर से चालू होगा जब घर ठंडा हो जाएगा। यह "सेट इट एंड फॉरगेट इट" (सेट करें और भूल जाएं) तरीका काम तो करता है, लेकिन यह बर्बादी भरा है। यह कार चलाने जैसा है जहाँ आपका पैर एक्सीलेटर पर चिपका हुआ है, और आप केवल तब ब्रेक लगाते हैं जब आप टकराने ही वाले होते हैं, बजाय इसके कि स्टॉप साइन से पहले धीरे से गति कम कर लें।
इसे ठीक करने के लिए, वैज्ञानिक इस रोबोट को स्मार्ट बनाने की कोशिश कर रहे हैं। इसे करने के दो मुख्य तरीके हैं। पहला तरीका ऐसा है जैसे रोबोट को एक विस्तृत मानचित्र और एक भौतिक विज्ञान (फिजिक्स) की पाठ्यपुस्तक देना। इसे मॉडल प्रेडिक्टिव कंट्रोल (MPC) कहा जाता है। रोबोट मानचित्र का उपयोग यह गणना करने के लिए करता है कि अगले एक दिन में घर कैसे गर्म या ठंडा होगा, जिससे वह आपको आरामदायक रखने के साथ-साथ ऊर्जा बचाने के लिए अपनी चालों की योजना पूरी सटीकता से बना सके। दूसरा तरीका रीइन्फोर्समेंट लर्निंग (RL) है। मानचित्र के बजाय, आप रोबोट को एक इनाम प्रणाली देते हैं: "अगर आप ऊर्जा बचाते हैं तो अच्छा काम, अगर आप घर को बहुत ठंडा करते हैं तो बुरा काम।" रोबोट परीक्षण और त्रुटि (trial and error) के माध्यम से सीखता है, यह पता लगाने के लिए कि सबसे अच्छे कदम क्या हैं, ठीक वैसे ही जैसे एक वीडियो गेम का पात्र स्तर को पार करने के लिए बार-बार हारने और पैटर्न समझने की कोशिश करता है।
बड़ा सवाल यह है: एक वास्तविक घर के लिए कौन सी विधि बेहतर है? पाठ्यपुस्तक वाला तरीका (MPC) सिद्ध है, लेकिन इसके लिए एक मानव इंजीनियर को मानचित्र बनाने और नियमों को ट्यून करने की आवश्यकता होती है, जिसमें बहुत समय और प्रयास लगता है। सीखने वाला तरीका (RL) स्वचालित रूप से काम करने का वादा करता है, लेकिन कोई नहीं जानता था कि क्या यह बिना घर को बहुत ठंडा किए या ऊर्जा बर्बाद किए पर्याप्त तेज़ी से सीख पाएगा। यह शोध इन दोनों दृष्टिकोणों को कंप्यूटर सिमुलेशन लैब से बाहर निकालकर एक वास्तविक, बसे हुए घर में डालता है ताकि देखा जा सके कि वास्तव में 'वाइल्ड' में कौन सा काम करता है।
द ग्रेट थर्मोस्टेट शोडाउन: मैप्स बनाम लर्निंग
वेस्ट लाफायेट, इंडियाना के एक आरामदायक, 1920 के दशक के घर में, दो डिजिटल दिमाग एक महीने तक आमने-सामने रहे। एक दिमाग मॉडल प्रेडिक्टिव कंट्रोल (MPC) सिस्टम था, जो "प्लानर" (योजनाकार) है और घर के ताप के प्रति प्रतिक्रिया देने के मॉडल पर निर्भर करता है। दूसरा Ibex-RL था, एक रीइन्फोर्समेंट लर्निंग सिस्टम, जो "लर्नर" (सीखने वाला) है और चलते समय घर के व्यवहार को समझने की कोशिश करता है। दोनों को एक हीट पंप को नियंत्रित करने का काम सौंपा गया था—जो घर की हीटिंग प्रणाली का हृदय है—ताकि बिजली बचाई जा सके और निवासियों को आरामदायक रखा जा सके।
स्कोरबोर्ड: किसने अधिक ऊर्जा बचाई?
परिणाम आश्चर्यजनक रूप से करीब थे, जैसे दो धावक एक बाल के अंतर से रेस पूरी करते हैं।
- MPC प्लानर ने मानक, निरंतर तापमान सेटिंग की तुलना में 18.1% ऊर्जा बचाने में सफलता प्राप्त की।
- RL लर्नर ने वास्तव में थोड़ा आगे निकलकर 20.9% ऊर्जा बचाई।
दोनों विधियाँ कुछ न करने की तुलना में सांख्यिकीय रूप से बेहतर साबित हुईं, लेकिन शुद्ध ऊर्जा बचत के मामले में दोनों रोबोटों के बीच का अंतर एक स्पष्ट विजेता घोषित करने के लिए पर्याप्त नहीं था।
कम्फर्ट फैक्टर: "बहुत ठंडा" होने की समस्या
यहाँ दोनों रोबोटों के व्यक्तित्व बहुत अलग थे।
MPC प्लानर एक सतर्क, नियम मानने वाला प्रकार था। यह बहुत बारीकी से उस तापमान पर टिका रहा जो निवासी चाहते थे (रात में 18°C, दिन में 20°C)। निवासी खुश थे, और सिस्टम ने पूरे समय "स्वीकार्य" आराम स्तर बनाए रखा।
हालाँकि, RL लर्नर थोड़ा जोखिम लेने वाला था। इसने सीखा कि घर को थोड़ा ठंडा रखने से अधिक ऊर्जा बचती है। परिणामस्वरूप, इसने घर को निवासियों की पसंद की तुलना में अधिक ठंडा रखा, विशेष रूप से पहले कुछ दिनों के दौरान जब यह अभी भी "सीख" रहा था। इसके कारण निवासियों से तीन बार असुविधा की रिपोर्ट मिली। घर इतना ठंडा हो गया कि निवासियों ने वास्तव में शिकायत की। हालांकि RL सिस्टम ने अंततः सुधार किया, लेकिन यह MPC सिस्टम की तुलना में "बहुत ठंडे" क्षेत्र में अधिक समय बिताया।
प्रयास: इसे सेट अप करना कितना कठिन था?
यहीं से कहानी दिलचस्प हो जाती है यदि कोई इन प्रणालियों को बनाना चाहता है।
- MPC एक कस्टम सूट बनाने जैसा है। इसके लिए एक दर्जी (इंजीनियर) की आवश्यकता होती है जो माप ले, कपड़े को फिट करे और सिलाई को एडजस्ट करे। शोधकर्ताओं ने अनुमान लगाया कि एक नए घर के लिए MPC को सेट करने में केवल कंट्रोल लॉजिक के लिए एक इंजीनियर का लगभग पाँच दिन का समय लगेगा, साथ ही चार दिन भौतिक सेटअप के लिए।
- RL एक स्मार्ट, खुद को एडजस्ट करने वाली जैकेट खरीदने जैसा है। एक बार बुनियादी ढांचा तैयार हो जाने के बाद, यह पहनने वाले के अनुसार ढल जाता है। शोधकर्ताओं ने अनुमान लगाया कि एक नए घर के लिए RL को सेट करने में केवल लगभग दो दिन का कंट्रोल वर्क लगेगा।
संक्षेप में, RL सिस्टम को तैनात करने के लिए MPC सिस्टम की तुलना में लगभग एक-तिहाई कम इंजीनियरिंग प्रयास की आवश्यकता थी। यह शुरू करने के लिए तेज़ था, लेकिन इसके साथ एक "लर्निंग कर्व" (सीखने की प्रक्रिया) भी आया जिससे निवासी थोड़े ठंडे महसूस कर सकते थे।
ग्लिच और "ब्लैक बॉक्स"
यह प्रयोग बिना किसी बाधा के नहीं था। RL सिस्टम को अपनी पहचान का संकट था। इसे घर के भौतिक विज्ञान (दीवारें कितनी जल्दी ठंडी होती हैं, खिड़कियों से कितनी धूप आती है) को सीखना था, लेकिन क्योंकि यह बिना किसी परफेक्ट "सिमुलेटर" के अभ्यास किए वास्तविक दुनिया के डेटा से सीख रहा था, इसके कुछ सीखे हुए आंकड़े अजीब हो गए। उदाहरण के लिए, इसने थोड़े समय के लिए सोचा कि सूरज की रोशनी घर को ठंडा करती है (एक नकारात्मक सौर क्षेत्र), जो कि भौतिक रूप से असंभव है। हालाँकि, सिस्टम को सुरक्षा रेलिंग (कन्स्ट्रेंट्स) के साथ बनाया गया था जिसने इन अजीब विचारों को हीटर को बेकाबू होने से रोका। इसने घर को सुरक्षित रखा, भले ही इसका आंतरिक मानचित्र थोड़ा विकृत था।
निर्णय
यह अध्ययन बताता है कि रीइन्फोर्समेंट लर्निंग (RL) घरों को स्मार्ट बनाने और ऊर्जा बचाने के लिए एक व्यवहार्य मार्ग है, जो संभावित रूप से इंजीनियरों का बहुत समय बचा सकता है। हालाँकि, यह यह भी रेखांकित करता है कि RL अभी एक जादू की छड़ी नहीं है। यह शुरुआत में थोड़ा "रफ" हो सकता है, जिससे सीखने के दौरान निवासियों के आराम को जोखिम हो सकता है।
शोध निष्कर्ष निकालता है कि जबकि RL, स्मार्ट नियंत्रणों को तैनात करने का एक तेज़ और अधिक स्वचालित तरीका प्रदान करता है, इसे सीखने के चरण के दौरान सुरक्षा और आराम सुनिश्चित करने में अभी भी चुनौतियों का सामना करना पड़ता है। आदर्श भविष्य शायद दोनों के बीच चुनाव नहीं होगा, बल्कि एक हाइब्रिड (मिश्रित) होगा: "प्लानर" (MPC) की सुरक्षा और संरचना का उपयोग "लर्नर" (RL) को निर्देशित करने के लिए करना, जिससे एक ऐसा सिस्टम बने जो सेटअप करने में आसान भी हो और निवासियों के आराम के प्रति कोमल भी। फिलहाल, यदि आप नए घर के लिए सबसे सुरक्षित दांव चाहते हैं, तो प्लानर (MPC) अभी भी भरोसेमंद विकल्प है। यदि आप स्वचालन के भविष्य को आज़माना चाहते हैं और कुछ ठंडी रातों को सहने के लिए तैयार हैं, तो लर्नर (RL) आपको मौका देने के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।