Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

तकनीकी सारांश: स्मार्ट ग्रीनहाउस में सुदृढीकरण शिक्षण (Reinforcement Learning) नियंत्रण के लिए अंशांकन-प्रथम पुरस्कार-घटक ऑडिटिंग (Calibration-First Reward-Component Auditing)

समस्या विवरण
सुदृढीकरण शिक्षण (RL) स्मार्ट ग्रीनहाउस में जलवायु-नियंत्रण रणनीतियों को भौतिक फसल प्रयोगों की तुलना में बहुत अधिक गति और पैमाने पर परीक्षण करने की क्षमता प्रदान करता है। हालाँकि, इसे अपनाने में एक महत्वपूर्ण बाधा RL उद्देश्य (objective) की व्याख्यात्मकता (interpretability) है। GreenLight-Gym जैसे मौजूदा ढाँचों में, पुरस्कार आमतौर पर विकास राजस्व और ऊर्जा लागत को संयोजित करने वाला एक एकल स्केलर मान होता है। यह एकत्रीकरण उन विशिष्ट भौतिक क्रियाओं (जैसे हीटिंग, CO2 संवर्धन, स्क्रीन तैनाती) को अस्पष्ट कर देता है जो नीति (policy) के प्रदर्शन को संचालित करती हैं। फलस्वरूप, उत्पादक और नियंत्रण इंजीनियर यह आसानी से निर्धारित नहीं कर पाते कि पुरस्कार में वृद्धि शारीरिक सुधारों, बदले हुए सेटपॉइंट्स, अनुकूल मौसम, या सिम्युलेटर आर्टिफैक्ट्स (simulator artifacts) के कारण हुई है। इसके अलावा, "सिम-टू-रियल" (sim-to-real) अंतराल एक जोखिम पैदा करता है: सिमुलेशन में गणना किए गए पुरस्कार घटक लॉग किए गए ग्रीनहाउस डेटा की तुलना में सुसंगत अर्थ (semantics) या स्केल नहीं रख सकते हैं, जिससे ऐसी नीतियां विकसित हो सकती हैं जो तैनाती के समय विफल हो जाती हैं।

कार्यप्रणाली
लेखक एक "अंशांकन-प्रथम पुरस्कार-घटक ऑडिटिंग" ढांचे का प्रस्ताव करते हैं जिसे नियंत्रक हस्तांतरण (controller transfer) से पहले RL पुरस्कारों को विघटित (decompose), मान्य और व्याख्या करने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली तीन प्राथमिक चरणों से बनी है:

1. पुरस्कार विघटन (Reward Decomposition): मूल स्केलर ग्रीनलाइट-जिम (GreenLight-Gym) उद्देश्य को एक "फिजिक्स-प्रायर" (physics-prior) डायग्नोस्टिक टर्म के साथ बढ़ाया गया है। कुल पुरस्कार $r_t$ मूल स्केलर पुरस्कार ($0.7r_{native}$) और एक डायग्नोस्टिक टर्म ($0.3r_{diag}$) का मिश्रण है। डायग्नोस्टिक टर्म सात नामित घटकों का भारित योग है: तापमान आराम (temperature comfort), तापमान दिशा (temperature direction), CO2 दिशा, आर्द्रता/VPD, प्रकाश, स्क्रीन, और एक एक्चुएशन प्रॉक्सी (actuation proxy)। ये घटक व्याख्यात्मक हैं और भौतिक ग्रीनहाउस गतिकी (dynamics) के अनुरूप डिज़ाइन किए गए हैं।
2. सिम्युलेटर अंशांकन (Simulator Calibration): सिमुलेशन रोलआउट्स को साक्ष्य के रूप में उपयोग करने से पहले, ग्रीनलाइट सिम्युलेटर को ऑटोनॉमस ग्रीनहाउस चैलेंज (AGC2) से प्राप्त लॉग किए गए क्लोज-ट्रेस (climate traces) के अनुकूल बनाया जाता है। हीट एक्सचेंज, वेंटिलेशन और क्षमता मापदंडों को बदलकर एक पैरामीटर सर्च किया जाता है ताकि हवा के तापमान, सापेक्ष आर्द्रता और CO2 के बीच त्रुटि को न्यूनतम किया जा सके। यह अंशांकन सुनिश्चित करता है कि सिम्युलेटर की अवस्था गतिकी (state dynamics) लक्षित सुविधा के साथ निकटता से मेल खाती है।
3. बहु-स्तरीय ऑडिटिंग (Multi-Layer Auditing): यह ढांचा छह विशिष्ट जाँचों के माध्यम से सीखी गई नीति का मूल्यांकन करता है:
   • सीखने की क्षमता (Learnability): यह सत्यापित करना कि क्या विघटित पुरस्कार PPO एजेंटों को नियम-आधारित बेसलाइन से बेहतर प्रदर्शन करने की अनुमति देता है।
   • समय-सशर्त व्यवहार (Time-Conditioned Behavior): यह विश्लेषण करना कि क्या क्रियाएं (विशेष रूप से CO2 डोजिंग) शारीरिक रूप से प्रशंसनीय व्यवस्थाओं (जैसे दिन बनाम रात) की ओर स्थानांतरित होती हैं।
   • क्रॉस-डोमेन तुलनीयता (Cross-Domain Comparability): सिमुलेशन और वास्तविकता के बीच अर्थपूर्ण और स्केल निरंतरता की जांच करने के लिए लॉग किए गए AGC डेटा (AGC1, AGC2, AGC4) पर समान नामित घटकों को स्कोर करना।
   • नियम निष्ठा (Rule Fidelity): न्यूरल पॉलिसी की क्रियाओं को उथले निर्णय वृक्षों (shallow decision trees) में संकुचित करना ताकि यह निर्धारित किया जा सके कि सीखा गया व्यवहार सरल, व्याख्यात्मक नियमों (जैसे "यदि विकिरण > X है तो स्क्रीन बंद करें") के करीब है या नहीं।
   • एक्चुएशन-प्रॉक्सी ट्रेडऑफ़ (Actuation-Proxy Tradeoffs): यह आकलन करना कि क्या पुरस्कार लाभ वास्तविक नियंत्रण बोझों के माध्यम से प्राप्त किए गए हैं या सिम्युलेटर शॉर्टकट के माध्यम से।

प्रमुख परिणाम

• सीखने की क्षमता: विघटित पुरस्कार पूरी तरह से सीखने योग्य बना रहा। घटक पुरस्कार का उपयोग करने वाले नौ 500k-स्टेप PPO रन सफलतापूर्वक नियम-नियंत्रक फ्लोर को पार कर गए, जिसमें मूल पुरस्कारों ने स्केलर बेसलाइन के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया।
• अंशांकन प्रभाव: ग्रीनलाइट सिम्युलेटर को AGC2 लॉग डेटा के अनुकूल बनाने से स्टेट-रोलआउट सटीकता में काफी सुधार हुआ। अनुकूलित सिम्युलेटर ने डिफ़ॉल्ट सिम्युलेटर की तुलना में तापमान के लिए माध्य रूट-मीन-स्क्वायर एरर (RMSE) में 0.184°C, सापेक्ष आर्द्रता के लिए 4.3 प्रतिशत अंक और CO2 के लिए 563 ppm की कमी की, बिना तापमान सटीकता को कम किए।
• व्याख्यात्मकता (नियम निष्ठा): डिफ़ॉल्ट (अनअनुकूलित) सिम्युलेटर में, फिजिक्स-प्रायर पुरस्कार ने ऐसी नीतियां उत्पन्न कीं जो स्केलर बेसलाइन की तुलना में उथले निर्णय वृक्षों द्वारा काफी अधिक अनुमानित थीं। विशेष रूप रूप से, थर्मल स्क्रीन्स के लिए $R^2$ 0.652 से बढ़कर 0.835, लैम्प्स के लिए 0.631 से 0.838, और ब्लैकआउट स्क्रीन्स के लिए 0.592 से 0.750 हो गया। हालांकि, सुविधा अनुकूलन के बाद, दोनों पुरस्कार डिज़ाइन समान उच्च नियम-निष्ठा स्कोर ($R^2 \approx 0.94$) की ओर अभिसरित (converge) हुए, जो यह सुझाव देता है कि अनुकूलित गतिकी स्वयं नीति को भौतिक रूप से संरचित नियमों की ओर सीमित करती है।
• क्रॉस-डोमेन संरेखण: लॉग किए गए AGC डेटा पर समान घटकों को स्कोर करते समय, ढांचे ने फसल- और चैनल-विशिष्ट संरेखण संकेतों की पहचान की। उदाहरण के लिए, AGC1 खीरा उपज रैंकिंग के बीच कंपोजिट प्रायर और रैंक सहसंबंध ($\rho = 0.829$) के बीच एक सकारात्मक लेकिन सांख्यिकीय रूप से कम शक्ति वाला संबंध पाया गया। व्यक्तिगत चैनल, जैसे AGC2 और AGC4 में CO2 दिशा, ने मजबूत सहसंबंध दिखाया, जो अंशांकन या माप समर्थन के लिए विशिष्ट क्षेत्रों को उजागर करता है।

महत्व और दावे
यह शोध पत्र इस ढांचे को तत्काल क्षेत्र-स्तर के उपज सुधार के तरीके के रूप में नहीं, बल्कि एक पूर्व-तैनाती नैदानिक परत (pre-deployment diagnostic layer) के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि:

1. पुरस्कार पारदर्शिता: पुरस्कारों को नामित घटकों में विघटित करने से शोधकर्ता यह रिपोर्ट कर सकते हैं कि एक नीति अपना पुरस्कार कैसे अर्जित करती है, न कि केवल समग्र स्कोर।
2. अंशांकन की आवश्यकता: सिम्युलेटर अंशांकन क्रॉस-डोमेन तुलना के लिए एक पूर्व शर्त है; इसके बिना, पुरस्कार घटक सिम्युलेशन और लॉग किए गए डेटा के बीच सुसंगत अर्थ नहीं रखते हैं।
3. नैदानिक उपयोगिता: ढांचा प्रभावी ढंग से पहचानता है कि कौन से एक्चुएटर चैनल (जैसे स्क्रीन, लैंप) नियम-आधारित निरीक्षण के योग्य हैं और किन फसल-विशिष्ट चैनलों को आगे के अंशांकन या माप समर्थन की आवश्यकता है।
4. मामूली दायरा: लेखक स्पष्ट रूप से कहते हैं कि परिणाम अंतिम उपज या बंद-लूप क्षेत्र तैनाती के लिए तैयार नीतियों के बजाय पुरस्कार-घटक ऑडिटिंग के उपयोग को एक सत्यापन चरण के रूप में समर्थन देते हैं। यह अध्ययन सिम्युलेटर-ओनली अनुसंधान और सुविधा-विशिष्ट सत्यापन के बीच के अंतर को पाटने का कार्य करता है, यह सुनिश्चित करते हुए कि पुरस्कार की "भाषा" डोमेन के बीच सुसंगत है।