⚡ electrical engineering

Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

यह शोध पत्र एक प्रक्षेपवक्र-चयन (trajectory-selection) RL-MPC ढांचे का प्रस्ताव करता है जो ग्रीनहाउस टमाटर उत्पादन में सिस्टम बाधाओं का सम्मान करते हुए फल की उपज और परिचालन लागत के बीच प्रभावी ढंग से संतुलन बनाने के लिए सुदृढीकरण शिक्षण (reinforcement learning) से दीर्घकालिक आर्थिक अंतर्दृष्टि को अल्प-क्षितिज मॉडल प्रेडिक्टिव कंट्रोल (short-horizon model predictive control) में एकीकृत करता है।

मूल लेखक: Bart van Laatum, Salim Msaad, Eldert J. van Henten, Robert D. McAllister, Sjoerd Boersma

प्रकाशित 2026-07-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bart van Laatum, Salim Msaad, Eldert J. van Henten, Robert D. McAllister, Sjoerd Boersma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: ग्रीनहाउस की दुविधा

कल्पना कीजिए कि आप एक हाई-टेक टमाटर ग्रीनहाउस के मैनेजर हैं। आपका लक्ष्य सरल है: अधिक से अधिक टमाटर उगाना ताकि पैसा कमाया जा सके, लेकिन पौधों को जीवित रखने के लिए हीटिंग, बिजली और CO2 पर कम से कम खर्च करना।

हालाँकि, आपके सामने एक पेचीदा समस्या है:

"मायोपिक" समस्या (दूरदर्शिता की कमी): यदि आप केवल अगले एक घंटे को देखते हैं, तो आप पैसे बचाने के लिए हीटर बंद कर सकते हैं। लेकिन यदि आप ऐसा करते हैं, तो पौधे ठंडे हो जाते हैं, बढ़ना रुक जाता है, और आप बाद में पैसा खो देते हैं। आपको आज की लागत और कल की फसल के बीच संतुलन बनाना होगा।
"लॉन्ग-होराइजन" समस्या (लंबी अवधि की समस्या): एक आदर्श निर्णय लेने के लिए, आपको हफ्तों आगे देखना चाहिए (क्योंकि टमाटरों को बढ़ने में हफ्तों लगते हैं)। लेकिन हफ्तों के लिए एक आदर्श योजना की गणना करने के लिए आवश्यक गणित इतना जटिल है कि कंप्यूटर इसे वास्तविक समय (real-time) में हल नहीं कर सकते।
"मौसम" की समस्या: आप बाहर के मौसम को नियंत्रित नहीं कर सकते। यदि आप एक धूप वाले दिन के लिए योजना बनाते हैं लेकिन बारिश हो जाती है, तो आपकी योजना विफल हो जाती है।

दो पुराने समाधान (और वे क्यों पूर्ण नहीं थे)

शोधकर्ताओं ने इसे हल करने के दो मौजूदा तरीकों को देखा:

"कैलकुलेटर" (मॉडल प्रेडिक्टिव कंट्रोल या MPC): यह एक बहुत ही सख्त मुनीम (accountant) की तरह है। यह अगले एक घंटे को देखता है, मौसम के पूर्वानुमान की जाँच करता है, और अभी पैसे बचाने का सबसे अच्छा तरीका निकालता है।
- दोष: यह बहुत अल्पदर्शी है। यह यह नहीं देख पाता कि आज हीटर बंद करने से अगले सप्ताह फल की वृद्धि रुक जाएगी। यह आज कुछ पैसे बचाता है लेकिन कल बहुत सारा नुकसान कर देता है।
"सहज विशेषज्ञ" (रीइन्फोर्समेंट लर्निंग या RL): यह एक अनुभवी किसान की तरह है जिसने हजारों मौसम देखे हैं। यह समय के साथ एक "अंतर्ज्ञान" (policy) सीखता है जो जानता है कि लागत और विकास के बीच लंबे समय तक कैसे संतुलन बनाया जाए।
- दोष: यह थोड़ा लापरवाह है। यह बड़े लक्ष्य पर ध्यान केंद्रित करने के कारण सख्त नियमों (जैसे "नमी को बहुत अधिक न होने दें") को अनदेखा कर सकता है। साथ ही, यदि मौसम अजीब है और उस जैसा नहीं है जैसा उसने सीखा था, तो यह गलतियाँ कर सकता है।

नया समाधान: "हाइब्रिड कोच" (ट्रैजेक्टरी-सिलेक्शन RL-MPC)

लेखकों ने एक नया सिस्टम बनाया है जो दोनों दुनियाओं की सर्वश्रेष्ठ विशेषताओं को जोड़ता है। इसे एक हाइब्रिड कोच के रूप में सोचें जो हर 5 मिनट में अंतिम निर्णय लेने के लिए दो सहायकों का उपयोग करता है।

यहाँ "हाइब्रिड कोच" कैसे काम करता है:

दीर्घकालिक दूरदर्शी (RL सहायक):
सिस्टम पहले "सहज विशेषज्ञ" (RL पॉलिसी) से अगले एक घंटे के लिए एक रास्ता कल्पना करने को कहता है। "यदि हम आपके अंतर्ज्ञान का पालन करते हैं, तो एक घंटे में हम कहाँ होंगे?" विशेषज्ञ एक ऐसी योजना देता है जो दीर्घकालिक आर्थिक लक्ष्यों को ध्यान में रखती है (जैसे यह सुनिश्चित करना कि फल बढ़ते रहें)।
सख्त मुनीम (MPC सहायक):
इसके बाद, सिस्टम "कैलकुलेटर" (MPC) को अगले एक घंटे की योजना बनाने के लिए कहता है। लेकिन यहाँ एक चाल है: कैलकुलेटर को बताया जाता है, "आपको लगभग वहीं समाप्त करना होगा जहाँ विशेषज्ञ ने सुझाव दिया है।" यह कैलकुलेटर को मजबूर करता है कि वह तत्काल मौसम की जाँच करने और सख्त सुरक्षा नियमों (जैसे नमी की सीमा) को पूरा करने के अपने काम को करते हुए, दीर्घकालिक लक्ष्यों का सम्मान करे।
अंतिम निर्णय (चयन तंत्र):
अब, सिस्टम के पास अगले एक घंटे के लिए दो योजनाएँ हैं:
- योजना A: विशेषज्ञ का दीर्घकालिक दृष्टिकोण।
- योजना B: कैलकुलेटर का परिष्कृत, नियम-पालक संस्करण।
सिस्टम दोनों योजनाओं के लिए स्कोर की गणना करता है। यह उस योजना को चुनता है जिसका स्कोर अधिक होता है और उस योजना के केवल पहले कदम को लागू करता है। फिर, 5 मिनट बाद, यह नए मौसम डेटा के साथ पूरी प्रक्रिया को दोहराता है।

यह क्यों काम करता है (परिणाम)

शोधकर्ताओं ने इसका परीक्षण टमाटर के ग्रीनहाउस के एक विशाल, जटिल कंप्यूटर मॉडल "ग्रीनलाइट" (GreenLight) पर किया।

"स्पेशलिस्ट" टेस्ट: उन्होंने विशेषज्ञ को केवल एक विशिष्ट मौसम के दिन पर प्रशिक्षित किया। जब उन्होंने उसी दिन पर हाइब्रिड कोच का परीक्षण किया, तो इसने विशेषज्ञ (जो उस दिन को पूरी तरह जानता था) के समान प्रदर्शन किया, लेकिन अकेले कैलकुलेटर की तुलना में बहुत बेहतर था।
- उपमा: यह एक शतरंज के ग्रैंडमास्टर (विशेषज्ञ) और एक कंप्यूटर इंजन (कैलकुलेटर) को रखने जैसा है। हाइब्रिड कोच ग्रैंडमास्टर को रणनीति तय करने देता है, लेकिन इंजन यह जाँचता है कि चाल कानूनी और सुरक्षित है या नहीं।
"जनरलिस्ट" टेस्ट: उन्होंने विशेषज्ञ को कई अलग-अलग मौसम के दिनों पर प्रशिक्षित किया और फिर इसे उन नए दिनों पर परखा जिन्हें उसने पहले कभी नहीं देखा था।
- परिणाम: हाइब्रिड कोच ने विशेषज्ञ को 54% से और कैलकुलेटर को 80% से पछाड़ दिया।
- क्यों? विशेषज्ञ बड़े चित्र (big picture) में अच्छा था लेकिन कभी-कभी नियम तोड़ देता था (जैसे नमी को बहुत अधिक होने देना)। कैलकुलेटर नियमों के मामले में अच्छा था लेकिन बहुत अल्पदर्शी था। हाइब्रिड कोच ने कैलकुलेटर को मार्गदर्शन देने के लिए विशेषज्ञ के दीर्घकालिक दृष्टिकोण का उपयोग किया, लेकिन कैलकुलेटर के सख्त गणित ने सिस्टम को सुरक्षित रखा और हीटिंग एवं बिजली पर पैसे बचाए।

निचोड़

यह पेपर साबित करता है कि आपको "दीर्घकालिक बुद्धिमत्ता" और "अल्पकालिक सुरक्षा" के बीच किसी एक को चुनने की आवश्यकता नहीं है। एक स्मार्ट AI (RL) को एक सख्त कैलकुलेटर (MPC) का मार्गदर्शन करने देकर और फिर हर कुछ मिनट में दोनों में से सर्वश्रेष्ठ योजना को चुनकर, आप एक ग्रीनहाउस को अधिक लाभदायक बना सकते हैं, भले ही मौसम अप्रत्याशित हो।

मुख्य बात: सिस्टम केवल अनुमान नहीं लगाता; यह हर कुछ मिनट में दो अलग-अलग भविष्य का अनुकरण (simulate) करता है, विजेता को चुनता है, और पहले कदम को निष्पादित करता है। यह इसे टमाटरों की जटिल, धीमी वृद्धि को संभालने में सक्षम बनाता है बिना गणित के बोझ तले दबे।

तकनीकी सारांश: शॉर्ट-होराइजन मॉडल प्रेडिक्टिव कंट्रोल में रीइन्फोर्समेंट लर्निंग को एकीकृत करके ग्रीनहाउस फल-उत्पादन नियंत्रण में सुधार

समस्या विवरण
ग्रीनहाउस फल उत्पादन नियंत्रण एक आर्थिक इष्टतम नियंत्रण समस्या है जो बाहरी मौसम संबंधी विक्षोभों के तहत सिस्टम बाधाओं का पालन करते हुए राजस्व (फल की उपज घटा परिचालन लागत) को अधिकतम करने का प्रयास करती है। इस क्षेत्र में एक मौलिक चुनौती समय के पैमाने का बेमेल होना (timescale mismatch) है: जलवायु गतिशीलता मिनटों में काम करती है, जबकि फसल विकास और फल की उपज के लाभ हफ्तों (40-60 दिन) में होते हैं। आदर्श रूप से, एक नियंत्रक को वर्तमान परिचालन लागत और विलंबित आर्थिक लाभों के बीच संतुलन बनाने के लिए पूरे उत्पादन चक्र पर अनुकूलन करना चाहिए। हालांकि, बड़े पैमाने के, गैर-रेखीय और स्टिफ मॉडलों (जैसे GreenLight) का उपयोग करके इतने लंबे होराइजन के लिए ऑप्टिमल कंट्रोल समस्याओं को हल करना ऑनलाइन रूप से गणनात्मक रूप से अव्यवहार्य (intractable) है।

परिणामस्वरूप, व्यावहारिक कार्यान्वयन अक्सर एक छोटे प्रेडिक्शन होराइजन (जैसे एक घंटा) के साथ मॉडल प्रेडिक्टिव कंट्रोल (MPC) पर निर्भर करते हैं। जबकि MPC स्पष्ट रूप से बाधाओं और मौसम के पूर्वानुमानों को संभालता है, छोटे होराइजन के कारण "मायोपिक" (अल्पदृष्टि वाला) व्यवहार होता है, जो फल की उपज के विलंबित आर्थिक लाभों को पकड़ने में विफल रहता है। इसके विपरीत, रीइन्फोर्समेंट लर्निंग (RL) लंबी अवधि के आर्थिक प्रदर्शन पर विचार करने वाली नीतियां ऑफलाइन सीख सकता है, लेकिन यह कठोर सिस्टम बाधाओं को लागू करने में संघर्ष करता है और अनदेखे मौसम प्रक्षेपवक्रों (weather trajectories) के तहत प्रदर्शन में गिरावट आती है (खराब सामान्यीकरण)।

कार्यप्रणाली
लेखक ट्रैजेक्टरी-सिलेक्शन RL–MPC प्रस्तावित करते हैं, जो एक शॉर्ट-होराइजन MPC में दीर्घकालिक आर्थिक दूरदर्शिता के लिए एक RL नीति को एकीकृत करने वाला एक ढांचा है। यह विधि प्रत्येक समय चरण $t$ पर एक क्लोज्ड-लूप तरीके से कार्य करती है:

RL रोलआउट: एक प्रशिक्षित RL नीति ( $\pi_{RL}$ ) वर्तमान अवस्था $x(t)$ से शुरू होकर और पूर्वानुमानित मौसम का उपयोग करते हुए प्रेडिक्शन होराइजन $N$ पर एक रोलआउट प्रक्षेपवक्र ( $\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$ ) उत्पन्न करती है।
टर्मिनल सामग्री (Terminal Ingredients): RL रोलआउट की टर्मिनल अवस्था $\tilde{x}(t+N)$ $\tilde{x} (t + N)$ का उपयोग निम्नलिखित के निर्माण के लिए किया जाता है:
- एक टर्मिनल रीजन कंस्ट्रेंट ( $\mathbb{X}_f$ ): एक क्षेत्र जो RL टर्मिनल अवस्था के आसपास होता है जहाँ MPC समाधान समाप्त होना चाहिए।
- एक टर्मिनल कॉस्ट ( $\hat{V}_f$ ): RL टर्मिनल अवस्था से विचलन के लिए एक दंड, जो MPC समाधान को RL के दीर्घकालिक योजना के करीब रहने के लिए प्रोत्साहित करता है।
MPC अनुकूलन: एक नॉनलीनियर MPC वास्तविक मौसम पूर्वानुमान और टर्मिनल सामग्री का उपयोग करके एक परिमित-होराइजन अनुकूलन समस्या (होराइजन $N$ ) को हल करता है। इससे एक अनुमानित प्रक्षेपवक्र $(\mathbf{x}^\star, \mathbf{u}^\star)$ प्राप्त होता है।
ट्रैजेक्टरी चयन: ढांचा दोनों—RL रोलआउट प्रक्षेपवक्र और MPC-अनुमानित प्रक्षेपवक्र—के लिए परिमित-होराइजन ऑब्जेक्टिव फंक्शन का मूल्यांकन करता है। यह उस प्रक्षेपवर्या के बेहतर ऑब्जेक्टिव मान वाले पहले कंट्रोल इनपुट ( $u(t)$ ) को चुनता है। यह तंत्र सुनिश्चित करता है कि यदि स्थानीय मिनिमा या कम्प्यूटेशनल टॉलरेंस के कारण MPC अनुकूलन प्रदर्शन में सुधार करने में विफल रहता है, तो सिस्टम का प्रदर्शन खराब न हो।

इस पद्धति को GreenLight पर लागू किया गया, जो एक बड़े पैमाने का (27-स्टेट), गैर-रेखीय और स्टिफ टमाटर उत्पादन मॉडल है। दो प्रयोगात्मक सेटिंग्स का उपयोग किया गया:

स्पेशलिस्ट पॉलिसी: उच्च-प्रदर्शन वाली स्पेशलिस्ट RL व्यवहार को दोहराने की क्षमता का आकलन करने के लिए एक एकल मौसम प्रक्षेपवक्र पर प्रशिक्षित।
जनरलिस्ट पॉलिसी: अनदेखे टेस्ट प्रक्षेपवक्रों (2013–2018) पर प्रदर्शन का आकलन करने के लिए मौसम के व्यापक वितरण पर प्रशिक्षित।

मुख्य परिणाम
सिमुलेशन एक-दिवसीय अवधियों (288 टाइम स्टेप्स) पर किए गए, जिसमें एक घंटे ( $N=12$ ) का प्रेडिक्शन होराइजन था।

स्पेशलिस्ट पॉलिसी सेटिंग: ट्रैजेक्टरी-सिलेक्शन RL–MPC ने उच्च-प्रदर्शन वाली स्पेशलिस्ट RL नीति के क्लोज्ड-लूप प्रदर्शन से मेल खाया (संचयी ऑब्जेक्टिव अंतर 0.196 बनाम 0.194)। इसने स्टैंडअलोन MPC (समान होराइजन के साथ) की तुलना में महत्वपूर्ण रूप से बेहतर प्रदर्शन किया ( $\Delta \mathcal{J} = 0.224$ का सुधार), जो मुख्य रूप से लागत में कमी के बजाय बेहतर राजस्व सृजन के माध्यम से आर्थिक प्रदर्शन संकेतकों (EPI) को बढ़ाकर हुआ।
जनरलिस्ट पॉलिसी सेटिंग: 25 अनदेखे मौसम प्रक्षेपवक्रों पर, ट्रैजेक्टरी-सिलेक्शन RL–MPC ने संचयी आर्थिक ऑब्जेक्टिव के मामले में स्टैंडअलोल जनरलिस्ट RL नीति की तुलना में 54% और स्टैंडअलोन MPC की तुलना में 80% बेहतर प्रदर्शन किया।
- RL नीति की तुलना में, ढांचे ने समान राजस्व प्राप्त किया लेकिन हीटिंग लागत में 26.8% और लैंप बिजली लागत में 12.0% की कमी की, साथ ही संचयी दंड (बाधा उल्लंघन) को 47.7% कम किया।
- MPC की तुलना में, ढांचे ने काफी अधिक राजस्व प्राप्त किया, जिससे वह शॉर्ट-होराइजन MPC के मायोपिक व्यवहार को पार करने में सफल रहा।
सिलेक्शन मैकेनिज्म विश्लेषण: ट्रैजरी सिलेक्शन मैकेनिज्म महत्वपूर्ण था। स्पेशलिस्ट सेटिंग में, दिन के समय के दौरान RL रोलआउट को बार-बार चुना गया जब भविष्य की उपज के विरुद्ध परिचालन लागतों को संतुलित करना महत्वपूर्ण था। जनरलिस्ट सेटिंग में अनदेखे मौसम के तहत, MPC-अनुमानित प्रक्षेपवक्र को अधिक बार चुना गया, जो दर्शाता है कि शॉर्ट-होराइजन अनुकूलन ने विशिष्ट, अनदेखी मौसम स्थितियों को संभालने और लागत कम करने के लिए RL नीति के प्रक्षेपवक्र को सफलतापूर्वक परिष्कृत किया।
एब्लेशन स्टडी: सिलेक्शन मैकेनिज्म को हटाने से प्रदर्शन में 12.2% की गिरावट और दंड में 95.2% की वृद्धि हुई, जो प्रदर्शन स्थिरता और बाधा संतुष्टि बनाए रखने के लिए इसकी आवश्यकता को उजागर करता है।

महत्व और दावे
यह शोध दावा करता है कि ट्रैजेक्टरी-सिलेक्शन RL–MPC, RL की दीर्घकालिक आर्थिक अनुकूलन क्षमताओं और MPC की बाधा-संभालने और अल्पकालिक परिशोधन क्षमताओं के बीच के अंतर को सफलतापूर्वक पाटता है।

मायोपिया (अल्पदृष्टि) को दूर करना: यह ढांचा प्रदर्शित करता है कि शॉर्ट-होराइजन MPC (1 घंटा) RL से प्राप्त टर्मिनल सामग्री के माध्यम से प्रभावी रूप से दीर्घकालिक आर्थिक जानकारी (फल की उपज में देरी) को शामिल कर सकता है, जिससे शॉर्ट-होराइजन कंट्रोलर के मायोपिक व्यवहार को कम किया जा सकता है।
अनदेखी स्थितियों के प्रति मजबूती: स्टैंडअलोन RL के विपरीत, जो प्रशिक्षण वितरणों के प्रति ओवरफिट हो सकता है, प्रस्तावित ढांचा वास्तविक अल्पकालिक मौसम पूर्वानुमानों के आधार पर RL नीति के प्रक्षेपवक्र को परिष्कृत करके अनदेखे मौसम प्रक्षेपव्यों पर प्रदर्शन में सुधार करता है।
स्केलेबिलिटी: इस पद्धति को GreenLight पर मान्य किया गया है, जो एक जटिल, स्टिफ और बड़े पैमाने का मॉडल है जहाँ लॉन्ग-होराइजन अनुकूलन गणनात्मक रूप से अव्यवहार्य है, जो यह सुझाव देता है कि दृष्टिकोण वास्तविक, उच्च-निष्ठा वाले ग्रीनहाउस मॉडलों के लिए स्केलेबल है।
पूरक ताकतें: परिणाम पुष्टि करते हैं कि सिलेक्शन मैकेनिज्म सिस्टम को दोनों का सर्वश्रेष्ठ उपयोग करने की अनुमति देता है: RL नीति की दीर्घकालिक दूरदर्शिता और MPC की बाधा संतुष्टि और लागत अनुकूलन क्षमता।

लेखक नोट करते हैं कि हालांकि परिणाम आशाजनक हैं, वे पूर्ण अवस्था सूचना (state information) और मौसम पूर्वानुमान के साथ क्लोज्ड-लूप सिमुलेशन पर आधारित हैं। पूर्ण उत्पादन चक्रों के लिए स्पष्ट फल-विकास गतिशीलता के साथ ढांचे का मूल्यांकन करने और मॉडल मिसमैच एवं स्टेट एस्टीमेशन एरर्स जैसी वास्तविक दुनिया की अनिश्चितताओं के तहत मजबूती का परीक्षण करने के लिए भविष्य के कार्य की आवश्यकता है।

बड़ी तस्वीर: ग्रीनहाउस की दुविधा

दो पुराने समाधान (और वे क्यों पूर्ण नहीं थे)

नया समाधान: "हाइब्रिड कोच" (ट्रैजेक्टरी-सिलेक्शन RL-MPC)

यह क्यों काम करता है (परिणाम)

निचोड़

इसी तरह के और पेपर