⚡ electrical engineering

On Building Myopic MPC Policies using Supervised Learning

यह शोध पत्र एक सुपरवाइज्ड लर्निंग दृष्टिकोण प्रस्तावित करता है जो मायोपिक मॉडल प्रेडिक्टिव कंट्रोल में कॉस्ट-टू-गो फंक्शन के रूप में कार्य करने के लिए ऑफलाइन इष्टतम वैल्यू फंक्शन को सीखता है, जिससे क्लोज्ड-लूप डेटा पर निर्भर हुए बिना प्रदर्शन बनाए रखते हुए ऑनलाइन कम्प्यूटेशनल बोझ को काफी कम किया जा सकता है।

मूल लेखक: Christopher A. Orrico, Bokan Yang, Dinesh Krishnamoorthy

प्रकाशित 2026-03-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christopher A. Orrico, Bokan Yang, Dinesh Krishnamoorthy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल शहर में कार चलाने के लिए सिखा रहे हैं। लक्ष्य यह है कि बिंदु A से बिंदु B तक सबसे कुशलता से पहुँचा जाए, ट्रैफिक से बचा जाए और गति सीमा के भीतर रहा जाए।

समस्या: "सुपर-ब्रेन" बनाम "टिनी-ब्रेन" (छोटा दिमाग)

पुराना तरीका (स्टैंडर्ड MPC):
कल्पना कीजिए कि रोबोट के पास एक "सुपर-ब्रेन" है। हर बार जब उसे मुड़ने की आवश्यकता होती है, तो यह दिमाग अपने दिमाग में अगले 100 मील की ड्राइविंग का सिम्युलेशन करता है, एक आदर्श मार्ग की गणना करता है, और फिर पहला कदम उठाता है। यह एकदम सटीक है, लेकिन यह बहुत धीमा है और इसके लिए एक विशाल कंप्यूटर की आवश्यकता होती है। यदि आप इसे एक छोटे, सस्ते कार (एक एम्बेडेड सिस्टम) में रखते हैं, तो कंप्यूटर ओवरहीट हो जाता है या कार सुरक्षित रहने के लिए बहुत धीमी गति से चलती है।

"आलसी" तरीका (मायोपिक MPC):
इसे तेज़ बनाने के लिए, हम रोबोट को कहते हैं: "100 मील आगे मत देखो। बस 1 मील आगे देखो, सबसे अच्छा कदम चुनो, और चलो।" यह तेज़ है! लेकिन एक पेंच है: यदि आप केवल 1 मील आगे देखते हैं, तो आप किसी डेड एंड (बंद रास्ते) में जा सकते हैं या कोई बुरा शॉर्टकट ले सकते हैं क्योंकि आप बड़ी तस्वीर नहीं देख पाते। कार दुर्घटनाग्रस्त हो जाती है या एक लूप में फंस जाती है।

समाधान: "क्रिस्टल बॉल" (वैल्यू फंक्शन)

इस पेपर के लेखकों ने एक चतुर तरकीब निकाली है जिससे "आलसी" रोबोट बिना भारी कंप्यूटर के "सुपर-ब्रेन" की तरह गाड़ी चला सके।

उन्होंने महसूस किया कि रोबोट को हर बार पूरा भविष्य सिम्युलेट करने की आवश्यकता नहीं है। इसके बजाय, उसे बस एक क्रिस्टल बॉल (जिसे वैल्यू फंक्शन कहा जाता है) की आवश्यकता है।

क्रिस्टल बॉल: यह एक जादुई उपकरण है जो, जब आप इसे अपनी वर्तमान स्थिति दिखाते हैं, तो तुरंत बताता है: "यदि आप यहाँ हैं, तो फिनिश लाइन तक पहुँचने के लिए आपको कितनी 'मुसीबत' (लागत/cost) झेलनी पड़ेगी?"
रणनीति: रोबोट 1 मील आगे देखता है (आलसी हिस्सा), लेकिन वह उस 1-मील की यात्रा के गंतव्य का आकलन करने के लिए क्रिस्टल बॉल का उपयोग करता है। यदि क्रिस्टल बॉल कहता है, "वह जगह आपदा क्षेत्र है," तो रोबोट उससे बच जाता है। यदि वह कहता है, "वह जगह जीत का हाईवे है," तो वह वहां जाता है।

उन्होंने क्रिस्टल बॉल को कैसे प्रशिक्षित किया

कठिन काम यह है कि: एक परफेक्ट क्रिस्टल बॉल कैसे बनाया जाए?

तरीका 1: "कॉपीकैट" (स्टैंडर्ड सुपरवाइज्ड लर्निंग)
अधिकांश लोग रोबोट को हजारों परफेक्ट ड्राइविंग रूट दिखाकर प्रशिक्षित करने की कोशिश करते हैं और कहते हैं, "इस रास्ते को याद कर लो।" वे कोशिश करते हैं कि रोबोट का दिमाग विशेषज्ञ के दिमाग से बिल्कुल मेल खाए।

दोष: पेपर में पाया गया कि भले ही रोबोट का दिमाग कागज़ पर विशेषज्ञ के समान 99% समान दिखता हो (कम एरर रेट), फिर भी वह बहुत खराब तरीके से गाड़ी चला सकता है। यह एक गाने के शब्दों को रटने जैसा है लेकिन गलत सुर में गाना। यह सुनने में सही लगता है, लेकिन काम नहीं करता।

तरीका 2: "डाउनहिल रूल" (अवनति का गुण/Descent Property)
लेखकों ने क्रिस्टल बॉल को प्रशिक्षित करने का एक नया तरीका प्रस्तावित किया। केवल सटीक नंबरों को याद करने के बजाय, उन्होंने रोबोट को एक सरल नियम सिखाया: "हर बार जब आप एक कदम लेते हैं, तो 'मुसीबत का स्कोर' कम होना चाहिए।"

इसे एक पहाड़ से नीचे उतरने की तरह सोचें। आपको हर एक पत्थर की सटीक ऊंचाई जानने की आवश्यकता नहीं है। आपको बस यह जानने की आवश्यकता है कि यदि आप एक कदम लेते हैं, तो आप नीचे (कम लागत) की ओर बढ़ रहे हैं।

उन्होंने प्रशिक्षण में एक विशेष नियम जोड़ा: "यदि आप पॉइंट A से पॉइंट B पर जाते हैं, तो B पर 'मुसीबत का स्कोर' A की तुलना में कम होना चाहिए।"
यह रोबोट को केवल नंबरों को नहीं, बल्कि पहाड़ के आकार को सीखने के लिए मजबूर करता है।

परिणाम: यह क्यों मायने रखता है

उन्होंने इसका परीक्षण एक केमिकल रिएक्टर (एक जटिल सिस्टम जैसे कार इंजन) पर किया।

"कॉपीकैट" रोबोट: ट्रेनिंग डेटा पर इसकी एरर रेट बहुत कम थी, लेकिन वास्तविक दुनिया में, यह गोल-गोल घूमता रहा और कभी लक्ष्य तक नहीं पहुँच पाया।
"डाउनहिल रूल" रोबोट: ट्रेनिंग डेटा पर इसकी एरर रेट थोड़ी अधिक थी (यह एक परफेक्ट कॉपी नहीं था), लेकिन वास्तविक दुनिया में, इसने पूरी तरह से सीधे लक्ष्य तक पहुँचने के लिए गाड़ी चलाई।

मैजिक बोनस:
चूंकि रोबोट केवल एक विशिष्ट पथ को याद नहीं कर रहा है, बल्कि "डाउनहिल रूल" को समझ रहा है, इसलिए यह अनुकूलित (adapt) हो सकता है!

यदि सड़क बदल जाती है (जैसे कि नई स्पीड लिमिट या अलग गंतव्य), तो "सुपर-ब्रेन" रोबोट को शून्य से फिर से प्रशिक्षित करने की आवश्यकता होगी।
"डाउनहिल रूल" वाला रोबोट तुरंत तालमेल बिठा सकता है क्योंकि वह केवल मैप को नहीं, बल्कि इलाके के लॉजिक को समझता है।

सारांश उपमा

स्टैंडर्ड MPC: एक जीनियस नेविगेटर जो घर छोड़ने से पहले पूरी यात्रा की योजना बनाता है। (छोटे उपकरणों के लिए बहुत धीमा)।
नेइव मायोपिक MPC: एक ड्राइवर जो केवल अपने सामने वाले बंपर को देखता है। (तेज़, लेकिन दुर्घटनाग्रस्त होता है)।
इस पेपर का तरीका: एक ड्राइवर जो केवल बंपर को देखता है, लेकिन उसके पास एक जीपीएस है जो पूरी सड़क के ढलान को जानता है। जब तक ड्राइवर "नीचे की ओर" (कम लागत की ओर) जाता रहेगा, वह अंततः गंतव्य तक पहुँच जाएगा, भले ही उसे पहले से सटीक रास्ता पता न हो।

यह पेपर साबित करता है कि AI को "नीचे की ओर जाने" के लॉजिक को सिखाना, उसे सटीक मैप याद करने के लिए सिखाने से अधिक महत्वपूर्ण है।

यहाँ क्रिस्टोफर ए. ओरिको, बोकन यांग और दिनेश कृष्णमूर्ति के शोध पत्र "On Building Myopic MPC Policies using Supervised Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मॉडल प्रेडिक्टिव कंट्रोल (MPC) एक शक्तिशाली नियंत्रण रणनीति है जो प्रत्येक सैंपलिंग इंस्टेंट पर एक अनुकूलन समस्या (optimization problem) को हल करती है। हालाँकि, यह भारी कम्प्यूटेशनल बोझ डालता है, जिससे इसे सीमित संसाधनों वाले एम्बेडेड सिस्टम पर लागू करना कठिन हो जाता है या तेज़ सैंपलिंग समय की आवश्यकता होती है।

इसे कम करने के लिए, एप्रोक्सिमेट एक्सप्लिसिट MPC (Approximate Explicit MPC) सुपरवाइज्ड लर्निंग का उपयोग करके एक न्यूरल नेटवर्क को ऑफलाइन रूप से इष्टतम MPC पॉलिसी (स्टेट-टू-एक्शन मैपिंग) की नकल करने के लिए प्रशिक्षित करता है। जबकि यह ऑनलाइन गणना को कम करता है, इसके दो मुख्य दोष हैं:

प्रदर्शन हानि (Performance Loss): सीखी गई पॉलिसी एक सन्निकटन (approximation) है; ऑनलाइन संचालन के दौरान नियंत्रक मापदंडों (जैसे, बाधाएं, सैंपलिंग समय) में परिवर्तन से प्रदर्शन में गिरावट या सुरक्षा उल्लंघन हो सकता है।
गारंटी का अभाव (Lack of Guarantees): केवल सीखी गई पॉलिसी और इष्टतम पॉलिसी के बीच त्रुटि को कम करने से यह गारंटी नहीं मिलती कि क्लोज्ड-लूप सिस्टम स्थिर रहेगा या अच्छा प्रदर्शन करेगा।

कॉस्ट-टू-गो फंक्शन (cost-to-go function/वैल्यू फंक्शन) को सीखने के मौजूदा दृष्टिकोण आमतौर पर क्लोज्ड-लूप प्रक्षेपवक्र (trajectory) डेटा का उपयोग करके सुदृढीकरण शिक्षण (Reinforcement Learning - RL) या एप्रोक्सिमेट डायनेमिक प्रोग्रामिंग (ADP) पर निर्भर करते हैं। यह शोध पत्र इष्टतम स्टेट-एक्शन-वैल्यू टुपल्स से सीधे वैल्यू फंक्शन को सीखने के लिए ऑफलाइन सुपरवाइज्ड लर्निंग का उपयोग करने के अंतराल को संबोधित करता है, जिसका उद्देश्य एक "मायोपिक" (कम-क्षितिज/short-horizon) MPC बनाना है जो लॉन्ग-होरिज़न MPC के प्रदर्शन संबंधी गारंटियों को बनाए रखता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित विधि फोकस पॉलिसी ( $\pi(x) \to u$ ) को सीखने से बदलकर इष्टतम वैल्यू फंक्शन ( $V^*(x)$ ) को सीखने पर केंद्रित करती है, जो दिए गए स्टेट से भविष्य की लागत (future cost) को दर्शाता है।

A. मायोपिक MPC फॉर्मूलेशन (Myopic MPC Formulation)

ऑनलाइन लंबे क्षितिज (long-horizon) वाली अनुकूलन समस्या को हल करने के बजाय, नियंत्रक एक एक-चरण (myopic) अनुकूलन समस्या हल करता है:
$\min_{u \in U} \ell(x(t), u) + V(x^+)$
जहाँ $x^+ = f(x(t), u)$ अगला स्टेट है, $\ell$ स्टेज कॉस्ट है, और $V(x^+)$ इष्टतम कॉस्ट-टू-गो का सीखा हुआ सन्निकटन है। यदि $V$ सटीक इष्टतम वैल्यू फंक्शन है, तो बेलमैन के सिद्धांत (Bellman's Principle of Optimality) के अनुसार, यह ग्रीडी (greedy), एक-चरण वाला दृष्टिकोण लॉन्ग-होरिज़न MPC के समान प्रदर्शन सुनिश्चित करता है।

B. डिसेंट प्रॉपर्टी कंस्ट्रेंट के साथ सुपरवाइज्ड लर्निंग (Supervised Learning with Descent Property Constraint)

लेखक एक पैरामेट्रिक फंक्शन एप्रोक्सिमेटर $V(x; \theta)$ को डेटासेट $D$ का उपयोग करके प्रशिक्षित करने का प्रस्ताव देते हैं, जो इष्टतम टुपल्स $\{(x_i, u^*_i, V^*(x_i))\}$ से बना है, जिन्हें ऑफलाइन लॉन्ग-होरिज़न MPC समस्याओं को हल करके उत्पन्न किया गया है।

मुख्य नवाचार लॉस फंक्शन और बाधाओं (constraints) में निहित है:

मानक दृष्टिकोण (MSE): अनुमानित वैल्यू और इष्टतम वैल्यू के बीच मीन स्क्वेर्ड एरर (MSE) को कम करना:
$\min_\theta \sum \|V(x_i; \theta) - V^*(x_i)\|^2$
लेखक तर्क देते हैं कि एक कम MSE अच्छे नियंत्रण प्रदर्शन की गारंटी नहीं देता है। एक फंक्शन डेटा को अच्छी तरह से फिट कर सकता है लेकिन उसके ग्रेडिएंट्स या सापेक्ष अंतर गलत हो सकते हैं, जिससे खराब क्लोज्ड-लूप व्यवहार हो सकता है।
प्रस्तावित दृष्टिकोण (Descent Property): लेखक एक बाधा पेश करते हैं जो यह सुनिश्चित करती है कि सीखा गया वैल्यू फंक्शन डिसेंट प्रॉपर्टी (descent property) का पालन करता है। विशेष रूप से, किसी भी प्रशिक्षण बिंदु $x_i$ और इष्टतम एक्शन $u^*_i$ के लिए, उत्तराधिकारी स्टेट (successor state) की कॉस्ट-टू-गो, वर्तमान स्टेट की कॉस्ट से कम होनी चाहिए, जिसे तत्काल स्टेज कॉस्ट द्वारा समायोजित किया गया है:
$V(f(x_i, u^*_i; \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$
प्रशिक्षण समस्या एक कंस्ट्रेंड ऑप्टिमाइज़ेशन बन जाती है:
$\min_\theta \text{MSE} \quad \text{s.t.} \quad V(f(x_i, u^*_i; \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$
यह बाधा सीखने की प्रक्रिया को यह सुनिश्चित करने के लिए निर्देशित करती है कि वैल्यू फंक्शन एक कंट्रोल लयापुनोव फंक्शन (Control Lyapunov Function - CLF) की तरह व्यवहार करे, जो यह गारंटी देता है कि सिस्टम कम लागत की ओर बढ़ेगा।

C. डेटा जनरेशन (Data Generation)

प्रशिक्षण डेटा विभिन्न स्टेट्स के लिए ऑफलाइन फुल-होरिज़न MPC को हल करके उत्पन्न किया जाता है। बड़े डेटासेट उत्पन्न करने की कम्प्यूटेशनल लागत को संभालने के लिए, लेखक पैरामीट्रिक सेंसिटिविटी एनालिसिस (parametric sensitivity analysis) का लाभ उठाते हैं। एक बार किसी विशिष्ट स्टेट के लिए इष्टतम समाधान मिल जाने के बाद, सेंसिटिविटीज़ पड़ोसी स्टेट्स के समाधानों को तेजी से अनुमानित करने की अनुमति देती है, जिससे प्रत्येक बिंदु के लिए पूर्ण अनुकूलन को फिर से हल किए बिना प्रभावी रूप से डेटासेट को बढ़ाया जा सकता है।

3. मुख्य योगदान (Key Contributions)

पॉलिसी के बजाय वैल्यू फंक्शन: पॉलिसी के बजाय सुपरवाइज्ड लर्निंग के माध्यम से कॉस्ट-टू-गो फंक्शन को सीखने का प्रस्ताव, जो ऑनलाइन अनुकूलन क्षमता (adaptability) को सक्षम बनाता है।
डिसेंट प्रॉपर्टी कंस्ट्रेंट: सुपरवाइज्ड लर्निंग ऑब्जेक्टिव में एक नया कंस्ट्रेंट पेश करता है जो लागत में कमी की भौतिक वास्तविकता को लागू करता है, जो शुद्ध MSE मिनिमाइजेशन की तुलना में स्थिरता के लिए अधिक महत्वपूर्ण है।
ऑफलाइन लर्निंग के साथ ऑनलाइन अनुकूलन क्षमता: यह प्रदर्शित करता है कि हालांकि वैल्यू फंक्शन ऑफलाइन सीखा जाता है, परिणामी मायोपिक MPC बाधाओं, सैंपलिंग समय और मॉडल मापदंडों में बदलाव के प्रति ऑनलाइन अनुकूल हो सकता है क्योंकि यह एक अनुकूलन समस्या (Eq. 2) को हल करता है न कि एक निश्चित न्यूरल नेटवर्क पॉलिसी को निष्पादित करता है।
सेंसिटिविटी-आधारित डेटा ऑग्मेंटेशन: आवश्यक बड़े मात्रा में स्टेट-एक्शन-वैल्यू टुपल्स को कुशलतापूर्वक उत्पन्न करने के लिए पैरामीट्रिक सेंसिटिविटी का उपयोग करता है।

4. परिणाम (CSTR बेंचमार्क उदाहरण)

इस पद्धति को एक लॉन्ग-होरिज़न एक्सपर्ट MPC ( $N=140$ ) को बेसलाइन के रूप में उपयोग करते हुए, एक कंटीन्यूअस स्टिरर्ड टैंक रिएक्टर (CSTR) कंट्रोल समस्या पर सत्यापित किया गया।

केवल MSE ट्रेनिंग: एक रेडियल बेसिस फंक्शन (RBF) नेटवर्क जिसे केवल MSE पर प्रशिक्षित किया गया था, उसने बहुत कम ट्रेनिंग एरर (MSE = 0.0515) प्राप्त किया। हालाँकि, मायोपिक MPC में उपयोग किए जाने पर, क्लोज्ड-लूप प्रक्षेपवक्र सेटपॉइंट तक पहुँचने में विफल रहे, जिसमें चक्रीय व्यवहार और खराब प्रदर्शन देखा गया।
डिसेंट-कंस्ट्रेंट ट्रेनिंग: एक RBF नेटवर्क जिसे डिसेंट प्रॉपर्टी कंस्ट्रेंट के साथ प्रशिक्षित किया गया था, उसने काफी अधिक ट्रेनिंग एरर (MSE = 0.8199) दिखाया। इस "खराब" डेटा फिट के बावजूद, परिणामी मायोपिक MPC ने सेटपॉइंट को सफलतापूर्वक ट्रैक किया, जो फुल-होरिज़न एक्सपर्ट MPC के प्रदर्शन से मेल खाता है।
पैरामीटर परिवर्तनों के प्रति मजबूती: लेखकों ने बदली हुई स्थितियों के तहत मायोपिक MPC का परीक्षण किया:
- सैंपलिंग समय 3s से घटाकर 0.1s किया गया।
- स्टेट कंस्ट्रेंट्स को सख्त किया गया (तापमान का निचला स्तर बढ़ाया गया)।
- परिणाम: मायोपिक MPC इन परिवर्तनों के प्रति सफलतापूर्वक अनुकूलित हुआ, जबकि एक डायरेक्ट पॉलिसी एप्रोक्सिमेशन विफल हो जाता क्योंकि वह ट्रेनिंग डिस्ट्रीब्यूशन तक सीमित होता है।

5. महत्व (Significance)

यह शोध पत्र "एप्रोक्सिमेट एक्सप्लिसिट MPC" के मानक प्रतिमान को मौलिक रूप से चुनौती देता है जहाँ लक्ष्य इष्टतम पॉलिसी और सीखी गई पॉलिसी के बीच त्रुटि को कम करना है। यह प्रदर्शित करता है कि भविष्यवाणी त्रुटि (MSE) को कम करना नियंत्रण स्थिरता के लिए अपर्याप्त है।

डिसेंट प्रॉपर्टी को लागू करके, लेखक यह सुनिश्चित करते हैं कि सीखा गया वैल्यू फंक्शन स्थिरता के लिए आवश्यक संरचनात्मक गुणों को बनाए रखता है, भले ही पूर्ण मान (absolute values) कम सटीक हों। यह दृष्टिकोण एक मध्य मार्ग प्रदान करता है:

कम ऑनलाइन गणना: लॉन्ग-होरिज़न के बजाय एक सरल एक-चरण अनुकूलन हल करता है।
उच्च प्रदर्शन: मानक MPC की स्थिरता और इष्टतमता की गारंटियों को बनाए रखता है।
लचीलापन: फिक्स्ड पॉलिसी नेटवर्क के विपरीत, मायोिपिक MPC सिस्टम के बाधाओं और मापदंडों में वास्तविक समय के परिवर्तनों को संभाल सकता है, जो इसे व्यावहारिक एम्बेडेड कंट्रोल अनुप्रयोगों के लिए अत्यधिक उपयुक्त बनाता है।