⚡ electrical engineering

Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

यह शोध पत्र मॉडल प्रेडिक्टिव कंट्रोल के लिए एक नवीन पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तुत करता है जो तेज़ ट्रांजिएंट प्रदर्शन और मॉडल अनिश्चितता के तहत सुदृढ़ अभिसरण प्राप्त करने के लिए डिफरेंशिएबल और ज़ीरो-ऑर्डर ग्रेडिएंट एस्टीमेशन को जोड़ता है, जैसा कि एक 12-आयामी क्वाडकॉप्टर कार्य पर प्रदर्शित किया गया है।

मूल लेखक: Riccardo Zuliani, Efe C. Balta, John Lygeros

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Riccardo Zuliani, Efe C. Balta, John Lygeros

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ड्रोन को कमरे में एक विशिष्ट स्थान तक पूरी तरह से उड़ना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह वहां तेजी से, सुचारू रूप से और दीवारों से टकराए बिना पहुंचे।

समस्या यह है कि आप ड्रोन के सटीक भौतिक विज्ञान (physics) को नहीं जानते। शायद हवा अजीब है, या बैटरी पुरानी है, या मोटर आपकी सोच से थोड़ी अलग है। आपके पास एक सबसे अच्छा अनुमान (एक मॉडल) है कि यह कैसे उड़ता है, लेकिन आप जानते हैं कि आपका यह अनुमान 100% सही नहीं है।

यह शोध पत्र (paper) ड्रोन को सिखाने का एक चतुर नया तरीका प्रस्तुत करता है, भले ही आपका "सबसे अच्छा अनुमान" त्रुटिपूर्ण हो। वे इसे पॉलिसी ऑप्टिमाइज़ेशन फॉर अननोन सिस्टम्स यूजिंग डिफरेंशिएबल मॉडल प्रिडिक्टिव कंट्रोल कहते हैं। यह सुनने में बहुत जटिल लगता है, तो आइए इसे रोजमर्रा के उदाहरणों से समझते हैं।

दो शिक्षक: सिद्धांतवादी और खोजकर्ता

इस समस्या को हल करने के लिए, लेखक दो अलग-अलग "शिक्षकों" (या रणनीतियों) को एक 'सुपर-टीचर' में मिलाते हैं।

1. सिद्धांतवादी (मॉडल-आधारित दृष्टिकोण)

वे कौन हैं: इस शिक्षक के पास एक पाठ्यपुस्तक है। वे भौतिकी के नियमों को जानते हैं और वे जानते हैं कि उनके द्वारा बनाए गए मानचित्र के आधार पर ड्रोन को कैसे उड़ना चाहिए।
वे कैसे सिखाते हैं: वे कहते हैं, "यदि आप जॉयस्टिक को इस तरह दबाते हैं, तो ड्रोन वहां जाएगा।"
समस्या: यदि मानचित्र गलत है (जैसे, हवा का कोई छिपा हुआ झोंका), तो सिद्धांतवादी आपको आत्मविश्वास के साथ गलत सलाह देगा। यदि आप केवल उनकी बात सुनते हैं, तो आप दुर्घटनाग्रस्त हो सकते हैं।
खूबी: वे बहुत तेज़ होते हैं। वे पहले से परीक्षण किए बिना तुरंत अगला कदम निकाल सकते हैं।

2. खोजकर्ता (ज़ीरोथ-ऑर्डर / मॉडल-फ्री दृष्टिकोण)

वे कौन हैं: इस शिक्षक के पास कोई मानचित्र नहीं है। वे केवल परीक्षण और त्रुटि (trial and error) के माध्यम से उड़ना सीखते हैं।
वे कैसे सिखाते हैं: वे कहते हैं, "आइए जॉयस्टिक को थोड़ा सा बाईं ओर दबाकर देखते हैं। क्या हम करीब पहुंचे? ठीक है, अब थोड़ा दाईं ओर दबाते हैं। कौन सा बेहतर था?"
समस्या: यह धीमा है। आपको वास्तव में ड्रोन उड़ाना होगा, थोड़ी टक्कर खानी होगी, संभलना होगा और फिर से प्रयास करना होगा। सीखने में इसमें बहुत समय लगता है।
खूबी: वे वास्तविकता के बारे में हमेशा सही होते हैं क्योंकि वे वास्तव में उसे माप रहे होते हैं। उन्हें गलत मानचित्र द्वारा मूर्ख नहीं बनाया जा सकता।

समाधान: "हाइब्रिड कोच"

लेखकों ने एक ऐसा सिस्टम बनाया है जो एक हाइब्रिड कोच की तरह काम करता है। यह कोच दोनों शिक्षकों (या रणनीतियों) की बात सुनता है, लेकिन समय के साथ यह तय करता है कि किसे कितना सुनना है।

शुरुआत में: कोच सिद्धांतवादी (मॉडल) पर अधिक भरोसा करता है। क्यों? क्योंकि सिद्धांतवादी तेज़ है। ड्रोन तेज़ी से सीखता है, लक्ष्य की ओर बड़े कदम उठाता है। यह एक नए शहर में गाड़ी चलाने के लिए जीपीएस (GPS) का उपयोग करने जैसा है; यह आपको बहुत तेज़ी से 90% रास्ते तक पहुँचा देता है।
जैसे-जैसे समय बीतता है: कोच खोजकर्ता (डेटा) को अधिक सुनने लगता है। क्यों? क्योंकि जीपीएस थोड़ा गलत हो सकता है, और आप अंतिम गड्ढे से टकराना नहीं चाहते। खोजकर्ता वास्तविक स्थिति के आधार पर बहुत सूक्ष्म और सावधानीपूर्ण समायोजन करता है।

इस "मिश्रण" को एक डायल (जिसे पेपर में $\eta$ कहा गया है) द्वारा नियंत्रित किया जाता है।

यदि मॉडल अच्छा है, तो डायल ऊँचा रहता है (मुख्यतः सिद्धांतवादी)।
यदि मॉडल खराब है, तो डायल नीचे गिर जाता है (मुख्यतः खोजकर्ता)।
महत्वपूर्ण बात यह है कि यह डायल समय के साथ सिद्धांतवादी को धीरे-धीरे कम करता है, जिससे यह सुनिश्चित होता है कि अंततः सिस्टम वास्तविक डेटा पर निर्भर रहे ताकि यह सुनिश्चित हो सके कि वह किसी "लोकल ट्रैप" (एक ऐसी जगह जो मानचित्र पर अच्छी दिखती है लेकिन वास्तव में एक डेड एंड है) में न फंस जाए।

"डिफरेंशिएबल" का जादू

आप सोच सकते हैं: "कोच को कैसे पता चलता है कि इन दोनों को कैसे मिलाना है?"

आमतौर पर, जब आपके पास ड्रोन जैसा जटिल सिस्टम होता है, तो यह एक ब्लैक बॉक्स की तरह होता है। आप एक बटन दबाते हैं, और कुछ होता है, लेकिन आप आसानी से इसके अंदर के गणित को नहीं देख सकते कि क्यों हुआ।

लेखक डिफरेंशिएबल MPC नामक एक ट्रिक का उपयोग करते हैं। कल्पना कीजिए कि ड्रोन की उड़ान योजना एक ब्लैक बॉक्स नहीं, बल्कि एक स्पष्ट कांच का बॉक्स है। आप इसके अंदर के हर गियर और लीवर को देख सकते हैं। क्योंकि वे इन गियर्स को देख सकते हैं, वे गणितीय रूप से गणना कर सकते हैं कि ड्रोन की सेटिंग्स में एक छोटा सा बदलाव उड़ान के पथ को कैसे बदलेगा। यह "सिद्धांतवादी" को बहुत सटीक सलाह देने की अनुमति देता है, भले ही मानचित्र थोड़ा गलत हो।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ

लेखकों ने इसका परीक्षण एक 12-डायमेंशनल क्वाडकॉप्टर (एक ड्रोन जिसमें नियंत्रण के लिए 12 अलग-अलग चीजें हैं, जैसे स्थिति, गति और झुकाव) पर किया।

"केवल सिद्धांतवादी" टीम: शुरुआत में लक्ष्य तक तेज़ी से पहुँची, लेकिन फिर डगमगाने लगी और स्थिर नहीं हो पाई क्योंकि उनका मानचित्र थोड़ा गलत था।
"केवल खोजकर्ता" टीम: बहुत सुरक्षित और स्थिर थी, लेकिन रास्ता सीखने में इसे बहुत समय लगा।
"हाइब्रिड कोच" टीम: लक्ष्य तक तेज़ी से पहुँची (सिद्धांतवादी की मदद से) और फिर पूरी तरह से स्थिर हो गई (खोजकर्ता की मदद से)।

निष्कर्ष:
यह शोध पत्र हमें रोबोट को प्रशिक्षित करने का एक नया तरीका देता है। यह हमें तेज़ी से सीखने के लिए अपने सर्वोत्तम अनुमानों का उपयोग करने देता है, लेकिन अपनी गलतियों को सुधारने के लिए वास्तविक दुनिया के प्रयोगों का उपयोग करता है। यह एक ऐसे जीपीएस की तरह है जो जानता है कि मानचित्र पर कब भरोसा करना है और कब कहना है, "वास्तव में, मैं एक ट्रैफिक जाम देख रहा हूँ, चलिए दूसरा रास्ता लेते हैं," जिससे यह सुनिश्चित होता है कि आप अपने गंतव्य तक सुरक्षित और कुशलता से पहुँचें, भले ही आप उस शहर को पूरी तरह से न जानते हों।

यहाँ ज़ुलियानी, बाल्टा और लिगेरोस के शोध पत्र "Policy Optimization for Unknown Systems using Differentiable Model Predictive Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मॉडल प्रेडिक्टिव कंट्रोल (MPC) के लिए पॉलिसी ऑप्टिमाइज़ेशन की चुनौती को संबोधित करता है जब सिस्टम डायनेमिक्स अज्ञात हों या उनका मॉडल सटीक न हो।

संदर्भ: MPC पॉलिसियाँ भविष्य के प्रक्षेप पथों (trajectories) की भविष्यवाणी करने और नियंत्रण इनपुट को अनुकूलित करने के लिए एक सिस्टम मॉडल पर निर्भर करती हैं। मानक पॉलिसी ऑप्टिमाइज़ेशन विधियाँ अक्सर यह मान लेती हैं कि डायनेमिक्स मॉडल सटीक है।
अंतराल (The Gap): जब मॉडल गलत (inexact) होता है, तो विशुद्ध रूप से मॉडल-आधारित ग्रेडिएंट डिसेंट (gradient descent) उप-इष्टतम प्रदर्शन या विचलन (divergence) की ओर ले जा सकता है। इसके विपरीत, विशुद्ध रूप से डेटा-संचालित (मॉडल-मुक्त) ज़ीरोथ-ऑर्डर विधियाँ मजबूत होती हैं लेकिन अक्सर धीमी अभिसरण दर (convergence) और उच्च सैंपल कॉम्प्लेक्सिटी से ग्रस्त होती हैं।
उद्देश्य: लक्ष्य ऐसे इष्टतम MPC पैरामीटर्स ( $\theta$ ) खोजना है जो एक परिमित क्षितिज (finite horizon) पर क्लोज्ड-लूप कॉस्ट फंक्शन $C(x, u)$ को कम करें, भले ही वास्तविक डायनेमिक्स $f$ अज्ञात हो और केवल एक अनुमानित मॉडल $g$ उपलब्ध हो। MPC ऑप्टिमाइज़ेशन लेयर और बाधाओं (constraints) की उपस्थिति के कारण यह समस्या स्वाभाविक रूप से नॉन-स्मूथ (non-smooth) है।

2. कार्यप्रणाली (Methodology)

लेखक एक हाइब्रिड पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तावित करते हैं जो मॉडल-आधारित ग्रेडिएंट अनुमान को ज़ीरोथ-ऑर्डर (मॉडल-मुक्त) ऑप्टिमाइज़ेशन के साथ मिश्रित करता है। यह दृष्टिकोण "ग्रे-बॉक्स" ऑप्टिमाइज़ेशन तकनीकों से प्रेरित है, लेकिन इसे MPC के नॉन-स्मूथ लैंडस्केप के लिए अनुकूलित किया गया है।

A. गणितीय आधार (Mathematical Foundations)

नॉन-स्मूथ विश्लेषण: चूंकि MPC समाधान पैरामीटर्स के नॉन-स्मूथ फलन होते हैं, इसलिए लेखक डिफिनेबल फंक्शन्स (definable functions) और कन्ज़र्वेटिव जैकोबियन (conservative Jacobians) (बोल्टे और पॉवेल्स, 2021) के सिद्धांत का उपयोग करते हैं। यह जेनेरालाइज्ड डेरिवेटिव्स को परिभाषित करने की अनुमति देता है जो चेन रूल (chain rule) का पालन करते हैं, जिससे MPC सॉल्यूशन मैप का सेंसिटिविटी विश्लेषण संभव होता है।
स्टेशनैरिटी (Stationarity): पूर्ण जानकारी के अभाव के कारण, एल्गोरिदम मानक क्लार्क स्टेशनरी पॉइंट्स के बजाय गोल्डस्टीन $\delta$ -क्रिटिकल पॉइंट्स को लक्षित करता है। यह एक कमजोर इष्टतमता स्थिति है जो उन नॉन-स्मूथ, नॉन-कॉन्वेक्स समस्याओं के लिए उपयुक्त है जहाँ सटीक ग्रेडिएंट उपलब्ध नहीं होते हैं।

B. हाइब्रिड एल्गोरिदम (The Hybrid Algorithm)

पुनरावृत्ति $k$ पर मुख्य अपडेट नियम दो ग्रेडिएंट अनुमानों को जोड़ता है:
$\theta_{k+1} = \Pi_\Theta [\theta_k - \alpha_k d_k]$
जहाँ सर्च डायरेक्शन $d_k$ एक भारित योग (weighted sum) है:
$d_k = \eta_k d_{k,1} + (1 - \eta_k) d_{k,2}$

मॉडल-आधारित दिशा ( $d_{k,1}$ ):
- यह कॉस्ट फंक्शन के कन्ज़र्वेटिव जैकोबियन को कंप्यूट करने के लिए अनुमानित मॉडल $g$ का उपयोग करता है।
- यह मॉडल के जैकोबियन्स ( $J_g$ ) और MPC पॉलिसी के जैकोबियन्स का उपयोग करके स्टेट और कंट्रोल प्रक्षेप पथों ( $J_x, J_u$ ) के जैकोबियन को पुनरावर्ती रूप से कंप्यूट करता है।
- लाभ: यदि मॉडल सटीक है तो तेज़ अभिसरण। हानि: यदि मॉडल बायस्ड है तो अभिसरण की कोई गारंटी नहीं।
ज़ीरोथ-ऑर्डर दिशा ( $d_{k,2}$ ):
- यह रैंडमाइज्ड स्मूथिंग (फ्लैक्समैन एट अल., 2004; लिन एट अल., 2022) पर आधारित एक वन-पॉइंट ग्रेडिएंट एस्टिमेटर का उपयोग करता है।
- यह एक विक्षेपित (perturbed) पैरामीटर $\theta_k + \delta v_k$ (जहाँ $v_k$ रैंडम नॉइज़ है) पर कॉस्ट फंक्शन का मूल्यांकन करता है ताकि स्मूदन किए गए कॉस्ट फंक्शन $C_\delta$ के ग्रेडिएंट का अनुमान लगाया जा सके।
- लाभ: मॉडल की सटीकता की परवाह किए बिना हल्के अनुमानों के तहत गारंटीकृत अभिसरण। हानि: धीमी अभिसरण दर।
अनुकूली वेटिंग ( $\eta_k$ ):
- स्केलर $\eta_k \in [0, 1]$ दोनों दिशाओं को संतुलित करता है।
- शोध पत्र एक शेड्यूल प्रस्तावित करता है जहाँ $k \to \infty$ होने पर $\eta_k \to 0$ होता है। यह एल्गोरिदम को तेज़ प्रारंभिक ट्रांजिएंट्स के लिए मॉडल का लाभ उठाने और एसिम्प्टोटिक अभिसरण (asymptotic convergence) सुनिश्चित करने के लिए डेटा-संचालित सुधार पर धीरे-धीरे निर्भर होने की अनुमति देता है।

C. अभिसरण गारंटी (Convergence Guarantees)

लेखक सिद्ध करते हैं कि स्थानीय लिप्सचिट्ज़ निरंतरता (local Lipschitz continuity) और डिफिनेबिलिटी (मान्यता 1 और 2) के तहत, और उचित स्टेप-साइज़ ( $\alpha_k$ ) और वेटिंग ( $\eta_k$ ) शेड्यूल के साथ, अनुक्रम $\theta_k$ बाधाओं वाले अनुकूलन समस्या के गोल्डस्टीन फ्रिट्ज-जॉन $\delta$ -क्रिटिकल पॉइंट की ओर अभिसरित होता है।

3. प्रमुख योगदान (Key Contributions)

नवल हाइब्रिड फ्रेमवर्क: एक पॉलिसी ऑप्टिमाइज़ेशन एल्गोरिदम का परिचय जो अज्ञात सिस्टमों के लिए डिफरिएबल MPC (मॉडल-आधारित) को ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन (मॉडल-मुक्त) के साथ सहजता से एकीकृत करता है।
अनिश्चितता के तहत सैद्धांतिक गारंटी: यह सिद्ध करना कि जब डायनेमिक्स मॉडल गलत होता है, तब भी एल्गोरिदम क्रिटिकल पॉइंट की ओर अभिसरित होता है, जो मौजूदा MPC ट्यूनिंग विधियों की तुलना में एक महत्वपूर्ण प्रगति है जिन्हें सटीक मॉडल की आवश्यकता होती है।
नॉन-स्मूथनेस को संभालना: MPC पॉलिसी ऑप्टिमाइज़ेशन के लिए कन्ज़र्वेटिव जैकोबियन थ्योरी का अनुप्रयोग, जो नॉन-स्मूथ MPC सॉल्यूशन मैप के लिए कठोर सेंसिटिविटी विश्लेषण की अनुमति देता है।
अनुकूली ट्रस्ट मैकेनिज्म: एक लचीला वेटिंग स्कीम ( $\eta_k$ ) जो अभ्यासकर्ताओं को मॉडल की गति और डेटा की मजबूती के बीच गतिशील रूप से संतुलन बनाने की अनुमति देता है।

4. सिमुलेशन परिणाम (Simulation Results)

विधि को एक 12-डायमेंशनल नॉनलीन क्वाडकॉप्टर कंट्रोल टास्क (अब्दुलकरीम एट अल., 2022) पर मान्य किया गया।

सेटअप: वास्तविक सिस्टम एक नॉनलीन क्वाडकॉप्टर है। कंट्रोलर एक लीनियर मॉडल $g$ का उपयोग करता है जिसे 100 प्रक्षेप पथों से लीस्ट-स्क्वायर विधि द्वारा पहचाना गया है। लक्ष्य स्टेट और इनपुट बाधाओं का सम्मान करते हुए एक संदर्भ प्रक्षेप पथ को ट्रैक करना है।
बेसलाइन्स:
- शुद्ध मॉडल-आधारित (Pure Model-Based): तेज़ प्रारंभिक सुधार लेकिन मॉडल मिसमैच के कारण अस्थिर हो गया और अभिसरण करने में विफल रहा।
- शुद्ध ज़ीरोथ-ऑर्डर (Pure Zeroth-Order): स्थिर और सुसंगत लेकिन बहुत धीरे अभिसरित हुआ।
- प्रस्तावित हाइब्रिड (Proposed Hybrid): दोनों का सर्वश्रेष्ठ परिणाम दिया—तेज़ प्रारंभिक अभिसरण (मॉडल द्वारा संचालित) और स्थिर दीर्घकालिक अभिसरण (ज़ीरोथ-ऑर्डर सुधार द्वारा संचालित)।
प्रदर्शन:
- हाइब्रिड विधि ने 1084.91 का अंतिम कॉस्ट प्राप्त किया, जबकि सटीक नॉनलीन मॉडल के साथ ट्यून किए गए कंट्रोलर का कॉस्ट 1081.3 था (1% से भी कम उप-इष्टतमता)।
- सीखे गए कंट्रोलर के प्रक्षेप पथ गुणात्मक और मात्रात्मक रूप से "परफेक्ट मॉडल" बेसलाइन के लगभग समान थे।
- $\eta_k$ के क्षय दर (decay rate) को बदलने से पता चला कि मॉडल पर अधिक निर्भरता ( $\gamma=0.25$ ) ने प्रारंभिक लर्निंग को तेज़ किया लेकिन अस्थिरता बढ़ाई, जबकि कम निर्भरता ( $\gamma=0.75$ ) अधिक मजबूत थी लेकिन धीमी थी।

5. महत्व (Significance)

यह कार्य मॉडल-आधारित नियंत्रण (जो सुरक्षा और व्याख्यात्मकता प्रदान करता है) और मॉडल-मुक्त लर्निंग (जो अनिश्चितता के प्रति मजबूती प्रदान करता है) के बीच के अंतर को पाटता है।

व्यावहारिक प्रभाव: यह उन वास्तविक दुनिया के सिस्टम में MPC तैनात करने के लिए एक व्यवहार्य मार्ग प्रदान करता है जहाँ सटीक भौतिक-आधारित मॉडल प्राप्त करना असंभव है, फिर भी विशुद्ध रूप से डेटा-संचालित सुदृढीकरण लर्निंग (reinforcement learning) बहुत अधिक सैंपल-इनएफिशिएंट या असुरक्षित है।
सुरक्षा: MPC संरचना को बनाए रखकर, यह सीखने की प्रक्रिया के दौरान बाधा संतुष्टि (constraint satisfaction) की गारंटी बनाए रखता है, जो कई ब्लैक-बॉक्स पॉलिसी ग्रेडिएंट विधियों के विपरीत है।
भविष्य की दिशा: शोध पत्र सुरक्षा गारंटी को मजबूत करने और नॉन-कॉन्वेक्स अपर-लेवल बाधाओं को व्यापक रूप से संभालने के लिए फ्रेमवर्क का विस्तार करने पर भविष्य के कार्य का सुझाव देता है।

संक्षेप में, यह शोध पत्र मॉडल अनिश्चितता की उपस्थिति में MPC पॉलिसियों को ट्यून करने के लिए एक मजबूत, सैद्धांतिक रूप से स्थापित और अनुभवजन्य रूप से प्रभावी तरीका प्रस्तुत करता है, यह प्रदर्शित करते हुए कि एक "ग्रे-बॉक्स" दृष्टिकोण शुद्ध मॉडल-आधारित या शुद्ध मॉडल-मुक्त विकल्पों की तुलना में काफी बेहतर प्रदर्शन करता है।