⚡ electrical engineering

Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

यह शोध पत्र "रीलर्न एलक्यूआर" (Relearn LQR) का प्रस्ताव करता है, जो एक डेटा-संचालित, ऑन-पॉलिसी फ्रेमवर्क है जो अज्ञात रैखिक प्रणालियों के लिए नियंत्रण इनपुट को पुनरावृत्ति से अनुकूलित करने हेतु रिकर्सिव लीस्ट स्क्वायर्स को पॉलिसी ग्रेडिएंट विधियों के साथ एकीकृत करता है और साथ ही परिणामी इंटरकनेक्टेड नॉनलीनियर डायनेमिक्स के लियापुनोव-आधारित विश्लेषण के माध्यम से औपचारिक स्थिरता गारंटी प्रदान करता है।

मूल लेखक: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को विमान उड़ाना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास कोई मैनुअल नहीं है और कोई ब्लूप्रिंट भी नहीं है कि विमान कैसे काम करता है। आप नहीं जानते कि इंजन कंट्रोल्स के प्रति कैसी प्रतिक्रिया देते हैं, हवा पंखों को कैसे प्रभावित करती है, या विमान कितना भारी है। आपके पास केवल विमान है, और आपको इसे सुरक्षित रखते हुए उड़ने का सही तरीका पता लगाना है।

यह शोध पत्र "Relearn LQR" नामक एक नई विधि प्रस्तुत करता है जो ठीक इसी समस्या को हल करती है। यह एक तरीका है जिससे आप किसी सिस्टम (जैसे कि एक विमान) को वास्तविक समय में नियंत्रित करना सीख सकते हैं, बिना सिस्टम को "रीबूट" किए, जबकि इस बात की गारंटी भी देता है कि सीखने की प्रक्रिया के दौरान विमान कभी दुर्घटनाग्रस्त नहीं होगा।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "अंधा पायलट" (The Blind Pilot)

पारंपरिक कंट्रोल इंजीनियरिंग में, आपको कंट्रोलर डिजाइन करने से पहले सिस्टम का एक सटीक मानचित्र (गणितीय मॉडल) चाहिए होता है।

पुराना तरीका (Off-Policy): कल्पना कीजिए कि एक पायलट सिम्युलेटर में बैठता है, लाखों अलग-अलग पैंतरेबाज़ी (maneuvers) आज़माता है, डेटा रिकॉर्ड करता है, और फिर उस डेटा के आधार पर असली विमान उड़ाने की कोशिश करता है। यदि असली विमान सिम्युलेटर से थोड़ा भी अलग हुआ, तो पायलट दुर्घटनाग्रस्त हो सकता है।
चुनौती: लेखक एक ऐसे पायलट को चाहते हैं जो असली विमान उड़ाते समय ही सीखता रहे। इसे On-Policy कहा जाता है। पायलट कंट्रोल्स को एडजस्ट करता है, देखता है कि क्या होता है, और तुरंत अपने अगले कदम में सुधार करता है।
जोखिम: यदि आप सीखते समय कंट्रोल्स को बहुत आक्रामक तरीके से बदलते हैं, तो विमान नियंत्रण से बाहर होकर गिर सकता है। अधिकांश लर्निंग विधियाँ यह वादा नहीं कर सकतीं कि जब तक वे चीजें समझने की कोशिश कर रही हैं, तब तक विमान सुरक्षित रहेगा।

2. समाधान: "दो-मस्तिष्क" वाला सिस्टम (The Two-Brain System)

लेखक एक प्रणाली का प्रस्ताव देते हैं जिसमें दो मस्तिष्क एक साथ मिलकर काम करते हैं:

मस्तिष्क A (सीखने वाला - The Learner): यह मस्तिष्क लगातार "खेल के नियमों" का अनुमान लगाता है। यह विमान की वर्तमान गति और कंट्रोल स्टिक की स्थिति को देखता है, और अनुमान लगाता है: "यदि मैं स्टिक को इस दिशा में धकेलता हूँ, तो विमान इतना घूमेगा।" यह Recursive Least Squares नामक तकनीक का उपयोग करता है, जो एक सुपर-फास्ट कैलकुलेटर की तरह है जो हर सेकंड नए डेटा के आधार पर अपने अनुमान को अपडेट करता है।
मस्तिष्क B (पायलट - The Pilot): यह मस्तिष्क कंट्रोल्स को कैसे हिलाना है, यह तय करने के लिए मस्तिष्क A के वर्तमान अनुमान का उपयोग करता है। यह एक "लागत" (जैसे ईंधन का उपयोग या विक्षोभ/turbulence को कम करना) को कम करने की कोशिश करता है। यह Gradient Descent का उपयोग करता है, जो एक पहाड़ी से नीचे उतरने जैसा है: यदि आप महसूस करते हैं कि जमीन ढलान वाली है, तो आप नीचे (सर्वश्रेष्ठ नियंत्रण रणनीति) तक पहुँचने के लिए उस दिशा में कदम बढ़ाते हैं।

जादू: ये दोनों मस्तिष्क तुरंत एक-दूसरे से बात करते हैं। जैसे-जैसे पायलट विमान उड़ाता है, 'लर्नर' मस्तिष्क विमान के भौतिक विज्ञान (physics) को समझने में बेहतर होता जाता है। जैसे-जैसे लर्नर बेहतर होता है, पायलट उड़ने में बेहतर होता जाता है। यह सब एक ही समय में होता है, एक के बाद एक नहीं।

3. गुप्त नुस्खा: "लहराता संकेत" (The Wiggly Signal)

विमान के नियमों को सीखने के लिए, सिस्टम को यह देखने की आवश्यकता है कि विमान हर चीज़ के प्रति कैसी प्रतिक्रिया देता है। यदि आप बस कंट्रोल स्टिक को स्थिर रखते हैं, तो आप कुछ भी नया नहीं सीखते।

द डिदर (The Dither): सिस्टम कंट्रोल्स में एक बहुत छोटा, अदृश्य "लहराव" या कंपन जोड़ता है (जैसे एक हल्का सा कंपन)। यही डिदरिंग सिग्नल है।
क्यों? यह मिश्रित नट्स के जार को हिलाकर यह देखने जैसा है कि वे कैसे सेट होते हैं। यह लहराव विमान को अलग-अलग तरीकों से प्रतिक्रिया देने के लिए मजबूर करता है, जिससे "लर्नर" मस्तिष्क को विमान के वास्तविक भौतिक विज्ञान को समझने के लिए पर्याप्त डेटा मिलता है। यह लहराव इतना छोटा है कि यात्री (विमान) इसे शायद ही महसूस करे, लेकिन कंप्यूटर के सीखने के लिए यह बहुत महत्वपूर्ण है।

4. सुरक्षा जाल: "स्थिरता प्रमाण पत्र" (Stability Certificates)

यह सबसे महत्वपूर्ण हिस्सा है।

डर: आमतौर पर, जब आप लर्निंग और कंट्रोल को मिलाते हैं, तो एक "फीडबैक लूप" का जोखिम होता है जहाँ लर्निंग भ्रमित हो जाती है, पायलट घबरा जाता है, और सिस्टम अनियंत्रित हो जाता है।
गारंटी: लेखकों ने उन्नत गणित (विशेष रूप से Lyapunov stability और Averaging Theory) का उपयोग करके यह सिद्ध किया है कि उनका सिस्टम एक स्व-सुधार करने वाले जायरोस्कोप (self-correcting gyroscope) की तरह है।
- भले ही सिस्टम लगातार बदल रहा है और सीख रहा है, गणित यह सिद्ध करता है कि "त्रुटियाँ" (जहाँ विमान है और जहाँ उसे होना चाहिए, उसके बीच का अंतर) तेजी से घटती जाएंगी।
- उन्होंने सिद्ध किया कि सिस्टम अंततः उड़ने का परफेक्ट तरीका खोज लेगा, और तब तक, यह कभी दुर्घटनाग्रस्त नहीं होगा। यह एक सुरक्षा बेल्ट की तरह है जो अपने आप कस जाती है यदि आप गिरने लगते हैं।

5. वास्तविक दुनिया का परीक्षण: "ड्रिफ्टिंग प्लेन" (The Drifting Plane)

यह सिद्ध करने के लिए कि यह काम करता है, उन्होंने एक अत्यधिक गतिशील विमान का सिमुलेशन किया।

परिदृश्य 1: उन्होंने अज्ञात सेटिंग्स के साथ विमान उड़ाया। सिस्टम ने सेटिंग्स को सीखा और विमान को पूरी तरह से उड़ाया।
परिदृश्य 2 (ड्रिफ्ट): उन्होंने विमान के भौतिक विज्ञान को समय के साथ धीरे-धीरे बदलते हुए दिखाया (जैसे इंजन का घिसना या ईंधन टैंक का खाली होना)।
परिणाम: सिस्टम दुर्घटनाग्रस्त नहीं हुआ। इसने देखा कि विमान बदल रहा है, अपने "लर्नर" मस्तिष्क को अपडेट किया, और अपने "पायलट" मस्तिष्क को ऑन-द-फ्लाई (चलते-चलते) एडजस्ट किया। इसने बिना रुके या रीस्टार्ट किए नए इष्टतम (optimal) उड़ान पथ को सहजता से ट्रैक किया।

सारांश

इस शोध पत्र को एक ऐसे सेल्फ-ड्राइविंग कार के रूप में सोचें जो सड़क के नियमों को गाड़ी चलाते समय ही सीख लेती है, जिसे कभी ड्राइवर लाइसेंस या मैप की आवश्यकता नहीं होती, और इस गारंटी के साथ कि वह कभी भी पेड़ से नहीं टकराएगी।

यह जोड़ता है:

सीखना (नियमों का अनुमान लगाना),
कार्य करना (कार चलाना),
सुरक्षा (गणितीय प्रमाण कि आप दुर्घटनाग्रस्त नहीं होंगे),

...ये सभी चीज़ें बिल्कुल एक ही क्षण में हो रही हैं। यह रोबोटिक्स और ऑटोमेशन के लिए एक बड़ी उपलब्धि है, जो मशीनों को वास्तविक दुनिया में सुरक्षित रूप से और तुरंत अनुकूलित होने की अनुमति देती है।

यहाँ Sforni et al. के शोध पत्र "Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र अज्ञात डायनेमिक्स ( $A^\star, B^\star$ ) वाले रैखिक प्रणालियों (linear systems) के लिए लिनियर क्वाड्रेटिक रेगुलेटर (LQR) समस्या को संबोधित करता है। इसका लक्ष्य एक नियंत्रण नीति (control policy) $u_t = K_t x_t$ डिजाइन करना है जो अनंत-क्षितिज (infinite-horizon) लागत फलन (cost function) को कम करे:
$J = \mathbb{E} \left[ \sum_{t=0}^{\infty} (x_t^\top Q x_t + u_t^\top R u_t) \right]$
जहाँ $x_{t+1} = A^\star x_t + B^\star u_t$ विषय के अधीन है।

मुख्य चुनौतियाँ:

अज्ञात प्रणाली: मैट्रिक्स $A^\star$ और $B^\star$ पूर्व निर्धारित रूप से ज्ञात नहीं हैं।
ऑन-पॉलिसी बाधा (On-Policy Constraint): नीति (policy) को सीखते और अनुकूलित (optimize) करते समय नियंत्रण इनपुट को वास्तविक भौतिक प्रणाली पर लागू किया जाना चाहिए। यह "ऑफ-पॉलिसी" विधियों के विपरीत है जहाँ डेटा एक नीति के तहत एकत्र किया जाता है और फिर दूसरी नीति को अनुकूलित करने के लिए उपयोग किया जाता है, जिसमें अक्सर डेटा संग्रह और अनुकूलन के अलग-अलग चरण होते हैं।
स्थिरता गारंटी (Stability Guarantees): अधिकांश मौजूदा डेटा-संचालित विधियाँ अभिसरण (convergence) या रिग्रेट बाउंड्स (regret bounds) पर ध्यान केंद्रित करती हैं, लेकिन पूरे क्लोज्ड-लूप सिस्टम (जो सीखने की डायनेमिक्स, अनुकूलन डायनेमिक्स और भौतिक प्लांट को जोड़ता है) के लिए कठोर स्थिरता प्रमाणपत्र (stability certificates) की कमी होती है।

2. कार्यप्रणाली: Relearn LQR

लेखक Relearn LQR (LQR के लिए REcursive LEARNing policy gradient) प्रस्तावित करते हैं, जो एक समवर्ती शिक्षण और अनुकूलन ढांचा (concurrent learning and optimization framework) है। यह विधि एक एकल लूप में कार्य करती है जहाँ डेटा संग्रह, सिस्टम पहचान (system identification), और पॉलिसी अपडेट एक साथ होते हैं।

मुख्य घटक:

ऑन-पśli डेटा संग्रह (On-Policy Data Collection):
- नियंत्रण इनपुट को $u_t = K_t x_t + d_t$ के रूप में परिभाषित किया गया है, जहाँ $K_t$ वर्तमान फीडबैक गेन है और $d_t$ एक बहिर्जात (exogenous) डिदरिंग सिग्नल (dithering signal) है।
- सटीक पैरामीटर अनुमान के लिए आवश्यक परसिस्टेंस ऑफ एक्साइटेशन (Persistency of Excitation - PE) सुनिश्चित करने के लिए डिदरिंग सिग्नल एक स्थिर ऑसिलेटर ( $w_{t+1} = F w_t, d_t = E w_t$ ) द्वारा उत्पन्न किया जाता है।
पहचान के लिए रिकर्सिव लीस्ट स्क्वेयर्स (RLS for Identification):
- सिस्टम मापदंडों $\theta^\star = [A^\star, B^\star]^\top$ का अनुमान एक रिकर्सिव लीस्ट स्क्वेयर्स दृष्टिकोण का उपयोग करके ऑनलाइन लगाया जाता है।
- एल्गोरिदम सिस्टम मैट्रिसेस ( $\theta_t$ ) और सहायक मैट्रिसेस ( $H_t, S_t$ ) को बनाए रखता है, जिन्हें प्रत्येक देखे गए स्टेट-इनपुट पेयर $(x_t, u_t)$ के आधार पर हर टाइम स्टेप पर अपडेट किया जाता है।
डायरेक्ट पॉलिसी सर्च (ग्रेडिएंट डिसेंट):
- कंट्रोल गेन $K_t$ को कॉस्ट फंक्शन $J(K, \theta)$ पर ग्रेडिएंट डिसेंट विधि का उपयोग करके अपडेट किया जाता है।
- चूंकि वास्तविक $\theta^\star$ अज्ञात है, इसलिए ग्रेडिएंट का उपयोग वर्तमान अनुमान $\theta_t$ के साथ किया जाता है।
- अपडेट नियम है: $K_{t+1} = K_t - \gamma G(K_t, \theta_t)$ , जहाँ $G$ $K$ के सापेक्ष कॉस्ट का ग्रेडिएंट है।

सिस्टम आर्किटेक्चर:

क्लोज्ड-लूप सिस्टम को दो टाइम-स्केल वाली एक नॉनलीन डायनेमिकल सिस्टम के रूप में मॉडल किया गया है:

फास्ट सबसिस्टम (Fast Subsystem): भौतिक प्लांट डायनेमिक्स और RLS एस्टीमेशन एरर डायनेमिक्स (जो डिदरिंग सिग्नल द्वारा संचालित है)।
स्लो सबसिस्टम (Slow Subsystem): पॉलिसी गेन $K_t$ और पैरामीटर अनुमान $\theta_t$ का विकास (जो स्टेप साइज $\gamma$ द्वारा संचालित है)।

3. मुख्य योगदान

स्थिरता-प्रमाणित ऑन-पॉलिसी ढांचा (Stability-Certified On-Policy Framework):
मौजूदा डेटा-संचित LQR विधियों के विपरीत जो या तो ऑफ-पॉलिसी हैं या जिनमें क्लोज्ड-लूप स्थिरता प्रमाणों की कमी है, Relearn LQR वास्तविक प्लांट पर काम करने वाले संपूर्ण इंटरकनेक्टेड सिस्टम (लर्निंग + कंट्रोल + ऑप्टिमाइजेशन) के लिए एक औपचारिक स्थिरता प्रमाणपत्र (stability certificate) प्रदान करता है।
एवरेजिंग थ्योरी के माध्यम से सैद्धांतिक विश्लेषण (Theoretical Analysis via Averaging Theory):
लेखक सिस्टम को दो-टाइम-स्केल नॉनलीन सिस्टम के रूप में मॉडल करते हैं। वे यह सिद्ध करने के लिए एवरेजिंग थ्योरी (Averaging Theory) और ल्यपुनोव विश्लेषण (Lyapunov analysis) का उपयोग करते हैं कि:
- एरर डायनेमिक्स का ओरिजिन एक्सपोनेंशियल रूप से स्थिर (exponentially stable) है।
- अनुमान $\theta_t$ वास्तविक पैरामीटर्स $\theta^\star$ की ओर अभिसरित (converge) होते हैं।
- गेन $K_t$ इष्टतम गेन $K^\star$ की ओर अभिसरित होता है।
- सिस्टम स्टेट $x_t$ सीमित रहता है और ओरिजिन के चारों ओर दोलन (oscillate) करता है, जिसका आयाम डिदरिंग सिग्नल द्वारा निर्धारित होता है।
समवर्ती शिक्षण और नियंत्रण (Concurrent Learning and Control):
यह विधि "डेटा संग्रह" और "पॉलिसी ऑप्टिमाइजेशन" के अलग-अलग चरणों की आवश्यकता को समाप्त करती है। सिस्टम एक साथ सीखता और अनुकूलित करता है, जिससे बिना एल्गोरिदम को रीस्टार्ट किए समय-परिवर्तित मापदंडों (time-varying parameters) के अनुकूल होना संभव होता है।
समय-परिवर्तित प्रणालियों को संभालना (Handling Time-Varying Systems):
सैद्धांतिक ढांचा यह सुझाव देता है कि यह विधि उन परिदृश्यों में अनुकूलन कर सकती है जहाँ सिस्टम मैट्रिसेस समय के साथ बदलते हैं (ड्रिफ्टिंग पैरामीटर्स), क्योंकि क्लोज्ड-लूप सिस्टम बिना किसी रीस्टार्ट के गतिशील रूप से इष्टतमता (optimality) को पुनः स्थापित करता है।

4. परिणाम

सैद्धांतिक परिणाम:

थ्योरम 3.3: यह सिद्ध करता है कि विशिष्ट मान्यताओं (कंट्रोलेबिलिटी, परसिस्टेंस ऑफ एक्साइटेशन, और पर्याप्त छोटा स्टेप साइज $\gamma$ ) के तहत, वह सेट जिसमें इष्टतम गेन, वास्तविक पैरामीटर्स और फास्ट डायनेमिक्स का स्टेडी-स्टेट लोकस शामिल है, एक्सपोनेंशियल रूप से स्थिर (exponentially stable) है।
अभिसरण (Convergence): एल्गोरिदम कॉस्ट एरर और पैरामीटर एस्टीमेशन एरर के शून्य (या डिदर मैग्नीट्यूड द्वारा निर्धारित ट्यूनेबल नेबरहुड) की ओर एक्सपोनेंशियल अभिसरण की गारंटी देता है।

संख्यात्मक सिमुलेशन (Numerical Simulations):

लेखकों ने एक अत्यधिक युद्धाभ्यास योग्य विमान मॉडल (highly maneuverable aircraft model) (लॉन्गीटुडिनल डायनेमिक्स) पर Relearn LQR का परीक्षण किया।

स्थिर पैरामीटर्स (Static Parameters): एल्गोरिदम रैंडम इनिशियल कंडीशंस से इष्टतम कॉस्ट $J^\star$ और वास्तविक पैरामीटर्स $\theta^\star$ तक सफलतापूर्वक अभिसरित हुआ। डिदरिंग सिग्नल के कारण स्टेट ट्रेजेक्टरीज ओरिजिन के चारों ओर दोलन करती रहीं लेकिन स्थिर रहीं।
ड्रिफ्टिंग पैरामीटर्स (Drifting Parameters): सिस्टम को सिस्टम मैट्रिसेस ( $A^\star, B^\star$ ) में एक धीमी, सिग्मॉइडल (sigmoidal) परिवर्तन के अधीन किया गया। एल्गोरिदम ने मजबूत अनुकूलन क्षमता (robust adaptability) प्रदर्शित की, जिसने स्थिरता खोए या री-इनिशियलाइजेशन की आवश्यकता के बिना बदलते इष्टतम कॉस्ट और पैरामीटर्स को ट्रैक किया।

5. महत्व और प्रभाव

अंतराल को पाटना (Bridging the Gap): यह कार्य सैद्धांतिक नियंत्रण स्थिरता और आधुनिक डेटा-संचालित शिक्षण के बीच के अंतर को पाटता है। यह केवल "रिग्रेट बाउंड्स" (जो RL साहित्य में सामान्य हैं) से आगे बढ़कर क्लोज्ड-लूप सिस्टम के लिए ल्यपुनोव-आधारित स्थिरता गारंटी प्रदान करता है।
सीखने में सुरक्षा (Safety in Learning): स्वयं सीखने की प्रक्रिया की स्थिरता को प्रमाणित करके, यह विधि डेटा-संचालित नियंत्रण को वास्तविक दुनिया के अनुप्रयोगों (जैसे एयरोस्पेस) के लिए सुरक्षित बनाती है जहाँ सीखने के चरण के दौरान अस्थिरता विनाशकारी हो सकती है।
ऑनलाइन अनुकूलन (Online Adaptation): समय-परिवर्तित प्रणालियों को संभालने की क्षमता इस दृष्टिकोण को वास्तविक दुनिया के परिदृश्यों के लिए अत्यधिक प्रासंगिक बनाती है जहाँ सिस्टम डायनेमिक्स पूरी तरह से स्थिर नहीं होते हैं (जैसे घटते हुए पुर्जे, बदलते पर्यावरणीय स्थितियाँ)।
पद्धतिगत कठोरता (Methodological Rigor): फास्ट एस्टीमेशन डायनेमिक्स को स्लो पॉलिसी ऑप्टिमाइजेशन से अलग करने के लिए एवरेजिंग थ्योरी का उपयोग जटिल, इंटरकनेक्टेड लर्निंग-कंट्रोल सिस्टम का विश्लेषण करने के लिए एक कठोर गणितीय उपकरणसेट प्रदान करता है।

संक्षेप में, Relearn LQR अज्ञात रैखिक प्रणालियों को नियंत्रित करने के लिए एक मजबूत, सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है, यह सुनिश्चित करता है कि सीखने की प्रक्रिया भौतिक प्लांट को अस्थिर नहीं करती है, और साथ ही इष्टतम नियंत्रण नीति की ओर अभिसरण करती है।