🤖 machine learning

Learned Lyapunov Shielding for Adaptive Control

यह शोधपत्र एक सीखे हुए लियापुनोव शिल्डिंगिंग फ्रेमवर्क (Lyapunov shielding framework) का प्रस्ताव करता है जो स्लोटिन-ली एडेप्टिव कंट्रोलर (Slotine–Li adaptive controller) को एक स्ट्रक्चर्ड-क्वाड्रेटिक लियापुनोव फंक्शन, एक रेसिडुअल सॉफ्ट एक्टर-क्रिटिक पॉलिसी और एक फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क के साथ संवर्धित करता है ताकि अनमॉडल डायनेमिक्स वाले यूलर-लैग्रेंज सिस्टम पर एक्सपोनेंशियल स्टेबिलिटी और क्लोज्ड-फॉर्म सेफ्टी फिल्टरिंग सुनिश्चित करते हुए ट्रैकिंग प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Giansalvo Cirrincione, Adriano Fagiolini

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giansalvo Cirrincione, Adriano Fagiolini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक आर्म को एक भारी बॉक्स को बिंदु A से बिंदु B तक ले जाना सिखा रहे हैं। आपके पास इसे करने के दो तरीके हैं:

"टेक्स्टबुक" तरीका: आप रोबोट को एक सटीक भौतिकी (फिजिक्स) की पाठ्यपुस्तक (Slotine–Li controller) देते हैं। उसे पता है कि बॉक्स कितना भारी है और हाथ कैसे चलता है। यह बहुत अच्छा काम करता है, लेकिन यदि बॉक्स उम्मीद से थोड़ा अधिक भारी है, या यदि जोड़ (joints) थोड़े चिपचिपे हैं, तो रोबोट भ्रमित हो जाता है और लड़खड़ाकर चलता है।
"जुआरी" तरीका: आप रोबोट को अनुभव और त्रुटि (trial and error) से सीखने देते हैं (Standard Reinforcement Learning)। यह अंततः बॉक्स को पूरी तरह से हिलाना सीख सकता है, लेकिन यह दीवार से टकरा भी सकता है या बॉक्स गिरा भी सकता है क्योंकि इसने अभी तक भौतिकी के नियमों को नहीं सीखा है।

यह पेपर एक "तीसरा तरीका" प्रस्तावित करता है: एक "स्मार्ट कोच" जो दोनों का सर्वश्रेष्ठ संयोजन है। यह विश्वसनीय टेक्स्टबुक रोबोट लेता है और इसमें एक "लर्निंग असिस्टेंट" जोड़ता है जो गलतियों को सुधारता है, लेकिन यह पूरे सिस्टम के चारों ओर एक सुरक्षा जाल (safety net) लगा देता है ताकि रोबोट कभी भी कुछ खतरनाक न कर सके।

यहाँ बताया गया है कि इस पेपर का "स्मार्ट कोच" कैसे काम करता है, जिसे सरल भागों में विभाजित किया गया है:

1. सुरक्षा जाल (The "Lyapunov Certificate")

रोबोटिक्स की दुनिया में, एक Lyapunov function एक "स्थिरता थर्मामीटर" की तरह है। यह मापता है कि रोबलेट कितना "अस्थिर" है। यदि तापमान बढ़ता है, तो रोबोट मुसीबत में है।

समस्या: आमतौर पर, एक रोबोट के सुरक्षित होने को सिद्ध करने के लिए जटिल गणित की आवश्यकता होती है जो वास्तविक समय (real-time) में करना कठिन है।
पेपर की ट्रिक: उन्होंने एक विशेष, संरचित "थर्मामीटर" (Learned Lyapunov Certificate) बनाया है जो अपने डिज़ाइन के कारण गारंटी के साथ सकारात्मक (positive) रहता है (इसका मतलब है कि यह हमेशा कुछ वास्तविक मापता है)।
परिणाम: इस विशेष डिज़ाइन के कारण, कंप्यूटर तुरंत एक "सेफ्टी फ़िल्टर" की गणना कर सकता है। इसे एक ट्रैफिक पुलिस की तरह समझें जो रोबोट के सामने खड़ा है। यदि रोबोट ऐसा कदम उठाने की कोशिश करता जिससे "थर्मामीटर" अचानक बढ़ जाए (खतरनाक स्थिति), तो ट्रैफिक पुलिस तुरंत उस कदम को रोक देती है और रोबोट को वापस एक सुरक्षित पथ पर धकेल देती है। पेपर यह सिद्ध करता है कि इस ट्रैफिक पुलिस के पास हमेशा एक वैध चाल होती है; वह कभी यह कहकर नहीं अटकती कि, "मैं आपको नहीं रोक सकती!"

2. लर्निंग असिस्टेंट (The "Residual Policy")

टेक्स्टबुक रोबोट (Slotine–Li) अच्छा है, लेकिन वह चिपचिपे जोड़ों या अजीब घर्षण (friction) के बारे में नहीं जानता।

समाधान: उन्होंने एक Soft Actor–Critic (SAC) पॉलिसी जोड़ी है। इसे एक छात्र के रूप में सोचें जो टेक्स्टबुक रोबोट को देखता है और कहता है, "हे, टेक्स्टबुक कहती है कि बाईं ओर मुड़ो, लेकिन मुझे महसूस हो रहा है कि जोड़ चिपचिपा है, इसलिए चलो दाईं ओर थोड़ा अतिरिक्त धक्का देते हैं।"
सावधानी: इस छात्र को सुझाव देने की अनुमति है, लेकिन केवल तभी जब सेफ्टी नेट (ट्रैफिक पुलिस) कहे कि यह ठीक है। यह रोबोट को सुरक्षा नियमों को तोड़े बिना अनुभव से सीखने की अनुमति देता है।

3. भौतिकी जासूस (The "PINN")

कभी-कभी रोबोट को पता नहीं होता कि वह क्यों फिसल रहा है।

समाधान: उन्होंने एक Physics-Informed Neural Network (PINN) जोड़ा है। यह एक जासूस की तरह है जो रोबोट की गति को देखता है और उन "छिपी हुई शक्तियों" (जैसे अनमॉडल घर्षण या भारी भार) को समझने की कोशिश करता है जिन्हें टेक्स्टबुक ने ध्यान में नहीं रखा था।
यह कैसे मदद करता है: जासूस यह जानकारी सेफ्टी नेट को भेजता है। सेफ्टी नेट फिर जानता है, "आह, रोबोट घर्षण के कारण फिसल रहा है, न कि इसलिए कि वह नियंत्रण से बाहर है," और उसके अनुसार सुरक्षा नियमों को समायोजित करता है।

उन्होंने क्या पाया? (परिणाम)

टीम ने एक रोबोटिक आर्म पर परीक्षण किया जिसमें दो जोड़ (2-DOF) थे और फिर एक अधिक जटिल सात-जोड़ वाले आर्म (इंसानी हाथ की तरह, Franka Panda) पर।

"स्वीट स्पॉट" लाभ: जब रोबोट उस वजन को ले जा रहा था जिसे उसने प्रशिक्षण के दौरान देखा था ("centroid"), तो नया सिस्टम पुराने टेक्स्टबुक तरीके की तुलना में लक्ष्य पथ को ट्रैक करने में 41% बेहतर था। "लर्निंग असिस्टेंट" और "सेफ्टी नेट" दोनों ने मिलकर गति को सुचारू बनाया।
"विशेषज्ञता" की समस्या: यह सिस्टम उन वजनों के लिए अद्भुत था जिनका उसने अभ्यास किया था, लेकिन यदि आपने इसे ऐसा वजन दिया जो उसने पहले कभी नहीं देखा था (बहुत हल्का या बहुत भारी), तो यह कभी-कभी पुराने टेक्स्टबुक तरीके से भी खराब प्रदर्शन करने लगा। यह एक ऐसे छात्र की तरह था जिसने एक विशिष्ट परीक्षा के लिए कड़ी मेहनत की लेकिन जब प्रश्न थोड़े बदल गए तो संघर्ष करने लगा।
"वार्म-स्टार्ट" का जाल: उन्होंने एक अजीब बग पाया। यदि आप एक प्रशिक्षित रोबोट को लेते हैं और किसी नए कार्य के लिए उसे "फाइन-ट्यून" करने की कोशिश करते हैं (बिना शुरुआत से शुरू किए), तो वह एक बुरी आदत में फंस सकता है। यह एक ऐसे छात्र की तरह है जिसने पिछले साल के टेस्ट के उत्तर इतने अच्छी तरह से रट लिए हैं कि वह नया विषय नहीं सीख पा रहा है। पेपर कहता है कि कार्य बदलने पर आपको शून्य से शुरू करना (retrain from zero) होगा ताकि इस समस्या से बचा जा सके।
स्केलेबिलिटी (Scalability): उन्होंने सिद्ध किया कि यह प्रणाली न केवल छोटे 2-जोड़ वाले रोबोट पर, बल्कि एक बड़े, जटिल 7-जोड़ वाले रोबोट पर भी काम करती है।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर एक तरीका पेश करता है जिससे रोबोटों को एक साथ सुरक्षित और स्मार्ट बनाया जा सके।

यह एक गणितीय रूप से गारंटीकृत सुरक्षा फ़िल्टर (ट्रैफिक पुलिस) का उपयोग करता है ताकि रोबोट कभी टकराए नहीं।
यह पारंपरिक भौतिकी मॉडलों की गलतियों को सुधारने के लिए लर्निंग (सीखने) का उपयोग करता है।
यह सिद्ध करता है कि यह संयोजन स्थिर है और वास्तविक दुनिया में काम करता है, बशर्ते आप किसी पूरी तरह से नए काम के लिए प्रशिक्षित रोबोट को बिना दोबारा प्रशिक्षित किए "ट्वीक" करने की कोशिश न करें।

संक्षेप में, यह एक रोबोट कंट्रोलर है जो अनुभव से सीखता है लेकिन एक गणितीय रूप से पूर्ण सुरक्षा गार्ड द्वारा कड़ाई से नियंत्रित होता है।

तकनीकी सारांश: यूलर–लैग्रेंज प्रणालियों पर सुरक्षित अवशिष्ट सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए सीखे गए लियापुनोव प्रमाणपत्र (Learned Lyapunov Certificates)

समस्या विवरण
यूलर–लैग्रेंज प्रणालियों (जैसे कि क्लासिक स्लोटिन–ली कंट्रोलर) के लिए अनुकूली नियंत्रक (Adaptive controllers), कठोर-पिंड गतिकी (rigid-body dynamics) के लीनियर-इन-पैरामीटर्स गुण और द्रव्यमान, कोरिओलिस तथा गुरुत्वाकर्षण पदों के पूर्व ज्ञान पर निर्भर करते हैं। हालाँकि, व्यावहारिक रोबोटिक प्रणालियों में अक्सर अनमॉडल की गई गैर-रेखीयताएँ (जैसे घर्षण हिस्टेरेसिस, जोड़ लोच, सॉफ्ट-बॉडी प्रभाव) होती हैं जो स्वच्छ पैरामीट्रिकरण का विरोध करती हैं। जबकि सुदृढीकरण शिक्षण (RL) इन अवशिष्टों (residuals) को सीखने का एक मार्ग प्रदान करता है, मानक RL में औपचारिक स्थिरता गारंटी का अभाव होता है और यह अक्सर सुरक्षा-महत्वपूर्ण नियंत्रण कार्यों पर लागू होने पर अभिसरण (convergence) करने में विफल रहता है। सीखे गए लियापुनोव फलनों (Lyapunov functions) के मौजूदा दृष्टिकोण अक्सर जेनेरिक न्यूरल आर्किटेक्चर (जैसे tanh सक्रियण वाले MLPs) पर निर्भर करते हैं जिन्हें सकारात्मक-निश्चितता (positive-definiteness) सुनिश्चित करने के लिए पोस्ट-हॉक सत्यापन या जटिल अनुकूलन की आवश्यकता होती है, जिससे तैनाती के दौरान अप्राप्य सुरक्षा फिल्टर उत्पन्न होते हैं।

कार्यप्रणाली (Methodology)
लेखक एक ढांचा प्रस्तावित करते हैं जो स्लोटिन–ली अनुकूली नियंत्रक को तीन सीखे गए घटकों के साथ जोड़ता है, जिन्हें एक बाधित सॉफ्ट एक्टर–क्रिटिक (SAC) नीति में एकीकृत किया गया है:

संरचित-द्विघाती लियापुनोव फलन ( $V_\psi$ ): एक जेनेरिक न्यूरल नेटवर्क के बजाय, लियापुनोव उम्मीदवार को $V_\psi(x) = x^\top P_\psi(x) x$ के रूप में पैरामीटराइज किया जाता है, जहाँ $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$ है। यहाँ, $L_\psi$ एक लोअर-ट्राइएंगुलर (lower-triangular) MLP है। यह चोलेस्की पैरामीट्रिकरण (Cholesky parameterization) निर्माण द्वारा सकारात्मक-निश्चितता की गारंटी देता है।
अवशिष्ट SAC नीति (Residual SAC Policy): एक सॉफ्ट एक्टर–क्रिटिक एजेंट एक विश्लेतिक स्लोटिन–ली बेसलाइन को ठीक करने के लिए एक सीमित अवशिष्ट टॉर्क $\Delta \tau$ सीखने के लिए प्रशिक्षित होता है। नीति को लियापुनोव ह्रास उल्लंघन (Lyapunov decrease violation) पर एक बाधा के अधीन रिवॉर्ड (ट्रैकिंग प्रदर्शन) को अधिकतम करने के लिए प्रशिक्षित किया जाता है।
फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क (PINN): एक नेटवर्क $f_\theta$ अनमॉडल की गई गतिकी (अवशिष्टों) का अनुमान लगाता है और इसे एक भौतिक हानि (physics loss) के माध्यम से प्रशिक्षित किया जाता है जो यूलर–लैग्रेंज समीकरण संरचना को लागू करता है। इस मॉडल का उपयोग सुरक्षा फिल्टर के लिए ड्रिफ्ट फील्ड (drift field) का अनुमान लगाने के लिए किया जाता है।

सुरक्षा फिल्टर और स्थिरता तंत्र
मुख्य नवाचार एक क्लोज्ड-फॉर्म सुरक्षा फिल्टर है जो एकल अफ़ाइन बाधा $\dot{V}_\psi + \alpha V_\psi \leq 0$ से प्राप्त होता है। क्योंकि सिस्टम की गतिकी नियंत्रण में अफ़ाइन है ( $\dot{x} = h(x) + g(x)\tau$ ) और $V_\psi$ द्विघाती है, इसलिए बाधा $\tau$ में रैखिक हो जाती है ( $b(x)^\top \tau \leq c(x)$ )।

क्लोज्ड-फॉर्म प्रोजेक्शन: फिल्टर किसी भी कच्चे नीति आउटपुट $\tau_{raw}$ को एक सरल यूक्लिडियन प्रोजेक्शन के माध्यम से सुरक्षित हाफ-स्पेस पर प्रोजेक्ट करता है, जिससे ऑनलाइन क्वाड्रेटिक प्रोग्रामिंग (QP) सॉल्वर की आवश्यकता समाप्त हो जाती है।
व्यवहार्यता स्थिति (Feasibility Condition): शोध पत्र में यह सिद्ध किया गया है कि यह फिल्टर वैश्विक रूप से व्यवहार्य है यदि उस सेट $Z$ पर एक "ड्रिफ्ट-डिके कंडीशन" (drift-decay condition) लागू होती है जहाँ नियंत्रण अधिकार समाप्त हो जाता है ( $b(x)=0$ )। विशेष रूप रूप से, प्राकृतिक ड्रिफ्ट गतिकी को इस सेट पर पहले से ही लियापुनोव-घटते हुए होना चाहिए।
मजबूती (Robustness): एक मजबूत संस्करण PINN सन्निकटन त्रुटि ( $\delta$ ) और $V_\psi$ के ग्रेडिएंट बाउंड ( $L_V$ ) को शामिल करता है ताकि यह सुनिश्चित किया जा सके कि मॉडल अपूर्ण होने पर भी स्थिरता बनी रहे।

प्रमुख योगदान
यह शोध पत्र पाँच सैद्धांतिक और अनुभवजन्य योगदान स्थापित करता है:

क्लोज्ड-फॉर्म व्यवहार्यता: संरचित-द्विघाती पैरामीट्रिकरण एक एकल-बाधा QP के लिए क्लोज्ड-फॉर्म समाधान प्रदान करता है। लेखक एक सत्यापन योग्य ड्रिफ्ट-डिके स्थिति के तहत वैश्विक व्यवहार्यता सिद्ध करते हैं (थ्योरम 4)।
स्थिरता गारंटी: सटीक शिल्डिंग (exact shielding) के तहत घातांकीय स्थिरता (exponential stability) सिद्ध की गई है। एक मजबूत विस्तार प्रदान किया गया है जहाँ स्थिरता मार्जिन स्पष्ट रूप से PINN सन्निकटन त्रुटि पर निर्भर करता है (थ्योरम 13)।
अभिसरण (Convergence): यह दिखाया गया है कि नीति, सर्टिफिकेट और लैग्रेंज मल्टीप्लायर के संयुक्त अपडेट एक तीन-टाइमस्केल स्टोकेस्टिक एप्रोक्सिमेशन स्कीम का उपयोग करके लगभग निश्चित रूप से (almost surely) एक KKT बिंदु पर अभिसरित होते हैं (थ्योरम 10)।
सामान्यीकरण (Generalization): एक PAC (प्रोबेबली एप्रोक्सिमेटली करेक्ट) सामान्यीकरण सीमा प्राप्त की गई है, जो सीमित नमूनों के आधार पर सीखे गए लियापुनोव फलन को कॉम्पैक्ट सेट्स पर प्रमाणित करती है (प्रपोजिशन 14)।
अनुभवजन्य सत्यापन: एक 2-DOF मैनिपुलेटर और एक 7-DOF फ्रैंका एमिका पांडा पर व्यापक प्रयोग इस ढांचे की प्रभावकारिता और मापनीयता को प्रदर्शित करते हैं।

प्रायोगिक परिणाम

2-DOF मैनिपुलेटर: गैर-रेखीय घर्षण और परिवर्तनशील पेलोड वाले सिस्टम पर, सीखा गया लियापुनोव सर्टिफिकेट प्रदर्शन में मुख्य सुधार का स्रोत पाया गया। एनालिटिक स्लोटिन–ली बेसलाइन की तुलना में, प्रस्तावित विधि ने नाममात्र घर्षण के तहत ट्रैकिंग त्रुटि में 41% और प्रशिक्षण वितरण के केंद्र पर आक्रामक घर्षण के तहत 24% की कमी की। एब्लेशन अध्ययनों ने पुष्टि की कि सीखा गया सर्टिफिकेट ( $V_\psi$ ) अकेले PINN या SAC नीति की तुलना में काफी अधिक लाभ प्रदान करता है।
7-DOF मापनीयता: 7-DOF फ्रैंका पांडा (35-आयामी अवस्था स्थान) पर एक अध्ययन ने पुष्टि की कि पूर्ण पाइपलाइन (ट्रांसफॉर्मर-आधारित PINN, संरचित $V_\psi$ , क्लोज्ड-फॉर्म शील्ड) औद्योगिक स्तर पर सुचारू रूप से अभिसरित होती है। सटीक कंप्यूटेड-टॉर्क बेसलाइन (जिसके पास वास्तविक गतिकी तक पहुँच है) की तुलना में, इस ढांचे ने बेसलाइन के 1.7% के भीतर ट्रैकिंग हासिल की, जो पुष्टि करता है कि यह एक प्रमाणित सुरक्षा फिल्टर के रूप में कार्य करता है न कि केवल एक प्रदर्शन बूस्टर के रूप में जब बेसलाइन पहले से ही इष्टतम हो।
विफलता मोड (Failure Modes): अध्ययन ने एक "वार्म-स्टार्ट पैथोलॉजी" की पहचान की जहाँ एक विशिष्ट रिवॉर्ड संरचना के तहत प्रशिक्षित सर्टिफिकेट नए रिवॉर्ड उद्देश्यों के प्रति प्रतिकूल हो जाता है, जिसके लिए नई इनिशियलाइजेशन की आवश्यकता होती है। इसने उन अवस्थाओं के पास संख्यात्मक अस्थिरता को भी नोट किया जहाँ $\nabla V_\psi \approx 0$ होता है, जिसके लिए टॉर्क प्रवर्धन को रोकने हेतु एक गेटिंग तंत्र की आवश्यकता होती है।

महत्व और दावे
शोध पत्र का दावा है कि संरचित-द्विघाती पैरामीट्रिकरण पूरे ढांचे को सक्षम बनाने वाला केंद्रीय डिजाइन विकल्प है। निर्माण द्वारा सकारात्मक-निश्चितता सुनिश्चित करके, यह बिना ऑनलाइन अनुकूलन के वैश्विक व्यवहार्यता सुनिश्चित करने वाला एक गणनात्मक रूप से कुशल, क्लोज्ड-फॉर्म सुरक्षा फिल्टर प्रदान करता है। यह कार्य दर्शाता है कि औपचारिक सुरक्षा बाधाओं के तहत भौतिकी-आधारित घटकों को शास्त्रीय अनुकूली नियंत्रण के साथ कैसे एकीकृत किया जा सकता है। लेखक इस बात पर जोर देते हैं कि ढांचे का मूल्य केवल किसी एक घटक में नहीं, बल्कि नीति, सर्टिफिकेट और गतिकी अवशिष्ट के संयुक्त शिक्षण में निहित है। परिणाम बताते हैं कि ऐसे ढांचे मैनिपुलेटर के विभिन्न पैमानों पर व्यावहारिक रूप से उपयोग किए जा सकते हैं, बशर्ते कि एनालिटिक बेसलाइन पहले से ही पूर्ण न हो और प्रशिक्षण वितरण परिचालन सीमा को कवर करता हो।

1. सुरक्षा जाल (The "Lyapunov Certificate")

2. लर्निंग असिस्टेंट (The "Residual Policy")

3. भौतिकी जासूस (The "PINN")

उन्होंने क्या पाया? (परिणाम)

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर