⚡ electrical engineering

Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

यह शोध पत्र इष्टतम नियंत्रण (optimal control) के लिए एक एकीकृत KL-नियमित ढांचे (KL-regularized framework) को प्रस्तुत करता है जो सॉफ्ट-पॉलिसी सरोगेट्स (soft-policy surrogates) के माध्यम से शास्त्रीय और जोखिम-संवेदनशील उद्देश्यों का सामान्यीकरण करता है, जिन्हें मूल लक्ष्यों को पुनः प्राप्त करने के लिए पुनरावृत्त किया जा सकता है और एक सिंक्रोनाइज़्ड मामले में, रैखिक बेलमैन ऑपरेटरों और पाथ-इंटिग्रल समाधानों को उत्पन्न कर सकता है।

मूल लेखक: Ajinkya Bhole, Mohammad Mahmoudi Filabadi, Guillaume Crevecoeur, Tom Lefebvre

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ajinkya Bhole, Mohammad Mahmoudi Filabadi, Guillaume Crevecoeur, Tom Lefebvre

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट (या एक सेल्फ-ड्राइविंग कार) को एक जटिल, अप्रत्याशित दुनिया में नेविगेट करना सिखाने की कोशिश कर रहे हैं। लक्ष्य सरल है: कम से कम ऊर्जा या समय खर्च करते हुए बिंदु A से बिंदु B तक पहुँचना। हालाँकि, दुनिया अव्यवस्थित है। कभी सड़क फिसलन भरी होती है, कभी कोई अचानक पैदल यात्री सामने आ जाता है, और कभी रोबोट के सेंसर झूठ बोलते हैं।

यह शोध पत्र इस बारे में है कि रोबोटों को यह सिखाने के लिए एक एकीकृत "मास्टर रेसिपी" (एक ही मुख्य विधि) कैसे खोजी जाए कि चीजें गलत होने पर भी अच्छे निर्णय कैसे लिए जाएं। यह कई अलग-अलग तरीकों को जोड़ता है जिनका उपयोग वैज्ञानिक वर्षों से इस समस्या को हल करने के लिए करते आए हैं, और उन्हें एक बड़े, लचीले ढांचे (framework) में पिरोता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "परफेक्ट" बनाम "असली"

पुराने दिनों में, वैज्ञानिक रोबोट के लिए एक परफेक्ट रास्ता निकालने की कोशिश करते थे। लेकिन क्योंकि दुनिया अनिश्चित (stochastic) है, इसलिए परफेक्ट रास्ता निकालना एक तूफान में हर एक बारिश की बूंद के सटीक पथ की भविष्यवाणी करने जैसा है। वास्तविक दुनिया की अधिकांश स्थितियों के लिए इसे सटीक रूप से हल करना गणितीय रूप से असंभव है।

इसे ठीक करने के लिए, शोधकर्ताओं ने KL रेगुलराइजेशन (KL Regularization) का उपयोग करना शुरू किया। इसे एक "हल्के से धक्के" (gentle nudge) के रूप में सोचें। रोबोट को एक कठोर पथ का पालन करने के लिए मजबूर करने के बजाय, आप उसे एक "बेसलाइन" व्यवहार देते हैं (जैसे कि एक डिफॉल्ट सेटिंग या किसी मानव विशेषज्ञ की शैली) और उसे बताते हैं: "तुम जो चाहो कर सकते हो, लेकिन इस बेसलाइन के करीब रहने की कोशिश करो। यदि तुम बहुत दूर भटकते हो, तो तुम्हें दंड (penalty) भुगतना होगा।"

2. नई "मास्टर रेसिपी" (केंद्रीय समस्या)

इस शोध पत्र के लेखकों ने महसूस किया कि पिछले तरीके दो अलग-अलग चीजों को आपस में मिला रहे थे:

रोबोट का चुनाव (पॉलिसी/Policy): रोबोट क्या करने का निर्णय लेता है।
दुनिया की प्रतिक्रिया (ट्रांजिशन/Transitions): रोबोट के कार्यों के प्रति दुनिया कैसे प्रतिक्रिया देती है।

पिछले तरीकों ने इन दोनों को एक ही उलझी हुई गांठ के रूप में माना था। यह शोध पत्र उस गांठ को खोल देता है। वे एक नया ढांचा प्रस्तावित करते हैं जहाँ आप रोबोट के विकल्पों के लिए "हल्के धक्के" को दुनिया की प्रतिक्रियाओं के लिए "धक्के" से अलग करके ट्यून (adjust) कर सकते हैं।

कल्पना कीजिए कि आप एक सॉकर खिलाड़ी को कोचिंग दे रहे हैं:

पुराना तरीका: आप खिलाड़ी को कहते हैं, "मेरी तरह खेलो, और उम्मीद करो कि गेंद उसी तरह उछलेगी जैसा मैं उम्मीद करता हूँ।"
नया तरीका (यह शोध पत्र): आप खिलाड़ी को कहते हैं, "मेरी तरह खेलो (पॉलिसी नज़/Policy Nudge), और यह भी मान लो कि गेंद बेतहाशा उछल सकती है (ट्रांजिशन नज़/Transition Nudge), लेकिन तुम इस बात पर कितना चिंतित होना है, इसे खुद एडजस्ट कर सकते हो।"

इन दोनों को अलग करके, उन्होंने एक ऐसा "छाता" बनाया है जो रोबोट नियंत्रण के लगभग हर मौजूदा तरीके को कवर करता है।

3. चार विशेष मामले (चार "फ्लेवर्स")

इस नए छाते के तहत, रोबोट को नियंत्रित करने के चार प्रसिद्ध तरीके विशेष सेटिंग्स के रूप में दिखाई देते हैं:

क्लासिक दृष्टिकोण (SOC): रोबोट परफेक्ट तरीके से लागत (cost) को कम करने की कोशिश करता है, यह मानते हुए कि दुनिया स्थिर है। (दुनिया पर कोई "धक्का" नहीं, और रोबोट पर भी कोई "धक्का" नहीं)।
रिस्क-सेंसिटिव दृष्टिकोण (RSOC): रोबोट या तो निराशावादी (सबसे खराब स्थिति: "गेंद निश्चित रूप से बुरी तरह उछलेगी!") या आशावादी (सबसे अच्छी स्थिति: "गेंद पूरी तरह से उछलेगी!") होता है। यह सुरक्षा या उच्च-इनाम वाले जुए के लिए उपयोगी है।
"सॉफ्ट" पॉलिसी (SP-SOC): रोबोट लागत को कम करने की कोशिश करता है लेकिन एक "शिक्षक" (जैसे कि मानव विशेषज्ञ) के करीब रहने के लिए मजबूर होता है। यह क्लासिक दृष्टिकोण का एक "सॉफ्ट" संस्करण है।
"सॉफ्ट" रिस्क-सेंसिटिव (SP-RSOC): रोबोट एक शिक्षक के करीब रहता है साथ ही साथ दुनिया के प्रति आशावादी या निराशावादी भी होता है।

4. "इटरेटिव" ट्रिक (पहाड़ी चढ़ना)

इन कठिन समस्याओं को हल करने का एक शानदार तरीका भी है। लेखक दिखाते हैं कि "सॉफ्ट" संस्करण (SP-SOC और SP-RSOC) कठिन, क्लासिक संस्करणों के लिए सुरक्षित सीढ़ियों (stepping stones) के रूप में कार्य करते हैं।

एक खड़ी, धुंधली पहाड़ी (परफेक्ट समाधान) पर चढ़ने की कल्पना करें।

"सॉफ्ट" संस्करण पास की एक हल्की, अच्छी रोशनी वाली पहाड़ी है।
आप पहले आसान पहाड़ी को हल करते हैं।
फिर, आप उस समाधान को एक थोड़ी अधिक खड़ी पहाड़ी को हल करने के लिए एक नए शुरुआती बिंदु के रूप में उपयोग करते हैं।
आप इस प्रक्रिया को दोहराते हैं।
जादू: हर बार जब आप "सॉफ्ट" संस्करण को हल करते हैं, तो आप गारंटी के साथ "परफेक्ट" समाधान के करीब पहुँच जाते हैं। आप कभी पीछे नहीं फिसलते। यह गणित को गणना करने में बहुत आसान बना देता है।

5. "सिंक्रोनाइज्ड" सुपरपावर

अंत में, यह शोध पत्र एक विशेष "स्वीट स्पॉट" (sweet spot) की खोज करता है। यदि आप रोबोट के विकल्पों के लिए "धक्के" की शक्ति को दुनिया की प्रतिक्रियाओं के लिए "धक्के" की शक्ति के बिल्कुल समान सेट कर देते हैं, तो कुछ जादुगत होता है:

गणित रैखिक (linear) हो जाता है (एक सीधी रेखा की तरह) न कि घुमावदार और जटिल।

उपमा: एक ऐसी पहेली को हल करने की कल्पना करें जहाँ टुकड़े लगातार अपना आकार बदल रहे हैं (गैर-रैखिक)। अचानक, आपको एक ऐसा सेटिंग मिलता है जहाँ सभी टुकड़े एकदम चौकोर (रैखिक) हो जाते हैं।
परिणाम: यह एक "पाथ इंटीग्रल सॉल्यूशन" (Path Integral Solution) की अनुमति देता है। फिनिश लाइन से पीछे की ओर काम करने के बजाय (जो कठिन है), आप बस स्टार्ट लाइन से कई बार आगे की ओर सिमुलेशन चला सकते हैं और परिणामों का औसत निकाल सकते हैं।
कंपोजिबिलिटी (Compositionality): इसका मतलब यह भी है कि आप सरल व्यवहारों को आपस में जोड़कर जटिल व्यवहार बना सकते हैं। यदि आप जानना चाहते हैं कि कैसे चलना है और कैसे दौड़ना है, तो आप गणितीय रूप से उन्हें एक नए व्यवहार में "मिक्स" कर सकते हैं बिना पूरे समस्या को दोबारा हल किए।

सारांश

यह शोध पत्र कहता है: "हमने एक एकल, लचीला ढांचा खोजा है जो उन सभी तरीकों को जोड़ता है जिनसे हम जोखिम और अनिश्चितता को संभालने के लिए रोबोटों को सिखाते हैं। रोबोट के विकल्पों और दुनिया की अनिश्चितता को अलग-अलग दंडित (penalize) करके, हम असंभव गणितीय समस्याओं को आसान, चरण-दर-चरण पहेलियों में बदल सकते हैं। और यदि हम अपने कंट्रोल नॉब्स को सही ढंग से ट्यून करते हैं, तो हमें सुपर-फास्ट, सुपर-स्मार्ट समाधान मिलते हैं जिन्हें लेगो ब्लॉक्स की तरह बनाया जा सकता है।"

यह क्या दावा नहीं करता है:

यह किसी विशिष्ट चिकित्सा समस्याओं या क्लिनिकल उपयोगों को हल करने का दावा नहीं करता है।
यह दावा नहीं करता है कि यह अभी तक निरंतर, वास्तविक समय के हार्डवेयर पर काम करता है (यह एक सैद्धांतिक गणितीय ढांचा है)।
यह दावा नहीं करता है कि यह सभी मौजूदा AI को बदल देगा, बल्कि यह उनके पीछे के गणित को एकीकृत करता है।

तकनीकी सारांश: इष्टतम नियंत्रण में एंट्रॉपी रेगुलेराइज़ेशन का एकीकरण

समस्या विवरण
रोबोटिक्स से लेकर वित्त तक, इष्टतम नियंत्रण (optimal control) की समस्याओं में आमतौर पर एक सीमित क्षितिज (finite horizon) के भीतर लागत को कम करने के लिए डायनेमिक प्रोग्रामिंग का उपयोग किया जाता है। हालाँकि, नॉन-लीनियरिटी (nonlinearity) के कारण बेलमैन ऑपरेटर्स (Bellman operators) के सटीक समाधान अक्सर कठिन होते हैं। जबकि "कंट्रोल एज़ इंफरेंस" (Control as Inference - CaI) और कुलबैक-लीब्लर (KL) रेगुलेराइज़ेशन जैसे संभाव्य दृष्टिकोणों ने सुलभ सरोगेट्स (surrogates) प्रदान किए हैं, शास्त्रीय स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC), रिस्क-सेंसिटिव स्टोकेस्टिक ऑप्टिमल कंट्रोल (RSOC) और उनके KL-रेगुलराइज्ड "सॉफ्ट-पॉलिसी" समकक्षों को जोड़ने वाले एक एकीकृत गणितीय ढांचे का अभाव था। इसके अलावा, इन एल्गोरिदम के प्रत्येक इटरेशन में हल किए गए सरोगेट ऑब्जेक्टिव्स और मूल शास्त्रीय ऑब्जेक्टिव्स के बीच संबंध स्पष्ट नहीं था, और न ही इन फॉर्मुलेशन और डिस्ट्रिब्यूशनली रोबस्ट कंट्रोल (DRC) के बीच का संबंध स्पष्ट था।

कार्यप्रणाली
लेखक एक केंद्रीय, एकीकृत समस्या प्रस्तावित करते हैं जिसे सेंट्रल KL-रेगुलराइज्ड ऑप्टिमल कंट्रोल (C-KLR-OC) कहा जाता है। यह फॉर्मुलेशन पॉलिसी (policy) और सिस्टम ट्रांजिशन (system transitions) पर लागू होने वाले KL दंड (penalties) को अलग करके मौजूदा दृष्टिकोणों का सामान्यीकरण करता है।

एकीकृत फॉर्मुलेशन: मुख्य समस्या (इक्वेशन 7) एक पॉलिसी सीक्वेंस $\pi$ और एक कृत्रिम ट्रांजिशन कर्नेल सीक्वेंस $\tau$ को संयुक्त रूप से अनुकूलित करती है, जो बेसलाइन डिस्ट्रीब्यूशंस ( $\rho$ पॉलिसी के लिए, $\iota$ ट्रांजिशन के लिए) से उनके विचलन को स्वतंत्र भार $\lambda_P$ और $\lambda_S$ के साथ दंडित करती है।
- $\lambda_P$ संदर्भ व्यवहार (reference behavior) से पॉलिसी के विचलन को नियंत्रित करता है।
- $\lambda_S$ वास्तविक सिस्टम डायनेमिक्स से ट्रांजिशन के विचलन को नियंत्रित करता है, जिसका चिह्न जोखिम अभिवृत्ति (risk attitude) को निर्धारित करता है (जोखिम-उन्मुख/आशावादी के लिए सकारात्मक, जोखिम-संवेदनशील/निराशावादी के लिए नकारात्मक)।
सैद्धांतिक उपकरण:
- रिस्क मेजर्स (Risk Measures): पेपर रिस्क सेंसिटिविटी को KL रेगुलेराइज़ेशन से जोड़ने के लिए एंट्रोपिक रिस्क मेजर के डुअल रिप्रेजेंटेशन का उपयोग करता है।
- मेजराइजेशन-मिनिमाइजेशन (MM): लेखक MM फ्रेमवर्क का उपयोग यह प्रदर्शित करने के लिए करते हैं कि सॉफ्ट-पॉलिसी फॉर्मुलेशन मूल शास्त्रीय ऑब्जेक्टिव्स को ऊपर की ओर बाउंड (upper-bound/majorize) करने वाले सुलभ सरोगेट फंक्शन के रूप में कार्य करते हैं।
विशेष मामलों का व्युत्पन्न (Derivation of Special Cases): $\rho$ (चाहे वह अनुकूलित पॉलिसी $\pi$ के बराबर हो) और $\tau$ (चाहे वह वास्तविक डायनेमिक्स $\iota$ के समान फिक्स्ड हो या फ्री हो) पर बाधाओं को बदलकर, लेखक दिखाते हैं कि C-KLR-OC निम्नलिखित को रिकवर करता है:
- SOC: $\rho = \pi$ , $\tau = \iota$ ।
- RSOC: $\rho = \pi$ , $\tau$ फ्री।
- सॉफ्ट-पॉलिसी SOC (SP-SOC): $\rho \neq \pi$ , $\tau = \iota$ (I-प्रोजेक्शन के अनुरूप)।
- सॉफ्ट-पॉलिसी RSOC (SP-RSOC): $\rho \neq \pi$ , $\tau$ फ्री (M-प्रोजेक्शन के अनुरूप)।

मुख्य योगदान और परिणाम

ऑब्जेक्टिव्स का एकीकरण: पेपर यह स्थापित करता है कि शास्त्रीय SOC, RSOC और उनके सॉफ्ट-पॉलिसी वेरिएंट अलग-अलग प्रतिमान (paradigms) नहीं हैं, बल्कि एक ही गणितीय संरचना के विशेष मामले हैं जहाँ पॉलिसी और ट्रांजिशन रेगुलेराइज़ेशन अलग-अलग हैं।
शास्त्रीय ऑब्जेक्टिव्स की पुनरावर्ती रिकवरी (Iterative Recovery): लेखक सिद्ध करते हैं कि सॉफ्ट-पॉलिसी फॉर्मुलेशन अपने शास्त्रीय समकक्षों (SOC और RSOC) को मेजोराइज (majorize) करते हैं। फलस्वरूप, सॉफ्ट-पॉलिसी समस्याओं को बार-बार हल करना (अगले चरण के लिए बेसलाइन $\rho$ के रूप में वर्तमान पॉलिसी का उपयोग करके) मूल, अनरेगुलराइज्ड ऑब्जेक्टिव पर डिसेंट (descent) की गारंटी देता है। यह उन इटरेटिव एल्गोरिदम के लिए एक सिद्धांत आधारित आधार प्रदान करता है जो शास्त्रीय समाधानों की ओर अभिसरण (converge) करने के लिए सुलभ KL-रेगुलराइज्ड सब-प्रॉब्लम्स को हल करते हैं।
सिंक्रोनाइज्ड केस (S-SP-RSOC): एक महत्वपूर्ण खोज "सिंक्रोनाइज्ड" केस की पहचान है जहाँ पॉलिसी और ट्रांजिशन वेट्स आपस में मेल खाते हैं ( $\lambda_P = \lambda_S = \lambda > 0$ $λ_{P} = λ_{S} = λ > 0$ )। इस विशिष्ट कॉन्फ़िगरेशन में, समस्या में अनुकूल गुणों का एक समूह दिखाई देता है जो पहले विशिष्ट सेटिंग्स (जैसे पाथ इंटीग्रल कंट्रोल) में देखा गया था, लेकिन अब इस व्यापक श्रेणी में भी दिखाया गया है:
1. लीनियर बेलमैन ऑपरेटर: नॉन-लीनियर बेलमैन रिकर्सन एक एक्सपोनेंशियल चेंज ऑफ वेरिएबल्स (डेसिरेबिलिटी) के माध्यम से लीनियर इक्वेशन में बदल जाता है।
2. पाथ इंटीग्रल सॉल्यूशन: वैल्यू फंक्शन को बेसलाइन डायनेमिक्स के पाथ इंटीग्रल (ट्रैजेक्टरीज पर एक्सपेक्टेशन) के रूप में कंप्यूट किया जा सकता है, जिससे बैकवर्ड डायनेमिक प्रोग्रामिंग को बायपास कर मॉडल-फ्री, पैरेलल मोंटे-कार्लो एस्टीमेशन संभव होता है।
3. कंपोजिशनलिटी (Compositionality): सरल सब-प्रॉब्लम्स के समाधानों के वेटेड मिश्रण के रूप में जटिल टर्मिनल कॉस्ट के समाधानों का निर्माण किया जा सकता है।
इन्फरेंस के साथ संबंध: सिंक्रोनाइज्ड केस को एक प्रोबेबिलिस्टिक ग्राफिकल मॉडल (PGM) पर मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) के समकक्ष दिखाया गया है जिस पर अनुकूलता (optimality) कंडिशनल है। अनुकूल पॉलिसी बिल्कुल ऑप्टिमलिटी के दिए जाने पर एक्शन्स का पोस्टीरियर डिस्ट्रीब्यूशन है, जिसे बायेसियन स्मूथिंग के माध्यम से कंप्यूट किया जा सकता है।

महत्व और दावे
पेपर का दावा है कि यह "एकीकृत परिप्रेक्ष्य" प्रदान करता है जो CaI-आधारित विधियों की व्याख्यात्मकता (interpretability) से संबंधित मौलिक प्रश्नों को हल करता है। विशेष रूप से:

यह स्पष्ट करता है कि डेंसिटी-मैचिंग एल्गोरिदम के प्रत्येक इटरेशन में हल की गई "सॉफ्ट" पॉलिसियाँ मनमानी नहीं हैं; वे KL-रेगुलराइज्ड सरोगेट्स हैं जो व्यवस्थित रूप से शास्त्रीय SOC या RSOC ऑब्जेक्टिव्स का अनुमान लगाते हैं।
यह प्रदर्शित करता है कि पॉलिसी और ट्रांजिशन रेगुलेराइज़ेशन के बीच संरचनात्मक सामंजस्य (अर्थात, $\lambda_P = \lambda_S$ सेट करना) केवल संयोग नहीं है, बल्कि लीनियर बेलमैन ऑपरेटर, पाथ-इन्टीग्रल सॉल्वेबिलिटी और कंपोजिशनलिटी को एक साथ प्राप्त करने के लिए गणितीय रूप से आवश्यक है।
यह रिस्क-सेंसिटिव कंट्रोल और डिस्ट्रिब्यूनली रोबस्ट कंट्रोल के बीच के अंतर को पाटता है, यह दिखाते हुए कि रिस्क सेंसिटिविटी को एक पूर्व-निर्धारित लैग्रेंजियन मल्टीप्लायर के साथ एक सॉफ्ट DRC समस्या के रूप में व्याख्यायित किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि जबकि सिंक्रोनाइज्ड केस शक्तिशाली कम्प्यूटेशनल गुण प्रदान करता है, सामान्य एकीकृत ढांचा पॉलिसी और ट्रांजिशन रेगुलेराइज़ेशन को स्वतंत्र रूप से ट्यून करने की अनुमति देता है, जो लीनेरिटी के लिए आवश्यक विशिष्ट बाधाओं से परे कंट्रोल समस्याओं के लिए एक व्यापक डिज़ाइन स्पेस प्रदान करता है।