🔢 mathematics

On a mean-field Pontryagin minimum principle for stochastic optimal control

यह शोध पत्र शास्त्रीय पोंट्रियागिन न्यूनतम सिद्धांत का एक नवीन नियतात्मक, मीन-फील्ड विस्तार प्रस्तुत करता है—जिसे मैककीन-पोंट्रियागिन न्यूनतम सिद्धांत कहा जाता है—जो फॉरवर्ड और रिवर्स समीकरणों को अलग करने के लिए सहायक फलनों का उपयोग करता है, जिससे स्टोकेस्टिक इष्टतम नियंत्रण समस्याओं (अनंत क्षितिज के मामलों सहित) के समाधान को सरल बनाया जा सके, जैसा कि विभिन्न नियंत्रित गतिशील प्रणालियों पर संख्यात्मक परीक्षणों के माध्यम से प्रदर्शित किया गया है।

मूल लेखक: Manfred Opper, Sebastian Reich

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manfred Opper, Sebastian Reich

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक धुंधले, तूफानी समुद्र में एक नाव को दिशा देने की कोशिश कर रहे हैं। आप कम से कम ईंधन का उपयोग करके एक विशिष्ट गंतव्य तक पहुँचना चाहते हैं (या एक विशिष्ट पैटर्न बनाए रखना चाहते हैं)। पानी उबड़-खाबड़ है (रैंडम नॉइज़/अनिश्चितता), और आप भविष्य नहीं देख सकते। यह स्टोकेस्टिक ऑप्टिमल कंट्रोल (Stochastic Optimal Control) की एक क्लासिक समस्या है।

दशकों से, गणितज्ञों के पास ऐसी नावों को चलाने के लिए एक "नियम पुस्तिका" रही है, जिसे पोंट्रियागिन मिनिमम प्रिंसिपल (Pontryagin Minimum Principle - PMP) कहा जाता है। हालाँकि, तूफानी पानी के लिए पारंपरिक नियम पुस्तिका अविश्वसनीय रूप से जटिल है। इसके लिए दो प्रकार के समीकरणों को एक साथ हल करने की आवश्यकता होती है: एक जो समय में आगे की ओर देखता है (जहाँ नाव है) और एक जो पीछे की ओर देखता है (कि आदर्श पथ क्या होना चाहिए था)। यह एक कार चलाने जैसा है और साथ ही साथ यह गणना करने जैसा भी है कि आपने कल क्या रास्ता लिया होता यदि आपने कल से गाड़ी चलाना शुरू किया होता। यह एक भारी, उलझा हुआ जाल है।

पेपर का बड़ा विचार: "मीन-फील्ड" शॉर्टकट

मैनफ्रेड ओपर और सेबेस्टियन रीच एक नया, सरल नियमबुक प्रस्तावित करते हैं। वे इसे मैकेअन-पोंट्रियागिन मिनिमम प्रिंसिपल (McKean–Pontryagin Minimum Principle) कहते हैं।

एक एकल नाव को ट्रैक करने और एक "भूतिया" पीछे की ओर जाने वाले पथ को देखने के बजाय, वे एक साथ चलने वाली हजारों समान नावों के बेड़े (fleet) की कल्पना करते हैं।

पुराना तरीका: एक विशेष नाव के लिए एक जटिल, उलझे हुए समीकरण को हल करना।
नया तरीका: पूरे बेड़े के औसत व्यवहार को देखना।

यहाँ बताया गया है कि वे इसे कैसे काम करते हैं, रोजमर्रा के उदाहरणों का उपयोग करते हुए:

1. "भूतिया" बेड़ा (Mean-Field)

कल्पना कीजिए कि आपके पास केवल एक नाव नहीं है; आपके पास 1,000 नावों का एक बादल है। एक विशिष्ट नाव के लिए एक कठिन गणितीय समस्या को हल करने के बजाय, आप पूरे बादल के औसत व्यवहार को देखते हैं।

यदि बादल बाईं ओर खिसकने लगता है, तो "औसत" नाव को दाईं ओर मुड़ने का पता होता है।
यह दृष्टिकोण एक अस्त-व्यस्त, रैंडम समस्या को एक डिटरमिनिस्टिक (deterministic) समस्या में बदल देता है (एक ऐसी समस्या जिसमें अनिश्चितता नहीं होती)। भीड़ को देखकर रैंडमनेस को "स्मूथ" या सुधारा जा सकता है।

2. "गेज फ्रीडम" (जादुई स्विच)

पुरानी नियम पुस्तिका में, आगे का पथ (जहाँ नाव है) और पीछे का पथ (आदर्श योजना) एक दूसरे से चिपके हुए हैं। आप एक को दूसरे के बिना हल नहीं कर सकते।

लेखकों ने एक "गेज फ्रीडम" (gauge freedom) की खोज की है। इसे एक स्टीरियो के वॉल्यूम नॉब (volume knob) की तरह समझें। आप इस नॉब को (एक गणितीय फलन जिसे वे $\beta$ कहते हैं) घुमाकर इस तरह बदल सकते हैं कि नावें एक-दूसरे के साथ कैसे इंटरैक्ट करती हैं, बिना अंतिम गंतव्य को बदले।

ट्रिक: इस नॉब को बिल्कुल सही तरीके से घुमाकर, वे समीकरणों को अनकपल (uncouple/अलग) कर सकते हैं।
परिणाम: अब आपको एक ही समय में पीछे की ओर देखने वाले "भूतिया" पथ को हल करने की आवश्यकता नहीं है। आप बेड़े के आगे के पथ को हल कर सकते हैं, और "पीछे की ओर" की जानकारी बेड़े की गति में अपने आप शामिल हो जाती है। यह भविष्य दिखाने वाले रियर-व्यू मिरर की आवश्यकता के बिना गाड़ी चलाने के समान है।

3. अनंत क्षितिज: "अंतहीन राजमार्ग" (Infinite Horizon)

उन समस्याओं के लिए जो अनंत काल तक चलती हैं (जैसे किसी ड्रोन को अनिश्चित काल तक हवा में स्थिर रखना), पुराना तरीका बहुत कठिन है।

नया तरीका आपको बस समय में आगे की ओर सिमुलेशन चलाने की अनुमति देता है।
कल्पना कीजिए कि एक नदी नीचे की ओर बह रही है। यदि आप एक पत्ता डालते हैं, तो वह अंततः एक स्थिर धारा में स्थिर हो जाता है। लेखक दिखाते हैं कि यदि आप अपने नावों के बेड़े को पर्याप्त लंबे समय तक आगे की ओर चलने देते हैं, तो वे स्वाभाविक रूप से एक आदर्श, स्थिर नियंत्रण पैटर्न में सेट हो जाते हैं। आपको पीछे देखने की आवश्यकता नहीं है; बस सिस्टम को विकसित होने दें।

4. वास्तविक दुनिया के परीक्षण (प्रयोगशाला प्रयोग)

लेखकों ने केवल सिद्धांत नहीं लिखा; उन्होंने तीन अलग-अलग "नावों" पर इसका परीक्षण किया:

इनवर्टेड पेंडुलम (Inverted Pendulum): एक कार्ट पर संतुलित डंडा। यह स्वाभाविक रूप से अस्थिर है (जैसे हाथ पर झाड़ू संतुलित करना)। उनकी विधि ने कार्ट को सीधा रखने के लिए उसे सफलतापूर्वक निर्देशित किया, भले ही उसमें रैंडम झटके लग रहे हों।
लोरेंज-63 सिस्टम (Lorenz-63 System): मौसम की अराजकता (बटरफ्लाई इफेक्ट) का एक प्रसिद्ध मॉडल। लक्ष्य मौसम को पागल होने से रोकना और उसे एक विशिष्ट पैटर्न में बनाए रखना था। उनके नावों के बेड़े ने अराजकता को सफलतापूर्वक नियंत्रित किया।
लोरेंज-96 सिस्टम (Lorenz-96 System): मौसम मॉडल का एक बहुत बड़ा, 40-आयामी संस्करण। इस विशाल जटिलता के बावजूद, यह विधि काम कर गई, जिससे सिद्ध हुआ कि यह बड़े, अव्यवस्थित सिस्टम को संभाल सकती है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

सरलता: यह एक जटिल "फॉरवर्ड-बैकवर्ड" उलझन को एक सरल "फॉरवर्ड-ओनली" सिमुलेशन में बदल देता है।
सुचारुता (Smoothness): क्योंकि यह कणों के एक बेड़े का उपयोग करता है, इसलिए परिणामी नियंत्रण पथ सुचारू होते हैं, जो अन्य विधियों में अक्सर होने वाली ऊबड़-खाबड़, शोर भरी त्रुटियों से बचते हैं।
लचीलापन: यह छोटी यात्राओं (finite horizon) और अनंत यात्राओं (infinite horizon) दोनों के लिए काम करता है।

सारांश में:
पेपर कहता है: "एकल नाव के लिए असंभव दिखने वाली पीछे की ओर देखने वाली पहेली को हल करने की कोशिश छोड़ दें। इसके बजाय, नावों के एक पूरे बेड़े की कल्पना करें। यह देखकर कि भीड़ कैसे चलती है और गणित में एक सरल 'नॉब' को समायोजित करके, आप केवल उन्हें आगे बढ़ते हुए देखकर सटीक स्टीयरिंग निर्देश पा सकते हैं।"

यह दृष्टिकोण एक पीछे की ओर देखने वाले समीकरणों के दुस्वप्न को कणों के एक प्रबंधनीय, आगे की ओर सिम्युलेट होने वाले नृत्य में बदल देता है।

तकनीकी सारांश: स्टोकेस्टिक इष्टतम नियंत्रण के लिए एक मीन-फील्ड पोंट्रियागिन मिनिमम प्रिंसिपल (Mean-Field Pontryagin Minimum Principle)

समस्या विवरण
यह शोध पत्र नियंत्रित स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) द्वारा संचालित प्रणालियों के लिए स्टोकेस्टिक इष्टतम नियंत्रण समस्या को संबोधित करता है, जो $dX_t = b(X_t)dt + G(X_t)U_t dt + \Sigma^{1/2}dB_t$ के रूप में होती है। उद्देश्य एक क्लोज्ड-लूप कंट्रोल लॉ $U_t = u_t(X_t)$ खोजना है जो या तो सीमित-क्षितिज (finite-horizon) लागत या अनंत-क्षितिज (infinite-horizon) डिस्काउंटेड लागत को कम करता है। जबकि शास्त्रीय पोंट्रियागिन मिनिमम प्रिंसिपल (PMP) फॉरवर्ड-बैकवर्ड ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) के माध्यम से नियत (deterministic) इष्टतम नियंत्रण को हल करता है, स्टोकेस्टिक प्रणालियों में इसका विस्तार आमतौर पर फॉरवर्ड-बैकवर्ड स्टोकेस्टिक डिफरेंशियल इक्वेशंस (FBSDEs) पर निर्भर करता है। लेखक नोट करते हैं कि FBSDEs गणनात्मक रूप से चुनौतीपूर्ण हैं और अक्सर ऐसे युग्मित (coupled) सिस्टम को हल करने की आवश्यकता होती है जिन्हें अलग करना (decouple) कठिन होता है।

कार्यप्रणाली: मकेअन–पोंट्रियागिन मिनिमम प्रिंसिपल (McKean–Pontryagin Minimum Principle)
लेखक एक नवीन, नियत मीन-फील्ड फॉर्मूलेशन प्रस्तावित करते हैं जिसे मकेअन–पोंट्रियागिन मिनिमम प्रिंसिपल कहा जाता है। यह दृष्टिकोण एक हैमिल्टनियन संरचना बनाने के लिए सहायक फलनों (auxiliary functions) के एक जोड़े को पेश करके सीधे FBSDEs के उपयोग से बचता है। कार्यप्रणाली निम्नलिखित चरणों के माध्यम से आगे बढ़ती है:

यूलेरियन फॉर्मूलेशन (Eulerian Formulation): लेखक हैमिल्टन-जैकोबी-बेलमैन (HJB) समीकरण और फॉकर-प्लैंक (Fokker-Planck) समीकरण से शुरुआत करते हैं। वे डिफ्यूजन टर्म को अलग करने और बाधाओं को लागू करने के लिए सहायक फलनों $\phi_t$ (जो वैल्यू फंक्शन से संबंधित है) और एक लैग्रेंज मल्टीप्लायर $\beta_t$ को पेश करते हैं। इससे प्रायिकता घनत्व (probability density) $\rho_t$ और वैल्यू फंक्शन $v_t$ के विकास को शामिल करने वाला एक बाधित हैमिल्टनियन सिस्टम प्राप्त होता है।
लैग्रेंजियन फॉर्मूलेशन (Lagrangian Formulation): यूलेरियन PDEs को लैग्रेंजियन फ्रेमवर्क में रूपांतरित करते हुए, सिस्टम का वर्णन इंटरैक्टिंग पार्टिकल्स $(X_t, P_t)$ द्वारा किया जाता है, जहाँ $X_t$ अवस्था (state) का प्रतिनिधित्व करता है और $P_t$ को-स्टेट (मोमेंटम) का प्रतिनिधित्व करता है। इन कणों का विकास हैमिल्टनियन ODEs के एक सिस्टम का अनुसरण करता है।
गेज फ्रीडम और डिकपलिंग (Gauge Freedom and Decoupling): इस फॉर्मूलेशन की एक प्रमुख विशेषता सहायक फलन $\beta_t$ के चयन में "गेज फ्रीडम" है। लेखक प्रदर्शित करते हैं कि $\beta_t$ को उपयुक्त रूप से चुनकर (उदाहरण के लिए, $\beta_t = -G(X_t)R G(X_t)^T P_t$ ), अवस्थाओं $X_t$ के फॉरवर्ड विकास और को-स्टेट्स $P_t$ के बैकवर्ड विकास को अलग किया जा सकता है। यह मानक स्टोकेस्टिक PMP की तुलना में बाउंड्री वैल्यू प्रॉब्लम को काफी सरल बनाता है।
अनंत क्षितिज विस्तार (Infinite Horizon Extension): अनंत-क्षितिज डिस्काउंटेड कॉस्ट समस्याओं के लिए, फॉर्मूलेशन को फॉरवर्ड मीन-फील्ड ODEs के एक जोड़े को उत्पन्न करने के लिए अनुकूलित किया गया है। उपयुक्त प्रारंभिक स्थितियों से समय में आगे की ओर इन समीकरणों को चलाने से, सिस्टम स्वाभाविक रूप से इष्टतम स्थिर नियंत्रण नियम (optimal stationary control law) की ओर अभिसरित (converge) होता है, जिससे बैकवर्ड इंटीग्रेशन की आवश्यकता समाप्त हो जाती है।

प्रमुख योगदान

नियतिवादी मीन-फील्ड PMP (Deterministic Mean-Field PMP): यह शोध पत्र स्टोकेस्टिक PMP के एक नियत विकल्प के रूप में एक नया दृष्टिकोण पेश करता है, जो FBSDEs को हैमिल्टनियन ODEs द्वारा संचालित इंटरैक्टिंग पार्टिकल सिस्टम से बदल देता है।
डिकपलिंग तंत्र (Decoupling Mechanism): गेज फ्रीडम का परिचय फॉरवर्ड और बैकवर्ड समीकरणों को डिकपल करने की अनुमति देता है, जिससे बाउंड्री वैल्यू प्रॉब्लम्स का समाधान करना आसान हो जाता है।
अनंत क्षितिज के लिए फॉरवर्ड सिमुलेशन (Forward Simulation for Infinite Horizon): अनंत-क्षितिज समस्याओं के लिए, यह विधि इष्टतम नियंत्रण कानून की गणना को युग्मित ODEs के शुद्ध फॉरवर्ड सिमुलेशन में बदल देती है, जिससे पारंपरिक बैकवर्ड-इन-टाइम दृष्टिकोणों की जटिलता से बचा जाset है।
संख्यात्मक सन्निकटन (Numerical Approximations): शोध पत्र कई संख्यात्मक कार्यान्वयन रणनीतियों पर चर्चा करता है, जिनमें शामिल हैं:
- रिग्रेशन फॉर्मूलेशन (Regression formulations): वैल्यू फंक्शन के ग्रेडिएंट को अनुमानित करने के लिए लीस्ट स्क्वेयर्स का उपयोग करना।
- डिस्क्रीट श्रोडिंगर ब्रिजेस (Discrete Schrödinger bridges): कणों के बीच की परस्पर क्रिया को संभालने के लिए डिफ्यूजन प्रक्रिया के जनरेटर का सन्निकटन करना।
- वैरिएशनल दृष्टिकोण (Variational approaches): सहायक चरों के लिए पैरामेट्रिक एन्सैट्ज़ (ansatz) फलनों का उपयोग करना।

संख्यात्मक परिणाम
कार्यप्रणाली को चार संख्यात्मक प्रयोगों के माध्यम से मान्य किया गया है:

इनवर्टेड पेंडुलम (अनंत क्षितिज): विधि एक नियंत्रित इनवर्टेड पेंडुलम के अस्थिर संतुलन को सफलतापूर्वक स्थिर करती है। मीन-फील्ड फॉर्मूलेशन विस्कोसिटी (viscosity) के माध्यम से जोड़ी गई डिफ्यूजन के माध्यम से स्टेट स्पेस के अन्वेषण की अनुमति देता है, जिससे तीव्र साम्यावस्था (equilibration) प्राप्त होती है।
लोरेंज़-63 सिस्टम (अनंत क्षितिज): एक अराजक (chaotic) प्रणाली पर लागू होने पर, कंट्रोल लॉ सफलतापूर्वक प्रक्षेपवक्र (trajectory) को एक विशिष्ट क्षेत्र ( $x_t \geq 0$ ) तक सीमित करता है, जो अनियंत्रित प्रणाली की अराजक प्रकृति को प्रभावी ढंग से समाप्त करता है और इसे एक अर्ध-आवर्ती कक्षा (quasi-periodic orbit) की ओर निर्देशित करता है।
इनवर्टेड पेंडुलम (रिसीडिंग होराइजन/NMPC): इस फॉर्मूलेशन को स्थानीय रैखिक सन्निकटन का उपयोग करके नॉनलीन मॉडल प्रेडिक्टिव कंट्रोल (NMPC) के लिए अनुकूलित किया गया है। यह रिसीडिंग होराइजन सेटिंग में पेंडुलम को सफलतापूर्वक स्थिर करता है।
लोरेंज़-96 सिस्टम (उच्च आयामी): दृष्टिकोण का परीक्षण 40-आयामी प्रणाली पर किया गया है। एक रैखिक सन्निकटन और कोवेरिएंस लोकलाइजेशन का उपयोग करते हुए, विधि सिस्टम को एक संदर्भ समाधान के आसपास स्थिर करती है, जो उच्च आयामों तक इसकी स्केलेबिलिटी को प्रदर्शित करती है।

महत्व और दावे
लेखक दावा करते हैं कि मकेअन–पोंट्रियागिन मिनिमम प्रिंसिपल मौजूदा स्टोकेस्टिक नियंत्रण विधियों के मुकाबले एक गणनात्मक रूप से आकर्षक विकल्प प्रदान करता है। एक नियत मीन-फील्ड फॉर्मूलेशन प्रदान करके, यह इंटरैक्टिंग पार्टिकल कार्यान्वयन (हैमिल्टनियन ODEs) के उपयोग को सक्षम बनाता है जो सुचारू प्रक्षेपवक्र (smooth trajectories) प्रदान करते हैं, जिससे संभावित रूप से स्टोकेस्टिक समकक्षों की तुलना में सन्निकटन में भिन्नता (variance) कम होती है। फॉरवर्ड और बैकवर्ड समीकरणों को डिकपल करने की क्षमता बाउंड्री वैल्यू प्रॉब्लम्स के समाधान को सरल बनाती है, और अनंत-क्षितिज समस्याओं के लिए केवल फॉरवर्ड सिमुलेशन की क्षमता पारंपरिक बैकवर्ड-इन-टाइम दृष्टिकोणों पर एक स्पष्ट लाभ प्रदान करती है।

यह शोध पत्र इस कार्य को PMP ढांचे में मीन-फील्ड फॉर्मूलेशन के विस्तार के रूप में प्रस्तुत करता है, जो डीप लर्निंग के माध्यम से सीधे वैल्यू फंक्शन को अनुमानित करने या युग्मित HJB-फॉकर-प्लैंक सिस्टम को हल करने वाले दृष्टिकोणों से भिन्न है। हालांकि ध्यान मानक स्टोकेस्टिक इष्टतम नियंत्रण पर है, लेखक नोट करते हैं कि इस फॉर्मूलेशन में मीन-फील्ड कंट्रोल समस्याओं और आंशिक रूप से प्रेक्षित प्रणालियों (एन्सेम्बल कलमन फिल्टर के साथ संयोजन) के लिए विस्तार की क्षमता है, हालांकि इन्हें वर्तमान परिणामों के बजाय भविष्य के कार्य के रूप में पहचाना गया है।

1. "भूतिया" बेड़ा (Mean-Field)

2. "गेज फ्रीडम" (जादुई स्विच)

3. अनंत क्षितिज: "अंतहीन राजमार्ग" (Infinite Horizon)

4. वास्तविक दुनिया के परीक्षण (प्रयोगशाला प्रयोग)

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

इसी तरह के और पेपर