🤖 machine learning

Maximum Principle of Optimal Probability Density Control

यह शोध पत्र अनंत-आयामी संभाव्यता वितरण स्थानों (infinite-dimensional probability distribution spaces) पर इष्टतम नियंत्रण के लिए एक अधिकतम सिद्धांत और हैमिल्टन-जैकबी-बेलमैन समीकरण स्थापित करता है, और उच्च-आयामी बहु-एजेंट नियंत्रण समस्याओं को हल करने के लिए एक स्केलेबल डीप लर्निंग एल्गोरिदम विकसित करने हेतु इन सैद्धांतिक परिणामों का लाभ उठाता है।

मूल लेखक: Nathan Gaby, Xiaojing Ye

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nathan Gaby, Xiaojing Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल ऑर्केस्ट्रा के कंडक्टर हैं, लेकिन संगीतकारों के बजाय, आप 10,000 ड्रोन्स, रोबोट या स्वायत्त कारों (autonomous cars) के झुंड को निर्देशित कर रहे हैं। आपका लक्ष्य केवल उन्हें बिंदु A से बिंदु B तक पहुँचाना नहीं है; आपको उन्हें एक एकल, बहते हुए बादल के रूप में प्रबंधित करना है। आप चाहते हैं कि वे एक-दूसरे से टकराने से बचें, एक विशाल दीवार के चारों ओर रास्ता निकालें, और बिल्कुल एक ही समय पर एक विशिष्ट गंतव्य पर पहुँचें, और वह भी न्यूनतम ऊर्जा का उपयोग करते हुए।

यह ऑप्टिमल प्रोबेबिलिटी डेंसिटी कंट्रोल (Optimal Probability Density Control) की समस्या है।

नेथन गैबी और शियाओजिंग ये द्वारा साझा किया गया यह पेपर एक "झुंडों को संचालित करने के लिए नया नियम पुस्तिका" जैसा है। यहाँ इसका एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

1. समस्या: "भीड़" बनाम "व्यक्तिगत"

पुराने दिनों में, यदि आप किसी रोबोट को नियंत्रित करना चाहते थे, तो आप उसे सड़क पर चलते एक अकेले व्यक्ति की तरह देखते थे। आप उस एक व्यक्ति को निर्देश देते थे।
लेकिन जब आपके पास लाखों ड्रोन्स हों, तो प्रत्येक को व्यक्तिगत रूप से निर्देश देना असंभव है। यह ऐसा है जैसे समुद्र तट पर रेत के हर एक कण को यह बताने की कोशिश करना कि उसे कहाँ जाना है।

इसके बजाय, लेखक पूरे बादल को एक इकाई के रूप में देखने का सुझाव देते हैं। ड्रोन्स को व्यक्तियों के रूप में नहीं, बल्कि एक धुंध या धुएं के रूप में सोचें।

लक्ष्य: आप इस "धुएं" को आकार देना चाहते हैं ताकि यह एक इमारत (एक बाधा) के चारों ओर बह सके और अंत में एक पूर्ण वृत्त में स्थिर हो सके।
चुनौती: धुएं को सुचारू रूप से चलना चाहिए, खुद से टकराना नहीं चाहिए, और वहां पहुँचने के लिए कम से कम "हवा" (ऊर्जा) का उपयोग करना चाहिए।

2. समाधान: "जादुई दिशा सूचक यंत्र" (मैक्सिमम प्रिंसिपल)

लेखकों ने एक गणितीय नियम विकसित किया जिसे मैक्सिमम प्रिंसिपल (Maximum Principle) कहा जाता है।

कल्पना कीजिए कि आपके झुंड के हर एक ड्रोन के पास एक जादुई दिशा सूचक यंत्र (Magic Compass) है।

पुराने तरीके में, आपको हर एक ड्रोन के लिए अलग से रास्ता निकालना पड़ता था।
इस नए तरीके में, लेखकों ने एक ऐसा नियम खोजा जो पूरे बादल को बताता है कि किसी भी दिए गए सेकंड में कैसे आगे बढ़ना है।

यह "जादुािक दिशा सूचक यंत्र" (जिसे वे एडजॉइंट फंक्शन (Adjoint Function) कहते हैं) भविष्य को देखता है। यह पूछता है: "यदि मैं अभी इस दिशा में चलता हूँ, तो क्या मैं बाद में एक अच्छी जगह पर पहुँचूँगा?"
नियम कहता है: "हर एक क्षण में, झुंड को उस दिशा में चलना चाहिए जो 'जादुई दिशा सूचक यंत्र' को सबसे कुशलता से लक्ष्य की ओर संकेत करे।"

यह एक ढलान की ओर बहती नदी की तरह है। पानी को यह नहीं पता होता कि समुद्र कहाँ है, लेकिन वह प्राकृतिक रूप से वहाँ पहुँचने के लिए जमीन के ढलान (दिशा सूचक यंत्र) का अनुसरण करता है। लेखकों ने सिद्ध किया कि झुंड के इष्टतम (optimal) होने के लिए, उसे हमेशा इस "ढलान" का पालन करना चाहिए।

3. "स्कोरकार्ड" (HJB समीकरण)

यह सुनिश्चित करने के लिए कि झुंड अपना सर्वश्रेष्ठ काम कर रहा है, लेखकों ने एक स्कोरकार्ड भी बनाया है (जिसे हैमिल्टन-जैकोबी-बेलमैन (Hamilton-Jacobi-Bellman) समीकरण कहा जाता है)।

इसे एक वीडियो गेम स्कोर की तरह समझें।

यदि झुंड दीवार से टकरा जाता है, तो स्कोर कम हो जाता है।
यदि झुंड बहुत अधिक बैटरी का उपयोग करता है, तो स्कोर कम हो जाता है।
यदि झुंड लक्ष्य के करीब पहुँच जाता है, तो स्कोर बढ़ जाता है।

HJB समीकरण वह गणितीय सूत्र है जो किसी भी स्थिति के लिए परफेक्ट स्कोर की गणना करता है। यह आपको बताता है: "चाहे झुंड अभी कहीं भी हो, इस बिंदु से आगे आप सबसे अच्छा संभव स्कोर प्राप्त कर सकते हैं।"

4. "AI कोच" (संख्यात्मक एल्गोरिदम)

नियमों (दिशा सूचक यंत्र और स्कोरकार्ड) को जानना बहुत अच्छी बात है, लेकिन 100-आयामी स्थान (कल्पना कीजिए कि एक ऐसी दुनिया जहाँ आप 100 अलग-अलग दिशाओं में जा सकते हैं) में लाखों ड्रोन्स के लिए सटीक पथ की गणना करना एक सामान्य कंप्यूटर के लिए बहुत कठिन है। यह अरबों टुकड़ों वाली पहेली को हल करने जैसा है।

इसलिए, लेखकों ने डीप न्यूरल नेटवर्क्स (Deep Neural Networks) (AI) का उपयोग करके एक डिजिटल कोच बनाया है।

हर एक कदम की गणना करने के बजाय, AI पैटर्न को सीखता है।
यह एक स्पोर्ट्स टीम को अभ्यास करते हुए देखने वाले कोच की तरह है। कोच हर खिलाड़ी की मांसपेशियों के भौतिक विज्ञान की गणना नहीं करता; वह बस खेल के "अहसास" को सीखता है और टीम को बताता है, "थोड़ा बाईं ओर मुड़ें, गति बढ़ाएं, उस खिलाड़ी से बचें।"
AI बार-बार सिमुलेशन चलाता है, जिससे वह बाधाओं के चारों ओर "धुएं" को मोड़ने और ड्रोन्स को आपस में टकराने से रोकने में बेहतर होता जाता है।

5. यह क्यों महत्वपूर्ण है ( "उच्च-आयामी" जादू)

सबसे रोमांचक बात यह है कि यह विधि उच्च आयामों (high dimensions) में काम करती है।

निम्न आयाम (Low Dimension): 2D फर्श (बाएँ/दाएँ, आगे/पीछे) पर एक रोबोट को चलाना। आसान है।
उच्च आयाम (High Dimension): एक ऐसे ड्रोन को चलाना जिसकी स्थिति, गति, कोण, बैटरी स्तर, कैमरा एंगल, तापमान सेंसर आदि हो। यह एक साथ 10, 20 या यहाँ तक कि 100 अलग-अलग चर (variables) हैं।

पुराने तरीके अक्सर विफल हो जाते हैं जब आप 10 आयामों तक पहुँचते हैं। यह एक ऐसे भूलभुलैया में रास्ता खोजने जैसा है जो हर बार मुड़ने पर नई दीवारें जोड़ती रहती है।
लेखकों की विधि, जो AI द्वारा संचालित है, 100 आयामों को संभाल सकती है। इसका अर्थ है कि यह जटिल प्रणालियों को नियंत्रित कर सकती है जैसे:

ट्रैफिक जाम से बचने वाले सेल्फ-ड्राइविंग कार बेड़े।
विशाल जंगल को कवर करने वाले खोज और बचाव ड्रोन।
हजारों संपत्तियों (assets) को एक साथ प्रबंधित करने वाले वित्तीय पोर्टफोलियो।

सारांश

यह पेपर हमें एजेंटों के विशाल समूहों को नियंत्रित करने का एक नया, शक्तिशाली तरीका देता है।

व्यक्तियों के बारे में सोचना बंद करें; एजेंटों के "बादल" या "धुंध" के बारे में सोचें।
एक "जादुई दिशा सूचक यंत्र" (Maximum Principle) का उपयोग करें ताकि पूरे बादल को बताया जा सके कि उसे कैसे बहना है।
एक "स्कोरकार्ड" (HJB) का उपयोग करें यह जानने के लिए कि क्या आप सबसे अच्छा काम कर रहे हैं।
एक AI कोच को भारी काम करने दें ताकि जटिल, उच्च-आयामी दुनिया में रास्ता खोजा जा सके।

यह एक लाख भेड़ों को हर एक को चिल्लाकर नियंत्रित करने की कोशिश करने और एक बुद्धिमान, अदृश्य धारा द्वारा निर्देशित होकर चट्टानों के चारों ओर पानी की तरह बहना सिखाने के बीच का अंतर है।

यहाँ नाथन गैबी और शियाओजिंग ये के शोध पत्र "मैक्सिमम प्रिंसिपल ऑफ ऑप्टिमल प्रोबेबिलिटी डेंसिटी कंट्रोल" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑप्टिमल प्रोबेबिलिटी डेंसिटी कंट्रोल को संबोधित करता है, जो एक ऐसा ढांचा (framework) है जिसे बड़े पैमाने के मल्टी-एजेंट सिस्टम (जैसे ड्रोन, रोबोट या स्वायत्त वाहनों के झुंड) को प्रबंधित करने के लिए डिज़ाइन किया गया है।

संदर्भ: व्यक्तिगत एजेंटों को ट्रैक करने के बजाय (जो बड़े $N$ के लिए गणनात्मक रूप से कठिन है), सिस्टम को एक मीन-फील्ड दृष्टिकोण (mean-field approach) का उपयोग करके मॉडल किया जाता है। सिस्टम की स्थिति को एक डोमेन $\Omega \subset \mathbb{R}^d$ पर समय-विकसित होने वाले प्रोबेबिलिटी डेंसिटी फंक्शन $\rho(x, t)$ द्वारा दर्शाया जाता है।
गतिकी (Dynamics): एजेंट एक कंट्रोल वेक्टर फील्ड $u(x, t)$ का पालन करते हैं, जो निरंतरता समीकरण (continuity equation) के अनुसार विकसित होता है:
$\partial_t \rho + \nabla \cdot (\rho u) = 0$
उद्देश्य: लक्ष्य एक अनुकूलतम कंट्रोल वेक्टर फील्ड $u$ $u$ खोजना है जो एक कुल रिवॉर्ड फंक्शनल $I[u]$ $I [u]$ को अधिकतम करता है, जिसमें शामिल हैं:
1. रनिंग रिवॉर्ड (Running Reward): $R(\rho_t, u_t)$ , जो कंट्रोल ऊर्जा और सामूहिक एजेंट व्यवहारों (जैसे टकराव से बचना, इंटरेक्शन पोटेंशियल) पर निर्भर करता है।
2. टर्मिनल रिवॉर्ड (Terminal Reward): $G(\rho_T)$ , जो वांछित अंतिम वितरण को परिभाषित करता है (जैसे किसी विशिष्ट बिंदु पर एकत्रित होना या बाधाओं से बचना)।
चुनौती: यह समस्या प्रोबेबिलिटी डिस्ट्रीब्यूशन और कंट्रोल फील्ड्स के अनंत-आयामी स्थानों (infinite-dimensional spaces) पर आधारित है। मौजूदा विधियाँ अक्सर वॉसरस्टीन ज्यामिति (Wasserstein geometry) पर निर्भर करती हैं, जो गणनात्मक रूप से भारी हो सकती हैं, या उच्च-आयामी, सामान्य रिवॉर्ड संरचनाओं के लिए कठोर अनुकूलता स्थितियाँ (optimality conditions) प्रदान करने में विफल रहती हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक सैद्धांतिक ढांचा और एक संगत संख्यात्मक एल्गोरिदम विकसित करते हैं जो वॉसरस्टीन स्पेस के बजाय मानक मेजर स्पेस (विशेष रूप से $L^2$ स्पेस) पर आधारित है।

A. सैद्धांतिक ढांचा (Theoretical Framework)

मैक्सिमम प्रिंसिपल (MP):
- लेखक अनंत-आयामी सेटिंग के लिए एक पोंट्र्यागिन-प्रकार का मैक्सिमम प्रिंसिपल स्थापित करते हैं।
- वे एक एडजॉइंट PDE (समय में पीछे की ओर/backward in time) $\phi(x, t)$ नामक फलन पेश करते हैं:
  $\partial_t \phi + u \cdot \nabla \phi = -\frac{\delta R}{\delta \rho}$
  जिसकी टर्मिनल स्थिति $\phi_T = \frac{\delta G}{\delta \rho_T}$ है।
- वे एक कंट्रोल हैमिल्टोनियन फंक्शनल (Control Hamiltonian Functional) को परिभाषित करते हैं:
  $H(\rho, \phi, u) = \langle \rho, u \cdot \nabla \phi \rangle + R(\rho, u)$
- आवश्यक शर्त (Necessary Condition): इष्टतम नियंत्रण $u^*$ को समय में बिंदुवार (pointwise) हैमिल्टोनियन को अधिकतम करना चाहिए:
  $H(\rho^*_t, \phi^*_t, u^*_t) = \max_{w \in U} H(\rho^*_t, \phi^*_t, w)$
- यह फॉरवर्ड (निरंतरता) और बैकवर्ड (एडजॉइंट) PDEs के एक युग्मित (coupled) सिस्टम की ओर ले जाता है।
हैमिल्टन-जैकोबी-बेलमैन (HJB) समीकरण:
- लेखक वैल्यू फंक्शनल (Value Functional) $V(\rho, t)$ के लिए HJB समीकरण विकसित करते हैं, जो घनत्व $\rho$ से शुरू होकर समय $t$ से $T$ तक का अधिकतम अपेक्षित रिवॉर्ड है।
- समीकरण है:
  $\partial_t V + \max_{w \in U} \left( \langle w \cdot \nabla \frac{\delta V}{\delta \rho}, \rho \rangle + R(\rho, w) \right) = 0$
- यह समस्या पर डायनेमिक प्रोग्रामिंग परिप्रेक्ष्य प्रदान करता है, जो वैल्यू फंक्शनल को एडजॉइंट फंक्शन ( $\phi = \frac{\delta V}{\delta \rho}$ ) से जोड़ता है।

B. संख्यात्मक एल्गोरिदम (Numerical Algorithm)

इन उच्च-आयामी समस्याओं को हल करने के लिए, लेखक एक स्केलेबल एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं जो स्थानिक विविक्तीकरण (spatial discretization) से बचता है (जो 'कर्स ऑफ डाइमेंशनलिटी' से ग्रस्त होता है)।

डीप न्यूरल नेटवर्क्स (DNNs): कंट्रोल फील्ड $u(x, t)$ और एडजॉइंट फंक्शन $\phi(x, t)$ दोनों को DNN के रूप में पैरामीटराइज किया गया है।
पार्टिकल रिप्रेजेंटेशन: प्रोबेबिलिटी डेंसिटी $\rho$ को कणों के एक सीमित सेट $\{x_i(t)\}$ द्वारा दर्शाया जाता है जो ODEs $\dot{x}_i = u(x_i, t)$ के माध्यम से विकसित होते हैं।
अल्टरनेटिंग ऑप्टिमाइजेशन (Alternating Optimization): एल्गोरिदम दो चरणों के बीच पुनरावृत्ति (iterate) करता है:
1. एडजॉइंट अपडेट: वर्तमान $u$ और $\rho$ के दिए गए होने पर, फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) का उपयोग करके एडजॉइंट PDE के रेसिडुअल (residual) को कम करके $\phi$ के लिए हल करें।
2. कंट्रोल अपडेट: $\phi$ के दिए गए होने पर, कण प्रक्षेप पथों (particle trajectories) के माध्यम से ग्रेडिएंट्स की गणना करने के लिए न्यूरल ODEs का उपयोग करके $u$ को अपडेट करें ताकि हैमिल्टोनियन को अधिकतम किया जा सके।
अभिसरण (Convergence): पेपर एक कठोर अभिसरण विश्लेषण प्रदान करता है जो यह सिद्ध करता है कि एल्गोरिदम द्वारा उत्पन्न कंट्रोल्स का क्रम विशिष्ट लिप्सचिट्ज़ (Lipschitz) और बाउंडेडनेस धारणाओं के तहत एक इष्टतम समाधान की ओर अभिसरित होता है।

3. मुख्य योगदान (Key Contributions)

कठोर अनंत-आयामी MP: यह पेपर वॉसरस्टीन मेट्रिक्स पर निर्भर किए बिना प्रोबेबिलिटी डेंसिटी स्पेस पर अनुकूलतम नियंत्रण के लिए एक मैक्सिमम प्रिंसिपल स्थापित करता है। यह मानक $L^2$ विश्लेषण का उपयोग करता है, जिससे सिद्धांत अधिक सुलभ और गणनात्मक रूप से सरल हो जाता है।
डेंसिटीज के लिए HJB समीकरण: प्रोबेबिलिटी डिस्ट्रीब्यूशन स्पेस पर परिभाषित वैल्यू फंक्शनल्स के लिए विशेष रूप से HJB समीकरण का व्युत्पन्न।
स्केलेबल हाई-डायमेंशनल सॉल्वर: एक डीप लर्निंग-आधारित एल्गोरिदम का विकास जो स्थानिक ग्रिड विविक्तीकरण के बिना $d=100$ तक के आयामों को संभाल सकता है।
इंटरेक्शन और बाधाओं को संभालना: यह ढांचा रिवॉर्ड फंक्शनल के भीतर जटिल गैर-रेखीय अंतःक्रियाओं (जैसे टकराव से बचने वाले पोटेंशियल) और ज्यामितीय बाधाओं (बाधाओं) को स्वाभाविक रूप से शामिल करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन सिंथेटिक हाई-डायमेंशनल टेस्ट केसों पर अपने दृष्टिकोण को मान्य किया:

टेस्ट 1 (एजेंट इंटरैक्शन, $d=8$ ): लक्ष्य पर एकत्र होने के लिए एजेंटों को नियंत्रित करने की क्षमता प्रदर्शित की, जबकि टकराव से बचा। जब इंटरेक्शन पेनल्टी ( $\gamma$ ) अधिक थी, तो एजेंट सुरक्षित दूरी बनाए रखते थे; जब कम थी, तो वे आपस में जुड़ गए।
टेस्ट 2 (बेलनाकार बाधा, $d=30, 100$ ): एक लक्ष्य तक पहुँचने के लिए एजेंटों के झुंड को बेलनाकार बाधा के चारों ओर सफलतापूर्वक निर्देशित किया। एल्गोरिदम 100 आयामों तक प्रभावी ढंग से स्केल हुआ, एक ऐसा क्षेत्र जहाँ पारंपरिक ग्रिड-आधारित PDE सॉल्वर विफल हो जाते हैं।
टेस्ट 3 (स्क्वीजिंग बाधा + इंटरेक्शन, $d=30$ ): एजेंटों को दो वेजेज (wedges) द्वारा बनाई गई एक संकीर्ण "गेट" से गुजरने की आवश्यकता थी जबकि वे आपस में सुरक्षित दूरी बनाए रखें। परिणाम दिखाते हैं कि झुंड अंतराल से सफलतापूर्वक निकल सका और फिर से फैल गया, जिसमें इंटरेक्शन टर्म ने बॉटलनेक के दौरान टकराव को सफलतापूर्वक रोका।

5. महत्व (Significance)

सैद्धांतिक प्रगति: वॉसरस्टीन मेट्रिक्स से सिद्धांत को अलग करके, यह पेपर मीन-फील्ड कंट्रोल के लिए अधिक सुव्यवस्थित गणितीय आधार प्रदान करता है, जिससे व्याख्या और कार्यान्वयन आसान हो जाता है।
व्यावहारिक प्रभाव: प्रस्तावित एल्गोरिदम सैद्धांतिक अनुकूलतम नियंत्रण और उच्च-आयामी मल्टी-एजेंट सिस्टम के व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटता है। यह उन जटिल वातावरणों (बाधाओं और अंतःक्रियाओं के साथ) में झुंडों को नियंत्रित करने में सक्षम बनाता है जहाँ स्टेट स्पेस का आयाम शास्त्रीय विधियों के लिए बहुत अधिक है।
दक्षता: DNNs और Neural ODEs का उपयोग कुशल प्रशिक्षण और अनुमान (inference) की अनुमति देता है, जिससे बड़े पैमाने के रोबोटिक और स्वायत्त वाहन अनुप्रयोगों के लिए रियल-टाइम या निकट-रियल-टाइम कंट्रोल रणनीतियाँ संभव हो जाती हैं।

संक्षेप में, यह पेपर—उच्च-आयामी स्थानों में एजेंटों की सामूहिक आबादी को नियंत्रित करने के लिए—अनुकूलता स्थितियों के कठोर गणितीय व्युत्पन्न से लेकर एक स्केलेबल डीप लर्निंग सॉल्वर तक, एक पूर्ण पाइपलाइन प्रदान करता है।