🔢 mathematics

Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs

यह शोध पत्र पॉन्ट्र्यागिन मैक्सिमम प्रिंसिपल और रिकाटी समीकरणों से प्राप्त ग्रेडिएंट और हेसियन जानकारी के साथ स्पार्स पॉलीनोमियल रिग्रेशन को संवर्धित करके, नियतात्मक इष्टतम नियंत्रण समस्याओं में वैल्यू फंक्शन्स को अनुमानित करने के लिए एक डेटा-संचालित विधि प्रस्तुत करता है, जिससे केवल वैल्यू-आधारित दृष्टिकोणों की तुलना में सैंपल कॉम्प्लेक्सिटी में महत्वपूर्ण कमी आती है और क्लोज्ड-लूप प्रदर्शन में सुधार होता है।

मूल लेखक: Matías Gómez-Aedo, Behzad Azmi, Yuyang Huang, Dante Kalise, Karl Kunisch

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matías Gómez-Aedo, Behzad Azmi, Yuyang Huang, Dante Kalise, Karl Kunisch

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल शहर के माध्यम से कार को पूरी तरह से चलाना सिखाने की कोशिश कर रहे हैं। रोबोट को अपने गंतव्य तक सुरक्षित और तेज़ी से पहुँचने के लिए किसी भी शुरुआती बिंदु से सबसे अच्छा रास्ता जानना आवश्यक है। गणितीय शब्दों में, यह "परफेक्ट पाथ" (पूर्ण पथ) एक वैल्यू फंक्शन (value function) कहलाता है।

समस्या यह है कि शहर बहुत बड़ा है, और सड़क के नियम (कार का भौतिक विज्ञान) जटिल हैं। किसी भी शुरुआती बिंदु के लिए पूर्ण पथ की गणना करना दुनिया की हर एक सड़क को एक साथ मैप करने की कोशिश करने जैसा है। यह एक ऐसा कार्य है जो इतना विशाल है कि पारंपरिक कंप्यूटर अटक जाते हैं; इसे "कर्स ऑफ डायमेंशनैलिटी" (आयामीता का अभिशाप) के रूप में जाना जाता है।

यह शोध पत्र आपको हेसियन-ऑगमेंटेड सुपरवाइज्ड लर्निंग (Hessian-Augmented Supervised Learning) नामक एक विधि का उपयोग करके रोबोट को सिखाने का एक चतुर नया तरीका पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. पुराना तरीका: मानचित्र का अनुमान लगाना

आमतौर पर, रोबोट को सिखाने के लिए, आप उससे कुछ शुरुआती बिंदुओं से एक यात्रा का "स्कोर" (या लागत) की गणना करने के लिए कहेंगे। आप रोबोट को बिंदुओं की एक सूची और उनके स्कोर देंगे, और उससे बिंदुओं के बीच एक चिकना (smooth) मानचित्र बनाने के लिए कहेंगे।

दोष: यदि आप रोबोट को केवल स्कोर (अर्थात कुछ बिंदुओं पर "ऊंचाई") देते हैं, तो उसे बिंदुओं के बीच पहाड़ियों और घाटियों के आकार का अनुमान लगाना होगा। एक अच्छा मानचित्र प्राप्त करने के लिए, आपको हजारों बिंदुओं को मापना होगा। यदि शहर जटिल है, तो आपको लाखों बिंदुओं की आवश्यकता हो सकती है, जिसे निकालने में बहुत समय लगता है।

2. नया तरीका: रोबोट को जीपीएस, कंपास और कर्वेचर मीटर देना

लेखकों ने महसूस किया कि जब आप एक एकल शुरुआती बिंदु के लिए पूर्ण पथ की गणना करते हैं, तो वास्तव में आपको केवल अंतिम स्कोर से कहीं अधिक जानकारी मिलती है।

स्कोर (वैल्यू): यह यात्रा कितनी अच्छी है?
कंपास (ग्रेडिएंट): रोबोट को अभी इसी वक्त किस दिशा में मुड़ना चाहिए ताकि वह सबसे अच्छे पथ पर बना रहे?
कर्वेचर मीटर (हेसियन): सड़क कितनी मुड़ रही है? क्या यह एक हल्का मोड़ है या एक तीखा मोड़?

इस शोध पत्र में, लेखक इन तीनों डेटा पॉइंट्स को प्रत्येक प्रशिक्षण उदाहरण के लिए उत्पन्न करने के लिए पोंट्रैगिन मैक्सिमम प्रिंसिपल (Pontryagin Maximum Principle) नामक एक गणितीय उपकरण का उपयोग करते हैं। यह ऐसा है जैसे रोबोट को एक एकल डेटा पॉइंट देना जो उसे न केवल यह बताता है कि वह कहाँ है, बल्कि यह भी कि उसे किस दिशा में जाना है और उस सटीक स्थान पर सड़क का आकार कैसा है।

3. "हेसियन" की महाशक्ति

यह शोध पत्र मुख्य रूप से हेसियन (Hessian) (कर्वेचर मीटर) पर ध्यान केंद्रित करता है।

उपमा: कल्पना कीजिए कि आप एक ऊबड़-खाबड़ सतह पर एक धागे को फिट करने की कोशिश कर रहे हैं।
- यदि आप केवल उभारों की ऊंचाई जानते हैं (जीरो-ऑर्डर), तो आपको धागे को सही ढंग से फिट करने के लिए सैकड़ों बिंदुओं पर पिन लगाने की आवश्यकता होगी।
- यदि आप ढलान (स्लोप) भी जानते हैं (फर्स्ट-ऑर्डर), तो आपको कम पिनों की आवश्यकता होगी।
- यदि आप यह भी जानते हैं कि सतह कैसे मुड़ती है (सेकंड-ऑर्डर/हेसियन), तो आप केवल कुछ ही पिनों के साथ धागे को पूरी तरह से फिट कर सकते हैं।

लेखक दिखाते हैं कि इस "कर्वेचर" डेटा को शामिल करके, वे रोब ביותר तरीकों की तुलना में 10 गुना कम उदाहरणों के साथ रोबोट के मस्तिष्क को प्रशिक्षित कर सकते हैं। कुछ उच्च-आयामी समस्याओं (जैसे तरल प्रवाह या उपग्रह को नियंत्रित करना) में, पुराने तरीके काम ही नहीं कर पाते थे क्योंकि वे पर्याप्त "स्कोर-ओनली" डेटा एकत्र करने में अपनी कंप्यूटिंग शक्ति समाप्त कर देते थे। नया तरीका इसलिए काम करता है क्योंकि अतिरिक्त कर्वेचर डेटा अंतराल को बहुत कुशलता से भर देता है।

4. वे गणित को कैसे संभालते हैं

इसे काम करने के लिए, वे एक विशेष प्रकार के गणितीय "नेट" (पॉलीनोमियल रिग्रेशन) का उपयोग करते हैं जो अनावश्यक विवरणों में उलझे बिना सबसे महत्वपूर्ण पैटर्न को पकड़ने के लिए डिज़ाइन किया गया है। वे पार्शियल हेसियन स्ट्रैटेजी (Partial Hessian Strategy) नामक एक ट्रिक का भी उपयोग करते हैं।

उपमा: प्रत्येक बिंदु के लिए वक्रता (कर्वेचर) की गणना करना महंगा है। इसलिए, वे कुछ बिंदुओं के लिए पूर्ण वक्रता की गणना करते हैं और अन्य के लिए केवल ढलान की। यह एक शेफ द्वारा सूप चखने जैसा है: वे शुरुआत और अंत में पूर्ण स्वाद प्रोफ़ाइल को चखते हैं, और बीच में केवल नमक के स्तर की जांच करते हैं। यह समय बचाता है जबकि सूप स्वादिष्ट बना रहता है।

5. परिणाम

टीम ने कई चुनौतियों पर इसका परीक्षण किया:

एक सरल 2D ऑसिलेटर: जैसे कि एक झूलता हुआ पेंडुलम। नए तरीके ने बहुत कम डेटा बिंदुओं के साथ एक चिकना, सटीक मानचित्र बनाया, जबकि पुराने तरीकों ने एक ऊबड़-खाबड़, डगमगाता हुआ ढांचा बनाया।
एक 6D उपग्रह: उपग्रह के घूर्णन को नियंत्रित करना। नए तरीके ने वहां उपग्रह को स्थिर किया जहां पुराने तरीके विफल रहे थे।
एक 19D फ्लूइड समस्या: यह सबसे बड़ी चुनौती है। तरल प्रवाह को नियंत्रित करने में 19 चर (variables) शामिल हैं। पुराने तरीके पूरी तरह से फंस गए थे; वे पर्याप्त डेटा एकत्र करने तक भी नहीं पहुंच सके। नए तरीके ने, कर्वेचर डेटा का उपयोग करके, नियंत्रण रणनीति को सफलतापूर्वक सीखा।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "छात्र से केवल उत्तर ही न पूछें; उनसे दिशा और वक्र का आकार भी पूछें।" कंप्यूटर को केवल बिंदुओं के बजाय समाधान के आकार (हेसियन का उपयोग करके) को सीखने के लिए सिखाकर, वे पहले से आवश्यक समझे जाने वाले डेटा और कंप्यूटिंग पावर के एक अंश के साथ अविश्वसनीय रूप से जटिल नियंत्रण समस्याओं को हल कर सकते हैं।

तकनीकी सारांश: हैमिल्टन-जैकोबी-बेलमैन PDEs के लिए हेसियन-संवर्धित पर्यवेक्षित शिक्षण (Hessian-Augmented Supervised Learning)

समस्या विवरण
यह शोध पत्र नॉनलीन कंट्रोल-एफ़ाइन डायनेमिक्स वाले नियतकालिक इष्टतम नियंत्रण (deterministic optimal control) समस्याओं के लिए इष्टतम फीडबैक नियंत्रण नियमों के संश्लेषण को संबोधित करता है। मानक दृष्टिकोण हैमिल्टन-जैकोबी-बेलमान (HJB) समीकरण को हल करने पर आधारित है, जो $n$ -आयामी अवस्था स्थान (state space) पर स्थित एक पूर्णतः नॉनलीन पार्शियल डिफरेंशियल इक्वेशन (PDE) है। क्लासिकल ग्रिड-आधारित विवेकीकरण (discretizations) "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) से ग्रस्त होते हैं, क्योंकि वे अवस्था आयाम $n$ के साथ चरघातांकीय रूप से बढ़ते हैं, जो उनकी प्रयोज्यता को निम्न-आयामी प्रणालियों ( $n \lesssim 5$ ) तक ही सीमित कर देते हैं। हालांकि उच्च आयामों ( $n \gg 5$ ) में वैल्यू फंक्शन को अनुमानित करने और फीडबैक लॉ को रिकवर करने की चुनौती को कम करने के लिए विभिन्न गैर-मानक संख्यात्मक रणनीतियाँ (जैसे कि causality-free characteristics, tensor decompositions, और deep learning) प्रस्तावित की गई हैं, फिर भी यह चुनौती महत्वपूर्ण बनी हुई है।

कार्यप्रणाली (Methodology)
लेखक एक डेटा-संचालित ढांचे का प्रस्ताव करते हैं जो डेरिवेटिव संवर्धन (derivative augmentation) के साथ पर्यवेक्षित शिक्षण (supervised learning) का उपयोग करके वैल्यू फंक्शन $V(x)$ का अनुमान लगाता है। मुख्य कार्यप्रणाली के तीन घटक हैं:

PMP और रिकाटी समीकरणों के माध्यम से डेटा जनरेशन:
HJB PDE को सीधे हल करने के बजाय, यह विधि पोंट्रियागिन मैक्सिमम प्रिंसिपल (PMP) के प्रथम-क्रम आवश्यक इष्टतमता स्थितियों (first-order necessary optimality conditions) को हल करके प्रशिक्षण डेटा उत्पन्न करती है। प्रारंभिक स्थितियों के एक सेट के लिए, PMP एक टू-पॉइंट बाउंड्री वैल्यू प्रॉब्लम (TPBVP) प्रदान करता है जो इष्टतम अवस्था और एडजॉइंट प्रक्षेपवक्र (trajectories) का वर्णन करता है।
- शून्य-क्रम (Zeroth-order): इष्टतम प्रक्षेपवक्र के साथ लागत, वैल्यू फंक्शन $V(x)$ प्रदान करती है।
- प्रथम-क्रम (First-order): एडजॉइंट वेरिएबल $p(t)$ , प्रक्षेपवक्र के साथ ग्रेडिएंट $\nabla V(x)$ के समान होता है।
- द्वितीय-क्रम (Second-order): इष्टतम प्रक्षेपवotong के साथ बैकवर्ड में एकीकृत एक मैट्रिक्स रिकाटी समीकरण, हेसियन $\nabla^2 V(x)$ प्रदान करता है।
  यह प्रक्रिया अवस्था-स्थान के विवेकीकरण से बचती है और आयाम के साथ चरघातांकीय रूप से बढ़ने के बजाय, प्रारंभिक स्थितियों की संख्या के साथ रैखिक रूप से स्केल करती है।
स्पार्स पॉलीनोमियल रिग्रेशन (Sparse Polynomial Regression):
वैल्यू फंक्शन को एक स्पार्स पॉलीनोमियल मॉडल $\tilde{V}(x) = \sum \theta_k \Phi_k(x)$ द्वारा अनुमानित किया जाता है। बेसिस फंक्शन्स का निर्माण हाइपरबोलिक क्रॉस इंडेक्स सेट पर टेंसर-प्रोडक्ट लेजेंड्रे पॉलीनोमियल्स से किया गया है, जिसे आवश्यक मल्टीवेरिएट कपलिंग्स को पकड़ने के लिए लो-डिग्री टोटल-डिग्री टर्म्स के साथ समृद्ध किया गया है।
डेरिवेटिव-संवर्धित लीस्ट स्क्वायर्स (Derivative-Augmented Least Squares):
रिग्रेशन एक भारित लीस्ट-स्क्वायर्स ऑब्जेक्टिव को मिनिमाइज करता है जो फंक्शन वैल्यू, ग्रेडिएंट और हेसियन में त्रुटियों को एक साथ दंडित (penalize) करता है।
- प्रत्येक प्रशिक्षण नमूना $x_j$ वैल्यू के लिए 1 समीकरण, ग्रेडिएंट के लिए $n$ समीकरण, और हेसियन के लिए $n(n+1)/2$ समीकरण योगदान देता है।
- इसके परिणामस्वरूप कुल समीकरणों की संख्या $M = N(1 + n + n(n+1)/2)$ होती है, जहाँ $N$ नमूनों की संख्या है।
  उच्च आयामों में कम्प्यूटेशनल लागत को प्रबंधित करने के लिए, एक "पार्शियल हेसियन" रणनीति पेश की गई है, जहाँ हेसियन समीकरणों को प्रशिक्षण नमूनों के एक अंश $\rho \in (0, 1]$ के लिए लागू किया जाता है।

प्रमुख योगदान

द्वितीय-क्रम की जानकारी का विस्तार: यह शोध पत्र PMP-आधारित डेटा जनरेशन को रिकाटी समीकरणों के माध्यम से हेसियन जानकारी सहित विस्तारित करता है, जो इष्टतम नियंत्रण के लिए इस दिशा को व्यवस्थित रूप से विकसित करता है।
पार्शियल हेसियन रणनीति: डेटा जनरेशन और रिग्रेशन सिस्टम के आकार के उच्च लागत और दूसरे-क्रम के डेटा के लाभों के बीच संतुलन बनाने के लिए एक ट्यूनेबल रणनीति पेश की गई है।
बेसिस इंटरैक्शन: यह अध्ययन लो-डिग्री टोटल-डिग्री टर्म्स के साथ समृद्ध हाइपरबोलिक क्रॉस पॉलीनोमियल बेसिस और सेकंड-ऑर्डर ऑगमेंटेशन के बीच अंतर्संबंध की जांच करता है।
व्यवस्थित बेंचमार्किंग: इस दृष्टिकोण को बढ़ते अवस्था आयामों ( $n=2, 6, 19$ ) वाली समस्याओं पर मान्य किया गया है, जिसमें डिस्क्रीट सोबोलेव नॉर्म्स, HJB रेसिडुअल्स और क्लोज्ड-लूप कंट्रोल प्रदर्शन को मापा गया है।

परिणाम
संख्यात्मक प्रयोगों से पता चलता है कि द्वितीय-क्रम संवर्धन (second-order augmentation), शून्य-क्रम और प्रथम-क्रम विधियों की तुलना में सैंपल कॉम्प्लेक्सिटी को काफी कम कर देता है:

एनालिटिकल बेंचमार्क: एक 12-आयामी टेस्ट फंक्शन के लिए, एक निर्धारित $L^2$ त्रुटि प्राप्त करने के लिए द्वितीय-क्रम संवर्धन के साथ $N=50$ नमूनों की आवश्यकता थी, जबकि प्रथम-क्रम रिग्रेशन के लिए $N \approx 350$ की आवश्यकता थी, और शून्य-क्रम रिग्रेशन परीक्षण की गई सीमा के भीतर लक्षित सटीकता तक पहुँचने में विफल रहा।
2D वैन डेर पोल ऑसिलेटर: द्वितीय-क्रम संवर्धन ने $N=25$ नमूनों के साथ सुचारू और सटीक पुनर्निर्माण किया, जबकि निम्न-क्रम विधियों ने दोलन (oscillations) प्रदर्शित किए। सैंपल दक्षता के संदर्भ में, 0.1% के कंट्रोल एरर टॉलरेंस को प्राप्त करने के लिए द्वितीय-क्रम विधियों को शून्य-क्रम विधियों की तुलना में 11.7 गुना तक कम नमूनों की आवश्यकता थी।
6D सैटेलाइट एटीट्यूड कंट्रोल: एक समृद्ध बेसिस ( $q=1,800$ ) पर, प्रथम-क्रम रिग्रेशन $N \lesssim 250$ के लिए अंडरडिटरमाइंड (underdetermined) रहा, जबकि द्वितीय-क्रम संवर्धन ने $N=100$ पर एक वेल-डिटरमाइंड व्यवस्था प्राप्त की और $N=200$ पर उच्च सटीकता प्राप्त की।
19D एलन-कैन समीकरण: इस उच्च-आयामी क्षेत्र में, प्रति नमूना समीकरणों का प्रवर्धन ( $n(n+1)/2 = 190$ अतिरिक्त समीकरण) एक संरचनात्मक आवश्यकता बन गया। प्रथम-क्रम रिग्रेशन मध्यम बजट में अंडरडिटरमाइंड रहा, जबकि द्वितीय-क्रम संवर्धन ही एक सार्थक अनुमान प्रदान करने में सक्षम एकमात्र फॉर्मूलेशन था। पार्शियल हेसियन रणनीतियों ( $\rho=0.5$ ) ने आधे कम्प्यूटेशनल लागत के साथ लगभग पूर्ण सटीकता प्राप्त की।

महत्व और दावे
शोध पत्र का दावा है कि हेसियन डेटा को शामिल करने का प्राथमिक उद्देश्य सैंपल कॉम्प्लेक्सिटी को कम करना है। प्रति नमूना रैखिक समीकरणों की संख्या में गुणात्मक लाभ का लाभ उठाकर, यह विधि उन उच्च-आयामी इष्टतम नियंत्रण समस्याओं को हल कर सकती है जो निम्न-क्रम पर्यवेक्षित शिक्षण दृष्टिकोणों के लिए सैंपल इनएफिशिएंसी के कारण अगम्य (intractable) हैं।

लेखक इस बात पर जोर देते हैं कि उच्च आयामों (जैसे $n=19$ ) में, द्वितीय-क्रम संवर्धन केवल एक सटीकता सुधार से बदलकर एक संरचनात्मक आवश्यकता बन जाता है। यह पद्धति 'कॉज़ैलिटी-फ्री' है, जो सैंपलिंग और बेसिस चयन में लचीले डिजाइन विकल्पों की अनुमति देती है। प्रमुख कम्प्यूटेशनल लागत डेटासेट का ऑफलाइन जनरेशन (TPBVPs और रिकाटी समीकरणों को हल करना) है, जबकि ऑनलाइन फीडबैक लॉ का मूल्यांकन कुशल है, जिसके लिए केवल बेसिस फंक्शन इवैल्यूएशन और डॉट प्रोडक्ट्स की आवश्यकता होती है।

यह कार्य निष्कर्ष निकालता है कि हालांकि यह पद्धति वर्तमान में स्मूथ डायनेमिक्स वाले नियतकालिक नियंत्रण समस्याओं तक सीमित है, फिर भी यह ढांचा एक मजबूत मार्ग प्रदान करता है जहाँ पारंपरिक ग्रिड विधियाँ विफल हो जाती हैं और निम्न-क्रम लर्निंग विधियाँ सैंपल इनएफिशिएंसी के साथ संघर्ष करती हैं।