Beyond the Bellman Recursion: A Pontryagin-Guided Framework for Non-Exponential Discounting

तकनीकी सारांश: बेलमैन पुनरावृत्ति (Bellman Recursion) से परे: गैर-घातांकीय छूट (Non-Exponential Discounting) के लिए एक पोंट्र्यागिन-निर्देशित ढांचा

समस्या विवरण
मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और निरंतर-समय स्टोकेस्टिक नियंत्रण विधियाँ मौलिक रूप से बेलमैन पुनरावृत्ति पर निर्भर करती हैं, जो समय निरंतरता (time consistency) को कूटबद्ध करती हैं। यह पुनरावर्ती संरचना गणितीय रूप से केवल घातांकीय छूट (exponential discounting) के तहत ही मान्य है, जो दो गुणों के मिलन से उत्पन्न होती है: गुणकता (multiplicativity: $D(s, t) = D(s, u)D(u, t)$) और समय समरूपता (time homogeneity: $D(s, t) = D(s+h, t+h)$)। लेखक तर्क देते हैं कि यह प्रतिच्छेदन संरचनात्मक रूप से नाजुक है। जब छूट गैर-घातांकीय होती है—जैसा कि मानव व्यवहार संबंधी 'प्रेजेंट बायस' (present bias) या भौतिक प्रणालियों में उत्तरजीविता प्रक्रियाओं (survival processes) को मॉडल करने में सामान्य है—तो ये गुण विफल हो जाते हैं।

• मामला 1 (गुणत्मक लेकिन गैर-स्थिर): पुनरावृत्ति तकनीकी रूप से जीवित रहती है, लेकिन स्थिरता (stationarity) विफल हो जाती है, जिससे मानक स्थिर-अवस्था समाधान (steady-state solvers) अप्रभावी हो जाते हैं और समय-निर्भर नीतियों के लिए उच्च कम्प्यूटेशनल बोझ पड़ता है।
• मामला 2 (समय-समरूप लेकिन गैर-गुणत्मक): बेलमैन सिद्धांत पूरी तरह से ध्वस्त हो जाता है, जिससे डायनेमिक प्रोग्रामिंग के लिए आवश्यक पुनरावर्ती संरचना टूट जाती है। यह समस्या अनुकूलन (optimality) से हटकर समय-सुसंगत संतुलन (time-consistent equilibrium) की ओर स्थानांतरित हो जाती है, जिसे विस्तारित हैमिल्टन-जैकोबी-बेलमैन (HJB) प्रणालियों या ह्यूरिस्टिक वैल्यू पाइपलाइनों के माध्यम से संबोधित किया जाता है।
• मामला 3 (सामान्य): दोनों पुनरावृत्ति और स्थिरता लुप्त हो जाते हैं, जिससे मानक पाइपलाइनों की पूर्ण संरचनात्मक विफलता होती है।

मौजूदा उपचार, जैसे कि अवस्था संवर्धन (state augmentation) या अनुकूलन को संतुलन धारणाओं में शिथिल करना, अतिरिक्त समय सूचकांक और गैर-स्थानीय युग्मन (nonlocal couplings) पेश करते हैं। ये दृष्टिकोण उच्च आयामों में भंगुर (brittle) हो जाते हैं और उन वैश्विक समीकरण-संचालित सॉल्वर (जैसे Physics-Informed Neural Networks या Deep BSDEs) की मापनीयता (scalability) को बाधित करते हैं, जो बेलमान-सुसंगत पुनरावृत्तियों के लिए तैयार वैश्विक पश्च प्रतिनिधित्व (global backward representations) पर निर्भर करते हैं।

कार्यप्रणाली: पोंट्र्यागिन-निर्देशित प्रत्यक्ष नीति अनुकूलन (PG-DPO)
इन सीमाओं को दूर करने के लिए, लेखक PG-DPO का प्रस्ताव करते हैं, जो एक वेरिएशनल ढांचा है जो मूल्य-फलन अपघटन (value-function decomposition) और बेलमैन पुनरावृत्ति के बजाय पोंट्र्यागिन अधिकतम सिद्धांत (Pontryagin Maximum Principle - PMP) को अपनाता है। यह विधि दो चरणों में कार्य करती है:

1. चरण 1: रोलआउट वार्म-स्टार्ट (Rollout Warm-Start): एक अवकलनीय नीति $u_\theta(t, x)$ को सीधे मोंटे कार्लो रोलआउट के माध्यम से आरंभ और अनुकूलित किया जाता है। इसका उद्देश्य एंकोर्ड डिस्काउंटेड रिटर्न (anchored discounted return) है, जिसे बैकप्रोपैगेशन थ्रू टाइम (BPTT) का उपयोग करके अधिकतम किया जाता है। यह चरण अंतिम नीति बनाने के बजाय अवस्था अन्वेषण (state exploration) को निर्देशित करने के लिए एक वार्म-स्टार्ट के रूप में कार्य करता है।
2. चरण 2: एडजॉइंट-MC प्रोजेक्शन (Adjoint-MC Projection): किसी भी क्वेरी बिंदु $(t, x)$ के लिए, विधि निर्णय समय $t$ पर एंकर किए गए कई रोलआउट का अनुकरण करती है। पथवार अवस्था-ग्रेडिएंट (pathwise state-gradients) की गणना करने के लिए BPTT का उपयोग किया जाता है, जिन्हें स्टोकेस्टिक एडजॉइंट (costate) अनुमानों के रूप में व्याख्यायित किया जाता है। इन शोर वाले ग्रेडिएंट्स को एक स्थिर कॉस्टेट अनुमान $\hat{\lambda}(t, x)$ उत्पन्न करने के लिए मोंटे कार्लो के माध्यम से औसत निकाला जाता है। अंत में, बिंदुवार हैमिल्टनियन मैक्सिमाइजेशन द्वारा नियंत्रण का संश्लेषण किया जाता है:
   $$\hat{u}(t, x) \in \arg \max_{u \in U} H(t, t, x, u, \hat{\lambda}(t, x), \hat{Z}(t, x))$$
   यह चरण विकर्ण पोंट्र्यागिन स्थिति (जहाँ एंकर समय निर्णय समय के बराबर होता है) को लागू करता है, जिससे यह सुनिश्चित होता है कि जब गुणकता विफल हो जाए तब भी समय-सुसंगत संतुलन बना रहे।

प्रमुख योगदान

1. संरचनात्मक अपघटन: यह शोधपत्र छूट कर्नेल (discount kernels) का एक वर्गीकरण (चित्र 1) प्रदान करता है, जो यह पहचानता है कि जब गुणकता या समय समरूपता का उल्लंघन होता है, तो पुनरावृत्ति-आधारित विधियों की विशिष्ट संरचनात्मक विफलताएं क्या होती हैं।
2. सैद्धांतिक पुनर्गठन: PG-DPO सैद्धांतिक रूप से PMP पर आधारित है। लेखक सिद्ध करते हैं कि अवकलनीय रोलआउट के माध्यम से BPTT, एक स्टोकेस्टिक एडजॉइंट एस्टीमेटर के रूप में कार्य करता है। विशेष रूप से, प्रमेय 2.1 अनुकूलित (adapted) BPTT संवेदनशीलता और विविक्त (discretized) एंकोर्ड एडजॉइंट के बीच संबंध स्थापित करता है, यह दिखाते हुए कि अंतर हैमिल्टनियन अवशेष (Hamiltonian residual) और विवक्तीकरण त्रुटि द्वारा सीमित है।
3. कठोर स्थिरता गारंटी: प्रमेय 2.2 चरण 2 के लिए एक स्थानीय नियंत्रण-निकटता गारंटी प्रदान करता है। यह प्रदर्शित करता है कि यदि वार्म-अप अवशेष छोटा है और एडजॉइंट अनुमान सटीक है, तो अनुमानित नियंत्रण सटीक विकर्ण पोंट्र्यागिन नियंत्रण (जो गुणत्मक मामलों में अनुकूलतम है, और गैर-गुणत्मक मामलों में संतुलन है) के करीब रहता है। यह वैश्विक फलन सन्निकटन (global function approximation) की आवश्यकता को समाप्त करता है, जो अक्सर ह्यूरिस्टिक्स और त्रुटि प्रसार के प्रति संवेदनशील होता है।

परिणाम
लेखक तीन बेंचमार्क में PG-DPO का मूल्यांकन करते हैं जो छूट-कर्नेल वर्गीकरण का प्रतिनिधित्व करते हैं:

• मामला 1 (सर्वाइवल-डिस्काउंटेड टारगेट कंट्रोल): गुणत्मक लेकिन समय-असमरूप। PG-DPO उच्च सटीकता और कम विचरण के साथ ग्राउंड-ट्रुथ नीति को ट्रैक करता है, जो PPO, PINN और Deep BSDE को पीछे छोड़ देता है, जो बड़े विचरण या व्यवस्थित पूर्वाग्रह प्रदर्शित करते हैं।
• मामला 2 (हाइपरबोलिक डिस्काउंटिंग के साथ मर्टन समस्या): समय-समरूप लेकिन गैर-गुणत्मक (समय-असंगत)। PG-DPO अर्ध-विश्लेषणात्मक संतुलन समाधान के साथ लगभग पूर्ण संरेखण प्राप्त करता है, जो बेसलाइनों की तुलना में $L_1$ और $L_\infty$ त्रुटियों को कई क्रमों (orders of magnitude) तक कम कर देता है।
• मामला 3 (समय-परिवर्तनीय अधीरता के साथ स्टोकेस्टिक रिसोर्स): गैर-गुणत्मक और गैर-स्थिर। PG-DPO सफलतापूर्वक गैर-एकदिष्ट (non-monotone) संतुलन नीतियों को ट्रैक करता है जो समय-परिवर्तनीय अधीरता मापदंडों के साथ सह-चली (co-move) होती हैं, विभिन्न प्रोफाइल के लिए समान रूप से न्यूनतम त्रुटि बनाए रखती हैं।

अतिरिक्त प्रयोग प्रदर्शित करते हैं:

• मापनीयता (Scalability): उच्च-आयामी सेटिंग्स ($d=10$ से $100$) में, PG-DPO बिना किसी दृश्य गिरावट के सटीकता बनाए रखता है, जबकि PPO और Deep BSVIE जैसे बेसलाइन महत्वपूर्ण त्रुटि वृद्धि दिखाते हैं।
• दक्षता (Efficiency): चरण 2 का अनुमान (inference) कम्प्यूटेशनल रूप से कुशल है, जो प्रति क्वेरी उप-सेकंड विलंबता (< 0.02s CPU पर) प्राप्त करता है, जिससे यह ऑनलाइन वास्तविक समय नियंत्रण संश्लेषण के लिए व्यवहार्य हो जाता है।
• अवशेष न्यूनीकरण (Residual Reduction): भले ही चरण 1 की नीति कच्ची (coarse) हो, चरण 2 हैमिल्टनियन स्थिरता अवशेष को काफी कम कर देता है, जो एक संरचना-लागू करने वाले सुधार के रूप में इसकी भूमिका की पुष्टि करता है।

महत्व
यह शोधपत्र दावा करता है कि PG-DPO बेलमैन पुनरावृत्ति की कठोर बाधाओं से अनुकूलन को मुक्त करके सैद्धांतिक नियंत्रण और व्यावहारिक अनुप्रयोगों के बीच के अंतर को पाटता है। BPTT को एक स्टोकेस्टिक एडजॉइंट एस्टीमेटर के रूप में व्याख्यायित करके और स्थानीय रूप से पोंट्र्यागिन स्थितियों को लागू करके, यह विधि गैर-घातांकीय छूट के लिए संरचनात्मक लचीलापन और तकनीकी मजबूती प्रदान करती है, जो वैश्विक फलन सन्निकटन बाधाओं से बचती है। यह कम प्रशिक्षण लागत के साथ उच्च-विश्वास नियंत्रण संश्लेषण की अनुमति देता है, जो गैर-घातांकीय सेटिंग्स में मानक विधियों की अस्थिरता को संबोधित करता है।