Optimal bounds for numerical approximations of infinite horizon problems based on dynamic programming approach

तकनीकी सारांश: डायनेमिक प्रोग्रामिंग दृष्टिकोण पर आधारित अनंत क्षितिज समस्याओं के संख्यात्मक सन्निकटन के लिए इष्टतम सीमाएँ

समस्या विवरण
यह शोध पत्र $\mathbb{R}^n$ में गतिशील प्रणालियों द्वारा संचालित अनंत क्षितिज इष्टतम नियंत्रण समस्याओं (infinite horizon optimal control problems) के संख्यात्मक सन्निकटन को संबोधित करता है। ऐसी समस्याओं के लिए मान फलन (value function) को प्रथम-क्रम गैर-रेखीय हैमिल्टन-जैकबी-बेलमैन (HJB) आंशिक अंतर समीकरण के विस्कोसिटी समाधान (viscosity solution) के रूप में अभिलक्षित किया जाता है। जबकि विभिन्न सन्निकटन योजनाएं (फाइनाइट डिफरेंस, सेमी-लैग्रेंजियन, फाइनाइट वॉल्यूम) मौजूद हैं, एक महत्वपूर्ण चुनौती पूर्णतः विविक्त विधियों (fully discrete methods) के लिए स्थापित करना है जिनमें समय और स्थानिक विविक्तीकरण (time and spatial discretization) दोनों शामिल हैं।

मौजूदा साहित्य, विशेष रूप से फाल्कोन और फेरेटी [12] और अन्य [9, 11] के कार्यों का संदर्भ देते हुए, पूर्णतः विविक्त सेमी-लैग्रेंजियन विधियों के लिए $O(k/h)$ आकार की त्रुटि सीमा स्थापित करता है, जहाँ $h$ समय अंतराल (time step) है और $k$ स्थानिक जाल (spatial mesh) है। यह सीमा बताती है कि जैसे-जैसे समय अंतराल $h$ घटता है, $1/h$ कारक के कारण त्रुटि बिगड़ जाती है। हालांकि, लेखक नोट करते हैं कि साहित्य (जैसे, [4]) में संख्यात्मक प्रयोग $1/h$ व्यवहार को नहीं देखते हैं, जिससे पता चलता है कि सैद्धांतिक सीमा उप-इष्टतम (suboptimal) है। इस शोध पत्र का लक्ष्य एक बेहतर त्रुटि विश्लेषण को सिद्ध करने के लिए इस विसंगति को संशोधित करके इस त्रुटि को हल करना है।

कार्यप्रणाली
लेखक बेहतर त्रुटि सीमाओं को प्राप्त करने के लिए एक नए पूर्णतः विविक्त सन्निकटन के अभिलक्षण (characterization) का प्रस्ताव करते हैं। कार्यप्रणाली इस प्रकार है:

1. लागत फलनों (Cost Functionals) के माध्यम से पुनर्गठन: केवल मानक डायनेमिक प्रोग्रामिंग सिद्धांत पर निर्भर रहने के बजाय, लेखक एक नया पूर्णतः विविक्त लागत फलन $\hat{J}_{h,k}$ परिभाषित करते हैं। यह फलन प्रत्येक समय अंतराल पर सिस्टम डायनेमिक्स और रनिंग कॉस्ट पर लागू एक रैखिक इंटरपलेशन ऑपरेटर $I_k$ का उपयोग करता है।
2. समाधान का अभिलक्षण: प्रमेय 3 सिद्ध करता है कि पूर्णतः विविक्त मान फलन $v_{h,k}$ (जो विविक्त डायनेमिक प्रोग्रामिंग समीकरण द्वारा परिभाषित है) स्वीकार्य नियंत्रण अनुक्रमों के स्थान पर इस नए पूर्णतः विविक्त लागत फलन का सटीक इन्फिमम (infimum) है। यह [5] में उपयोग किए गए अर्ध-विविक्त (semi-discrete) मामले के अभिलक्षण को दर्शाता है।
3. त्रुटि अपघटन (Error Decomposition): त्रुटि विश्लेषण निरंतर लागत फलन $\hat{J}$ और पूर्णतः विविक्त फलन $\hat{J}_{h,k}$ की तुलना करता है। अंतर को निरंतर प्रणाली समाधान $y(t)$ और विविक्त इंटरपोलेटेड समाधान $\tilde{y}(t)$ के बीच प्रक्षेपवक्र (trajectory) त्रुटियों और लागत एवं डायनेमिक्स कार्यों की इंटरपोलेशन त्रुटियों का विश्लेषण करके सीमित किया जाता है।
4. नियमितता धारणाएँ (Regularity Assumptions): विश्लेषण नियंत्रण इनपुट $u(t)$ पर विभिन्न नियमितता धारणाओं पर विचार करता है:
   • समान रूप से निरंतर नियंत्रण (सीमित संख्या में जंप विच्छेदन के साथ)।
   • लिप्सचिट्ज़ निरंतर (Lipschitz continuous) नियंत्रण।
   • खंडित स्थिर (Piecewise constant) नियंत्रण (डायनेमिक्स/कॉस्ट के सेट पर अभिमानी धारणा के तहत)।

मुख्य योगदान और परिणाम

• सुधारित त्रुटि सीमा: प्राथमिक योगदान यह सिद्ध करना है कि निरंतर मान फलन $v$ और पूर्णतः विविक्त सन्निकटन $v_{h,k}$ के बीच की त्रुटि $O(k/h)$ के बजाय $O(h + k)$ के क्रम की है। यह स्थापित करता है कि प्रथम-क्रम यूलर टाइम विविक्तीकरण और खंडित रैखिक स्थानिक सन्निकटन के उपयोग के अनुरूप, समय और स्थान दोनों में प्रथम-क्रम अभिसरण (first-order convergence) प्राप्त होता है।
• प्रमेय 4 (सामान्य सीमा): मानक लिप्सचिट्ज़ धारणाओं पर सिस्टम डायनेमिक्स $f$ और लागत $g$ के तहत, और यह मानते हुए कि $\lambda > L$ (जहाँ $L$ लिप्सचिट्ज़ स्थिरांकों से प्राप्त एक स्थिरांक है), त्रुटि इस प्रकार सीमित है:
  $$|v(y) - v_{h,k}(y)| \leq C_1(h + k) + C_2 M_u$$
  जहाँ $M_u$ समय अंतरालों के भीतर नियंत्रण के दोलन (oscillation) को मापता है।
• प्रमेय 6 (लिप्सचिट्ज़ नियंत्रण): यदि नियंत्रण लिप्सचिट्ज़ निरंतर हैं, तो $M_u$, $h$ के साथ स्केल करता है, जिसके परिणामस्वरूप इष्टतम त्रुटि सीमा प्राप्त होती है:
  $$|v(y) - v_{h,k}(y)| \leq C(h + k)$$
• प्रमेय 5 (समान रूप से निरंतर नियंत्रण): यदि नियंत्रण केवल समान रूप से निरंतर हैं (जंप की सीमित संख्या की अनुमति देते हुए), तो त्रुटि $h, k \to 0$ होने पर शून्य की ओर अभिसरित होती है, हालांकि विशिष्ट दर निरंतरता के मोडुलस (modulus of continuity) पर निर्भर करती है।
• खंडित स्थिर नियंत्रण (प्रमेय 7): [6] (जो मूल रूप से परिमित क्षितिज समस्याओं के लिए था) के तर्कों को अनंत क्षितिज मामले में अनुकूलित करते हुए, लेखक $\{f(y,u), g(y,u)\}$ के सेट पर एक अभिमानी धारणा (convexity assumption - CA) के तहत अभिसरण को सिद्ध करते हैं। हालांकि, इस अनुकूलन के परिणामस्वरूप अनंत क्षितिज मामले में कमजोर समय अभिसरण दर प्राप्त होती है:
  $$|v(y) - v_{h,k}(y)| \leq C_1(h + k) + C_2 (\log h)^2 h^{\frac{1}{1+\beta}}$$
  जहाँ $\beta = \frac{\sqrt{n}L_f}{\lambda}$ है। लेखक नोट करते हैं कि यह परिमित क्षितिज मामले की तुलना में समय अभिसरण में अधिकतम आधे क्रम का नुकसान है, जिसका कारण अनंत समय क्षितिज है।

महत्व और दावे

शोध पत्र का दावा है कि अनुकूलन तर्कों पर आधारित नया अभिलक्षण सफलतापूर्वक उस संख्यात्मक व्यवहार की व्याख्या करता है जो अभ्यास में देखा जाता है, जहाँ पुराने बाउंड द्वारा अनुमानित $1/h$ गिरावट नहीं देखी जाती है। $O(h+k)$ बाउंड को सिद्ध करके, लेखक पुष्टि करते हैं कि पूर्णतः विविक्त सेमी-लैग्रेंजियन विधि मानक नियमितता धारणाओं के तहत समय और स्थान दोनों में प्रथम-क्रम अभिसरण प्राप्त करती है।

लेखक विनम्रतापूर्वक सुझाव देते हैं कि अनुकूलन तर्कों में निहित यह नया अभिलक्षण अन्य प्रकार के हैमिल्टन-जैकबी-बेलमान समीकरणों के अनुप्रयोग के लिए भी क्षमता रखता है जहाँ वर्तमान अभिसरण दरें उप-इष्टतम हैं। वे स्पष्ट रूप से कहते हैं कि जबकि वे लिप्सचिट्ज़ नियंत्रणों के लिए प्रथम-क्रम अभिसरण प्राप्त करते हैं, कमजोर नियमितता (जैसे कि घातांक $\alpha$ के साथ हॉल्डर निरंतरता) $O(h^\alpha)$ की अभिसरण दर प्रदान करती है, और अनंत क्षितिज के लिए खंडित स्थिर नियंत्रण दृष्टिकोण परिमित क्षितिज परिणामों की तुलना में एक लघुगणकीय दंड (logarithmic penalty) वहन करता है। यह कार्य कोई नया प्रयोगात्मक सेटअप प्रस्तावित नहीं करता है बल्कि क्षेत्र में मौजूदा त्रुटि विश्लेषण के लिए एक सैद्धांतिक सुधार प्रदान करता है।