⚡ electrical engineering

A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic

यह शोध पत्र हैमिल्टोनियन एक्टर-क्रिटिक (HAC) प्रस्तुत करता है, जो एक मॉडल-आधारित सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो सीखे गए गतिकी (dynamics) पर हैमिल्टोनियन को सीधे अनुकूलित करने के लिए पोंट्र्यागिन मैक्सिमम प्रिंसिपल का लाभ उठाती है, जिससे उत्कृष्ट नमूना दक्षता (sample efficiency), मॉडल त्रुटियों के प्रति मजबूती और ऑनलाइन एवं ऑफलाइन निरंतर नियंत्रण कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए स्पष्ट मान फलन (value function) शिक्षण को समाप्त किया जा सके।

मूल लेखक: Chengyang Gu, Yuxin Pan, Hui Xiong, Yize Chen

प्रकाशित 2026-04-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chengyang Gu, Yuxin Pan, Hui Xiong, Yize Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: बिना नक्शे के रोबोट को चलना सिखाना

कल्पना कीजिए कि आप एक रोबोट को कमरे में चलना सिखाने की कोशिश कर रहे हैं। आपके पास इसे करने के दो मुख्य तरीके हैं:

गलती और सुधार (पुराना तरीका): आप रोबोट को चलने देते हैं, वह गिर जाता है, आप कहते हैं "आह", और वह फिर से कोशिश करता है। वह ऐसा लाखों बार करता है। यह धीमा है और बहुत अधिक ऊर्जा बर्बाद करता है।
एक मॉडल सीखना (नया तरीका): आप पहले रोबोट को भौतिक विज्ञान (physics) कैसे काम करता है, यह सिखाते हैं। "अगर मैं अपना पैर आगे बढ़ाता हूँ, तो मैं आगे बढ़ता हूँ।" फिर, आप रोबोट को वास्तव में हिलने से पहले अपने दिमाग में हज़ार बार चलने की कल्पना करने देते हैं। यह बहुत तेज़ है। इसे मॉडल-बेस्ड रिइन्फोर्समेंट लर्निंग (MBRL) कहा जाता है।

समस्या:
"कल्पना" वाला हिस्सा पेचीदा है। यदि रोबोट का भौतिकी का आंतरिक मॉडल थोड़ा गलत है (उदाहरण के लिए, उसे लगता है कि फर्श फिसलन भरा है जबकि वह नहीं है), और वह 100 कदम चलने की कल्पना करता है, तो वह छोटी सी त्रुटि बढ़ जाती है। 100वें कदम तक, रोबट को लगता है कि वह अंतरिक्ष में तैर रहा है!

मानक AI विधियों में, रोबोट का एक "क्रिटिक" (एक जज) भी होता है जो यह अनुमान लगाने की कोशिश करता है कि कोई चाल कितनी अच्छी है। लेकिन अगर रोबोट की कल्पना गलत है, तो जज भी भ्रमित हो जाता है, खराब स्कोर देता है, और रोबोट गलत सबक सीखता है। यह एक ऐसे छात्र की तरह है जो टाइपो (गलतियों) वाली किताब से गणित के टेस्ट के लिए पढ़ाई करने की कोशिश कर रहा है; वे जितना अधिक अध्ययन करेंगे, उतना ही अधिक भ्रमित होंगे।

समाधान: "हैमिल्टोनियन" दिशा-सूचक यंत्र (Compass)

इस पेपर के लेखक एक नई विधि प्रस्तावित करते हैं जिसे हैमिल्टोनियन एक्टर-क्रिटिक (HAC) कहा जाता है।

किसी चाल के स्कोर का अनुमान लगाने के लिए एक "जज" (क्रिटिक) का उपयोग करने के बजाय, वे भौतिकी की एक अवधारणा का उपयोग करते हैं जिसे हैमिल्टोनियन (Hamiltonian) कहा जाता है।

उपमा: हाइकर और कंपास

पुराना तरीका (क्रिटिक): कल्पना कीजिए कि एक हाइकर (पगडंडी पर चलने वाला) पहाड़ की चोटी खोजने की कोशिश कर रहा है। वह एक स्थानीय गाइड (क्रिटिक) से पूछता है, "क्या यह रास्ता अच्छा है?" गाइड एक नक्शे (मॉडल) को देखता है, लेकिन नक्शे में कुछ धब्बे हैं। गाइड धुंधले नक्शे के आधार पर पहाड़ की ऊंचाई का अनुमान लगाता है। यदि नक्शा गलत है, तो गाइड गलत दिशा निर्देश देता है।
नया तरीका (HAC): गाइड से पूछने के बजाय, हाइकर एक कंपास (हैमिल्टोनियन) का उपयोग करता है। कंपास पहाड़ की ऊंचाई का अनुमान नहीं लगाता; यह केवल भौतिकी के नियमों (गुरुत्वाकर्षण, घर्षण आदि) के आधार पर सबसे तीव्र, सबसे कुशल पथ की ओर इशारा करता है।

हैमिल्टोनियन एक गणितीय सूत्र है जो जोड़ता है कि आप कहाँ हैं, आप क्या कर रहे हैं, और आप कहाँ जाना चाहते हैं। यह रोबोट को बताता है कि पूरी यात्रा के कुल स्कोर का अनुमान लगाने की आवश्यकता के बिना, अभी इसी वक्त सबसे कुशल होने के लिए कैसे आगे बढ़ना है।

यह कैसे काम करता है (जादुई ट्रिक)

अब कोई अनुमान नहीं: रोबोट को भविष्य के पुरस्कारों का अनुमान लगाने के लिए एक अलग "जज" नेटवर्क को प्रशिक्षित करने की आवश्यकता नहीं है। वह सीधे दुनिया के अपने सीखे हुए मॉडल का उपयोग करके "कंपास रीडिंग" (हैमिल्टोनियन) की गणना करता है।
"पीछे की ओर" देखना: इस कंपास का उपयोग करने के लिए, रोबोट कुछ चतुर करता है। वह आगे का रास्ता कल्पना करता है, लेकिन फिर वह फिनिश लाइन से शुरूआती बिंदु की ओर पीछे की ओर काम करके उस पथ की "लागत" (cost) की गणना करता है। यह एक रोड ट्रिप की योजना बनाने जैसा है—गंतव्य से शुरू करके यह पता लगाना कि वहां कैसे पहुंचना है, बजाय इसके कि 5 घंटे बाद ट्रैफिक कैसा होगा इसका अनुमान लगाया जाए।
"जैकोबियन" शॉर्टकट: इस पीछे के पथ की गणना करने के लिए आमतौर पर भारी गणित की आवश्यकता होती है जो कंप्यूटर को धीमा कर देता है। लेखकों ने एक "शॉर्टकट" (एनालिटिकल जैकोबियन) का आविष्कार किया है जो कंप्यूटर को इन गणनाओं को तुरंत करने की अनुमति देता है, जैसे हर बार लंबी भाग विधि करने के बजाय एक पूर्व-निर्धारित सूत्र का उपयोग करना।

यह बेहतर क्यों है?

पेपर मुख्य रूप से दो चीजें सिद्ध करता है:

यह अधिक सटीक है: क्योंकि रोबोट एक ऐसे "जज" पर निर्भर नहीं है जो गलत कल्पना से पक्षपाती हो सकता है, इसलिए त्रुटियां बढ़ती नहीं हैं। यह एक ऐसे GPS के बीच के अंतर जैसा है जो वास्तविक ट्रैफिक के आधार पर हर सेकंड अपना मार्ग बदलता है (HAC) बनाम एक जो 10 साल पुराने नक्शे के आधार पर ट्रैफिक का अनुमान लगाता है (पुरानी विधियाँ)।
यह अधिक मजबूत (Robust) है: यदि आप रोबोट को थोड़े अलग कमरे (एक नए वातावरण) में रखते हैं, तो पुरानी विधियाँ अक्सर घबरा जाती हैं और विफल हो जाती हैं क्योंकि उनके "जज" ने पहले ऐसा कुछ नहीं देखा होता है। HAC विधि, जो भौतिकी के नियमों पर आधारित है, बहुत बेहतर ढंग से अनुकूलित होती है। यह एक ऐसे हाइकर की तरह है जो जानता है कि कंपास का उपयोग कैसे करना है, इसलिए वह रास्ता ढूंढ सकता है भले ही पगडंडी के निशान गायब हों, जबकि एक व्यक्ति जो गाइड पर निर्भर है, वह भटक सकता है।

परिणाम

शोधकर्ताओं ने विभिन्न कार्यों पर इसका परीक्षण किया:

सरल कार्य: जैसे पोल को संतुलित करना (पेंडुलम)।
कठिन कार्य: जैसे रोबोट को कूदना (हॉपर) या तैरना (स्विमर) सिखाना।

फैसला:

तेज़ सीखना: रोबोट ने कम प्रयासों में कार्यों को करना सीख लिया (बेहतर सैंपल एफिशिएंसी)।
बेहतर प्रदर्शन: इसने पिछले सर्वश्रेष्ठ तरीकों से उच्च स्कोर प्राप्त किया।
स्थिरता: जब डेटा सीमित था या शुरुआती स्थिति बदली गई, तब भी यह अन्य विधियों की तुलना में कम बार क्रैश हुआ।

संक्षेप में

यह पेपर रोबोट के सीखने के एक स्मार्ट तरीके को पेश करता है। भविष्य का अनुमान लगाने के लिए एक दोषपूर्ण "जज" से पूछने के बजाय, रोबोट सर्वोत्तम समाधान की ओर सीधे जाने के लिए "फिजिक्स कंपास" (हैमिल्टोनियन) का उपयोग करता है। यह तेज़ है, अधिक सटीक है, और अपनी ही कल्पना से भ्रमित होने की संभावना कम है।

यहाँ शोध पत्र "A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मॉडल-आधारित सुदृढीकरण शिक्षण (Model-Based Reinforcement Learning - MBRL) का लक्ष्य एक डायनेमिक्स मॉडल सीखकर नीतियों को अनुकूलित या नियोजित करना है ताकि सैंपल दक्षता (sample efficiency) में सुधार किया जा सके। हालाँकि, मानक MBRL दृष्टिकोण, विशेष रूप से एक्टर-क्रिटिक (Actor-Critic) आर्किटेक्चर का उपयोग करने वाले, जो मॉडल-बेस्ड वैल्यू एक्सपेंशन (MVE) का उपयोग करते हैं, महत्वपूर्ण चुनौतियों का सामना करते हैं:

मॉडल त्रुटियों का संचय (Compounding Model Errors): MVE में, क्रिटिक एक सीखे गए डायनेमिक्स मॉडल द्वारा उत्पन्न बहु-चरणीय "काल्पनिक" रोलआउट से सीखता है। रोलआउट क्षितिज (rollout horizon) के दौरान डायनेमिक्स मॉडल की त्रुटियाँ संचित होती हैं, जिससे मूल्य अनुमान (value estimates) गलत हो जाते हैं।
क्षितिज चयन के प्रति संवेदनशीलता (Sensitivity to Horizon Selection): MVE की प्रभावशीलता रोलआउट क्षितिज ( $K$ ) के चयन के प्रति अत्यधिक संवेदनशील है। लंबा क्षितिज मॉडल त्रुटियों से पूर्वाग्रह (bias) लाता है, जबकि छोटा क्षितिज दीर्घकालिक निर्भरताओं को पकड़ने में विफल हो सकता है।
वितरणात्मक बदलाव (Distributional Shift): ऑफलाइन RL या जब प्रारंभिक अवस्थाएँ बदल जाती हैं, तो क्रिटिक नेटवर्क अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) अवस्थाओं का सामना करता है जहाँ मूल्य अनुमान अविश्वसनीय हो जाते हैं, जिससे नीति का क्षरण होता है।
अनावश्यकता (Redundancy): पारंपरिक एक्टर-क्रिटिक विधियों के लिए एक नीति (Actor) और एक वैल्यू फंक्शन (Critic) दोनों को सीखने की आवश्यकता होती है। यह शोध पत्र तर्क देता है कि नियतात्मक प्रणालियों (deterministic systems) के लिए, यदि अनुकूल नियंत्रण सिद्धांत (optimal control theory) के आधार पर सीधे अनुकूलन किया जा सकता है, तो एक स्पष्ट क्रिटिक नेटवर्क को सीखना अनावश्यक हो सकता है।

2. कार्यप्रणाली: हैमिल्टनियन एक्टर-क्रिटिक (Hamiltonian Actor-Critic - HAC)

लेखक हैमिल्टनियन एक्टर-क्रिटिक (HAC) का प्रस्ताव करते हैं, जो एक नवीन MBRL एल्गोरिदम है जो अनुकूल नियंत्रण सिद्धांत (optimal control theory) से पोंट्र्यागिन मैक्सिमम प्रिंसिपल (PMP) का लाभ उठाकर एक स्पष्ट क्रिटिक नेटवर्क की आवश्यकता को समाप्त करता है।

मुख्य अवधारणा (Core Concept)

एक Q-वैल्यू फंक्शन $Q(s, a)$ सीखने के बजाय, HAC RL उद्देश्य को एक अनुकूल नियंत्रण समस्या के रूप में पुनर्गठित करता है। यह सीखे गए डायनेमिक्स $\hat{f}$ और रिवॉर्ड फंक्शन के आधार पर एक हैमिल्टनियन (Hamiltonian) $H$ को परिभाषित करता है। नीति को इस हैमिल्टनियन को सीधे न्यूनतम करके अनुकूलित किया जाता है।

मुख्य तकनीकी घटक (Key Technical Components)

हैमिल्टनियन सूत्रीकरण (Hamiltonian Formulation):
- RL उद्देश्य को लागत फलन (cost function) $J = \sum c(s_t, a_t) + \Phi(s_T)$ को न्यूनतम करने में परिवर्तित किया जाता है।
- हैमिल्टनियन को इस प्रकार परिभाषित किया गया है: $H(s_t, a_t, \lambda_{t+1}) = c(s_t, a_t) + \lambda_{t+1}^T f(s_t, a_t)$ , जहाँ $\lambda$ एक कोस्टेट (costate) या एडजॉइंट वेरिएबल है।
- कोस्टेट $\lambda_t$ को बैकवर्ड रिकर्सन के माध्यम से गणना किया जाता है: $\lambda_t = \nabla_{s_t} H(s_t, a_t, \lambda_{t+1})$ ।
एल्गोरिदम वर्कफ़्लो (Algorithm Workflow):
- रोलआउट (Rollout): वर्तमान नीति $\pi_\theta$ और सीखे गए डायनेमिक्स मॉडल $\hat{f}$ का उपयोग करके एक $K$ -स्टेप काल्पनिक रोलआउट उत्पन्न करें।
- बैकवर्ड पास (Backward Pass): टर्मिनल स्थिति (टर्मिनल रिवॉर्ड से व्युत्पन्न) से शुरू होकर और समय में पीछे की ओर बढ़ते हुए $\hat{\lambda}_{1:K}$ को कंप्यूट करें।
- नीति अपडेट (Policy Update): एक्टर लॉस को रोलआउट पर औसत हैमिल्टनियन के रूप में परिभाषित किया जाता है: $L_{actor}(\theta) = \frac{1}{K} \sum H(\hat{s}_t, \hat{a}_t, \hat{\lambda}_{t+1})$ । नीति को इस लॉस को न्यूनतम करने के लिए अपडेट किया जाता है।
- कोई क्रिटिक नेटवर्क नहीं (No Critic Network): चूंकि हैमिल्टनियन, वैल्यू फंक्शन के सरोगेट (surrogate) के रूप में कार्य करता है, इसलिए कोई अलग क्रिटिक नेटवर्क प्रशिक्षित नहीं किया जाता है, जिससे मूल्य सन्निकटन त्रुटि (value approximation error) का स्रोत समाप्त हो जाता है।
एनालिटिकल जैकोबियन तकनीक (Analytical Jacobian Technique):
- कोस्टेट की गणना के लिए डायनेमिक्स मॉडल के जैकोबियन ( $\nabla_s \hat{f}$ ) की आवश्यकता होती है।
- मानक ऑटोमैटिक डिफरेंशिएशन (autograd) एक ही कम्प्यूटेशनल ग्राफ के बार-बार बैकवर्ड पास के लिए अक्षम है।
- लेखक ReLU एक्टिवेशन वाले न्यूरल नेटवर्क के लिए एनालिटिकल जैकोबियन विधि का प्रस्ताव करते हैं। ReLU की पीसवाइज लीनियर प्रकृति का लाभ उठाते हुए, वे मैट्रिक्स गुणन और डायगोनल एक्टिवेशन मास्क का उपयोग करके जैकोबियन के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं। यह ग्राफ-फ्री (graph-free), कुशल कोस्टेट गणना को सक्षम बनाता है।

3. मुख्य योगदान (Key Contributions)

स्पष्ट वैल्यू लर्निंग का उन्मूलन: HAC, PMP से प्राप्त हैमिल्टनियन-आधारित सूत्रीकरण का उपयोग करके क्रिटिक नेटवर्क को प्रतिस्थापित करता है, जो हल्के स्मूथनेस धारणाओं के तहत स्थानीय इष्टतम (local optimum) तक अभिसरण (convergence) की गारंटी देता है।
सख्त त्रुटि सीमाएं (Tighter Error Bounds): यह शोध पत्र सिद्ध करता है कि विशिष्ट स्थितियों (क्वाड्रेटिक रिवार्ड्स, नियत डायनेमिक्स) के तहत, HAC में अधिकतम क्रिटिक अनुमान त्रुटि MVE की तुलना में काफी कम है। यह हैमिल्टनियन संरक्षण नियम (Hamiltonian Conservation Law) के कारण है, जो बैकवर्ड रिकर्सन के दौरान रोलआउट क्षितिज में त्रुटियों के संचय को रोकता है।
कुशल कार्यान्वयन: एनालिटिकल जैकोबियन तकनीक का विकास बार-बार ऑटोग्राफ ग्राफ ट्रैवर्सल के ओवरहेड के बिना कुशल कोस्टेट गणना की अनुमति देता है।
OOD के प्रति मजबूती: संभावित रूप से पक्षपाती काल्पनिक डेटा पर वैल्यू फंक्शन को प्रशिक्षित करने से बचकर, HAC वितरित बदलावों (जैसे, शिफ्टेड इनिशियल स्टेट्स) के प्रति MVE-आधारित विधियों की तुलना में बेहतर मजबूती प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने निरंतर नियंत्रण बेंचमार्क (LQR, Pendulum, MountainCar, MuJoCo Swimmer, Hopper) पर ऑनलाइन और ऑफलाइन दोनों सेटिंग्स में HAC का मूल्यांकन किया।

प्रदर्शन (Performance): HAC ने लगातार अत्याधुनिक बेसलाइन्स (DDPG, SAC, MVE-DDPG, IQL, MOPO) को पछाड़ दिया या उनके बराबर प्रदर्शन किया।
- ऑनलाइन RL: HAC ने तेज़ अभिसरण और उच्च अंतिम रिवॉर्ड प्राप्त किया, विशेष रूप से शॉर्ट-होरिज़न कार्यों (Pendulum) और जटिल लॉन्ग-होरिज़न कार्यों (Swimmer, Hopper) में।
- ऑफलाइन RL: डेटा-सीमित सेटिंग्स में, HAC ने मॉडल-फ्री ऑफलाइन विधियों (IQL, SAC-Off) और मॉडल-बेस्ड विधियों (MOPO) के प्रदर्शन को मैच या उससे अधिक किया, जो उच्च सैंपल दक्षता प्रदर्शित करता है।
मजबूती (Robustness): OOD प्रयोगों (शिफ्टेड इनिशियल स्टेट्स) में, MVE-DDPG स्थिर ट्राजेक्टरी बनाने में विफल रहा, जबकि HAC ने स्थिर और सुसंगत प्रदर्शन बनाए रखा।
क्रिटिक अनुमान त्रुटि: LQR कार्यों पर अनुभवजन्य विश्लेषण ने दिखाया कि HAC के हैमिल्टनियन अनुमान MVE के Q-वैल्यू अनुमानों की तुलना में ग्राउंड ट्रुथ के काफी करीब थे, जो इसके सैद्धांतिक त्रुटि बाउंड की पुष्टि करते हैं।
कम्प्यूटेशनल दक्षता: हालांकि HAC के लिए बैकवर्ड कोस्टेट गणना की आवश्यकता होती है, यह क्रिटिक नेटवर्क के बड़े एन्सेम्बल (जो अक्सर MVE द्वारा त्रुटियों को कम करने के लिए आवश्यक होते हैं) की आवश्यकता को समाप्त करता है। एब्लेशन अध्ययन ने दिखाया कि HAC 5-क्रिटिक एन्सेम्बल वाले MVE-DDPG के समान प्रदर्शन प्राप्त करता है, लेकिन कम कुल प्रशिक्षण समय के साथ।

5. महत्व (Significance)

यह कार्य ऑप्टिमल कंट्रोल थ्योरी और डीप रिइन्फोर्समेंट लर्निंग के बीच के अंतर को पाटता है।

सैद्धांतिक अंतर्दृष्टि: यह दर्शाता है कि नियत प्रणालियों के लिए, यदि डायनेमिक्स ज्ञात हैं (या सीखे गए हैं), तो स्पष्ट वैल्यू फंक्शन सीखना अनिवार्य नहीं है, क्योंकि हैमिल्टनियन इष्टतमता (optimality) के लिए एक सीधा मार्ग प्रदान करता है।
व्यावहारिक प्रभाव: HAC, मानक एक्टर-क्रिटिक विधियों के लिए एक सिद्धांत-आधारित विकल्प प्रदान करता है जो संचयी त्रुटियों (compounding errors) के प्रति संवेदनशील होते हैं। मॉडल पूर्वाग्रह और वितरणात्मक बदलाव के प्रति इसकी मजबूती इसे ऑफलाइन RL और सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए विशेष रूप से उपयुक्त बनाती है जहाँ डेटा सीमित है या वातावरण बदल सकता है।
भविष्य की दिशा: शोध पत्र सुझाव देता है कि वर्तमान आर्किटेक्चर में "मॉडल सरप्लस" (अत्यधिक जटिल वैल्यू फंक्शन एप्रोक्सिमेटर) मौजूद हो सकता है, और HAC जैसे सरल, सिद्धांत-आधारित दृष्टिकोण बेहतर दक्षता और स्थिरता प्रदान कर सकते हैं।