⚡ electrical engineering

Goal Reaching with Eikonal-Constrained Hierarchical Quasimetric Reinforcement Learning

यह शोध पत्र Eik-HiQRL का प्रस्ताव करता है, जो एक पदानुध्यवर्ती सुदृढीकरण शिक्षण (hierarchical reinforcement learning) ढांचा है जो क्वाज़िमेट्रिक लक्ष्य-प्राप्ति (quasimetric goal-reaching) को एक प्रक्षेपवक्र-मुक्त (trajectory-free) प्रक्रिया के रूप में पुनर्गठित करने के लिए ईकोनलल PDEs (Eikonal PDEs) का लाभ उठाता है, जिससे ऑफलाइन नेविगेशन और मैनिपुलेशन कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है और आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण में सुधार होता है।

मूल लेखक: Vittorio Giammarino, Ahmed H. Qureshi

प्रकाशित 2026-03-03

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vittorio Giammarino, Ahmed H. Qureshi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: रोबोट को रास्ता खोजना सिखाना

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। रोबोटिक्स के पुराने दिनों में, आपको एक "रिवॉर्ड इंजीनियर" बनना पड़ता था। आपको रोबोट को मैन्युअल रूप से बताना पड़ता था, "अगर तुम बाईं ओर मुड़े तो अच्छा काम किया," "अगर दीवार से टकराए तो बुरा काम किया," "दाएं मुड़ने के लिए बोनस अंक।" यह उबाऊ है, गलतियों की संभावना अधिक है, और अक्सर इससे रोबोट अजीबोगरीब रास्ते खोज लेता है (जैसे पॉइंट्स पाने के लिए गोल-गोल घूमना) बजाय इसके कि वह वास्तव में समस्या को हल करे।

Goal-Conditioned RL (GCRL) एक स्मार्ट तरीका है। रोबोट को रिवॉर्ड की चेकलिस्ट देने के बजाय, आप बस कहते हैं, "उस जगह पर जाओ।" रोबोट का काम बस वहां तक पहुँचने का तरीका खोजना है।

यह पेपर रोबोट को किसी भी लक्ष्य तक पहुँचने का सबसे अच्छा रास्ता कैलकुलेट करने का एक नया, सुपर-स्मार्ट तरीका पेश करता है, जो ज्यामिति (geometry), भौतिकी (physics), और पदानुक्रम (hierarchy) के मिश्रण का उपयोग करता है।

1. मैप बनाने वाला: क्वासीमेट्रिक्स (Quasimetrics) ("दूरी" का नियम)

सबसे पहले, लेखक देखते हैं कि रोबोट दूरी के बारे में कैसे सोचता है।

पुराना तरीका: रोबोट ट्रायल और एरर (कोशिश और गलती) के माध्यम से सीखता है, कदम-दर-कदम। यह एक अंधेरे कमरे में चलने और दीवारों से टकराकर यह सीखने जैसा है कि दीवारें कहाँ हैं।
नया तरीका (Quasimetrics): लेखकों ने महसूस किया कि किसी स्थिति का "मूल्य" (value) (वहाँ होना कितना अच्छा है) वास्तव में लक्ष्य तक की सबसे छोटी दूरी है।
- उपमा (Analogy): कल्पना कीजिए कि रोबोट के पास एक जादुई नक्शा है। इस नक्शे पर, किसी स्थान का "मूल्य" कोई संख्या नहीं है; यह फिनिश लाइन तक के सबसे छोटे रास्ते की लंबाई है।
- चुनौती: वास्तविक दुनिया में, आप हमेशा सीधी रेखा में नहीं चल सकते (दीवारें, बाधाएं)। इसलिए, A से B की दूरी B से A की तुलना में अलग हो सकती है। इसे क्वासीमेट्रिक (Quasimetric) कहा जाता है। यह एक वन-वे स्ट्रीट सिस्टम की तरह है जहाँ दूरी इस बात पर निर्भर करती है कि आप किस दिशा में यात्रा कर रहे हैं।

पिछले तरीके (QRL) ने इस नक्शे को विशिष्ट कदमों को देखकर सीखने की कोशिश की (जैसे, "मैं यहाँ से वहाँ गया")। यह कल जो सड़कें आपने चलाई थीं, उन्हें देखकर शहर को सीखने जैसा था।

2. भौतिकी अपग्रेड: आइकोनलल कंस्ट्रेंट्स (Eikonal Constraints) ("स्पीड लिमिट" का नियम)

यही इस पेपर का मुख्य नवाचार (innovation) है। लेखकों ने पूछा: हमें विशिष्ट कदमों को देखने की आवश्यकता क्यों है? क्या हम केवल भौतिकी के नियमों का उपयोग करके नक्शा सीख सकते हैं?

उन्होंने भौतिकी के एक प्रसिद्ध समीकरण का उपयोग किया जिसे आइकोनल समीकरण (Eikonal Equation) कहा जाता है।

उपमा: जंगल की आग फैलने के बारे में सोचें। आग सभी दिशाओं में एक समान गति से फैलती है। "आइकोनल समीकरण" आग के सामने के आकार (front) का वर्णन करता है।
अनुप्रयोग: लेखक रोबोट की गति को उस आग की तरह मानते हैं। वे मानते हैं कि रोबोट "यूनिट स्पीड" (वह 1 मीटर चलने के लिए 1 सेकंड लेता है) पर चलता है।
जादू: रोबोट के चलने के वीडियो (trajectories) की आवश्यकता के बिना, उन्हें बस कमरे में कुछ रैंडम पॉइंट्स की सूची चाहिए। वे AI को बताते हैं: "आपके नक्शे का ढलान (slope) हमेशा 1 होना चाहिए।"
- यदि आप 10 मीटर दूर हैं, तो नक्शे का मूल्य 10 होना चाहिए।
- यदि आप 5 मीटर दूर हैं, तो नक्शे का मूल्य 5 होना चाहिए।
- "ढलान" (जैसे-जैसे आप आगे बढ़ते हैं, मूल्य कितनी तेजी से बदलता है) स्थिर होनी चाहिए।

यह क्यों शानदार है?

ट्रैजेक्टरीज की आवश्यकता नहीं: आपको रोबोट के चलने का वीडियो देखने की ज़रूरत नहीं है। आप बस एक कमरे के नक्शे पर रैंडम डार्ट्स फेंक सकते हैं, और AI एक ही बार में पूरा नक्शा सीख लेता है।
बेहतर सामान्यीकरण (Generalization): क्योंकि यह स्थान के नियमों (एक भौतिक विज्ञानी की तरह) को सीख रहा है, यह एक ऐसे लक्ष्य तक पहुँचने का रास्ता अनुमानित कर सकता है जिसे इसने पहले कभी नहीं देखा है, भले ही वह किसी अजीब जगह पर हो।

3. समस्या: "फ्लैट" मैप टूट जाता है

एक पेच है। "यूनिट स्पीड" का अनुमान एक साधारण, खाली कमरे (जैसे पॉइंट-मेज़) में बहुत अच्छा काम करता है। लेकिन क्या होगा यदि रोबोट 8 पैरों वाला एक जटिल चींटी जैसा है, या मानव जैसा दिखने वाला रोबोट है?

वास्तविकता: वास्तविक रोबोटों में जोड़ (joints), घर्षण (friction) और जटिल भौतिकी होती है। वे हर दिशा में एक समान गति से नहीं चल सकते। कभी-कभी वे फंस जाते; कभी-कभी वे फिसल जाते।
परिणाम: यदि आप एक जटिल रोबोट को सरल "यूनिट स्पीड" नियम का पालन करने के लिए मजबूर करते हैं, तो गणित टूट जाता है, और रोबोट भ्रमित हो जाता है। "फ्लैट" नक्शा सटीक नहीं रह जाता।

4. समाधान: पदानुक्रम (Hierarchy) ("जनरल और सार्जेंट")

इस जटिलता की समस्या को ठीक करने के लिए, लेखकों ने पदानुक्रम (Hierarchy) पेश किया। उन्होंने रोबोट के दिमाग को दो स्तरों में विभाजित किया:

जनरल (उच्च-स्तरीय - High-Level):
- काम: यह बड़े चित्र (big picture) को देखता है। इसे रोबोट के घुटने के जोड़ों या पहिये के घर्षण की परवाह नहीं है। इसे केवल अमूर्त स्थान (जैसे, "मुझे किचन में जाना है") की परवाह है।
- ट्रिक: जनरल आइकोनल (Eikonal) विधि का उपयोग करता है (सरल भौतिकी नियम), क्योंकि इस अमूर्त दुनिया में, नियम वास्तव में सरल हैं। यह बड़ी यात्रा को छोटे "सब-गोल्स" (जैसे, "हॉलवे में जाओ," फिर "किचन में जाओ") में तोड़ देता है।
- उपमा: जनरल एक नक्शे पर स्टार्ट से फिनिश तक एक सीधी रेखा खींचता है और कहता है, "5 मील उत्तर की ओर चलो, फिर पूर्व की ओर मुड़ो।"
सार्जेंट (निम्न-स्तरीय - Low-Level):
- काम: यह उलझी हुई बारीकियों को संभालता है। यह जनरल के आदेश ("उत्तर की ओर जाओ") को लेता है और यह तय करता है कि घर्षण, फिसलन और बाधाओं से निपटते हुए रोबोट के पैरों को वास्तव में कैसे चलाना है।
- ट्रिक: सार्जेंट मानक, सिद्ध तरीकों (Temporal Difference learning) का उपयोग करता है जो जटिल, अव्यवस्थित भौतिकी को संभालने में अच्छे होते हैं।

परिणाम: जनरल रूट प्लान करने के लिए सुपर-एफिशिएंट "फिजिक्स मैप" का उपयोग करता है, जबकि सार्जेंट वास्तव में कार चलाने के लिए "स्ट्रीट स्मार्ट्स" का उपयोग करता है।

जीत का सारांश

पुराना तरीका: हर कदम चलकर सीखना (धीमा, बहुत डेटा की आवश्यकता)।
मध्यम मार्ग (QRL): कदमों को देखकर सीखना और उन्हें एक दूरी के नियम में फिट करने के लिए मजबूर करना (बेहतर, लेकिन अभी भी स्टेप डेटा की आवश्यकता है)।
नया तरीका (Eik-HiQRL):
1. रैंडम पॉइंट्स से तुरंत नक्शा सीखने के लिए भौतिकी के नियमों (Eikonal) का उपयोग करें (चलने की आवश्यकता नहीं!)।
2. "सिंपल प्लानिंग" को "कॉम्प्लेक्स ड्राइविंग" से अलग करने के लिए पदानुक्रम (Hierarchy) का उपयोग करें।

परिणाम: रोबोट तेज़ी से सीखता है, कम गलतियाँ (टकराव) करता है, और पिछले किसी भी तरीके की तुलना में विशाल, जटिल वातावरण (जैसे एक बड़ी भूलभुलैया या बॉक्स ले जाने वाला रोबोटिक आर्म) में बेहतर ढंग से नेविगेट कर सकता है। यह रोबोट को एक ऐसा GPS देने जैसा है जो भौतिकी के नियमों को समझता है, न कि केवल मोड़-दर-मोड़ निर्देशों की एक सूची।

यहाँ शोध पत्र "Goal Reaching with Eikonal-Constrained Hierarchical Quasimetric Reinforcement Learning" (Eik-HiQRL) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (GCRL) का लक्ष्य ऐसे पॉलिसियों को सीखना है जो बिना किसी हस्तनिर्मित रिवॉर्ड फंक्शन के किसी भी लक्ष्य तक पहुँच सकें, जहाँ कार्यों को एक अवस्था $s$ से अवस्था $g$ तक पहुँचने के रूप में फ्रेम किया जाता है। GCRL में एक मौलिक ज्यामितीय अंतर्दृष्टि यह है कि इष्टतम वैल्यू फंक्शन $V^*(s, g)$ एक सुलभ लघुतम पथ लंबाई (shortest feasible path length) के अनुरूप होता है, जो स्वाभाविक रूप से एक क्वासिमेट्रिक (एक दूरी फलन जो त्रिकोण असमानता (triangle inequality) का पालन करता है लेकिन आवश्यक रूप से सममित (symmetric) नहीं होता) बनाता है।

मौजूदा विधियाँ, जैसे कि क्वासिमेट्रिक RL (QRL), डिस्क्रीट ट्राजेक्टरी-आधारित बाधाओं (जैसे, $d(s, s') \leq \text{cost}$ ) का उपयोग करके वैल्यू लर्निंग को क्वासिमेट्रिक मैपिंग के रूप में प्रतिबंधित करके इस संरचना को लागू करती हैं। हालाँकि, इन दृष्टिकोणों के सामने कई सीमाएँ हैं:

ट्राजेक्टरी निर्भरता (Trajectory Dependence): वे ट्रांजिशन टुपल्स $(s, a, s')$ पर निर्भर करते हैं, जिसके लिए रोलआउट या विशिष्ट ट्राजेक्टरी डेटा की आवश्यकता होती है।
डिस्क्रीट बाधाएं (Discrete Constraints): वे केवल देखे गए ट्रांजिชัน के साथ स्थानीय निरंतरता (local consistency) लागू करते हैं, जिससे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण सीमित हो जाता है।
जटिल गतिकी (Complex Dynamics): उच्च-आयामी या गैर-स्मूथ वातावरण (जैसे, कॉन्टैक्ट्स के साथ रोबोटिक्स) में, क्वासिमेट्रिक लर्निंग के लिए आवश्यक धारणाएँ अक्सर टूट जाती हैं, जिससे प्रदर्शन खराब हो जाता है।
सिग्नल-टू-नॉइज़ रेशियो (Signal-to-Noise Ratio): लंबे समय तक चलने वाले (long-horizon) कार्यों में, वैल्यू अनुमान उच्च विचरण (variance) से ग्रस्त होते हैं, जिससे लर्निंग अस्थिर हो जाती है।

यह शोध पत्र PDEs पर आधारित एक निरंतर-समय पुनर्गठन (continuous-time reformulation) और जटिल गतिकी को संभालने के लिए एक पदानुक्रमित संरचना (hierarchical architecture) प्रस्तावित करके इन समस्याओं का समाधान करता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान के दो मुख्य घटक हैं: Eik-QRL (निरंतर-समय आधार) और Eik-HiQRL (पदानुक्रमित विस्तार)।

A. ईकोनल-कंस्ट्रेंड QRL (Eik-QRL)

लेखक Eik-QRL के डिस्क्रीट लोकल कंस्ट्रेंट्स को ईकोनल पार्शियल डिफरेंशियल इक्वेशन (Eikonal PDE) का उपयोग करके निरंतर-समय सेटिंग में पुनर्गठित करते हैं।

HJB से Eikonal तक: मानक हैमिल्टन-जैकबी-बेलमैन (HJB) समीकरण निरंतर समय में इष्टतम नियंत्रण का वर्णन करता है। हालाँकि, उच्च आयामों में HJB को हल करना कठिन है। लेखक गतिकी को यूनिट-स्पीड, आइसोट्रोपिक गतिकी ( $\dot{s} = a$ जहाँ $\|a\| \leq 1$ ) में सरल बनाते हैं। इस धारणा के तहत, HJB समीकरण ईकोनल समीकरण में बदल जाता है:
$\|\nabla_s d(s, g)\| = 1$
इसका तात्पर्य है कि वैल्यू फंक्शन (दूरी) का ग्रेडिएंट हर जगह यूनिट नॉर्म (unit norm) होना चाहिए, जो लक्ष्य की ओर यात्रा की निरंतर गति का प्रतिनिधित्व करता है।
ट्राजेक्टरी-फ्री लर्निंग (Trajectory-Free Learning): QRL के विपरीत, जिसे ट्रांजिशन पेयर्स $(s, s')$ की आवश्यकता होती है, Eik-QRL ट्राजेक्टरी-फ्री है। इसके लिए केवल अवस्थाओं $s$ और लक्ष्यों $g$ के स्वतंत्र और समान रूप से वितरित (i.i.d.) नमूनों की आवश्यकता होती है।
ऑप्टिमाइज़ेशन ऑब्जेक्टिव: एल्गोरिदम वैश्विक संबंधों को अधिकतम करता है (दूर स्थित अवस्थाओं के बीच बड़ी दूरियों को प्रोत्साहित करता है) जबकि ईकोनल बाधा को एक सॉफ्ट पेनल्टी के रूप में लागू करता है:
$\max_{\theta} \mathbb{E}_{s,g}[\zeta(d_\theta(s, g))] \quad \text{subject to} \quad \mathbb{E}_{s,g}[(\|\nabla_s d_\theta(s, g)\| - 1)^2] \leq \epsilon^2$
इसे फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) का उपयोग करके लागू किया जाता है, जहाँ ऑटोमैटिक डिफरेंशिएशन ग्रेडिएंट नॉर्म लॉस की गणना करता है।
लाभ:
- इम्प्लिसिट रेगुलराइजेशन (Implicit Regularization): PDE बाधा एक ग्लोबल रेगुलराइज़र के रूप में कार्य करती है, जिससे OOD सामान्यीकरण और स्थिरता में सुधार होता है।
- स्टेट-स्पेस कवरेज: प्रत्येक लिया गया $(s, g)$ जोड़ा एक पूर्ण ग्रेडिएंट वेक्टर प्रदान करता है, जो सभी कोऑर्डिनेट दिशाओं को जोड़ता है, जबकि QRL केवल देखे गए ट्रांजिशन को ही बाधित करता है।

B. ईकोनल-कंस्ट्रेंड हाइरार्किकल QRL (Eik-HiQRL)

जबकि Eik-QRL संरचनात्मक लाभ प्रदान करता है, आइसोट्रोपिक गतिकी की धारणा जटिल वातावरण (जैसे, कॉन्टैक्ट्स के साथ रोबोटिक मैनिपुलेशन) में टूट जाती है। इसे संबोधित करने के लिए, लेखक एक पदानुक्रमित अपघटन (hierarchical decomposition) पेश करते हैं:

उच्च-स्तरीय (एब्स्ट्रैक्ट स्पेस): एक कम-आयामी एब्स्ट्रैक्ट स्पेस $\bar{S}$ (जैसे, एजेंट कोऑर्डिनेट्स या सीखा हुआ लेटेंट स्पेस) में एक क्वासिमेट्रिक वैल्यू फंक्शन $d_h$ सीखा जाता है। इस कम आयाम वाले स्थान में, आइसोट्रोपिक गतिकी की धारणा अधिक तर्कसंगत है, जिससे ईकोनल बाधा वैल्यू फंक्शन को प्रभावी ढंग से रेगुलराइज़ कर पाती है। हाई-लेवल पॉलिसी सब-गोल्स (subgoals) आउटपुट करती है।
निम्न-स्तरीय (ओरिजिनल स्पेस): एक मानक टेम्पोरल-डिफरेंस (TD) आधारित कंट्रोलर हाई-लेवल पॉलिसी द्वारा उत्पन्न सब-गोल्स तक पहुँचने के लिए सीखता है। यह घटक मूल वातावरण की जटिल, गैर-स्मूथ गतिकी को संभालता है।
सिनर्जी (Synergy): पदानुक्रम लंबे समय तक चलने वाले कार्यों में सिग्नल-टू-नॉइज़ रेशियो की समस्या को कम करता है और PDE-आधारित रेगुलराइजेशन को वहां लागू करने की अनुमति देता है जहां यह सबसे अधिक मान्य है (एब्स्ट्रैक्ट स्पेस में), जबकि लो-लेवल कंट्रोलर "मेसी" वास्तविक दुनिया की गतिकी को संभालता है।

3. प्रमुख योगदान (Key Contributions)

Eik-QRL फॉर्मूलेशन: Eikonal PDE से व्युत्पन्न निरंतर-समय, ट्राजेक्टरी-फ्री क्वासिमेट्रिक RL का एक नया फॉर्मूलेशन। यह लिप्सचिट्ज़ स्थितियों के तहत वैल्यू रिकवरी के लिए सैद्धांतिक गारंटी प्रदान करता है और PDE-आधारित रेगुलराइजेशन के माध्यम से सामान्यीकरण में सुधार करता है।
Eik-HiQRL एल्गोरिदम: एक पदानुक्रमित ढांचा जो Eik-QRL को एक एब्स्ट्रैक्ट स्पेस में संचालित होने वाले हाई-लेवल प्लानर में एकीकृत करता है। यह डिज़ाइन जटिल गतिकी में आइसोट्रोपिक धारणाओं के उल्लंघन को दूर करता है और PDE बाधाओं के लाभों को सुरक्षित रखता है।
सैद्धांतिक विश्लेषण: शोध पत्र प्रमाण प्रदान करता है कि विशिष्ट रेगुलैरिटी स्थितियों (1-लिप्सचिट्ज़ इष्टतम वैल्यू) के तहत, Eik-QRL के साथ प्रशिक्षित एक यूनिवर्सल क्वासिमेट्रिक एप्रोक्सिमेटर उच्च प्रायिकता के साथ इष्टतम वैल्यू फंक्शन को रिकवर कर सकता है। यह पॉलिसी एरर बाउंड्स को कम करने में पदानुक्रम और क्वासिमेट्रिक प्रोजेक्शन के संयुक्त लाभों का भी विश्लेषण करता है।
व्यापक मूल्यांकन: नेविगेशन और मैनिपुलेशन (PointMaze, AntMaze, HumanoidMaze, AntSoccer, Cube, Scene) के लिए OGbench सूट पर व्यापक प्रयोग जो स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने नेविगेशन (PointMaze, AntMaze, HumanoidMaze) और मैनिपुलेशन (AntSoccer, Cube, Scene) को कवर करते हुए OGbench बेंचमार्क पर अपने तरीकों का मूल्यांकन किया।

नेविगेशन (आइसोट्रोपिक गतिकी):
- PointMaze (आदर्श, आइसोट्रोपिक) में, Eik-QRL और Eik-HiQRL ने मानक QRL की तुलना में तुलनीय या बेहतर प्रदर्शन किया, जिसमें कोलिजन रेट काफी कम था।
- AntMaze (जटिल, गैर-लिप्सचिट्ज़ गतिकी) में, शुद्ध Eik-QRL का प्रदर्शन PointMaze की तुलना में कम हुआ लेकिन प्रतिस्पर्धी बना रहा। हालांकि, Eik-HiQRL ने SOTA प्रदर्शन प्राप्त किया, जो QRL, HJB-QRL और अन्य बेसलाइन्स (HIQL, CRL) से काफी बेहतर रहा, विशेष रूप से "Giant" और "Stitch" (लंबे समय तक चलने वाले) वेरिएंट में।
- कोलिजन अवॉयडेंस (Collision Avoidance): Eik-HiQRL ने लगातार कम कोलिजन रेट दिखाया, जो बेहतर ज्यामितीय बाधाओं के पालन का संकेत देता है।
मैनिप्युलेशन और गैर-रेगुलर वातावरण:
- बाहरी वस्तुओं और कॉन्टैक्ट डिस्कंटीन्यूटी (AntSoccer, Cube, Scene) वाले कार्यों में, Eik-QRL की सैद्धांतिक धारणाएं टूट जाती हैं।
- Eik-HiQRL ने इन सेटिंग्स में मजबूत बेसलाइन्स (जैसे HIQL और CRL) के प्रदर्शन का मुकाबला किया, जो यह सिद्ध करता है कि पदानुक्रमित संरचना रेगुलरिटी धारणाओं के उल्लंघन को सफलतापूर्वक कम करती है।
- शोध पत्र नोट करता है कि यहाँ लाभ नेविगेशन की तुलना में कम थे, फिर भी विधि मजबूत रही, जबकि बिना पदानुक्रम के शुद्ध PDE-कंस्ट्रेंड विधियाँ संघर्ष करती रहीं।
ट्राजेक्टरी-फ्री और ऑनलाइन सेटिंग्स:
- एक पूर्ण ट्राजेक्टरी-फ्री सेटिंग (ट्रांजिशन के बिना रैंडम स्टेट/गोल सैंपलिंग) में प्रयोगों ने दिखाया कि Eik-QRL प्रभावी कंट्रोलर सीख सकता है, जो इसके ट्राजेक्टरी-फ्री दावे की पुष्टि करता है।
- ऑनलाइन RL सेटिंग्स में, Eik-HiQRL ने फ्लैट बेसलाइन्स से बेहतर प्रदर्शन किया, जो ऑफलाइन लर्निंग से परे इसकी प्रयोज्यता की पुष्टि करता है।

5. महत्व और प्रभाव (Significance and Impact)

मॉडल-फ्री और मॉडल-बेस्ड के बीच सेतु: यह कार्य एक "हाइब्रिड" शासन पेश करता है जहाँ सरलीकृत डायनेमिकल मॉडल (PDEs के माध्यम से) मॉडल-फ्री वैल्यू लर्निंग पर स्पष्ट बाधाएं लगाते हैं, जो पूर्ण सीखे हुए वर्ल्ड मॉडल की आवश्यकता के बिना दोनों प्रतिमानों के बीच एक सेतु प्रदान करता है।
सामान्यीकरण (Generalization): ट्राजेक्टरी-फ्री, PDE-आधारित दृष्टिकोण आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण में महत्वपूर्ण सुधार करता है, जो ऑफलाइन RL में एक बड़ी बाधा है।
स्केलेबिलिटी (Scalability): समस्या को पदानुक्रमित रूप से विघटित करके, यह विधि लंबे समय तक चलने वाले कार्यों और उच्च-आयामी स्टेट स्पेस तक स्केल करती है जहाँ प्रत्यक्ष क्वासिमेट्रिक लर्निंग विफल हो जाती है।
सैद्धांतिक आधार: यह क्वासिमेट्रिक लर्निंग और निरंतर-समय इष्टतम नियंत्रण (Eikonal equations) के बीच एक कठोर संबंध स्थापित करता है, जो GCRL एल्गोरिदम के लिए नए सैद्धांतिक आश्वासन प्रदान करता है।

संक्षेप में, Eik-HiQRL निरंतर-समय PDE बाधाओं और पदानुक्रमित एब्स्ट्रैक्शन के माध्यम से वैल्यू फंक्शन के ज्यामितीय गुणों का लाभ उठाकर, विविध और चुनौतीपूर्ण वातावरणों में मजबूत प्रदर्शन प्राप्त करके, गोल-कंडीशन्ड RL में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।