🤖 machine learning

Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

यह शोध पत्र CFHRL प्रस्तुत करता है, जो एक पूर्णतः ऑफलाइन लक्ष्य-सशर्त सुदृढीकरण शिक्षण (goal-conditioned reinforcement learning) ढांचा है जो एक मोटे-से-सूक्ष्म (coarse-to-fine) पदानुक्रमित प्रक्रिया के माध्यम से दूरस्थ लक्ष्यों को स्थानीय रूप से निष्पादनीय उप-लक्ष्यों में अनुकूल रूप से परिष्कृत करता है, जिससे बूटस्ट्रैपिंग त्रुटियों को प्रभावी ढंग से कम किया जाता है और लंबी अवधि के कार्यों पर प्रदर्शन में सुधार होता है।

मूल लेखक: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning" (CFHRL) की एक व्याख्या सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके दी गई है।

बड़ी समस्या: "बहुत दूर तक न देख पाना" वाली दुविधा

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) के पार एक विशिष्ट स्थान तक पहुँचने के लिए चलना सिखाने की कोशिश कर रहे हैं। आपके पास अन्य रोबोटों के घूमने के वीडियो का एक पुस्तकालय है, लेकिन आप नए रोबोट को वास्तविक जीवन में अभ्यास करने की अनुमति नहीं दे सकते (क्योंकि वह चीज़ें तोड़ सकता है या फंस सकता है)। यह Offline Goal-Conditioned Reinforcement Learning है।

समस्या यह है कि यदि लक्ष्य बहुत दूर है, तो रोबोट भ्रमित हो जाता है। यह ऐसा है जैसे आप अपने पिछवाड़े के तापमान के आधार पर 1,000 मील दूर स्थित किसी शहर के मौसम का अनुमान लगाने की कोशिश कर रहे हों। लक्ष्य जितना दूर होगा, रोबोट का "अनुमान" (गणितीय अनुमान) उतना ही शोर भरा और अविश्वसनीय होता जाएगा। उसे लग सकता है कि एक रास्ता सुरक्षित है जबकि वास्तव में वह एक डेड एंड (बंद रास्ता) है, केवल इसलिए क्योंकि लंबी दूरी के कारण उसके गणित की त्रुटियाँ (errors) जमा हो गई हैं।

पुराना समाधान: "कठोर सीढ़ी" (The Rigid Ladder)

पहले, शोधकर्ताओं ने Hierarchical Learning का उपयोग करके इसे ठीक करने की कोशिश की। इसे एक रोबोट को निश्चित पायदानों (rungs) वाली एक सीढ़ी देने के रूप में समझें।

दोष: सीढ़ी के पायदान ठीक 1 मीटर की दूरी पर रखे गए हैं।
समस्या: यदि लक्ष्य 10 मीटर दूर है, तो सीढ़ी ठीक काम करती है। लेकिन यदि लक्ष्य 100 मीटर दूर है, तो रोबोट को अभी भी 100 पायदान चढ़ने होंगे, और त्रुटियाँ (errors) फिर भी जमा होती रहेंगी। इससे भी बुरा यह है कि यदि लक्ष्य केवल 0.5 मीटर दूर है, तो रोबोट एक ऐसे पायदान को चढ़ने की कोशिश करता है जो मौजूद ही नहीं है, या वह एक ऐसा पायदान चुन लेता है जो एक कदम में पहुँचने के लिए बहुत दूर है। यह "सीढ़ी" बहुत कठोर है; यह हर स्थिति में फिट नहीं बैठती।

नया समाधान: CFHлоRL (एक "स्मार्ट जीपीएस")

लेखकों ने CFHRL नामक एक नई विधि प्रस्तावित की है। एक कठोर सीढ़ी के बजाय, कल्पना करें कि रोबोट के पास एक स्मार्ट जीपीएस (Smart GPS) है जो "Coarse-to-Fine" (मोटे से सूक्ष्म) तरीके से काम करता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "ज़ूम आउट" चरण (Coarse - मोटा/सामान्य)

जब रोबोट एक बहुत दूर का लक्ष्य देखता है, तो वह तुरंत हर एक कदम की योजना बनाने की कोशिश नहीं करता। इसके बजाय, वह पूछता है: "मैं करीब पहुँचने के लिए किस बड़े, सामान्य दिशा की ओर बढ़ सकता हूँ?"

उदाहरण: कल्पना कीजिए कि आप न्यूयॉर्क में हैं और लंदन के एक विशिष्ट कॉफी शॉप तक पहुँचना चाहते हैं। आप अपने घर के दरवाजे से बाहर निकलने के सटीक कदम की योजना नहीं बनाते। पहले आप योजना बनाते हैं कि "लंदन के लिए विमान पर चढ़ना है।" यह एक coarse (मोटा/सामान्य) लक्ष्य है। इसे एकदम परफेक्ट होने की ज़रूरत नहीं है; इसे बस एक बड़ा कदम होना चाहिए जो आपको न्यूयॉर्क से बाहर निकाल दे।

2. "ज़ूम इन" चरण (Fine - सूक्ष्म/बारीक)

एक बार जब रोबोट उस "लंदन" वाले लक्ष्य के करीब पहुँच जाता है, तो वह फिर से पूछता है: "ठीक है, अब जब मैं लंदन में हूँ, तो अगला बड़ा दिशा क्या है?" शायद "रेलवे स्टेशन तक पैदल चलना।"

जादू: रोबोट यही प्रक्रिया दोहराता रहता है। वह विशाल यात्रा को छोटे और छोटे हिस्सों में तोड़ता है।
- चरण 1: लंदन जाएँ (Coarse)।
- चरण 2: स्टेशन जाएँ (Medium)।
- चरण 3: सड़क तक जाएँ (Fine)।
- चरण 4: दरवाजे तक चलें (Very Fine)।

3. "स्टॉप साइन" (Adaptive Stopping - अनुकूलनशील रुकना)

यह सबसे महत्वपूर्ण हिस्सा है। रोबोट के पास एक विशेष "पहुँचने की क्षमता सेंसर" (Reachability Sensor) है।

नियम: रोबमोट लक्ष्य को तब तक तोड़ता रहता है जब तक कि अगला कदम सीधे तौर पर करना बहुत कठिन लग रहा हो।
उदाहरण: कल्पना कीजिए कि आप गाड़ी चला रहे हैं। आपको अगले 100 मील के लिए सटीक मोड़ की योजना बनाने की आवश्यकता नहीं है। आपको बस यह जानने की आवश्यकता है कि आप किसी सड़क के कितने करीब हैं जहाँ आप वास्तव में मुड़ सकें।
- यदि रोबोट किसी लक्ष्य को देखता है और कहता है, "मैं अपने वर्तमान कौशल के साथ उस स्थान तक आसानी से पहुँच सकता हूँ," तो वह उसे और अधिक तोड़ने के बजाय रुक जाता है। वह बस वहाँ तक चला जाता है।
- यदि वह कहता, "वह स्थान बहुत दूर है; मैं दुर्घटनाग्रस्त हो सकता हूँ," तो वह लक्ष्य को एक छोटे, सुरक्षित उप-लक्ष्य (sub-goal) में तोड़ देता है।

यह बेहतर क्यों है?

कोई अनुमान लगाने का खेल नहीं: लंबी यात्रा को छोटे, प्रबंधनीय हिस्सों में तोड़कर, रोबोट को 1,000 मील दूर के मौसम का अनुमान लगाने की आवश्यकता नहीं होती है। उसे केवल अगले कुछ ब्लॉकों के मौसम का अनुमान लगाना होता है, जो बहुत अधिक सटीक है।
यह अनुकूलित होता है: यदि लक्ष्य पास है, तो रोबोट एक बड़ा कदम उठाता है। यदि लक्ष्य दूर है, तो वह कई छोटे कदम उठाता है। यह "एक ही आकार सबके लिए" (one-size-fits-all) वाली सीढ़ी नहीं थोपता।
यह पुराने डेटा का उपयोग करता है: रोबोट यह सब केवल वीडियो लाइब्रेरी (offline data) देखकर सीखता है। उसे लक्ष्यों को तोड़ने के तरीके सीखने के लिए वास्तविक दुनिया में बार-बार असफल होने की आवश्यकता नहीं है।

परिणाम

शोधकर्ताओं ने रोबोट द्वारा भूलभुलैया में नेविगेट करने और वस्तुओं को हिलाने के कंप्यूटर सिमुलेशन पर इसका परीक्षण किया।

विजेता: CFHRL, पुराने तरीकों की तुलना में "लंबे, कठिन भूलभुलैया" को हल करने में बहुत बेहतर था।
प्रमाण: जब उन्होंने "स्मार्ट जीपीएस" सुविधाओं (जैसे adaptive stopping) को हटा दिया, तो रोबोट फिर से भटक गया। इससे यह साबित हुआ कि लक्ष्य के पर्याप्त करीब होने पर उसे और बारीक न तोड़ने की क्षमता ही सफलता की कुंजी है।

सारांश

CFHRL को रोबोट के लिए एक स्मार्ट टूर गाइड के रूप में समझें। रोबोट को निश्चित चेकपॉइंट्स वाली एक कठोर मानचित्र देने के बजाय, गाइड गंतव्य को देखता है। यदि वह दूर है, तो गाइड कहता है, "चलिए अगले शहर तक चलते हैं।" यदि वह पास है, तो गाइड कहता है, "ठीक है, बस दरवाजे तक सीधे चलो।" यह रोबोट को दूरी से अभिभूत होने से बचाता है और सफल होने की संभावना को बहुत बढ़ा देता है।

तकनीकी सारांश: लॉन्ग-होराइजन ऑफलाइन गोल-कंडीशन्ड रीइन्फोर्समेंट लर्निंग के लिए एडेप्टिव कोर्स-टू-फाइन सबगोल रिफाइनमेंट

1. समस्या विवरण (Problem Statement)

ऑफलाइन गोल-कंडीशन्ड रीइन्फोर्समेंट लर्निंग (GCRL) का लक्ष्य ट्रैजेक्टरीज के एक निश्चित डेटासेट से विविध लक्ष्यों तक पहुँचने वाली पॉलिसियों को सीखना है, बिना किसी अतिरिक्त वातावरण संपर्क (environment interaction) के। जबकि यह शॉर्ट-होराइजन कार्यों के लिए प्रभावी है, यह सेटिंग लॉन्ग-होराइजन कार्यों में महत्वपूर्ण चुनौतियों का सामना करती है।

प्राथमिक कठिनाई लॉन्ग-होराइजन वैल्यू एस्टीमेशन से उत्पन्न होती है। स्पार्स गोल-रीचिंग रिवार्ड्स के तहत, दूर स्थित स्टेट-गोल पेयर्स कमजोर प्रत्यक्ष पर्यवेक्षण (direct supervision) प्रदान करते हैं। फलस्वरूप, वैल्यू फंक्शन को कई बूटस्ट्रैप्ड अपडेट्स के माध्यम से गोल की जानकारी को प्रसारित करना पड़ता है। जैसे-जैसे टेम्पोरल दूरी बढ़ती है, बैकअप चेन के साथ अनुमान त्रुटियां (approximation errors) जमा होने लगती हैं, जिससे दूर के लक्ष्यों के गलत मूल्यांकन की ओर ले जाती हैं। इन शोर वाले वैल्यू एस्टीमेट्स पर सीधे एक फ्लैट गोल-कंडीशन्ड पॉलिसी को प्रशिक्षित करना अविश्वसनीय लॉन्ग-होराइजन निर्णय लेने का परिणाम देता है।

मौजूदा पदानुक्रमित (hierarchical) विधियाँ मध्यवर्ती सबगोल्स (intermediate subgoals) पेश करके इसे कम करने का प्रयास करती हैं, जिससे लॉन्ग-होराइजन रीचिंग को छोटे-रेंज के निर्णयों के क्रम में बदल दिया जाता है। हालाँकि, ये विधियाँ अक्सर निश्चित टेम्पोरल एब्स्ट्रैक्शंस (जैसे, निश्चित सबगोल होराइजन्स) या निश्चित पदानुक्रम गहराई (fixed hierarchy depths) पर निर्भर करती हैं। ऐसे निश्चित स्केल अक्सर विभिन्न रीचेबिलिटी होराइजन्स वाले स्टेट-गोल पेयर्स के साथ मेल नहीं खाते:

अत्यधिक स्थानीय सबगोल्स (Overly local subgoals) केवल मामूली प्रगति कर सकते हैं, जहाँ छोटे वैल्यू अंतर लॉन्ग-होराइजन एस्टीमेशन एरर्स द्वारा हावी हो जाते हैं, जिससे भ्रामक विकल्प पैदा होते हैं।
अत्यधिक दूर के सबगोल्स (Overly distant subgoals) लो-लेवल पॉलिसी की विश्वसनीय निष्पादन सीमा (reliable execution range) से बाहर हो सकते हैं।

मूल प्रश्न यह है कि क्या एक ऑफलाइन पदानुक्रमित एजेंट किसी विशिष्ट स्टेट-गोल पेयर के लिए एक निर्धारित डिकंपोजिशन स्केल पर निर्भर रहने के बजाय, अनुकूलित (adaptively) रूप से एक उपयुक्त मध्यवर्ती लक्ष्य की पहचान कर सकता है।

2. कार्यप्रणाली: CFHRL (Methodology: CFHRL)

लेखक कोर्स-टू-फाइन हिरार्किकल गोल रीइन्फोर्समेंट लर्निंग (CFHRL) का प्रस्ताव करते हैं, जो एक पूर्णतः ऑफलाइन GCRL फ्रेमवर्क है जो निष्पादन से पहले दूर के लक्ष्यों को अनुकूलित रूप से रिफाइन करता है। यह फ्रेमवर्क इस सिद्धांत पर कार्य करता है कि एक सबगोल को सटीक मिडपॉइंट या वैश्विक रूप से इष्टतम होने की आवश्यकता नहीं है; इसे केवल विश्वसनीय प्रगति प्रदान करने और शेष रीचिंग कठिनाई को कम करने की आवश्यकता है।

2.1 मुख्य घटक (Core Components)

CFHRL तीन सीखी गई पॉलिसियों का उपयोग करता है जो एक साझा रीचेबिलिटी कॉस्ट $D_\phi(s, g)$ द्वारा समन्वित होती हैं, जो एक गोल-कंडीशन्ड वैल्यू फंक्शन से प्राप्त होती है:

रिफाइनमेंट प्लानर ( $\pi_p$ ): वर्तमान स्टेट $s$ और वर्तमान प्लानिंग टारगेट $g$ पर आधारित मध्यवर्ती लक्ष्य $u$ का प्रस्ताव देता है।
एब्स्ट्रैक्शन पॉलिसी ( $\pi_z$ ): रिफाइंड टारगेट $\bar{g}$ को एक लोकल कमांड $z$ में मैप करती है।
लो-लेवल पॉलिसी ( $\pi_a$ ): कमांड $z$ को प्रिमिटिव एक्शन्स $a$ में मैप करती है।

2.2 एडेप्टिव कोर्स-टू-फाइन रिफाइनमेंट (Adaptive Coarse-to-Fine Refinement)

एक निश्चित पदानुक्रम के बजाय, CFHRL एक एडेप्टिव स्टॉपिंग रूल के साथ एक रिकर्सिव रिफाइनमेंट प्रक्रिया का उपयोग करता है:

इनिशियलाइजेशन: अंतिम गोल $g^{(0)} = g$ के साथ शुरू करें।
एक्सेक्यूटेबिलिटी चेक: रिफाइनमेंट लेवल $\ell$ पर, एक सीखी गई रीचेबिलिटी कॉस्ट का उपयोग करके जांचें कि क्या वर्तमान टारगेट $g^{(\ell)}$ , स्टेट $s$ से स्थानीय रूप से निष्पादनीय (locally executable) है:
$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$
जहाँ $\epsilon_{exec}$ एक थ्रेशोल्ड है।
रिफाइनमेंट लूप: यदि शर्त पूरी होती है, तो रिफाइनमेंट रुक जाता है, और $g^{(\ell)}$ को निष्पादन मॉड्यूल को पास कर दिया जाता है। अन्यथा, प्लानर एक नया मध्यवर्ती लक्ष्य $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$ प्रस्तावित करता है, जो अगला लक्ष्य $g^{(\ell+1)}$ बन जाता है।
टर्मिनेशन: यह प्रक्रिया तब तक दोहराई जाती है जब तक कि लक्ष्य स्थानीय रूप से सुलभ न हो जाए या अधिकतम गहराई $K_{max}$ तक न पहुँच जाए।

यह तंत्र सुनिश्चित करता है कि प्रभावी डिकंपोजिशन डेप्थ प्रत्येक स्टेट-गोल पेयर की अनुमानित रीचेबिलिटी द्वारा निर्धारित होती है, न कि एक निश्चित टेम्पोरल स्केल द्वारा।

2.3 रिफाइनमेंट प्लानर की ऑफलाइन लर्निंग (Offline Learning of the Refinement Planner)

प्लानर को बिना किसी ऑनलाइन इंटरैक्शन या मैन्युअल लेबल किए गए सबगोल्स के, पूरी तरह से ऑफलाइन डेटा से प्रशिक्षित किया जाता है:

कैंडिडेट कंस्ट्रक्शन: स्टेट $s_t$ और गोल $g$ के लिए, ऑफलाइन डेटासेट से उम्मीदवारों का एक सेट $\mathcal{C}_D$ सैंपल किया जाता है (यदि $g$ उसी ट्राजेक्ट्री में है तो भविष्य के स्टेट्स, अन्यथा रीप्ले डिस्ट्रीब्यूशन से)।
स्कोरिंग: उम्मीदवारों को बॉटलनेक रीचेबिलिटी कॉस्ट द्वारा स्कोर किया जाता है:
$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$
यह मेट्रिक उन उम्मीदवारों को प्राथमिकता देता है जो अधिकतम रेसिडुअल होराइजन्स को संकुचित (contract) करते हैं।
ट्रेनिंग ऑब्जेक्टिव: प्लानर को वैल्यू-गाइडेड वेटेड इमिटेशन के माध्यम से प्रशिक्षित किया जाता है। उम्मीदवारों को उनके नेगेटिव स्कोर के सॉफ्टमैक्स द्वारा वेट किया जाता है, जो प्लानर को उन रीप्ले-सपोर्टेड सबगोल्स की नकल करने के लिए प्रोत्साहित करता है जो समस्या को आसान रेसिडुअल रीचिंग समस्याओं में विभाजित करते हैं।

2.4 निष्पादन पॉलिसियाँ (Execution Policies)

एब्स्ट्रैक्शन और लो-लेवल पॉलिसियों को शॉर्ट-होराइजन सेगमेंट पर प्रोग्रेस-वेटेड बिहेवियर क्लोनिंग का उपयोग करके प्रशिक्षित किया जाता है। वे ट्रांज़िशन जो स्थानीय लक्ष्य की ओर सीखी गई वैल्यू को बढ़ाते हैं, उन्हें उच्च इमिटेशन वेट दिए जाते हैं, जो पॉलिसियों को स्थानीय रूप से प्रगतिशील व्यवहार की ओर बायस करते हैं।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर एक स्टाइललाइज्ड विश्लेषण प्रदान करता है कि क्यों एडेप्टिव रिफाइनमेंट, शोर वाले एस्टीमेट्स के तहत फिक्स्ड लोकल-स्केल सिलेक्शन की तुलना में अधिक मजबूत है:

फिक्स्ड स्केल फेल्योर (Fixed Scale Failure): एक फिक्स्ड लोकल-स्केल पदानुक्रम में, जैसे-जैसे कुल होराइजों $T$ बढ़ता है, सही और गलत लोकल मूव्स के बीच अंतर करने के लिए सिग्नल-टू-नॉइज़ रेशियो लुप्त हो जाता है। $T \to \infty$ होने पर गलत कैंडिडेट चुनने की संभावना 0.5 के करीब पहुँच जाती है।
एप्रोक्सिमेट कॉन्ट्रैक्शन सफिशिएंसी (Approximate Contraction Sufficiency): विश्लेषण दिखाता है कि सटीक मिडपॉइंट प्रेडिक्शन आवश्यक नहीं है। यह पर्याप्त है कि सीखी गई कॉस्ट, उन कैंडिडेट्स के बीच एक मोटा मार्जिन बनाए रखे जो होराइजों को संकुचित करते हैं (शेष दूरी को एक स्थिर कारक $\rho < 1$ से कम करते हैं) और जो ऐसा नहीं करते हैं।
एरर बाउंड्स (Error Bounds): समग्र विफलता की संभावना रिफाइनमेंट विफलताओं (एक कॉन्ट्रैक्टिंग सबगोल चुनने में विफल होना) और अंतिम स्थानीय निष्पादन त्रुटियों के योग द्वारा सीमित है। यह वैल्यू-थ्रेशोल्ड स्टॉपिंग रूल को प्रेरित करता है: जब तक लक्ष्य बहुत दूर है तब तक रिफाइन करें, और एक बार जब लक्ष्य को स्थानीय रूप से निष्पादनीय अनुमानित किया जाता है तो रुक जाएँ।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक CFHRL का मूल्यांकन OGBench पर करते हैं, जो ऑफलाइन गोल-कंडीशन्ड कंट्रोल के लिए एक बेंचमार्क है, जिसमें लोकोमोशन (PointMaze, AntMaze, HumanoidMaze, AntSoccer) और मैनिपुलेशन (Cube, Scene) कार्य शामिल हैं।

प्रदर्शन (Performance): CFHRL HIQL (23.2), GCIVL (16.5), और फ्लैट मेथड्स जैसे बेसलाइन्स की तुलना में उच्चतम एग्रीगेट स्कोर (37.5) प्राप्त करता है।
लॉन्ग-होराइजन गेन्स (Long-Horizon Gains): सबसे महत्वपूर्ण सुधार लॉन्ग-होराइजन मेज़-स्टाइल कार्यों (जैसे, PointMaze-Giant-Stitch) में देखे गए हैं, जहाँ CFHRL सफलता दर को 0% (फ्लैट/फिक्स्ड-पदानुक्रम बेसलाइन्स के लिए) से बढ़ाकर 57% कर देता है।
एब्लेशन स्टडीज (Ablation Studies):
- एडेप्टिव स्टॉपिंग (Adaptive Stopping): एडेप्टिव स्टॉपिंग रूल को हटाने और निश्चित रिफाइनमेंट डेप्थ ( $K=2, 3$ ) को लागू करने से प्रदर्शन गिर जाता है, जो पुष्टि करता है कि अत्यधिक रिफाइनमेंट प्लानर एरर्स को जमा करता है।
- प्लानर की आवश्यकता (Planner Necessity): सीखे गए प्लानर को रैंडम डेटासेट सबगोल्स से बदलने पर विफलता होती है, जो सिद्ध करता है कि सबगोल्स को सीखी गई रीचेबिलिटी कॉस्ट के आधार पर चुना जाना चाहिए।
- कैंडिडेट बजट (Candidate Budget): प्रशिक्षण उम्मीदवारों की संख्या ( $N_c$ ) बढ़ाने से एक बिंदु ( $N_c=16$ ) तक प्रदर्शन में सुधार होता है, जो सुपरविजन क्वालिटी और ट्रेनिंग थ्रूपुट के बीच संतुलन बनाता है।
सीमाएँ (Limitations): CFHRL फ्लैट वैल्यू-बेस्ड मेथड्स की तुलना में कॉन्टैक्ट-रिच मैनिपुलेशन कार्यों (Cube) पर अंडरपरफॉर्म करता है, जो सुझाव देता है कि वेपॉइंट-जैसे डिकंपोजिशन सटीक कॉन्टैक्ट डायनेमिक्स की आवश्यकता वाले कार्यों के लिए कम प्रभावी हैं।

5. महत्व और दावे (Significance and Claims)

पेपर तीन प्राथमिक योगदानों का दावा करता है:

फॉर्मूलेशन (Formulation): यह लॉन्ग-होराइजन ऑफलाइन GCRL को एडेप्टिव स्टॉपिंग-टाइम सबगोल रिफाइनमेंट के रूप में तैयार करता है, जहाँ डिकंपोजिशन डेप्थ एक निश्चित होराइजों के बजाय सीखी गई एक्सेक्यूटेबिलिटी द्वारा निर्धारित होती है।
एल्गोरिदम (Algorithm): यह एक रीप्ले-सपोर्टेड कॉन्ट्रैक्शन ऑब्जेक्टिव पेश करता है जो टेस्ट-टाइम ग्राफ सर्च या ऑनलाइन इंटरैक्शन की आवश्यकता के बिना एक एम्ोर्टाइज्ड रिफाइनमेंट प्लानर को प्रशिक्षित करता है।
वैलिडेशन (Validation): यह दोनों स्टाइललाइज्ड विश्लेषण और एम्पिरिकल एब्लेशन प्रदान करता है जो प्रदर्शित करते हैं कि एप्रोक्सिमेट कॉन्ट्रैक्शन और एडेप्टिव स्टॉपिंग लॉन्ग-होराइजन गोल रीचिंग को प्रभावी ढंग से बेहतर बनाते हैं।

लेखक एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि उनकी विधि सीखी गई रीचेबिलिटी कॉस्ट की गुणवत्ता पर निर्भर करती है और वर्तमान एब्स्ट्रैक्शन इंटरफेस (सिंपल लोकल गोल रिप्रेजेंटेशन) सटीक कॉन्टैक्ट सीक्वेंस की आवश्यकता वाले जटिल मैनिपुलेशन कार्यों के लिए अपर्याप्त हो सकता है। वे सुझाव देते हैं कि भविष्य के कार्य को एडेप्टिव प्लानिंग को समृद्ध ऑब्जेक्ट-सेंट्रिक एब्स्ट्रैक्शंस के साथ जोड़ने और फ्रेमवर्क को अन्य ऑफलाइन GCRL वैल्यू एस्टीमेटर्स तक विस्तारित करने पर ध्यान केंद्रित करना चाहिए।