🤖 machine learning

Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning

यह शोध पत्र शॉर्टकट ट्रजेक्टरी प्लानिंग (STP) का प्रस्ताव करता है, जो एक सिंगल-स्टेज ऑफलाइन रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो विविध बेंचमार्क पर मजबूत प्रदर्शन बनाए रखते हुए कम प्रशिक्षण और अनुमान लागत के साथ कुशल, एडजस्टेबल-स्टेप ट्रजेक्टरी जनरेशन को सक्षम करने के लिए कंडीशनल शॉर्टकट मॉडल्स का उपयोग करता है।

मूल लेखक: Guanquan Wang, Yoshimasa Tsuruoka

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guanquan Wang, Yoshimasa Tsuruoka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना, भूलभुलैया (maze) में रास्ता खोजना या पेन उठाना सिखाने की कोशिश कर रहे हैं, लेकिन आप रोबोट को वास्तविक दुनिया में अभ्यास करने की अनुमति नहीं दे सकते। आपके पास केवल किसी और के प्रयास करने (और कभी-कभी विफल होने) का एक विशाल वीडियो पुस्तकालय है। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) की दुनिया है। रोबोट को दीवारों से टकराने के बजाय, टेप्स को देखकर सीखना होगा।

कुछ समय के लिए, इसे करने का सबसे अच्छा तरीका "डिफ्यूजन प्लानर्स" (Diffusion Planners) था। इन्हें एक बहुत ही प्रतिभाशाली लेकिन धीमे कलाकार की तरह समझें। रोबोट के लिए एक आदर्श पथ (path) बनाने के लिए, कलाकार एक बिखरी हुई रेखाचित्र (messy scribble) से शुरू करता है और धीरे-धीरे, चरण-दर-चरण, शोर (noise) को मिटाकर चित्र को प्रकट करता है। इस शोर को मिटाने में बहुत समय लगता है (कई "सैंपलिंग स्टेप्स"), जो रोबमाट की प्रतिक्रिया को धीमा बना देता है।

फिर, एक नया विचार आया: कंसिस्टेंसी प्लानर्स (Consistency Planners)। ये एक ऐसे छात्र की तरह हैं जो एक मास्टर शिक्षक को चित्र बनाते हुए एक बार देखता है, और फिर केवल एक या दो बड़े स्ट्रोक में पूरा चित्र बनाने की कोशिश करता है। यह बहुत तेज़ है! लेकिन एक पेंच है: पहले आपको मास्टर शिक्षक को प्रशिक्षित करना होगा, और फिर छात्र को उनकी नकल करने के लिए प्रशिक्षित करना होगा। यह एक दो-चरणीय प्रक्रिया है जो सेटअप करने में महंगी है और यदि छात्र पूरी तरह से नकल नहीं करता है तो थोड़ी अस्थिर हो सकती है।

नया शॉर्टकट: STP

इस शोध पत्र के लेखक, गुआनक्वान वांग और योशिमासा सुरुओका, एक नई विधि प्रस्तावित करते हैं जिसे शॉर्टकट ट्रजेक्टरी प्लानिंग (ST de STP) कहा जाता है।

धीमे कलाकार या दो-चरणीय शिक्षक-छात्र प्रणाली के बजाय, वे एक "शॉर्टकट मॉडल" का उपयोग करने का सुझाव देते हैं। कल्पना कीजिए कि एक सुपरहीरो है जो एक बिखरी हुई रेखाचित्र को देख सकता है और एक ही छलांग में सीधे तैयार चित्र तक पहुँच सकता है। या बेहतर होगा, कल्पना कीजिए कि एक वीडियो गेम का पात्र जो गंतव्य तक पहुँचने के लिए एक बड़ी छलांग या कुछ छोटी छलांगों को चुन सकता है, और यह सब एक ही प्रकार की शक्तियों का उपयोग करके कर सकता है।

मुख्य निष्कर्ष:
शोध पत्र सुझाव देता है कि STP इन जटिल शिक्षक-छात्र प्रणालियों की तरह ही अच्छे से इन आदर्श रोबोट पथों को उत्पन्न कर सकता है, लेकिन बहुत सरल सेटअप के साथ। उन्होंने मॉडल को केवल एक चरण (one stage) में प्रशिक्षित किया (कोई शिक्षक आवश्यक नहीं)। जब उन्होंने मानक रोबोट चुनौतियों (जैसे D4RL बेंचमार्क, जिसमें चलना, भूलभुलैया में घूमना और वस्तुओं को हिलाना शामिल है) पर इसका परीक्षण किया, तो STP ने बहुत मजबूती से प्रदर्शन किया।

चलने के कार्यों में, इसने औसतन 73.9 का स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ शॉर्टकट विधि (CTP) को थोड़ा पीछे छोड़ते हुए 73.3 का स्कोर करती थी।
भूलभुलैया नेविगेशन में, इसने 183.8 का औसत स्कोर प्राप्त किया, जो लगभग अन्य सभी विधियों से बेहतर था।
जटिल हाथ-हेरफेर (hand-manipulation) कार्यों (जैसे पेन हिलाना) में, इसने 114.3 का औसत स्कोर प्राप्त किया, जो उनके द्वारा तुलना की गई विधियों में सबसे अधिक था।

वे किसके विरुद्ध तर्क देते हैं?

यह शोध पत्र स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि तेज़, उच्च-गुणवत्ता वाली योजना प्राप्त करने के लिए आपको दो-चरणीय शिक्षक-छात्र पाइपलाइन की आवश्यकता है। वे दिखाते हैं कि "डिस्टिलेशन" (शिक्षक को प्रशिक्षित करना, फिर छात्र को प्रशिक्षित करना) अनावश्यक लागत और अस्थिरता जोड़ता है। वे यह भी तर्क देते हैं कि जबकि पुराने डिफ्यूजन तरीके शक्तिशाली हैं, उनका धीमा, चरण-दर-चरण डीनोइजिंग (denoising) वास्तविक समय के नियंत्रण के लिए बहुत महंगा है। STP सुझाव देता है कि आप दो-चरणीय प्रशिक्षण की जटिलता के बिना शॉर्टकट की गति प्राप्त कर सकते हैं।

उन्होंने इसे कैसे काम करने के योग्य बनाया (सीक्रेट सॉस)

यह सुनिश्चित करने के लिए कि रोबोट केवल ऐसा पथ न चुने जो कागज पर अच्छा दिखता है लेकिन वास्तविक जीवन में दीवार से टकरा जाता है, लेखकों ने दो चतुर तरकीबें जोड़ीं:

"वार्म-स्टार्ट" (Warm-Start) रणनीति: हर बार जब रोबोट को एक नया कदम उठाने की आवश्यकता होती है, तो शून्य से शुरू करने (एक खाली, शोर वाले कैनवास से) के बजाय, STP अभी-अभी बनाए गए पथ को लेता है और अगले कदम के लिए उसमें थोड़ा बदलाव करता है। यह एक हाइकर (हाइकर) की तरह है जो हर कदम उठाने पर अपनी पूरी यात्रा की फिर से योजना नहीं बनाता; वह बस अपनी वर्तमान दिशा को समायोजित करता है। इसने रोबोट की गतिविधियों को बहुत सहज बना दिया। भूलभुलैया परीक्षणों में, इस ट्रिक का उपयोग करने से औसत स्कोर 150.8 से बढ़कर 183.8 हो गया।
"फिजिबिलिटी पेनल्टी" (Feasibility Penalty): कभी-कभी, रोबोट का "क्रिटिक" (वह हिस्सा जो पथ के अच्छे होने का निर्णय लेता है) उच्च स्कोर के लिए बहुत उत्साहित हो जाता है और एक ऐसा पथ चुन लेता है जो एक शॉर्टकट के रूप में दिखता है लेकिन दीवार के बीच से होकर गुजरता है। लेखकों ने एक "फिजिबिलिटी पेनल्टी" जोड़ी जो वास्तविकता की जांच (reality check) के रूप में कार्य करती है। यदि कोई पथ दीवार से टकराता है, तो उसे बड़ा अंक दंड (point deduction) मिलता है। यह विशेष रूप से सबसे कठिन भूलभुलैया (Maze2D Large) में सहायक रहा, जहाँ इस पेनल्टी को चालू करने पर स्कोर 181.9 से बढ़कर 215.1 हो गया।

वे कितने आश्वस्त हैं?

लेखक सिमुलेशन और मानक डेटासेट पर प्रयोगों के आधार पर अपने परिणामों पर आश्वस्त हैं। उन्होंने अपने तरीके को 150 अलग-अलग रैंडम सीड्स (अनिवार्य रूप से 150 अलग-अलग शुरुआती स्थितियों का परीक्षण) पर चलाया ताकि यह सुनिश्चित हो सके कि परिणाम केवल भाग्य नहीं थे। उन्होंने पाया कि STP ने चलने, भूलभुलैया और हेरफेर कार्यों में लगातार अच्छा प्रदर्शन किया।

हालाँकि, वे यह दावा नहीं करते हैं कि यह एक जादुई गोली (magic bullet) है जो रोबोटिक्स की हर समस्या को हल कर देती है। वे नोट करते हैं कि जबकि STP महान है, अन्य विधियाँ (जैसे Diffusion-QL) कुछ विशिष्ट कार्यों में जीत हासिल करती हैं क्योंकि वे मानों (values) को अनुकूलित करने के लिए अलग-अलग गणित का उपयोग करती हैं। लेकिन तेज़, सिंगल-स्टेज प्लानिंग के विशिष्ट लक्ष्य के लिए, शोध पत्र सुझाव देता है कि STP एक अत्यधिक प्रभावी और व्यावहारिक विकल्प है।

संक्षेप में, शोध पत्र सुझाव देता है कि एक "शॉर्टकट" मॉडल का उपयोग करके जो एक ही बार में सीखता है और वास्तविकता के लिए अपने काम की जांच करता है, हम रोबोट को बिना किसी जटिल दो-चरणीय प्रशिक्षण स्कूल के तेज़ और स्मार्ट तरीके से योजना बनाने में सक्षम बना सकते हैं।

तकनीकी सारांश: कुशल ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए शॉर्टकट प्रक्षेपवक्र योजना (Shortcut Trajectory Planning)

समस्या विवरण

ऑफलाइन सुदृढीकरण शिक्षण (RL) व्यवहार वितरणों को मॉडल करने और नमूनाकरण (sampling) के माध्यम से निर्णय लेने के लिए डिफ्यूजन-आधारित प्रक्षेपवक्र योजनाकारों (trajectory planners) पर तेजी से निर्भर हो रहा है। जबकि ये विधियाँ मजबूत प्रदर्शन प्रदर्शित करती हैं, उनकी पुनरावृत्त डिनोइजिंग प्रक्रियाएं उच्च अनुमान लागत (inference costs) उत्पन्न करती हैं, जिससे वे वास्तविक समय या उच्च-आवृत्ति नियंत्रण के लिए कम्प्यूटेशनल रूप से महंगी हो जाती हैं। कंसिस्टेंसी मॉडल्स (जैसे, कंसिस्टेंसी प्लानिंग, कंसिस्टेंसी ट्रजेक्टरी प्लानिंग) पर आधारित हालिया विकल्प, मल्टी-स्टेप डिफ्यूजन को कंसिस्टेंसी-आधारित जनरेशन से बदलकर अनुमान चरणों को कम करते हैं। हालांकि, इन विधियों के लिए आमतौर पर एक दो-चरणीय शिक्षक-छात्र (teacher-student) डिस्टिलेशन पाइपलाइन की आवश्यकता होती है। यह दृष्टिकोण कुल प्रशिक्षण लागत को बढ़ाता है और अस्थिरता पैदा करता है, क्योंकि अंतिम योजनाकार का प्रदर्शन एक शिक्षक मॉडल के सफल प्रशिक्षण और उसके बाद छात्र मॉडल में सफल डिस्टिलेशन पर निर्भर करता है। ऑफलाइन RL में, जहाँ मल्टीमॉडल प्रक्षेपवकृत वितरणों और वितरण संबंधी बदलाव (distributional shift) के कारण सीखना पहले से ही चुनौतीपूर्ण है, ऐसी अस्थिरता विशेष रूप से अवांछनीय है।

कार्यप्रणाली

यह शोध पत्र शॉर्टकट ट्रजेक्टरी प्लानिंग (STP) का प्रस्ताव करता है, जो ऑफलाइन मॉडल-आधारित RL के लिए कुशल प्रक्षेपवक्र जनरेटर के रूप में शॉर्टकट मॉडल्स (Frans et al., 2025) को एकीकृत करता है। डिस्टिलेशन पर निर्भर कंसिस्टेंसी-आधारित योजनाकारों के विपरीत, STP एक एकल चरण में एक कंडीशनल शॉर्टकट ट्रजेक्टरी मॉडल को प्रशिक्षित करता है।

मुख्य घटक

शॉर्टकट ट्रजेक्टरी मॉडल:
- आर्किटेक्चर: योजनाकार को एक कंडीशनल शॉर्टकट मॉडल $S_\theta(x_t, t, d | s_k)$ के रूप में पैरामीटराइज किया गया है, जहाँ $x_t$ एक शोर युक्त भविष्य की अवस्था का अनुक्रम है, $t$ शोर का स्तर है, $d$ स्टेप साइज है, और $s_k$ वर्तमान अवस्था है।
- प्रशिक्षण उद्देश्य: मॉडल को एक जेनेरेटिव प्रक्षेपवक्र के परिमित-चरण अपडेट्स (finite-step updates) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। प्रशिक्षण लॉस एक फ्लो-मैचिंग टर्म (जो मॉडल को सूक्ष्मतम पैमाने पर ग्राउंड करता है) और एक रिकर्सिव सेल्फ-कंसिस्टेंसी टर्म को जोड़ता है। सेल्फ-कंसिस्टेंसी बाधा यह सुनिश्चित करती है कि आकार $2d$ का एक शॉर्टकट, आकार $d$ के दो क्रमिक शॉर्टकट के संयोजन से मेल खाता है। यह मॉडल को बिना किसी शिक्षक मॉडल के, एक ही नेटवर्क के भीतर वन-स्टेप, फ्यू-स्टेप और मल्टी-स्टेप जनरेशन का समर्थन करने की अनुमति देता है।
- प्रक्षेपवक्र प्रतिनिधित्व: मॉडल एक "जंपिंग-स्टेप" प्रतिनिधित्व का उपयोग करता है, जो भविष्य की अवस्थाओं के एक उप-अनुक्रम $(s_k, s_{k+M}, \dots, s_{k+(H-1)M})$ को मॉडल करता है जहाँ $M$ योजना स्ट्राइड (planning stride) है। यह कॉम्पैक्ट जनरेटेड अनुक्रमों के साथ लंबे प्रभावी क्षितिज (horizons) की अनुमति देता है।
क्रिटिक और व्यवहार्यता सुधार (Feasibility Correction):
- एक क्रिटिक नेटवर्क $V_\alpha$ को डिनोइज़्ड प्रक्षेपवgetों के संचित डिस्काउंटेड रिटर्न की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
- इस मुद्दे को संबोधित करने के लिए कि क्रिटिक्स भौतिक रूप से अव्यवहार्य प्रक्षेपवgetों (जैसे, बाधाओं से टकराने वाले) को उच्च स्कोर दे सकते हैं, STP एक व्यवहार्यता-जागरूक सुधार (feasibility-aware correction) पेश करता है। अंतिम योजना चयन स्कोर को एक व्यवहार्यता दंड $\Psi$ को घटाकर समायोजित किया जाता है जो बाधा उल्लंघन (जैसे, दीवारों से टक्कर) को मापता है।
अनुमान प्रक्रिया (Inference Process):
- सैंपलिंग: योजनाकार एक निर्धारित सैंपलिंग बजट ( $d = 1/K$ ) के तहत शॉर्टकट मॉडल को पुनरावृत्त रूप से लागू करके उम्मीदवार प्रक्षेपवgetों को उत्पन्न करता है।
- वार्म-स्टार्ट रणनीति: आगामी पर्यावरणीय टाइमस्टेप्स के लिए, योजनाकार शुद्ध शोर (pure noise) से शुरुआत नहीं करती है। इसके बजाय, यह पिछले चरण के डिनोइज़्ड प्रक्षेपवget को विक्षेपित (perturb) करके अगले प्रक्षेपवget को इनिशियलाइज़ करती है। यह टेम्पोरल कोहेरेंस (temporal coherence) में सुधार करता है और अनावश्यक गणना को कम करता है।
- एक्शन एक्सट्रैक्शन: उच्चतम स्कोर वाले प्रक्षेपवget (व्यवहार्यता सुधार के बाद) का चयन किया जाता है। प्रथम स्ट्राइड ट्रांजिशन $(s_k, s_{k+M})$ को निष्पादनीय एक्शन $a_k$ को पुनः प्राप्त करने के लिए एक स्ट्राइड-आधारित इनवर्स डायनेमिक्स मॉडल को पास किया जाता है।

मुख्य योगदान

एकल-चरण प्रशिक्षण: STP को आवश्यक दो-चरणीय शिक्षक-छात्र डिस्टिलेशन पाइपलाइन को समाप्त करने के लिए डिज़ाइन किया गया है, जो कंसिस्टेंसी-आधारित योजनाकारों की आवश्यकता को सरल बनाता है और अस्थिरता को कम करता है।
समायोज्य अनुमान (Adjustable Inference): स्टेप साइज पर कंडीशन होकर, शॉर्टकट मॉडल एक ही नेटवर्क के भीतर लचीले अनुमान बजट (वन-स्टेप से मल्टी-स्टेप) का समर्थन करता है, जिससे योजना की गति और प्रक्षेपवget की गुणवत्ता के बीच संतुलन बनता है।
व्यवहार्यता-जागरूक योजना: योजना चयन प्रक्रिया में व्यवहार्यता दंड का एकीकरण उच्च-पुरस्कार वाले लेकिन भौतिक रूप से अव्यवहार्य प्रक्षेपवgetों (जैसे, बाधाओं से टकराने वाले) को फ़िल्टर करके उन्हें रोकने में मदद करता है, जो जेनेरेटिव प्लानिंग में एक सामान्य विफलता मोड है।
वार्म-स्टार्ट इनिशियलाइजेशन: वार्म-स्टार्ट रणनीति को अपनाने से टेम्पोरल कंसिस्टेंसी और निष्पादन की सुगमता बढ़ती है, विशेष रूप से लॉन्ग-होरिजन कार्यों में।

प्रयोगात्मक परिणाम

STP का मूल्यांकन मानक D4RL ऑफलाइन RL बेंचमार्क पर किया गया, जिसमें लोकोमोशन (Gym MuJoCo), नेविगेशन (Maze2D, AntMaze), मैनिपुलेशन (Kitchen), और डेक्सट्रस कंट्रोल (Adroit) शामिल हैं।

प्रदर्शन: STP डिफ्यूजन-आधारित (Diffuser, Diffusion-QL), कंसिस्टेंसी-आधारित (CP, CTP), और अन्य एक्टर-क्रिटिक बेसलाइन की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन प्राप्त करता है।
- लोकोमोशन: STP ने औसत स्कोर को 73.3 (CTP) से बढ़ाकर 73.9 कर दिया, जो छह में से पांच डेटासेट्स पर CTP से बेहतर प्रदर्शन करता है।
- नेविगेशन: Maze2D पर, STP ने सभी तुलना किए गए तरीकों में सर्वश्रेष्ठ औसत प्रदर्शन (183.8) प्राप्त किया। AntMaze पर, इसने औसत स्कोर को 83.33 (CTP) से बढ़ाकर 85.33 कर दिया।
- मैनिप्यूलेशन: STP ने Kitchen और Adroit दोनों बेंचमार्क पर सर्वश्रेष्ठ औसत प्रदर्शन हासिल किया।
एब्लेशन अध्ययन (Ablation Studies):
- वार्म-स्टार्ट: वार्म-स्टार्ट रणनीति को हटाने से Maze2D (औसत गिरावट 183.8 से 150.8) और AntMaze (गिरावट 85.3 से 68.0) दोनों में प्रदर्शन काफी गिर गया, जो टेम्पोरल कंसिस्टेंसी के लिए इसके महत्व की पुष्टि करता है।
- व्यवहार्यता दंड: दंड ने जटिल Maze2D-Large कार्यों पर पर्याप्त लाभ दिया (स्कोर को 181.9 से 215.1 तक सुधारकर) क्योंकि इसने उन प्रक्षेपवgetों को फ़िल्टर किया जो बाधाओं से टकराते थे, जबकि सरल कार्यों पर इसका न्यूनतम प्रभाव पड़ा।

महत्व और दावे

यह शोध पत्र दावा करता है कि शॉर्टकट ट्रजेक्टरी प्लानिंग डिस्टिलेशन-आधारित जेनेरेटिव प्लानर के लिए एक व्यावहारिक विकल्प प्रदान करता है। जटिल शिक्षक-छात्र पाइपलाइन को एकल-चरण शॉर्टकट मॉडल से बदलकर, STP प्रशिक्षण पाइपलाइन को सरल बनाता है जबकि तेज़, लो-स्टेप सैंपलिंग करने की क्षमता को बनाए रखता है। परिणाम बताते हैं कि शॉर्टकट मॉडल ऑफलाइन मॉडल-आधारित RL के लिए प्रभावी हैं, जो प्रशिक्षण जटिलता, अनुमान लागत और योजना की गुणवत्ता के बीच एक मजबूत संतुलन प्रदान करते हैं। लेखक इस बात पर जोर देते हैं कि एकल-चरण प्रशिक्षण, कुशल प्रक्षेपवget जनरेशन, और मजबूत अनुमान-समय चयन (वार्म-स्टार्ट और व्यवहार्यता सुधार के माध्यम से) का संयोजन शॉर्टकट-आधारित प्लानिंग को कुशल ऑफलाइन सुदृढीकरण शिक्षण के लिए एक आशाजनक दिशा बनाता है।