← नवीनतम पेपर
💻 computer science

Abstraction for Offline Goal-Conditioned Reinforcement Learning

यह शोधपत्र ऑफलाइन लक्ष्य-सशर्त सुदृढीकरण शिक्षण (Goal-Conditioned Reinforcement Learning) के लिए एक पदानुक्रमित ढांचे का प्रस्ताव करता है जो समरूपताओं और साझा संरचनाओं का लाभ उठाने के लिए सापेक्षिक विकल्पों (relativised options) और विशिष्ट अवस्था निरूपणों का उपयोग करता है, जिससे समान संदर्भों में अनुभव के पुन: उपयोग की क्षमता सक्षम होती है और प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Clarisse Wibault, Alexander Goldie, Antonio Villares, Maike Osborne, Jakob Foerster

प्रकाशित 2026-05-22
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Clarisse Wibault, Alexander Goldie, Antonio Villares, Maike Osborne, Jakob Foerster

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) में नेविगेट करना सिखाने की कोशिश कर रहे हैं। आपके पास किसी दूसरे व्यक्ति के इसे हल करने का एक वीडियो रिकॉर्डिंग है, लेकिन वह रिकॉर्डिंग बहुत अव्यवस्थित है। वीडियो में वह व्यक्ति अक्सर फंस जाता है, गलत मोड़ लेता है, या केवल कुछ विशिष्ट रास्तों को ही आजमाता है। शोधकर्ता इसे ऑफलाइन रिइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) कहते हैं: केवल पिछले प्रयासों के एक स्थिर डेटासेट से AI को सिखाना, बिना उसे वास्तविक दुनिया में अनुभव (trial and error) के माध्यम से सीखने की अनुमति दिए।

समस्या यह है कि यदि रोबोट भूलभुलैया के पूरे हिस्से को एक ही विशाल, जटिल कार्य के रूप में सीखने की कोशिश करता है, तो वह वीडियो के खराब हिस्सों से भ्रमित हो जाता है। उसे यह समझ नहीं आता कि उन कोनों को कैसे संभालना है जहाँ पिछला व्यक्ति विफल रहा था।

यह शोध पत्र रोबोट को सिखाने का एक नया तरीका पेश करता है, जिसे एब्स्ट्रैक्टिव रिइन्फोर्समेंट लर्निंग (Abstractive Reinforcement Learning - ARL) कहा जाता है। यहाँ इसका मुख्य विचार सरल उपमाओं (analogies) के साथ दिया गया है:

1. समस्या: "एब्सोल्यूट" (Absolute) का जाल

अधिकांश रोबोट "एब्सोल्यूट" निर्देश सीखने की कोशिश करते हैं। वे याद करते हैं: "लाल दरवाजे तक पहुँचने के लिए, मुझे नीली दीवार पर बाईं ओर मुड़ना होगा, फिर 50 कदम चलना होगा, और फिर दाईं ओर मुड़ना होगा।"

यदि रोबोट भूलभुलैया के किसी दूसरे हिस्से में लाल दरवाजा देखता है (शायद दीवार हरी हो, या दूरी अलग हो), तो वह घबरा जाता है। वह सोचता है, "मैंने पहले कभी यह सटीक संयोजन नहीं देखा!" वह यह समझने में विफल रहता है कि बाईं ओर मुड़ने का कार्य वही है, भले ही स्थान अलग हो। यह एक ऐसे छात्र की तरह है जिसने गणित के सवाल का उत्तर रट लिया है लेकिन जब संख्याएं थोड़ी बदल जाती हैं, तो वह असफल हो जाता है क्योंकि उसने अवधारणा (concept) को नहीं समझा।

2. समाधान: "रिलेटिवाइज़्ड" (Relativised) विकल्प

लेखक रोबोट को रिलेटिवाइज़्ड ऑप्शंस (Relativised Options) सिखाने का सुझाव देते हैं। सटीक निर्देशांकों (coordinates) को याद करने के बजाय, रोबroid सापेक्ष (relative) निर्देश सीखता है।

  • एब्सोल्यूट निर्देश: "निर्देशांक (10, 20) पर लाल दरवाजे पर जाओ।"
  • रिलेटिवाइज़्ड निर्देश: "अपने सामने मौजूद निकटतम कोने की ओर जाओ।"

इसे अपने मित्र को दिशा बताने के रूप में सोचें।

  • खराब (Absolute): "47 कदम चलें, 90 डिग्री बाएं मुड़ें, 12 कदम चलें।" (यह केवल तभी काम करता है जब आप ठीक उसी जगह से शुरू करते हैं)।
  • अच्छा (Relativised): "जब तक आप दीवार से न टकरा जाएं तब तक चलें, फिर बाएं मुड़ें।" (यह काम करता है चाहे आप कहीं से भी शुरू करें)।

इन "सापेक्ष" उप-कार्यों (sub-tasks) को सीखकर, रोबोट वीडियो के अच्छे हिस्सों का पुन: उपयोग कर सकता है। भले ही आपने वीडियो में केवल एक बार किसी व्यक्ति को एक कोने को सफलतापूर्वक पार करते देखा हो, रोबोट उस "कोने पर बाएं मुड़ने" के कौशल को भूलभुलैया के हर कोने पर लागू कर सकता है, न कि केवल उस एक विशिष्ट स्थान पर।

3. दो-चरणीय रणनीति (पदानुक्रम/Hierarchy)

शोध पत्र रोबोट के लिए दो-स्तरीय मस्तिष्क का प्रस्ताव करता है:

  • बॉस (उच्च-स्तरीय/High-Level): यह स्तर बड़ी तस्वीर देखता है। इसे कमरे के विशिष्ट विवरणों की परवाह नहीं है। यह बस कहता है, "ठीक है, लक्ष्य वहां है। चलिए एक उप-कार्य चुनते हैं, जैसे 'अगले चौराहे तक जाओ'।"
  • वर्कर (निम्न-स्तरीय/Low-Level): यह स्तर वास्तविक गति को संभालता है। यह सुनता है "अगले चौराहे तक जाओ" और वहां तक पहुँचने के लिए विशिष्ट कदम तय करता है, चाहे फर्श कालीन का हो या टाइल का।

नवाचार: शोध पत्र इस प्रणाली को प्रशिक्षित करने के दो विशिष्ट तरीके पेश करता है:

  1. ARLi (Implicit): रोबोट स्वाभाविक रूप से समान कार्यों को एक साथ समूहबद्ध करना सीखता है। यदि दो अलग-अलग स्थितियों में एक ही "बाएं मुड़ने" वाले कार्य की आवश्यकता होती है, तो रोबोट बिना बताए ही समझ जाता है कि वे समान हैं।
  2. ARLe (Explicit): रोबोट को पूरी तरह से एब्सोल्यूट स्थितियों को अनदेखा करने के लिए मजबूर किया जाता है। इसे केवल इस बात पर ध्यान केंद्रित करने के लिए सिखाया जाता है कि वह जहाँ है और जहाँ उसे जाना है, उनके बीच का अंतर क्या है (जैसे, "लक्ष्य मेरे दाईं ओर 5 मीटर है")। यह एक रोबोट को मानचित्र के बजाय केवल वेक्टर्स (तीरों) को देखने के लिए प्रशिक्षित करने जैसा है।

4. यह क्यों महत्वपूर्ण है

लेखकों ने जटिल कार्यों जैसे कि एक वर्चुअल ह्यूमनॉइड रोबोट को भूलभुलभैया के माध्यम से चलाने और 3D स्पेस में वस्तुओं (जैसे ब्लॉक्स के साथ पहेली सुलझाना) को संचालित करने पर इसका परीक्षण किया।

  • परिणाम: उन स्थितियों में जहाँ प्रशिक्षण डेटा विरल (sparse) था (रोबोट ने पहेली के किसी विशिष्ट भाग को हल करने के बहुत कम उदाहरण देखे थे), नई विधि (ARL) पुराने तरीकों की तुलना में काफी बेहतर प्रदर्शन करती है।
  • उपमा: कल्पना कीजिए कि आप कुछ ऐसे खेल देखकर शतरंज सीखना चाह रहे हैं जहाँ खिलाड़ियों ने गलतियाँ की हैं। एक मानक AI उन विशिष्ट बोर्ड स्थितियों पर अटक जाएगा जहाँ खिलाड़ियों ने गलती की थी। नया AI (ARL) चालों के सिद्धांतों को सीखता है (जैसे, "केंद्र को नियंत्रित करें," "राजा की रक्षा करें")। भले ही उसने वह सटीक बोर्ड सेटअप न देखा हो, वह जानता है कि एक अच्छा कदम कैसे उठाया जाए क्योंकि वह टुकड़ों के बीच के सापेक्ष संबंधों को समझता है।

सारांश

यह शोध पत्र तर्क देता है कि रोबोट को प्रभावी ढंग से सिखाने के लिए, हमें उन्हें सटीक स्थानों को याद करने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, हमें उन्हें सापेक्ष संबंधों (जैसे, "लक्ष्य की ओर बढ़ें," "दीवार से बचें") को समझना सिखाना चाहिए। बड़े कार्यों को छोटे, पुन: प्रयोज्य "सापेक्ष" कौशलों में तोड़कर, रोबोट एक अव्यवस्थित डेटासेट से सीखी गई बातों को नई, अनदेखी चुनौतियों को हल करने के लिए लागू कर सकता है।

लेखक इसे एब्स्ट्रेक्टिव रिइन्फोर्समेंट लर्निंग कहते हैं, और उनके प्रयोग दर्शाते हैं कि यह रोबोट को जटिल, लंबी दूरी के कार्यों को हल करने में बहुत बेहतर बनाता है जब उनके पास सीखने के लिए सीमित मात्रा में डेटा होता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →