← नवीनतम पेपर
🤖 AI

Goal-Conditioned Decision Transformer for Multi-Goal Offline Reinforcement Learning

यह शोध पत्र एक गोल-कंडीशन्ड डिसीजन ट्रांसफॉर्मर (Goal-Conditioned Decision Transformer) प्रस्तुत करता है जो जटिल, मल्टी-गोल रोबोटिक्स कार्यों को स्पार्स रिवॉर्ड्स (sparse rewards) के साथ कुशलतापूर्वक हल करने के लिए पूर्व-संग्रहित ऑफलाइन डेटा का लाभ उठाता है, जो फ्रैंका एमिका पांडा (Franka Emika Panda) प्लेटफॉर्म पर स्टेट-ऑफ-द-आर्ट ऑनलाइन बेसलाइन्स की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

प्रकाशित 2026-05-11
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक आर्म को जटिल कार्य करना सिखाना चाहते हैं, जैसे कि किसी ब्लॉक को उठाना और उसे किसी विशिष्ट स्थान पर रखना। आमतौर पर, आपको रोबोट को वास्तविक दुनिया में प्रयास करने, विफल होने, चीजों से टकराने और अपनी गलतियों से सीखने के लिए छोड़ना होगा। लेकिन यह खतरनाक, महंगा और रोबोट को घिसने वाला (wear out) है।

यह पेपर ऑफलाइन लर्निंग का उपयोग करके रोबोट को सिखाने का एक स्मार्ट और सुरक्षित तरीका पेश करता है। इसे इस तरह सोचें: रोबोट को वास्तविक समय में अभ्यास करने देने के बजाय, हम उसे अन्य रोबोट्स (या विशेषज्ञों) द्वारा किए गए कार्यों के "होम वीडियो" का एक विशाल पुस्तकालय देते हैं। फिर रोबोट इन वीडियो का अध्ययन करके यह सीखता है कि कैसे हिलना-डुलना है, बिना प्रशिक्षण के दौरान वास्तविक दुनिया को छुए।

यहाँ उनके नए तरीके का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "एक-कार्य" वाला रोबोट

अधिकांश रोबोट ऐसे छात्रों की तरह होते हैं जो केवल एक विशिष्ट परीक्षा के लिए पढ़ाई करते हैं। यदि आप एक रोबोट को लाल ब्लॉक को धकेलना सिखाते हैं, तो हो सकता है कि उसे नीला ब्लॉक धकेलना या कप तक पहुँचना न पता हो। इसमें जनरलाइजेशन (generalization) की कमी है।

2. समाधान: "गोल-कंडीशन्ड डिसीजन ट्रांसफॉर्मर" (Goal-Conditioned Decision Transformer)

लेखकों ने एक नया AI मॉडल बनाया है जिसे गोल-कंडीशन्ड डिसीजन ट्रांसफॉर्मर कहा जाता है। यह कैसे काम करता है, यहाँ देखें:

  • "ट्रांसफॉर्मर" वाला भाग (सुपर-रीडर): एक ऐसे छात्र की कल्पना करें जो केवल चरणों को रटता नहीं है बल्कि एक गतिविधि की "कहानी" को समझता है। यह मॉडल घटनाओं के एक क्रम (रोबोट कहाँ था, उसने क्या किया, और आगे क्या हुआ) को एक किताब की तरह पढ़ता है। यह पूरे संदर्भ (context) को समझने के लिए एक "ट्रांसफॉर्मर" आर्किटेक्चर (वही तकनीक जो उन्नत चैटबॉट्स के पीछे है) का उपयोग करता है, न कि केवल अंतिम वाक्य को।
  • "गोल-कंडीशन्ड" वाला भाग (जीपीएस): मानक रोबोटों को बस यह बताया जा सकता है कि "यह करो।" इस नए मॉडल को बताया जाता है, "यह करने के लिए करो ताकि तुम उस विशिष्ट स्थान तक पहुँच सको।"
    • उपमा: कल्पना कीजिए कि आप एक ड्राइवर को निर्देश दे रहे हैं।
      • पुराना तरीका: "बाएँ मुड़ें, फिर दाएँ मुड़ें।" (ड्राइवर को मंजिल का पता नहीं है)।
      • नया तरीका: "बाएँ मुड़ें, फिर दाएँ मुड़ें ताकि आप पिज्जा प्लेस तक पहुँच सकें।"
    • इतिहास के मूव्स के साथ "वांछित लक्ष्य" (पिज्जा प्लेस) को स्पष्ट रूप से रोबोट की मेमोरी में फीड करके, रोबोट यह सीखता है कि एक ही मंजिल तक पहुँचने के लिए अलग-अलग रास्ते हो सकते हैं। यह सीखता है कि वह अपने मूव्स को इस आधार पर कैसे अनुकूलित करे कि वह कहाँ पहुँचना चाहता है।

3. "हाइंडसाइट" (Hindsight) वाली ट्रिक

पेपर में एक तकनीक का उल्लेख है जिसे हाइंडसाइट एक्सपीरियंस रिप्ले (Hindsight Experience Replay) कहा जाता है।

  • उपमा: कल्पना कीजिए कि एक रोबोट ब्लॉक को किचन तक धकेलने की कोशिश करता है लेकिन गलती से उसे लिविंग रूम में धकेल देता है। एक सामान्य रोबोट सोचेगा, "मैं विफल रहा।"
  • हाइंडसाइट ट्रिक: यह तरीका कहता है, "खैर, आप किचन तक तो नहीं पहुँचे, लेकिन आपने ब्लॉक को लिविंग रूम तक सफलतापूर्वक पहुँचाया! चलिए मान लेते हैं कि यही लक्ष्य था।" यह "विफलताओं" को "सफल पाठों" में बदल देता है, जिससे रोबोट कम डेटा से भी बहुत तेज़ी से सीख पाता है।

4. प्रयोग: फ्रैंका पांडा रोबोट (Franka Panda Robot)

टीम ने एक वास्तविक रोबोटिक आर्म (Franka Emika Panda) पर तीन कार्यों के साथ इसका परीक्षण किया:

  1. रीच (Reach): एक विशिष्ट स्थान को छूना।
  2. पुश (Push): एक क्यूब को एक स्थान पर खिसकाना।
  3. पिकएंडप्लेस (PickAndPlace): एक वस्तु को उठाना और उसे स्थानांतरित करना।

उन्होंने अपने नए "गोल-कंडीशन्ड ट्रांसफॉर्मर" की तुलना निम्नलिखित से की:

  • बिहेवियरल क्लोनिंग (Behavioral Cloning): बिना "क्यों" को समझे केवल वीडियो की नकल करना।
  • TQC+HER: एक बहुत ही मजबूत, मानक ऑनलाइन लर्निंग विधि जो वास्तविक समय में परीक्षण और त्रुटि (trial and error) से सीखती है।

5. परिणाम: अंडरडॉग की जीत

परिणाम आश्चर्यजनक और प्रभावशाली थे:

  • गति: उनके तरीके ने 80 मिनट में प्रशिक्षण लिया, जबकि मानक ऑनलाइन विधि को 240 मिनट लगे।
  • प्रदर्शन: जटिल कार्यों (जैसे PickAndPlace) में, उनके ऑफलाइन तरीके ने वास्तव में ऑनलाइन विधि से बेहतर प्रदर्शन किया, जिसे घंटों के वास्तविक दुनिया के अभ्यास के बाद भी कम सफलता मिली।
  • मजबूती (Robustness): यहाँ तक कि जब उनके द्वारा अध्ययन किए गए "वीडियो" ज्यादातर खराब (रैंडम गलतियाँ) थे और उनमें केवल कुछ अच्छे उदाहरण थे, तब भी मॉडल ने सफल होना सीख लिया। यह एक ऐसे छात्र की तरह था जो परीक्षा पास कर सकता था भले ही उसकी पाठ्यपुस्तक 75% गलत हो, जब तक कि मूल तर्क सही था।
  • स्पार्स रिवॉर्ड्स (Sparse Rewards): उन स्थितियों में जहाँ रोबोट को अंत तक कोई "शाबाशी" का संकेत नहीं मिलता (स्पार्स रिवॉर्ड्स), यह तरीका स्थिर रहा, जबकि अन्य उलझन में पड़ गए और विफल रहे।

सारांश

पेपर का दावा है कि रोबोट लर्निंग को एक स्पष्ट मंजिल के साथ कहानी पढ़ने की तरह मानकर, वे केवल पहले से रिकॉर्ड किए गए डेटा का उपयोग करके रोबोट को जटिल कार्य सिखा सकते हैं। यह पारंपरिक तरीकों की तुलना में तेज़, सुरक्षित और अक्सर अधिक प्रभावी है जिनमें रोबोट को वास्तविक दुनिया में शारीरिक रूप से अभ्यास करने की आवश्यकता होती है। उन्होंने उस डेटासेट को भी जारी किया है जिसका उन्होंने उपयोग किया है ताकि अन्य लोग भी इसे आज़मा सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →