← नवीनतम पेपर
🤖 machine learning

Automating Potential-based Reward Shaping with Vision Language Model Guidance

यह शोध पत्र VLM-PBRS प्रस्तुत करता है, जो एक ऐसा ढांचा है जो रिवॉर्ड शेपिंग के लिए संभावित फलनों (potential functions) को स्वचालित रूप से सीखने के लिए हल्के विजन-लैंग्वेज मॉडल्स से प्राप्त प्राथमिकता फीडबैक का लाभ उठाता है, जिससे अनुकूलतम नीतियों को संरक्षित रखते हुए और रिवॉर्ड हैकिंग को रोकते हुए स्पार्स-रिवॉर्ड वातावरण में सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) को गति मिलती है।

मूल लेखक: Henrik Müller, Daniel Kudenko

प्रकाशित 2026-06-26
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Henrik Müller, Daniel Kudenko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई जटिल कार्य करना सिखा रहे हैं, जैसे कि दराज खोलना या चूल्हा चालू करना। रोबोटिक्स और AI की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है।

समस्या: "मौन शिक्षक" (The Silent Teacher)

आमतौर पर, आप एक रोबोट को तब सिखाते हैं जब वह कार्य को पूरी तरह से समाप्त कर देता है और उसे इनाम मिलता है। यह एक ऐसे शिक्षक की तरह है जो छात्र द्वारा गणित का सवाल हल करने के दौरान चुप रहता है और केवल अंत में तभी "बहुत अच्छे!" कहता है जब उत्तर सही होता है।

  • समस्या: यदि रोबोट दस लाख अलग-अलग चीजें आजमाता है और केवल भाग्यवश एक बार उसे "बहुत अच्छे!" मिलता है, तो उसे पता ही नहीं चलेगा कि उन दस लाख प्रयासों में से कौन सा प्रयास सहायक था। यह अंधेरे में घास के ढेर में सुई खोजने जैसा है। इसे स्पार्स रिवॉर्ड (Sparse Reward) कहा जाता है, और यह सीखने की प्रक्रिया को अविश्वसनीय रूप से धीमा बना देता है।

पुराना समाधान: "अति-उत्साही कोच" (The Over-Enthusiastic Coach)

इसे ठीक करने के लिए, मनुष्य अक्सर रोबोट को रास्ते में छोटे-छोटे इनाम देने की कोशिश करते हैं (जैसे "अच्छा, आपने हैंडल के करीब हाथ बढ़ाया!" या "बहुत बढ़िया, आपने हैंडल को पकड़ा!")। इसे रिवॉर्ड शेपिंग (Reward Shaping) कहा जाता है।

  • जोखिम: यदि कोच बहुत अधिक उत्साही हो जाता है या गलत संकेत देता है, तो रोबक विचलित हो सकता है। वह केवल "बहुत अच्छे!" की आवाज़ पाने के लिए हैंडल के पास अपना हाथ हिलाने (wiggle करने) में माहिर हो सकता है, बिना वास्तव में दराज खोले। यह रिवॉर्ड हैकिंग (Reward Hacking) कहलाता है। रोबोट कार्य को नहीं, बल्कि संकेतों को हल कर लेता है।

नया समाधान: "स्मार्ट, सस्ता मार्गदर्शक" (The Smart, Cheap Guide)

यह पेपर एक नई विधि पेश करता है जिसे VLM-PBRS कहा जाता है। यह एक विशेष प्रकार के AI का उपयोग करता है जिसे विज़न-लैंग्वेज मॉडल (Vision-Language Model - VLM) कहा जाता है। एक VLM को एक ऐसे रोबोट के रूप में सोचें जो चित्र भी देख सकता है और निर्देशों को पढ़ भी सकता है।

यहाँ लेखक की विधि कैसे काम करती है, इसे एक सरल उपमा (analogy) से समझते हैं:

1. "दो-फोटो" वाला खेल

VLM से जटिल नियमों का सेट लिखने के लिए कहने के बजाय (जो कठिन और महंगा है), सिस्टम एक सरल खेल खेलता है:

  • यह VLM को अलग-अलग क्षणों में रोबोट की दो तस्वीरें दिखाता है।
  • यह पूछता है: "लक्ष्य दराज खोलना है। किस तस्वीर में रोबोट जीतने के करीब है?"
  • VLM उत्तर देता है: "तस्वीर A" या "तस्वीर B"।

2. "सुरक्षित मानचित्र" (Potential-Based Reward Shaping)

यही वह चतुर हिस्सा है। लेखक यह नहीं होने देते कि VLM का उत्तर ही एकमात्र इनाम बन जाए। इसके बजाय, वे VLM के उत्तर का उपयोग एक मानसिक मानचित्र (जिसे "पोटेंशियल फंक्शन" कहा जाता है) बनाने के लिए करते हैं।

  • उपमा: कल्पना कीजिए कि VLM एक पर्वतारोही को दिशा दिखाने वाला एक कंपास (Compass) दे रहा है। कंपास सामान्य रूप से लक्ष्य की ओर इशारा करता है।
  • सुरक्षा जाल (The Safety Net): यह पेपर एक गणितीय गारंटी (Potential-Based Reward Shaping) का उपयोग करता है जो कहती है: "भले ही कंपास थोड़ा गलत हो, यह आपको कभी भी खाई में गिरने या गलत दिशा में हमेशा के लिए चलने के लिए मजबूर नहीं करेगा। यह केवल आपको तेज़ या धीमा चलाएगा।"
  • इस सुरक्षा जाल के कारण, रोबोट एक सस्ते, छोटे और तेज़ VLM का उपयोग कर सकता है। इसे पूर्ण होने के लिए किसी सुपर-इंटेलिजेंट, महंगे AI की आवश्यकता नहीं है; इसे बस रास्ता दिखाने के लिए "काफी अच्छा" होने की आवश्यकता है।

3. परिणाम

रोबोट बहुत तेज़ी से सीखता है क्योंकि उसे VLM के "कंपास" से लगातार संकेत मिलते हैं, लेकिन गणितीय रूप से यह गारंटी दी गई है कि वह अभी भी कार्य को करने का सही तरीका सीखेगा, भले ही VLM कुछ गलतियाँ करे।

लेखकों ने वास्तव में क्या पाया

शोधकर्ताओं ने दो आभासी दुनियाओं में इसका परीक्षण किया:

  1. Meta-World: सरल रोबोट कार्यों का एक सेट (जैसे बटन दबाना या दरवाज़ा खोलना)।
  2. Franka Kitchen: एक अधिक जटिल, अव्यवस्थित किचन वातावरण जिसमें कई भटकाने वाली वस्तुएं हैं।

उनके मुख्य निष्कर्ष:

  • गति: रोबोट ने उनकी विधि का उपयोग करके "मौन शिक्षक" (स्पार्स रिवॉर्ड) की प्रतीक्षा करने की तुलना में काफी तेज़ी से सीखा।
  • सुरक्षा: भले ही VLM पूर्ण नहीं था (कभी-कभी गलत अनुमान लगाता था), रोबोट "हैक" नहीं हुआ या भ्रमित नहीं हुआ। उसने अभी भी सही कार्य सीखा, बस थोड़ा धीमा।
  • लागत: उन्होंने सिद्ध किया कि आपको सबसे महंगे, विशाल AI मॉडल की आवश्यकता नहीं है। छोटे, सस्ते मॉडल पर्याप्त रूप से काम करते हैं क्योंकि "सुरक्षा जाल" सीखने की प्रक्रिया की रक्षा करता है।
  • तुलना: कुछ कार्यों में, उनकी विधि मानव विशेषज्ञ द्वारा डिज़ाइन किए गए रिवॉर्ड संकेतों से भी बेहतर काम करती है। अन्य में, यह मानव-डिज़ाइन किए गए संकेतों के करीब था, लेकिन इसमें शून्य मानवीय प्रयास की आवश्यकता थी।

सारांश

यह पेपर एक तरीके को प्रस्तुत करता है जिससे एक "सस्ते" AI का उपयोग करके रोबोट को तेज़ी से सिखाया जा सकता है, जो सरल "यह उससे बेहतर है" वाले संकेत देता है। एक विशेष गणितीय सुरक्षा नियम के कारण, ये संकेत सीखने की प्रक्रिया को धोखा दिए बिना इसे गति प्रदान करते हैं। यह एक छात्र को खाली कागज़ के बजाय एक थोड़ा त्रुटिपूर्ण मानचित्र देने जैसा है—वे गंतव्य तक पहुँच ही जाएंगे, बस बहुत पहले।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →