Learning More from Less: Reinforcement Learning from Hindsight
यह शोध पत्र लर्निंग फ्रॉम हाइंडसाइट (LfH) को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो विजन-लैंग्वेज-एक्शन मॉडल्स के प्रशिक्षण में सैंपल दक्षता को बढ़ाने के लिए एक विजन-लैंग्वेज मॉडल का उपयोग करके विफल रोलआउट्स को उन कार्यों के साथ पुन: लेबल करती है जिन्हें उन्होंने वास्तव में प्राप्त किया था, जिससे पॉलिसी को स्पार्स रिवार्ड्स (sparse rewards) से सीखने और मैनिपुलेशन कार्यों पर मानक बेसलाइन्स से बेहतर प्रदर्शन करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। आप उसे एक विशिष्ट निर्देश देते हैं: "हरे रंग के कंटेनर को कटोरे में डालो।" लेकिन रोबोट, जो थोड़ा अनाड़ी या भ्रमित है, टेप का एक टुकड़ा उठा लेता है और उसे मेज पर चिपका देता है।
पुराने तरीके से रोबोट को सिखाने में (जिसे स्टैंडर्ड रिइन्फोर्समेंट लर्निंग कहा जाता है), यह एक पूर्ण आपदा है। कंप्यूटर कहता है, "तुम असफल रहे। इस डेटा को फेंक दो; यह बेकार है।" रोबोट उस टेप वाली घटना से कुछ भी नहीं सीखता, भले ही उसने टेप को सफलतापूर्वक उठाया और कहीं चिपकाया हो। यह बिल्कुल वैसा ही है जैसे किसी कुत्ते की तस्वीर के लिए पूछा गया हो और गलती से बिल्ली की फोटो मिल जाए, और फिर उस फोटो को बेकार समझकर फेंक दिया जाए।
"लर्निंग मोर फ्रॉम लेस" (Learning More from Less) नामक पेपर एक चतुर नया तरीका पेश करता है जिसे लर्निंग फ्रॉम हाइंसाइट (LfH) कहा जाता है। इसे एक सुपर-स्मार्ट, सब-कुछ देख लेने वाले रेफरी (एक विजन-लैंग्वेज मॉडल) के रूप में सोचें जो रोबोट की "गलतियों" को देखता है और कहता है, "रुको ज़रा! तुमने कंटेनर तो कटोरे में नहीं डाला, लेकिन तुमने टेप को सफलतापूर्वक उठा लिया! यह एक दूसरे खेल के लिए जीत है।"
यह कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:
"हाइंसाइट" का जादू
सिर्फ "फेल" कहने के बजाय, रेफरी कहानी को फिर से लिखता है। वह रोबोट के उस बिखरे हुए प्रयास को देखता है और उसे एक नया निर्देश देता है जो वास्तव में हुए काम से मेल खाता है: "टेप उठाओ।" अब, वह वही असफल प्रयास टेप उठाने का एक आदर्श उदाहरण बन जाता है। रोबोट को उस काम के लिए श्रेय मिलता है जो उसने वास्तव में किया, न कि केवल उस काम के लिए जो उसे करने के लिए कहा गया था।
पेपर दिखाता है कि ऐसा करने से, रोबोट 5 गुना तेज़ी से (सैंपल एफिशिएंसी में 5 गुना सुधार) उन कठिन नए कार्यों को सीख जाता है जहाँ वह आमतौर पर अटक जाता है। यह बिल्कुल वैसा ही है जैसे यदि आप पहले स्केटबोर्ड पर अभ्यास करके साइकिल चलाना सीख सकें, और फिर अचानक साइकिल चलाना आसान लगे क्योंकि आप पहले से ही संतुलन बनाना सीख चुके हैं।
यह क्या नहीं है
लेखक स्पष्ट रूप से बताते हैं कि यह तरीका क्या नहीं है।
- यह केवल रोबोट को "संकेत" या "आंशिक श्रेय" देना नहीं है (जैसे यह कहना कि "अच्छा काम किया, तुम आधे रास्ते तक पहुँच गए")। पेपर का तर्क है कि केवल रिवॉर्ड्स को "डेंसर" (अधिक घना) बनाने से (छोटे कदमों के लिए अधिक अंक देने से) उतना अच्छा परिणाम नहीं मिलता जितना कि पूरे कार्य को पूरी तरह से बदल देने से मिलता है।
- यह केवल रोबोट को रैंडम चीज़ें आज़माने के लिए कहना नहीं है। पेपर में पाया गया कि यदि रोबोट बस बेतरतीब ढंग से हाथ-पैर मारता रहता है, तो यह तरीका काम नहीं आता। रोबोट को वास्तव में कुछ सार्थक करना होगा, भले ही वह मूल लक्ष्य के लिए गलत ही क्यों न हो।
- यह कोई जादुई छड़ी नहीं है जो सब कुछ ठीक कर दे। यदि रोबोट बस कुछ नहीं करता या एक उबाऊ, दोहराव वाले लूप में घूमता रहता है, तो रेफरी एक नया खेल नहीं ढूंढ पाता, और यह तरीका काम नहीं आता।
हम कितने आश्वस्त हैं?
टीम ने दो तरीकों से परीक्षण किया:
- सिमुलेशन में: उन्होंने LIBERO-PRO नामक एक कंप्यूटर दुनिया में वर्चुअल रोबोट्स पर हजारों परीक्षण चलाए। यहाँ, उन्होंने मापा कि LfH ने मानक प्रशिक्षण की तुलना में केवल 1/5वें स्टेप्स में समान सफलता स्तर प्राप्त कर लिया। यह एक बहुत बड़ी छलांग है।
- वास्तविक दुनिया में: उन्होंने एक लैब में फ्रैंका (Franka) रोबोट आर्म पर इसे आज़माया। परिणाम बरकरार रहे! जब रोबोट को हरे रंग के कंटेनर को कटोरे में रखना था, तो मानक तरीका 160 प्रयासों के बाद 22% की सफलता दर पर अटक गया। LfH विधि उछलकर 56% पर पहुँच गई।
चुनौती
पेपर स्वीकार करता है कि यह तरीका इस बात पर निर्भर करता है कि रोबोट वास्तव में कुछ दिलचस्प कर रहा हो। यदि रोबोट वस्तुओं को छुए बिना उनके पास केवल "मंडरा" रहा है, तो रेफरी एक नया खेल नहीं ढूंढ सकता। इसके अलावा, रेफरी (वह AI जो निर्देशों को फिर से लिखता है) को अपना काम अच्छी तरह से करना होगा; यदि वह भ्रमित हो जाता है या ऐसी चीज़ें बना देता है जो वास्तव में नहीं हुईं, तो रोबोट गलत सबक सीख सकता है।
बड़ी तस्वीर
मुख्य विचार सरल है: अपनी गलतियों को फेंकें नहीं। एक कार्य की विफलता अक्सर दूसरे कार्य की सफलता होती है। एक स्मार्ट AI का उपयोग करके जो पीछे मुड़कर देख सके और कह सके, "हे, तुमने वास्तव में यह किया," हम रोबोट को लगभग हर प्रयास से सीखने में सक्षम बना सकते हैं, जिससे बर्बाद समय को मूल्यवान सबक में बदला जा सके। यह बिल्कुल वैसा ही है जैसे यह महसूस करना कि हर बार जब आप दौड़ते समय लड़खड़ाते हैं, तो आप वास्तव में किसी अन्य खेल के लिए अपने संतुलन का अभ्यास कर रहे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।