Offline Discovery of Interpretable Skills from Multi-Task Trajectories
यह शोध पत्र LOKI को प्रस्तुत करता है, जो एक तीन-चरणीय ऑफलाइन लर्निंग फ्रेमवर्क है जो बिना किसी स्पष्ट रिवॉर्ड के, मल्टी-टास्क प्रदर्शनों (demonstrations) से व्याख्यात्मक और पुन: प्रयोज्य कौशल (reusable skills) की खोज करता है, जिससे पदानुक्रमित नीतियों (hierarchical policies) का निर्माण संभव होता है जो जटिल बेंचमार्क पर उच्च सफलता दर प्राप्त करती हैं और नवीन कार्यों को हल करने के लिए सीखे गए कौशलों को संयोजित कर सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल भोजन, जैसे कि पूरा डिनर बनाना, सिखाना चाहते हैं। आपके पास हर एक सूक्ष्म गतिविधि के लिए लाइन-दर-लाइन मैनुअल लिखने का समय नहीं है (जैसे कि "हाथ को 2 इंच बाईं ओर ले जाएं, फिर कलाई को 15 डिग्री घुमाएं")। इसके बजाय, आप रोबोट को एक मानव शेफ द्वारा पूरा काम करने का एक वीडियो दिखाते हैं।
समस्या यह है कि वीडियो गति का एक लंबा, निरंतर प्रवाह मात्र है। रोबोट को यह नहीं पता कि एक क्रिया कहाँ समाप्त होती है और दूसरी कहाँ से शुरू होती है। उसे यह नहीं पता कि "सब्जियां काटना" एक विशिष्ट कौशल है, और "चूल्हा चालू करना" एक दूसरा कौशल है। वह केवल हलचल का एक धुंधलापन देखता है।
यह पेपर इस समस्या को हल करने के लिए LOKI (Learning Offline Key-skills via Imitation) नामक एक नई विधि पेश करता है। LOKI को एक स्मार्ट संपादक (editor) के रूप में समझें जो घंटों के कच्चे कुकिंग वीडियो को देखता है और उन्हें स्वचालित रूप से पूर्ण, पुन: प्रयोज्य (reusable) "क्लिप्स" या "कौशलों" में काट देता है जिन्हें रोबोट बाद में सीख सकता है और आपस में मिला सकता है।
यहाँ बताया गया है कि LOKI कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:
चरण 1: "बड़ी तस्वीर" वाला संपादक (मैक्रो-सेगमेंटेशन)
सबसे पहले, LOKI पूरे वीडियो को देखता है और मुख्य अध्यायों को खोजने की कोशिश करता है।
- उपमा: कल्पना कीजिए कि आपके पास एक लंबी फिल्म है, लेकिन आपको नहीं पता कि उसके दृश्य (scenes) कहाँ बदलते हैं। LOKL एक विशेष टूल (जिसे EVQ-VAE कहा जाता है) का उपयोग करता है जो एक "कार्य जासूस" (task detective) की तरह कार्य करता है।
- यह कैसे काम करता है: यह वीडियो के सामान्य लक्ष्य को जानता है (जैसे, "डिनर बनाना")। यह उन क्षणों को ढूंढता है जहाँ रोबोट उस विशिष्ट कार्य के लिए कुछ अनूठा कर रहा होता है (जैसे, एक विशिष्ट माइक्रोवेव खोलना) बनाम कुछ सामान्य जो कई कार्यों में होता है (जैसे, हाथ को बिंदु A से बिंदु B तक ले जाना)।
- परिणाम: यह लंबे वीडियो को बड़े टुकड़ों में काट देता है जिन्हें सामान्य कौशल (General Skills) कहा जाता है। यह ऐसा है जैसे कहना, "ठीक है, यह पूरा भाग माइक्रोवेव के बारे में है, और अगला भाग चूल्हे के बारे में है।"
चरण 2: "बारीकी से सुधारने वाला" संपादक (माइक्रो-सेगमेंटेशन)
अब, LOKI उन बड़े टुकड़ों को लेता है और उन्हें और करीब से देखता है।
- उपमा: यहाँ तक कि "माइक्रोवेव" वाले भाग के भीतर भी, रोबोट तीन अलग-अलग चीजें कर सकता है: माइक्रोवेव तक चलना, हैंडल पकड़ना और डायल घुमाना। पहला चरण बहुत व्यापक था; इसे यह पता लगाने की आवश्यकता है कि एक क्रिया ठीक कब रुकती है और अगली कब शुरू होती है।
- यह कैसे काम करता है: LOKI एक "पुनर्निर्माण" (reconstruction) तकनीक का उपयोग करता है। यह भविष्यवाणी करने की कोशिश करता है कि रोबोट ने अभी जो किया उसके आधार पर आगे क्या करेगा। यदि रोबोट अचानक कुछ अप्रत्याशित करता है या भविष्यवाणी विफल हो जाती है, तो LOKI समझ जाता है, "आह! रोबोट ने अभी एक नया कौशल बदला है!" इसके बाद यह कटिंग को साफ करने, अनावश्यक सीमाओं को हटाने के लिए एक क्लस्टरिंग प्रक्रिया (समान गतिविधियों को एक साथ समूहबद्ध करना) का उपयोग करता है।
- परिणाम: यह स्वतंत्र कौशल (Independent Skills) बनाता है। ये परमाणु स्तर के, पुन: प्रयोज्य मूव्स हैं, जैसे "नोब घुमाना" या "दरवाजा खोलना", जो विभिन्न कार्यों में सुसंगत होते हैं।
चरण 3: "निर्देशक" (पदानुक्रमित नीति - Hierarchical Policy)
अंत में, LOKI रोबोट को इन क्लिप्स का उपयोग करना सिखाता है।
- उपमा: एक फिल्म निर्देशक की कल्पना करें। निर्देशक अभिनेता को पलक झपकने या सांस लेने के लिए नहीं बताता; वे बस कहते हैं, "अब, 'नोब घुमाने' वाला क्लिप चलाओ।"
- यह कैसे काम करता है:
- निम्न-स्तरीय अभिनेता (Low-Level Actor): रोबोट प्रत्येक विशिष्ट "क्लिप" को पूरी तरह से करना सीखता है।
- स्टॉप सिग्नल: LOKI रोबोट को एक विशेष संकेत (एक "समाप्ति फलन" या termination function) सिखाता है जो कहता है, "आप इस क्लिप के साथ समाप्त हो गए हैं; अब रुकें।" यह रोबोट को नोब को अनंत काल तक घुमाते रहने से रोकता है।
- स्क्रिप्ट: रोबोट को कौशल आईडी (skill IDs) का एक सरल क्रम दिया जाता है जिसका उसे पालन करना होता है। उसे बस यह जानने की आवश्यकता है: "क्लिप A करो, फिर क्लिप B, फिर क्लिप C।"
यह एक बड़ी बात क्यों है?
- मैनुअल लेबल की आवश्यकता नहीं: आमतौर पर, रोबोट को सिखाने के लिए, मनुष्यों को हर एक कदम को मैन्युअल रूप से लेबल करना पड़ता है ("अब वह फ्रिज खोल रहा है")। LOKI इसे लगभग स्वचालित रूप से समझ लेता है, जिसे केवल समग्र लक्ष्य के बारे में एक छोटे से संकेत की आवश्यकता होती है।
- यह मनुष्यों के लिए तर्कसंगत है: LOKI द्वारा खोजे गए कौशल यादृच्छिक गणितीय पैटर्न नहीं हैं; वे इस तरह से संरेखित होते हैं जैसे मनुष्य सोचते हैं। यदि आप रोबोट के "मस्तिष्क" को देखें, तो आप देख सकते हैं कि यह "कैबिनेट खोलना" और "माइक्रोवेव खोलना" को एक साथ रखता है क्योंकि वे समान महसूस होते हैं, ठीक वैसे ही जैसे एक इंसान करेगा।
- मिलाना और मिलाना (Mix and Match): क्योंकि कौशल इतने स्पष्ट रूप से विभाजित हैं, रोबोट एक कार्य के लिए सीखा गया कौशल (जैसे "लाइट स्विच घुमाना") किसी पूरी तरह से नए, अनदेखे कार्य में उपयोग कर सकता है।
संक्षेप में: LOKI जटिल काम करने वाले रोबोट के अव्यवस्थित, बिना लेबल वाले वीडियो को लेता है, उन्हें स्वचालित रूप से तार्किक, मानव-समझने योग्य "कौशलों" में काटता है, और रोबोट को उन कौशलों को जोड़कर काम पूरा करने के लिए उन्हें जोड़ना सिखाता है। यह डेटा के एक अराजक प्रवाह को एक साफ, व्यवस्थित निर्देश पुस्तिका में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।