AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies
AutoIntervene एक ऑनलाइन फ्रेमवर्क है जो एक्शन-चंकिंग इमिटेशन लर्निंग को स्वचालित रूप से थ्रेशोल्ड को कैलिब्रेट करके बढ़ाता है ताकि विजुअल-एक्शन कंसिस्टेंसी के आधार पर पॉलिसी और एक मानव ऑपरेटर के बीच नियंत्रण को चुनिले ढंग से स्थानांतरित किया जा सके, जिससे निष्पादन ड्रिफ्ट (execution drift) को सुधारा जा सके और वास्तविक दुनिया के द्विपक्षीय (bimanual) हेरफेर में कार्य सफलता में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कपड़े की टोकरी तह करने या गांठ बांधने जैसा जटिल कार्य करना सिखा रहे हैं, वह भी केवल कुछ बार उसे करके दिखाने मात्र से। इसे "इमिटेशन लर्निंग" (अनुकरण सीखना) कहा जाता है, और यह वैसा ही है जैसे कोई छात्र एक मास्टर शेफ को खाना बनाते हुए देखता है और फिर उसी रेसिपी को दोहराने की कोशिश करता है। इन रोबोट्स को सुचारू और स्वाभाविक बनाने के लिए, वैज्ञानिक "एक्शन-चंकिंग" का उपयोग करते हैं। रोबोट को यह बताने के बजाय कि "अपना हाथ ऊपर उठाओ, फिर बाएं ले जाओ, फिर पकड़ो," रोबोट एक साथ कई कदमों के पूरे क्रम (सीक्वेंस) की भविष्यवाणी करता है, जैसे एक डांसर एक कदम के बजाय अगले तीन कदमों के बारे में पहले से सोच लेता है। यह रोबोट को सहजता से चलने में मदद करता है। हालाँकि, इसमें एक पेंच है: यदि रोबोट किसी अजीब कोण या फिसलन भरी वस्तु के कारण थोड़ा भ्रमित हो जाता है, तो वह अपने रास्ते से भटक सकता है। क्योंकि वह अपने पूर्व-नियोजित "चंक्स" (टुकड़ों) को लेकर बहुत आश्वस्त होता है, इसलिए वह सुचारू रूप से चलते हुए सीधे दुर्घटना की ओर बढ़ सकता है, क्योंकि उसे यह एहसास ही नहीं होता कि वह अब वह काम नहीं कर रहा है जिसके लिए उसे प्रशिक्षित किया गया था। बड़ा सवाल वैज्ञानिकों के सामने यह है: हम रोबोट को आत्मविश्वास के साथ विफल होने से कैसे रोकें, और हम उसे बिना किसी इंसान के लगातार निगरानी किए वापस पटरी पर कैसे ला सकते हैं?
यहाँ AutoIntervene आता है, जो एक चतुर नए सिस्टम के रूप में इन रोबोट्स के लिए एक स्मार्ट को-पायलट की तरह काम करता है। इस रोबोट को एक ऐसे छात्र चालक के रूप में सोचें जिसने एक विशिष्ट मार्ग को याद कर लिया है। यदि छात्र खाई की ओर बढ़ने लगता है, तो आमतौर पर एक मानव प्रशिक्षक को स्टीयरिंग संभालनी पड़ती है। लेकिन AutoIntervene के साथ, कार में एक अंतर्निहित "सेफ्टी मॉनिटर" (सुरक्षा निगरानी प्रणाली) है जो ठीक उसी समय जान लेती है जब छात्र गलती करने वाला होता है, और कोमलता से नियंत्रण अपने हाथ में ले लेती है, और फिर उसे पता होता है कि कब छात्र को फिर से चलाने देना है।
यह शोध पत्र इस सिस्टम को रोबोट लर्निंग को बहुत अधिक विश्वसनीय बनाने के एक तरीके के रूप में पेश करता है। वास्तविक दुनिया में यह कैसे काम करता है: रोबोट एक कार्य करने की कोशिश करता है, जैसे तौलिया तह करना या बॉक्स पैक करना। जैसे-जैसे वह आगे बढ़ता है, AutoIntervene लगातार दो चीजें जाँचता है: "क्या रोबोट का वर्तमान दृश्य उन सफल चित्रों जैसा दिखता है जिनसे उसने सीखा है?" और "क्या उसके आगामी कदम उन सफल चित्रों में देखे गए कदमों के समान हैं?" यदि रोबोट ऐसी स्थिति में भटकने लगता है जहाँ उसके कदम उसके प्रशिक्षण उदाहरणों से मेल नहीं खाते (जैसे कि एक ऐसे तौलिए को तह करने की कोशिश करना जो अजीब तरह से मुड़ा हुआ है), तो सिस्टम स्वचालित रूप से नियंत्रण को एक मानव ऑपरेटर को सौंप देता है। इंसान उस गड़बड़ी को ठीक करता है, और रोबमाट उस सुधार को देखकर सीखता है। एक बार जब रोबोट वापस एक "सुरक्षित" क्षेत्र में पहुँच जाता है जहाँ उसके कदम तर्कसंगत होते हैं, तो सिस्टम नियंत्रण वापस रोबोट को सौंप देता है।
जो चीज़ इसे खास बनाती है वह है एक स्मृति (मेमोरी) के साथ दो-तरफा रास्ता। जब रोबोट चला रहा होता है, तो सिस्टम केवल उस कार्य के "पड़ोस" (नेबरहुड) को देखता है जिसमें वह वर्तमान में है, ताकि यह तय किया जा सके कि क्या यह सुरक्षित है। लेकिन जब कोई इंसान समस्या को ठीक करने के लिए नियंत्रण लेता है, तो सिस्टम पूरे "मैप" (मानचित्र) को देखता है ताकि यह देखा जा सके कि रोबोट फिर से चलाने के लिए तैयार है या नहीं। यह रोबोट को उस लूप में फंसने से रोकता है जहाँ वह सोचता है कि वह सुरक्षित है जबकि वह नहीं है, या जहाँ वह तब तक मदद मांगता रहता है जब उसे इसकी आवश्यकता नहीं होती।
शोधकर्ताओं ने दो रोबोटिक भुजाओं के साथ नौ अलग-अलग वास्तविक दुनिया के कार्यों पर इसका परीक्षण किया, जिसमें तौलिए तह करना, बॉक्स पैक करना और यहाँ तक कि केबल संभालना जैसे कठिन कार्य शामिल थे। उन्होंने पाया कि AutoIntervene का उपयोग करने वाले रोबोट केवल कुछ दौर के अभ्यास के बाद ही अपने कार्यों में बहुत बेहतर हो गए, और अक्सर 80% से अधिक बार सफल रहे। महत्वपूर्ण बात यह है कि उन्हें शून्य से अधिक पूर्ण प्रदर्शन रिकॉर्ड करने की तुलना में बहुत कम मानवीय सहायता की आवश्यकता पड़ी। वास्तव में, इसने उस समय को लगभग 74% तक बचा लिया जो मनुष्य रोबोट को नियंत्रित करने में खर्च करते। यह विभिन्न प्रकार के रोबोट "मस्तिष्क" के साथ भी अच्छी तरह से काम करता है, जो इसे एक लचीला उपकरण बनाता है।
यह शोध पत्र इस विचार का खंडन करता है कि रोबोट्स को बस भ्रमित होने पर खुद को ठीक करने की कोशिश करते रहना चाहिए, या इंसानों को हर बार मैन्युअल रूप से निर्णय लेना चाहिए कि कब नियंत्रण लेना है। इसके बजाय, यह दिखाता है कि एक स्वचालित, डेटा-संचालित स्विच अधिक तेज़ और सटीक है। परिणाम बताते हैं कि रोबोट को विशेष रूप से उन क्षणों से सीखने देकर जब वह फंस गया था, न कि केवल पूरे कार्य को दोबारा सीखने के बजाय, हम रोबोट को बहुत अधिक स्वतंत्र और विश्वसनीय बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।