RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation
RoMAN-Flow एक ऑफलाइन रिइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो एक सैंपलिंग-मुक्त अनुकूलन उद्देश्य (sampling-free optimization objective) का उपयोग करके और परिणामी पॉलिसी को कुशल परिनियोजन के लिए एक कम-विलंबता वाले एक-चरण जनरेटर में आसवित (distill) करके रोबोटिक मैनिपुलेशन में ऑटोरेग्रेसिव नॉर्मलाइजिंग फ्लो के व्यावहारिक उपयोग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट जो मानवीय निपुणता के साथ वस्तुओं को नियंत्रित कर सकें, लंबे समय से आर्टिफिशियल इंटेलिजेंस का एक लक्ष्य रहे हैं, लेकिन उन्हें निरंतर मानवीय मार्गदर्शन के बिना ऐसा करना सिखाना एक कठिन चुनौती बनी हुई है। पारंपरिक रूप से, इंजीनियरों ने सुदृढीकरण लर्निंग (reinforcement learning) पर भरोसा किया है, जो एक 'ट्रायल-एंड-एरर' (प्रयास और त्रुटि) की प्रक्रिया है जहाँ एक रोबोट अपने वातावरण के साथ अंतःक्रिया करके सीखता है, सफलता के लिए पुरस्कार और विफलता के लिए दंड प्राप्त करता है। हालांकि यह शक्तिशाली है, लेकिन यह विधि अक्सर धीमी, खतरनाक और वास्तविक दुनिया के परिवेश के लिए अव्यावहारिक होती है जहाँ गलतियाँ महंगे उपकरणों को तोड़ सकती हैं। एक अधिक कुशल विकल्प उभर कर आया है: ऑफलाइन सुदृढीकरण लर्निंग (offline reinforcement learning)। करने के माध्यम से सीखने के बजाय, रोबोट पहले से रिकॉर्ड किए गए मानव प्रदर्शनों के एक विशाल पुस्तकालय का अध्ययन करके सीखता है। वह इन पिछले कार्यों का विश्लेषण करता है ताकि यह पता लगा सके कि सबसे अच्छा क्या काम करता है, और भौतिक दुनिया को फिर से छुए बिना ही अपने व्यवहार को परिष्कृत करता है। हालाँकि, एक महत्वपूर्ण बाधा बनी हुई थी: इन जटिल गतिविधियों को उत्पन्न करने वाले सबसे सफल मॉडल, जो डिफ्यूजन या फ्लो-मैचिंग तकनीकों पर निर्भर करते हैं, 'ब्लैक बॉक्स' की तरह हैं। वे उत्कृष्ट गतिविधियाँ तो उत्पन्न कर सकते हैं, लेकिन वे किसी विशिष्ट क्रिया की सटीक संभावना (probability) की आसानी से गणना नहीं कर सकते, जिससे लाइब्रेरी के रिवॉर्ड डेटा का उपयोग करके उन्हें गणितीय रूप से अनुकूलित करना कठिन हो जाता है।
कैस्ट विश्वविद्यालय (University of Science and Technology of China) और चाइनीज यूनिवर्सिटी ऑफ हांगकांग के शोधकर्ताओं की एक टीम ने इस विशिष्ट बाधा को हल करने के लिए RoMAN-Flow नामक एक नया फ्रेमवर्क विकसित किया है। उनका दृष्टिकोण एक प्रकार के एआई मॉडल पर केंद्रित है जिसे 'ऑटोरिग्रेसिव नॉर्मलाइजिंग फ्लो' (autoregressive normalizing flow) कहा जाता है। ब्लैक-बॉक्स मॉडलों के विपरीत, यह आर्किटेक्चर सिस्टम को उसके द्वारा उत्पन्न की गई किसी भी क्रिया की सटीक संभावना की गणना करने की अनुमति देता है, जो ऑफलाइन लर्निंग में आवश्यक गणितीय अनुकूलन के लिए महत्वपूर्ण है। शोधकर्ताओं को इस मॉडल के साथ एक अनूठी समस्या का सामना करना पड़ा: जबकि यह संभावनाओं की गणना करने में उत्कृष्ट है, यह नई क्रियाओं को उत्पन्न करने में बहुत धीमा है क्योंकि इसे एक बार में एक हिस्सा बनाना होता है, जैसे कोई व्यक्ति शब्द-दर-शब्द वाक्य लिखता है। यह क्रमिक प्रक्रिया एक ऐसा विलंब पैदा करती है जो वास्तविक समय में प्रतिक्रिया देने के लिए बहुत लंबा है। इस पर काबू पाने के लिए, टीम ने दो-भागों वाली रणनीति तैयार की। पहले, उन्होंने ऑफलाइन डेटा में रिवॉर्ड का विश्लेषण करके रोबोट की पॉलिसी को बेहतर बनाने के लिए एक प्रशिक्षण पद्धति बनाई, जिसमें धीमे मॉडल को नई क्रियाएं उत्पन्न करने के लिए कभी नहीं पूछा गया। दूसरा, मॉडल को अनुकूलित करने के बाद, उन्होंने 'डिस्टिलेशन' (distillation) नामक एक तकनीक का उपयोग किया ताकि जटिल, धीमे 'टीचर मॉडल' को एक बहुत तेज़, सिंगल-स्टेप 'स्टूडेंट मॉडल' में संकुचित किया जा सके जो गतिविधियों के पूरे अनुक्रम (sequence) की भविष्यवाणी तुरंत कर सके।
शोधकर्ताओं ने विभिन्न सिम्युलेटेड वातावरणों और एक वास्तविक रोबोटिक प्लेटफॉर्म पर, जो सात-जोड़ों वाले हाथ और बारह-उंगलियों वाले हाथ से लैस था, इस फ्रेमवर्क का परीक्षण किया। सिमुलेशन में, जिसमें वस्तुओं को विशिष्ट स्थानों पर ले जाने से लेकर जटिल पहेलियाँ सुलझाने तक के कार्य शामिल थे, सिस्टम ने दिखाया कि वह स्थिर डेटा से प्रभावी ढंग से सीख सकता है। पचास अलग-अलग मैनिपुलेशन कार्यों के एक बेंचमार्क सूट पर, इस पद्धति ने ऑफलाइन प्रशिक्षण चरण के बाद रोबोट की सफलता दर में उल्लेखनीय सुधार किया, जो औसतन अस्सी प्रतिशत से अधिक तक पहुँच गई। अन्य अग्रणी मॉडलों की तुलना में, नया दृष्टिकोण प्रतिस्पर्धी रहा, और अक्सर उन सिस्टमों से बेहतर प्रदर्शन किया जो बहुत बड़े और अधिक कम्प्यूटेशनल रूप से महंगे थे। महत्वपूर्ण रूप से, डिस्टिलेशन प्रक्रिया ने गति के लिए प्रदर्शन का त्याग नहीं किया। अंतिम, डिस्टिल्ड मॉडल ने मूल, धीमे संस्करण के लगभग सभी कौशल बनाए रखे, जबकि गतिविधियों के अनुक्रम को उत्पन्न करने में लगने वाले समय को आठ गुना से अधिक कम कर दिया। इसका अर्थ है कि रोबोट अब अपनी अगली चाल की योजना लगभग अस्सी मिलीसेकंड में बना सकता है, जो व्यावहारिक, वास्तविक समय के नियंत्रण के लिए पर्याप्त तेज़ गति है।
टीम ने एक वास्तविक प्रयोगशाला सेटिंग में एक भौतिक रोबोट पर इन निष्कर्षों को भी मान्य किया, जिसमें उनसे एक बीकर उठाने, उसे बैलेंस स्केल पर रखने और सिलेंडर को संचालित करने जैसे नाजुक कार्य करने के लिए कहा गया। इन वास्तविक दुनिया के परीक्षणों में, ऑफलाइन प्रशिक्षण ने रोबोट के व्यवहार को परिष्कृत करने में अत्यधिक प्रभावशीलता दिखाई। सिस्टम ने इन भौतिक कार्यों पर अपनी औसत सफलता दर लगभग सत्तावन प्रतिशत से बढ़ाकर अस्सी प्रतिशत से अधिक कर दी। सबसे नाटकीय सुधार सटीक प्लेसमेंट वाले कार्यों में देखे गए, जहाँ सफलता दर साठ प्रतिशत अंकों से अधिक बढ़ गई। यह सुझाव देता है कि सटीक संभावनाओं की गणना करने की क्षमता ने रोबोट को यह बेहतर ढंग से समझने में मदद की कि कौन सी विशिष्ट गतिविधियाँ सफल होने की सबसे अधिक संभावना रखती हैं, भले ही उसे वास्तविक दुनिया के अप्रत्याशित शोर और विविधताओं का सामना करना पड़े। डिस्टिल्ड मॉडल ने प्रदर्शन के इस उच्च स्तर को बनाए रखा, जिससे सिद्ध हुआ कि गति-वृद्धि प्रदर्शन की विश्वसनीयता की कीमत पर नहीं आई।
यह कार्य सुझाव देता है कि अधिक सक्षम रोबोट का मार्ग आवश्यक रूप से बड़े, अधिक जटिल मॉडलों की मांग नहीं करता है जिन्हें प्रशिक्षित करना कठिन हो या उपयोग के लिए बहुत धीमा हो। एक ऐसे मॉडल को मिलाने से जो गणितीय रूप से अनुकूलित किया जा सके और एक ऐसी विधि को जो इसे तेज़ बना सके, शोधकर्ताओं ने दिखाया है कि अत्यधिक कुशल और उत्तरदायी रोबोटिक पॉलिसियाँ बनाना संभव है। परिणाम संकेत देते हैं कि ऑटोरिग्रेसिंग नॉर्मलाइजिंग फ्लो, जिन्हें कभी व्यावहारिक तैनाती के लिए बहुत धीमा माना जाता था, उन्हें वास्तविक रोबोटिक्स के लिए व्यवहार्य बनाया जा सकता है। यह फ्रेमवर्क संभावना-आधारित लर्निंग (likelihood-based learning) के सैद्धांतिक लाभों और रोबोटिक नियंत्रण की व्यावहारिक मांगों के बीच के अंतर को सफलतापूर्वक पाटता है, जो मशीनों को अधिक सटीकता और स्वायत्तता के साथ अपने वातावरण को संचालित करने के लिए सिखाने हेतु एक नया उपकरण प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।