E2HiL: Entropy-Guided Sample Selection for Efficient Real-World Human-in-the-Loop Reinforcement Learning
यह शोध पत्र E2HiL का प्रस्ताव करता है, जो वास्तविक दुनिया के ह्यूमन-इन-द-लूप सुदृढीकरण लर्निंग (reinforcement learning) के लिए एक एंट्रॉपी-गाइडेड सैंपल सिलेक्शन फ्रेमवर्क है, जो केवल उन नमूनों को बनाए रखने के लिए शोर वाले और शॉर्टकट नमूनों को सक्रिय रूप से फ़िल्टर करके पॉलिसी एंट्रॉपी पर मध्यम प्रभाव वाले नमूनों को चुनता है, जिससे सैंपल दक्षता और सफलता दर में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से कारखाने के फर्श के उस्ताद रहे हैं, जो त्रुटिहीन सटीकता के साथ दोहराव वाले कार्यों को करते हैं। फिर भी, जब उन्हें एक मानव घर या एक गतिशील कार्यशाला की अव्यवस्थित, अप्रत्याशित अराजकता में नेविगेट करने के लिए कहा जाता है, तो वे अक्सर लड़खड़ा जाते हैं। मुख्य कठिनाई मशीन को अनुकूलन करना सिखाने में निहित है। पारंपरिक प्रोग्रामिंग विफल हो जाती है क्योंकि यह वास्तविक दुनिया में होने वाले हर संभावित बदलाव को ध्यान में नहीं रख सकती। इसके बजाय, शोधकर्ता एक ऐसी विधि की ओर मुड़ते हैं जहाँ रोबोट करके सीखता है, क्रियाएं करता है, विफल होता है, और धीरे-धीरे यह पता लगाता है कि क्या काम करता है। यह प्रक्रिया, जिसे सुदृढीकरण सीखना (reinforcement learning) कहा जाता है, शक्तिशाली है लेकिन कुख्यात रूप से धीमी और महंगी है। इसे तेज करने के लिए, वैज्ञानिकों ने इसमें एक मानव शिक्षक को शामिल किया है। जब रोबोट गलती करता है, तो एक व्यक्ति हस्तक्षेप कर सकता है, क्रिया को सुधार सकता है, और मशीन को सही तरीका दिखा सकता है। यह "ह्यूमन-इन-द-लूप" दृष्टिकोण आशाजनक रहा है, लेकिन इसकी एक भारी कीमत है: इसके लिए मानव समय और प्रयास की एक विशाल मात्रा की आवश्यकता होती है, जो अक्सर शिक्षक को अनावश्यक सुधारों से थका देती है।
शोधकर्ताओं के एक दल ने अब इस साझेदारी को प्रबंधित करने का एक स्मार्ट तरीका विकसित किया है, एक प्रणाली जिसे वे E2HiL कहते हैं। एक मानव द्वारा दिए जाने वाले प्रत्येक सुधार को स्वीकार करने के बजाय, यह नया ढांचा एक विवेकपूर्ण संपादक के रूप में कार्य करता है, जो यह तय करता है कि कौन से सबक वास्तव में मूल्यवान हैं और कौन से भटकाव हैं। शोधकर्ताओं ने पाया कि कुशल शिक्षण की कुंजी "एन्ट्रॉपी" (entropy) नामक एक अवधारणा में निहित है, जो इस संदर्भ में यह मापती है कि रोबोट नई संभावनाओं की खोज करने बनाम जो वह पहले से जानता है उस पर टिके रहने के बीच कितना संतुलन बना रहा है। यदि रोबोट बहुत जल्दी बहुत आत्मविश्वासी हो जाता है, तो वह अन्वेषण करना बंद कर देता है और एक स्थानीय समाधान (local solution) में फंस जाता है, जिससे वह कार्य करने के बेहतर तरीकों को चूक जाता है। इसके विपरीत, यदि वह बहुत अनिश्चित रहता है, तो वह बिना किसी उद्देश्य के भटक कर समय बर्बाद करता है। टीम ने पाया कि मौजूदा विधियाँ अक्सर रोबोट के आत्मविश्वास को बहुत जल्दी ढह जाने देती हैं, जिससे वह वास्तव में सीखने से पहले ही अन्वेषण करना छोड़ देता है।
इसे हल करने के लिए, E2HiL प्रणाली रोबोट और मानव के बीच होने वाली प्रत्येक बातचीत का विश्लेषण करती है ताकि रोबोट के सीखने के वक्र (learning curve) पर इसके प्रभाव का आकलन किया जा सके। यह डेटा में एक विशिष्ट पैटर्न की तलाश करती है: वे अंतःक्रियाएं जिनके कारण रोबط का आत्मविश्वास बहुत तेजी से गिरता है या वे जिनका प्रभाव लगभग शून्य होता है। सिस्टम इन्हें "शॉर्टकट" नमूने के रूप में पहचानता है, जहाँ एक मानव शायद एक त्वरित समाधान थोप देता है जो रोबोट को अंतर्निहित यांत्रिकी को समझने से रोकता है, और "नॉइजी" (noisy) नमूने, जो ऐसे सुधार हैं जो इतने मामूली हैं कि कोई मूल्य नहीं जोड़ते। इन अनुपयोगी क्षणों को फ़िल्टर करके, सिस्टम यह सुनिश्चित करता है कि रोबोट केवल उन हस्तक्षेपों से सीखे जो अनिश्चितता में एक स्थिर, प्रबंधनीय कमी प्रदान करते हैं। यह रोबोट को नई चीजें आजमाने और अपने कौशल को निखारने के बीच एक स्वस्थ संतुलन बनाए रखने की अनुमति देता है, जिससे कम मानवीय थकान के साथ तेजी से महारत हासिल होती है।
शोधकर्ताओं ने विभिन्न रोबोटिक भुजाओं का उपयोग करके दस अलग-अलग वास्तविक दुनिया के कार्यों पर इस दृष्टिकोण का परीक्षण किया, जिसमें साधारण पिक-एंड-प्लेस संचालन से लेकर तौलिये को मोड़ने और ब्लॉक डालने जैसे जटिल हेरफेर तक शामिल हैं। उन्होंने अपनी नई प्रणाली की तुलना मानव-निर्देशित शिक्षण की वर्तमान सर्वोत्तम विधियों से की। परिणाम आश्चर्यजनक थे। E2HiL ढांचे ने रोबोट की सफलता दर में लगभग 25 प्रतिशत की वृद्धि की और साथ ही मानव हस्तक्षेप की संख्या को लगभग 9 प्रतिशत कम कर दिया। एक विशिष्ट कार्य में, जिसमें एक घन (cube) को छूने की आवश्यकता थी, इस प्रणाली ने रोबोट को क्रमिक रूप से दो अलग-अलग कौशल सीखने की अनुमति दी, जबकि मानक विधि पहले कौशल से आगे बढ़ने में संघर्ष कर रही थी। सिस्टम ने यह उपलब्धि रोबोट के हार्डवेयर या उसके मूल लर्निंग एल्गोरिदम को बदलकर नहीं, बल्कि केवल उस डेटा के चयन के प्रति अधिक चयनात्मक होकर हासिल की जिसका उपयोग उसके 'दिमाग' को अपडेट करने के लिए किया जाता है।
यह निष्कर्ष क्या महत्वपूर्ण बनाता है, वह यह है कि यह प्रणाली इस बात पर निर्भर नहीं करती कि विशिष्ट रोबोट कौन सा है या कार्य का प्रकार क्या है। यह एक प्लग-एंड-प्ले मॉड्यूल के रूप में कार्य करता है जिसे मौजूदा लर्निंग फ्रेमवर्क में पूर्ण पुनर्गठन की आवश्यकता के बिना जोड़ा जा सकता है। शोधकर्ताओं ने सत्यापित किया कि उनकी विधि पूर्ण प्रारंभिक अनुमानों या दोषरहित डेटा पर निर्भर नहीं है; यह जैसे-जैसे रोबोट सीखता है, वैसे-वैसे अनुकूलित होती है, और शुरुआती डेटा अपूर्ण होने पर भी सीखने की प्रक्रिया को स्थिर करती है। मानव-रोबोट संपर्क की मात्रा के बजाय उसकी गुणवत्ता पर ध्यान केंद्रित करके, E2HiL यह प्रदर्शित करता है कि कुशल रोबोटिक शिक्षण का मार्ग अधिक मानवीय प्रयास के बारे में नहीं, बल्कि स्मार्ट चयन के बारे में है। यह दृष्टिकोण कुशल रोबोटों को वास्तविक दुनिया के परिवेश में तैनात करने के लिए एक स्पष्ट मार्ग प्रदान करता है जहाँ समय और मानव ध्यान सीमित संसाधन हैं, यह सिद्ध करते हुए कि कभी-कभी मशीन को सिखाने का सबसे प्रभावी तरीका उसे यह सिखाना है कि किसे अनदेखा करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।