Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO
यह शोध पत्र यह प्रदर्शित करता है कि बाउंडेड कंटीन्यूअस-कंट्रोल PPO में, एंट्रॉपी को कहाँ मापा जाता है (लेटेंट बनाम एक्जीक्यूटेड एक्शन स्पेस), वह एक विशिष्ट मीन-वेरिएंस कपलिंग को पेश करके सीखी गई पॉलिसी ज्योमेट्री को मौलिक रूप से बदल देता है, जिससे यह महत्वपूर्ण रूप से प्रभावित होता है कि क्रियाएं कितनी बार सीमाओं के पास क्लस्टर होती हैं और अंततः कार्य प्रदर्शन को प्रभावित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक शाखा ऐसी है जो मशीनों को भौतिक दुनिया में चलना और अंतःक्रिया करना सिखाने के लिए समर्पित है। यह क्षेत्र, जिसे 'कंटीन्यूअस कंट्रोल' (continuous control) कहा जाता है, कंप्यूटर को यह सीखने के लिए कहता है कि कैसे चलना, दौड़ना या खड़ा होना है, ठीक वैसे ही जैसे एक बच्चा संतुलन बनाना सीखता है। ऐसा करने के लिए, कंप्यूटर एक गणितीय मार्गदर्शक का उपयोग करता है जिसे 'पॉलिसी' (policy) कहा जाता है, जो यह सुझाव देता है कि जो कुछ भी वह देख रहा है उसके आधार पर अगला कदम क्या उठाना चाहिए। दशकों से, इस मार्गदर्शक के लिए मानक उपकरण एक घंटी के आकार का वक्र (bell-shaped curve) रहा है, जो एक सांख्यिकीय आकृति है जो एक संभावित क्रिया का सुझाव देती है और साथ ही कुछ यादृच्छिक भिन्नता (random variation) की अनुमति भी देती है। हालाँकि, वास्तविक दुनिया की सीमाएँ होती हैं। एक रोबोट का पैर एक निश्चित बिंदु से पीछे की ओर नहीं मुड़ सकता, और एक मांसपेशी अनंत बल के साथ संकुचित नहीं हो सकती। जब कंप्यूटर के सुचारू, असीमित सुझाव इन कठोर दीवारों से टकराते हैं, तो उन्हें मजबूरन काट दिया जाता है या फिट होने के लिए दबा दिया जाता है। लंबे समय तक, शोधकर्ताओं ने यह मान लिया था कि यदि रोबट अच्छा प्रदर्शन करता है, तो उसने इन सीमाओं को कैसे संभाला, इसके विवरण से कोई फर्क नहीं पड़ता। वे केवल अंतिम स्कोर की परवाह करते थे: क्या रोबोट तेज़ चला? क्या वह सीधा खड़ा रहा?
एक नया अध्ययन इस धारणा को चुनौती देता है और यह देखते हुए कि जब कंप्यूटर अस्सी मांसपेशियों वाले एक कृत्रिम पैर पर चलने के लिए सीखने की कोशिश करता है, तो उसके दिमाग के भीतर क्या होता है। शोधकर्ताओं ने पाया कि जिस तरह से कंप्यूटर अपनी अनिश्चितता को मापता है, वह उस पथ के आकार को बदल देता है जिसे वह सीखता है। उन्होंने पाया कि जब कंप्यूटर को इस तरह की अनिश्चितता दिखाने की अनुमति दी जाती है जो रोबोट की भौतिक सीमाओं को अनदेखा करती है, तो वह अपने कार्यों को अपनी अनुमत सीमा की दीवारों के बिल्कुल करीब धकेलना सीख जाता है। यह ऐसा है जैसे रोबोट लगातार एक बॉक्स के किनारों पर अपने हाथ दबा रहा हो, भले ही वह आसानी से बीच में खड़ा हो सकता हो। यह व्यवहार इसलिए नहीं है क्योंकि रोबोट की मांसपेशियाँ धीमी हैं या सीमाएँ बहुत सख्त हैं। इसके बजाय, यह सीधे तौर पर इस बात का परिणाम है कि लर्निंग एल्गोरिदम अपने स्वयं के "कौतूहल" (curiosity) या यादृच्छिकता की गणना कैसे करता है। अध्ययन से पता चलता है कि यदि आप इस कौतूहल को मापने की जगह बदल देते हैं—कंप्यूटर के आंतरिक, असीमित विचारों से बदलकर वास्तविक, भौतिक क्रियाओं तक—तो रोबोट एक पूरी तरह से अलग ज्यामिति सीखता है। वह दीवारों से टकराना बंद कर देता है और बीच में आराम से रहना सीख जाता है, जबकि समान या बेहतर प्रदर्शन भी करता है।
यह जांच एक मानव जैसे पैर के जटिल सिमुलेशन के साथ शुरू हुई, जो अस्सी अलग-अलग मांसपेशियों से लैस था, जिसे चलने का कार्य दिया गया था। शोधकर्ताओं ने इस पैर को चलाने के लिए एक लोकप्रिय लर्निंग पद्धति का उपयोग करके एक आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित किया। उन्होंने एक अजीब घटना देखी: कंप्यूटर सफलतापूर्वक चलना सीख रहा था, लेकिन वह उन कमांड्स को भेजकर ऐसा कर रहा था जो लगभग हमेशा मांसपेशियों की अधिकतम या न्यूनतम सीमाओं के किनारे पर होते थे। लगभग निवासी प्रतिशत समय, मांसपेशी कमांड अपनी अधिकतम या न्यूनतम सीमाओं के पांच प्रतिशत के भीतर थे। यह ऐसा था जैसे चलने वाला लगातार अपनी अपनी सीमाओं के विरुद्ध संघर्ष कर रहा हो। टीम को पहले लगा कि यह एक भौतिक समस्या थी, शायद इस वजह से कि मांसपेशियाँ स्वाभाविक रूप से कैसे सक्रिय और निष्क्रिय होती हैं, या सिमुलेशन द्वारा संकेतों को फ़िल्टर करने के विशिष्ट तरीके के कारण। उन्होंने इन विचारों का परीक्षण करने के लिए सिमुलेशन के भौतिक विज्ञान को बदला, जिसमें सक्रियण समय को सममित बनाया गया और फिल्टर हटा दिए गए। इनमें से किसी भी बदलाव ने समस्या को ठीक नहीं किया। रोबोट अभी भी दीवारों से टकरा रहा था। इसने भौतिक दुनिया को अपराधी के रूप में खारिज कर दिया और दोष लर्निंग एल्गोरिदम पर मढ़ दिया।
यह समझने के लिए कि रोबोट ऐसा व्यवहार क्यों कर रहा था, शोधकर्ताओं ने समस्या को दो भागों में विभाजित किया: वह औसत दिशा जिसमें रोबोट जाना चाहता है, और वह मात्रा जो वह उस दिशा में यादृच्छिकता या भिन्नता जोड़ता है। उन्होंने एक सरल प्रश्न पूछा: क्या रोबोट दीवार के पास इसलिए है क्योंकि वह पागलों की तरह अनुमान लगा रहा है, या इसलिए कि वह जानबूझकर दीवार की ओर निशाना साध रहा है? ठीक उसी समय के क्षणों पर एक काउंटरफैक्टुअल (counterfactual) परीक्षण चलाकर, उन्होंने पाया कि भले ही वे सारी यादृच्छिकता हटा दें और रोबोट को अपनी औसत योजना का पूरी तरह से पालन करने के लिए मजबूर करें, फिर भी वह दीवार के पास ही रहना चाहता है। वास्तव में, औसत योजना स्वयं अक्सर गति की संभव सीमा के बाहर की ओर इशारा कर रही थी, जिससे कंप्यूटर को निकटतम सीमा तक क्रिया को काटना (clip) पड़ रहा था। रोबोट का "मन" बाहर की ओर खिंचा हुआ था, जो उसके इच्छित कार्यों को सीमाओं के परे धकेल रहा था, और भौतिक सीमाएँ बस उन्हें पकड़ रही थीं। इसका मतलब था कि केवल रोबोट को कम यादृच्छिक होने के लिए कहना इस समस्या को ठीक नहीं करेगा; रोबोट को शुरुआत में ही केंद्र की ओर लक्ष्य बनाना सीखना होगा।
इसे ठीक करने की कुंजी इस बात में निहित थी कि कंप्यूटर अपनी अनिश्चितता को कैसे मापता है। मानक सेटअप में, कंप्यूटर अपनी अनिश्चितता की गणना अपने आंतरिक, असीमित विचारों के आधार पर करता है, इससे पहले कि उन्हें भौतिक क्रियाओं में अनुवादित किया जाए। इस आंतरिक स्थान में, गणित केंद्र और किनारों को समान मानता है, जिससे दीवारों से दूर रहने का कोई कारण नहीं मिलता। हालाँकि, शोधकर्ताओं ने महसूस किया कि यदि कंप्यूटर अपनी अनिश्चितता को भौतिक दुनिया में क्रियाओं के अनुवाद के बाद मापता है, तो गणित बदल जाएगा। क्योंकि भौतिक दुनिया की कठोर सीमाएँ होती हैं, इसलिए इस स्थान के किनारे केंद्र से भिन्न दिखते हैं। जब कंप्यूटर इस भौतिक स्थान में अपनी अनिश्चितता की गणना करता है, तो गणित स्वाभाविक रूप से एक बल पैदा करता है जो औसत क्रिया को दीवारों से दूर और मध्य की ओर खींचता है। यह दृष्टिकोण का एक सूक्ष्म बदलाव है: शोर को वहां मापना जहां वह उत्पन्न होता है, न कि वहां जहां वह महत्वपूर्ण है।
इसकी पुष्टि करने के लिए, शोधकर्ताओं ने उसी चलने के कार्य पर तीन अलग-अलग संस्करणों के लर्निंग एल्गोरिदम का परीक्षण किया। पहले संस्करण में, कंप्यूटर ने अपने आंतरिक विचारों में अनिश्चितता को मापा। दूसरे में, इसने कोई अनिश्चितता नहीं मापी। तीसरे में, इसने भौतिक क्रियाओं में अनिश्चितता को मापा। परिणाम चौंकाने वाले थे। जिस संस्करण ने अपने आंतरिक विचारों में अनिश्चितता को मापा, उसने बहुत यादृच्छिक होना सीखा और अपने कार्यों को दीवारों के खिलाफ धकेला। बिना अनिश्चितता वाले संस्करण ने बहुत सटीक होना सीखा लेकिन फिर भी दीवारों के पास ही निशाना साधा। केवल वह संस्करण जिसने भौतिक क्रियाओं में अनिश्चितता को मापा, उसने अपने औसत कार्यों को अनुमत सीमा के केंद्र में रखना सीखा। इस संस्करण में सबसे अधिक "आंतरिक" (interior) ज्यामिति थी, जिसका अर्थ था कि रोबोट अपनी सीमाओं के विरुद्ध संघर्ष नहीं कर रहा था।
टीम ने इस प्रयोग को एक पूरी तरह से अलग कार्य पर दोहराया: एक सिम्युलेटेड कुत्ते को खड़ा होना सिखाना। इस कार्य में तैंतीस अलग-अलग जोड़ शामिल थे और यह सुनिश्चित करने के लिए एक अलग सॉफ्टवेयर कोडबेस का उपयोग किया गया था कि परिणाम पहले सिमुलेशन का इत्तेफाक न हों। वही पैटर्न उभरा। जिस संस्करण ने भौतिक क्रियाओं में अनिश्चितता को मापा, उसने अपने आंदोलनों को केंद्रित रखना सीखा, जबकि अन्य संस्करण किनारों की ओर चले गए। इसने पुष्टि की कि यह खोज केवल चलने वाले पैर या पहले सॉफ्टवेयर तक सीमित नहीं थी। शोधकर्ताओं ने यह भी परीक्षण किया कि क्या सीधे दंड (penalty) के साथ कंप्यूटर को केंद्र की ओर लक्ष्य बनाने के लिए कहना काम करेगा। उन्होंने पाया कि हालांकि एक सीधा दंड भी रोबोट को केंद्र की ओर धकेल सकता था, लेकिन इसने यादृच्छिकता और समग्र प्रदर्शन के संदर्भ में एक अलग प्रकार का व्यवहार पैदा किया। इससे पता चला कि भौतिक स्थान में अनिश्चितता को मापना समस्या को हल करने का एक प्रभावी तरीका था, लेकिन एकमात्र नहीं; यह स्वाभाविक रूप से रोबोट के लक्ष्य और उसकी भिन्नता को जोड़ता है, फिर भी परिणामी संतुलन अन्य तरीकों से काफी भिन्न हो सकता है जो समान लक्ष्य प्राप्त करते हैं।
अध्ययन यह निष्कर्ष निकालता है कि वास्तविक दुनिया में चलने वाले रोबोटों के लिए, अनिश्चितता को मापने का स्थान एक महत्वपूर्ण डिजाइन निर्णय है। केवल कार्य पर उच्च स्कोर प्राप्त करना पर्याप्त नहीं है; रोबोट के चलने के तरीके से उसकी स्थिरता और सुरक्षा प्रभावित होती है। यदि रोबोट लगातार अपनी सीमाओं के विरुद्ध दबाव डालना सीखता है, तो वह नाजुक हो सकता है या वातावरण में थोड़ा सा बदलाव होने पर विफल हो सकता है। भौतिक स्थान में अनिश्चितता को मापकर, रोबोट एक ऐसी ज्यामिति सीखता है जो उसे सुरक्षित और केंद्रित रखती है। यह अंतर्दृष्टि बताती है कि रोबोट को सिखाने के मानक तरीके को अपडेट करने की आवश्यकता हो सकती है। सीखने की प्रक्रिया के दौरान भौतिक सीमाओं को अनदेखा करने के बजाय, एल्गोरिदम को उन्हें ध्यान में रखना चाहिए, यह सुनिश्चित करते हुए कि रोबोट प्राकृतिक, केंद्रित गरिमा के साथ चलना सीखे, न कि दीवारों के विरुद्ध निरंतर संघर्ष करते हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।