PB: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning
यह शोध पत्र PB प्रस्तुत करता है, जो प्राथमिकता-आधारित सुदृढीकरण शिक्षण (preference-based reinforcement learning) के लिए एक जनसंख्या-आधारित विधि है, जो प्राथमिकता स्थान (preference space) को बेहतर ढंग से खोजने के लिए विविध एजेंटों की एक जनसंख्या बनाए रखकर, विशिष्ट व्यवहारों के माध्यम से रिवॉर्ड मॉडल लर्निंग में सुधार करके, और जटिल वातावरणों में मानवीय लेबलिंग त्रुटियों के विरुद्ध मजबूत प्रदर्शन प्राप्त करके एकल-एजेंट दृष्टिकोणों की सीमाओं को दूर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास कोई मैनुअल नहीं है, और आप नियमों की सूची जैसे "अपना बायां पैर 10 सेंटीमीटर ऊपर उठाएं" नहीं लिख सकते। इसके बजाय, आपको एक सख्त लेकिन मददगार कोच की तरह काम करना होगा। हर बार जब रोबोट कुछ कदम चलता है, तो आप दो अलग-अलग प्रयासों को देखते हैं और बस इतना कहते हैं, "मुझे दूसरा वाला बेहतर लगा।" यह प्रिफरेंस-बेस्ड रीइन्फोर्समेंट लर्निंग (PbRL) का मूल है। यह मशीनों के लिए जटिल व्यवहारों को सीखने का एक तरीका है, जो केवल मानवीय राय सुनकर सीखती हैं, बिना किसी पहले से लिखे गए स्कोरकार्ड के।
हालाँकि, इस कोचिंग शैली के साथ एक पेचीदा समस्या है। यदि रोबोट बार-बार बिल्कुल एक ही चीज़ करता रहता है, तो आप अंततः ऊब जाते हैं। आप कह सकते हैं, "खैर, दोनों ही ठीक थे," या "मैं अंतर नहीं बता पा रहा हूँ," क्योंकि रोबोट आपको कुछ भी नया नहीं दिखा रहा है। यदि रोबोट केवल समान, सुरक्षित चालें दिखाता है, तो आप उसे वास्तव में कुछ महान या अनूठा करने के लिए नहीं सिखा सकते। रोबोट एक ही ढर्रे में फंस जाता है, एक औसत दर्जे के व्यवहार को दोहराता रहता है क्योंकि वह कुछ अलग करने की कोशिश करने से डरता है। यह पेपर इसी 'ऊब' की समस्या को हल करता है: हम रोबोट को अधिक विविध चालें दिखाने के लिए कैसे प्रेरित करें ताकि हम उसे बेहतर, तेज़ और अधिक सटीक तरीके से सिखा सकें?
समस्या: रोबोट का "इको चैंबर" (गूँज कक्ष)
AI की दुनिया में, शोधकर्ता एक उन्नत गणित का उपयोग करके यह अनुमान लगाने की कोशिश करते हैं कि इंसान को क्या पसंद आ सकता है, ताकि वे इस "ऊब" की समस्या को हल कर सकें। लेकिन इस पेपर के लेखक, ब्राहिम ड्रिस, एलेक्स डेवी और रियाद अक्रूर ने कुछ अजीब देखा। यहाँ तक कि इन उन्नत गणितीय तरकीबों के साथ भी, रोबोट एक जैसे जुड़वा बच्चों के समूह की तरह व्यवहार कर रहे थे। वे सभी एक ही तरह की चालें चलाने की कोशिश करते थे, उन्हें मानव कोच को दिखाते थे, और उन्हें एक जैसा फीडबैक मिलता था।
पेपर सुझाव देता है कि जब एक रोबोट के पास केवल एक "मस्तिष्क" (एक एकल एजेंट) होता है जो यह समझने की कोशिश करता है कि आपको क्या पसंद है, तो वह एक स्थानीय जाल (local trap) में फंस जाता है। वह एक ऐसा रास्ता खोज लेता है जो ठीक है, और फिर वह उस रास्ते को छोड़ने से इनकार कर देता है क्योंकि वह सोचता है, "अरे, यह तो काम कर रहा है!" लेकिन उसे कभी पता नहीं चलता कि ठीक बगल में एक बहुत बेहतर रास्ता मौजूद है। यह एक ऐसे हाइकर (पर्वतारोही) की तरह है जिसे एक छोटा, समतल मैदान मिल जाता है और वह हमेशा के लिए वहीं डेरा जमाने का फैसला कर लेता है, क्योंकि वह अपने आरामदायक स्थान को छोड़ने से बहुत डरा हुआ है, और वह कभी पहाड़ पर चढ़कर नज़ारा देखने की कोशिश नहीं करता।
समाधान: विविध खोजकर्ताओं की एक टीम
इसे ठीक करने के लिए, लेखक एक नई विधि प्रस्तावित करते हैं जिसे PB² (पॉपुलेशन-बेस्ड प्रिफरेंस-बेस्ड रीइन्फोर्समेंट लर्निंग) कहा जाता है। एक रोबोट को सीखने के लिए भेजने के बजाय, वे खोजकर्ताओं की एक पूरी टीम भेजते हैं।
कल्पना कीजिए कि आप अगले महान डांसर की तलाश में एक टैलेंट स्काउट हैं।
- पुराना तरीका: आप एक डांसर को काम पर रखते हैं। वह आपको एक रूटीन दिखाता है। आप कहते हैं, "मुझे स्पिन (घूमना) पसंद आया।" डांसर वही स्पिन बार-बार करता है, और करता है, और करता है, जिससे वह स्पिन में तो बेहतर होता जाता है लेकिन कभी जंप या स्लाइड करने की कोशिश नहीं करता। आप ऊब जाते हैं, और डांसर पूरा डांस कभी नहीं सीख पाता।
- PB² का तरीका: आप तीन डांसरों की एक टीम को काम पर रखते हैं। एक थोड़ा जंगली (wild) है, एक बहुत सटीक है, और एक दोनों के बीच का है। आप उनसे अपने मूव्स दिखाने के लिए कहते हैं। क्योंकि वे सभी अलग हैं, वे आपको एक स्पिन, एक जंप और एक स्लाइड दिखाते हैं। अब आप कह सकते हैं, "मुझे जंप बहुत पसंद आया!" और "स्लाइड ठीक थी, लेकिन स्पिन उबाऊ था।"
चूंकि टीम विविध है, वे अधिक क्षेत्र कवर करते हैं। वे आपको विविध प्रकार के व्यवहार दिखाते हैं, जिससे आप (मानव) स्पष्ट और अधिक उपयोगी फीडबैक दे पाते हैं। पेपर का तर्क है कि यही विविधता असली सफलता का रहस्य है। यह "लोकल ऑप्टिमा" के जाल को रोकता है जहाँ रोबोट एक औसत दर्जे के समाधान पर अटक जाता है।
यह कैसे काम करता है: "एंकर" और "बोनस"
PB² का जादू केवल एक टीम होने में नहीं है; बल्कि इसमें है कि वे ट्रैक पर कैसे रहते हैं। यदि आप केवल एक टीम को बेतहाशा दौड़ने देते हैं, तो वे ऐसी अजीब चीजें करना शुरू कर सकते हैं जिनका कार्य से कोई लेना-देना नहीं है। इसे रोकने के लिए, लेखक एक चतुर दो-भाग वाली प्रणाली का उपयोग करते हैं:
- द एंकर (The Anchor): टीम में एक रोबोट "एंकर" है। इसका एकमात्र काम वही सबसे अच्छा काम करना है जो आपने अब तक इसे बताया है। यह एक भरोसेमंद, साधारण कार्यकर्ता है जो यह सुनिश्चित करता है कि टीम लक्ष्य को न भूले।
- द एक्सप्लोरर्स (The Explorers): अन्य रोबोट "एक्सप्लोरर्स" हैं। उन्हें अजीब और अलग चीजें आज़माने की अनुमति है, लेकिन केवल तभी जब वे अभी भी एंकर के लगभग बराबर प्रदर्शन कर रहे हों।
पेपर एक "डाइवर्सिटी बोनस" (विविधता बोनस) पेश करता है। इसे एक खेल की तरह समझें जहाँ एक्सप्लोरर्स को अद्वितीय होने के लिए अतिरिक्त अंक मिलते हैं। यदि एक एक्सप्लोरर ऐसी चाल आज़माता है जो अन्य रोबनों से बहुत अलग दिखती है, तो उसे बोनस मिलता है। लेकिन यहाँ एक शर्त है: यदि एक्सप्लोरर इतनी अजीब चीजें करने लगता है कि उसका स्कोर बहुत कम हो जाता है, तो बोनस गायब हो जाता है, और उसे वापस मुख्य कार्य पर ध्यान केंद्रित करना पड़ता है। यह टीम को रचनात्मक लेकिन जिम्मेदार बनाए रखता है।
प्रयोगों ने क्या दिखाया
लेखकों ने इस विचार का परीक्षण दो मुख्य तरीकों से किया: सरल 2D नेविगेशन गेम्स में (जैसे भूलभुलैया में घूमता हुआ एक बिंदु) और जानवरों के चलने के जटिल 3D सिमुलेशन में (जैसे चीता दौड़ना या कुत्ता चलना)।
1. जाल से बचना:
भूलभुलैया वाले परीक्षणों में, पुराने सिंगल-रोबोट तरीकों को एक कोने में फंसा दिया गया। उन्होंने एक ऐसा रास्ता खोज लिया जो "काफी अच्छा" था और उन्होंने वहां से हटने से इनकार कर दिया। हालाँकि, PB² टीम ने अलग-अलग सदस्यों को अलग-अलग रास्तों पर भेजा। उनमें से एक ने अंततः निकास (exit) तक पहुँचने का गुप्त रास्ता खोज लिया। पेपर दिखाता है कि समान मात्रा में मानवीय फीडबैक के साथ, टीम ने सिंगल रोबोट की तुलना में बहुत तेज़ी से सर्वोत्तम समाधान खोज लिया।
2. मानवीय गलतियों को संभालना:
इंसान परफेक्ट नहीं होते। कभी-कभी हम दो बहुत समान मूव्स के बीच अंतर नहीं बता पाते और भ्रमित करने वाला जवाब दे सकते हैं। पेपर ने इसे सिम्युलेट किया जहाँ "मानव कोच" बहुत समान मूव्स होने पर कभी-कभी सिक्का उछालकर (coin flip) निर्णय लेता था।
- सिंगल-रोबोट तरीके तब विफल हो गए जब कोच भ्रमित हुआ। वे यह नहीं समझ सके कि भ्रम इसलिए था क्योंकि मूव्स खराब थे या इसलिए कि कोच का दिन खराब था।
- PB² टीम बहुत मजबूत थी। क्योंकि वे इतने अलग मूव्स दिखाते थे, कोच आमतौर पर अंतर आसानी से पहचान सकता था। भले ही कोच ने गलतियाँ कीं, टीम की विविधता ने उन्हें सही रास्ता खोजने में मदद की। पेपर का सुझाव है कि एक विविध समूह होना मानवीय त्रुटि के खिलाफ सीखने की प्रक्रिया को बहुत अधिक मजबूत बनाता है।
3. "एनसेंबल" (Ensemble) का मिथक:
एक दिलचस्प खोज अन्य शोधकर्ताओं द्वारा उपयोग किए जाने वाले एक लोकप्रिय तरीके के बारे में थी। कुछ टीमों ने विविधता की समस्या को हल करने के लिए रोबोट को एक "न्यूरल एनसेंबल" देने की कोशिश की—यानी, कई आंतरिक मस्तिष्क जो रिवॉर्ड का थोड़ा अलग अनुमान लगाते हैं। लेखकों ने इसका परीक्षण किया और पाया कि, व्यवहार में ये सभी आंतरिक मस्तिष्क बहुत जल्दी एक ही तरह से सोचने लगते हैं। उन्होंने वास्तव में पर्याप्त विविधता पैदा नहीं की जिससे मदद मिल सके। यह सुझाव देता है कि आप केवल गणितीय तरकीबों पर विविधता बनाने के लिए भरोसा नहीं कर सकते; आपको वास्तव में एक स्पष्ट तंत्र (जैसे खोजकर्ताओं की टीम) की आवश्यकता है जो रोबोट को अलग होने के लिए मजबूर करे।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि रोबोट को मानवीय फीडबैक का उपयोग करके प्रभावी ढंग से सिखाने के लिए, हमें एक अकेले, अकेले एजेंट पर निर्भर रहना बंद करना होगा जो यह अनुमान लगाने की कोशिश करता है कि हमें क्या चाहिए। इसके बजाय, हमें विविध एजेंटों की एक आबादी (population) बनाए रखनी चाहिए।
एक्सप्लोरर्स की एक टीम को बनाए रखकर जिन्हें अलग होने के लिए प्रोत्साहित किया जाता है (लेकिन बहुत अधिक नहीं), हम:
- मनुष्यों को विकल्पों की एक विस्तृत श्रृंखला दिखा सकते हैं।
- स्पष्ट, कम भ्रमित करने वाला फीडबैक प्राप्त कर सकते हैं।
- उन "लोकल ट्रैप्स" से बच सकते हैं जहाँ रोबोट औसत दर्जे के समाधानों पर अटक जाते हैं।
- यहाँ तक कि जब इंसान गलतियाँ करते हैं, तब भी तेज़ी से सीख सकते हैं।
लेखक सुझाव देते हैं कि यह दृष्टिकोण AI को हमारे साथ अधिक कुशलता से सीखने में सक्षम बनाने के लिए एक व्यावहारिक कदम है, विशेष रूप से उन स्थितियों में जहाँ मानवीय फीडबैक महंगा, सीमित या थोड़ा अस्त-व्यस्त हो सकता है। यह सीखने की प्रक्रिया को एक संवाद (monologue) से एक जीवंत, विविध बातचीत में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।