Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
यह शोध पत्र यह तर्क देता है कि आर्टिफिशियल लाइफ समुदाय ओपन-एंडेड नॉवेलिटी सर्च को एजेंसी के थर्मोडायनामिक सिद्धांतों के साथ एकीकृत करके सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के मूल सिद्धांतों की मौलिक आलोचनाओं को संबोधित कर सकता है, ताकि एक जैविक रूप से सटीक ढांचा प्रस्तावित किया जा सके जो सीखने को रिवॉर्ड ऑप्टिमाइज़ेशन के बजाय अनुकूलन (अडैप्टेशन) के रूप में पुनर्परिभाषित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जीवित प्राणी की तरह व्यवहार करना सिखाने की कोशिश कर रहे हैं। दशकों से, इसके लिए मानक नुस्खा (जिसे 'रीइन्फोर्समेंट लर्निंग' या RL कहा जाता है) तीन सख्त नियमों, या "डोग्मा" पर निर्भर रहा है:
- दुनिया एक गेम बोर्ड है: वातावरण एक अनुमानित ग्रिड है जहाँ हर चाल का एक विशिष्ट परिणाम होता है।
- सीखना सबसे अच्छा रास्ता खोजना है: रोबोट किसी समस्या के लिए एक एकल, सटीक समाधान खोजने की खोज करके सीखता है, जैसे खजाने के संदूक तक पहुँचने का सबसे छोटा रास्ता खोजना।
- लक्ष्य एक एकल स्कोर है: रोबोट एक सरल संख्या (एक रिवॉर्ड स्कोर) द्वारा संचालित होता है। वह उच्चतम संख्या प्राप्त करना चाहता है, ठीक वैसे ही जैसे एक वीडियो गेम खिलाड़ी उच्चतम स्कोर पाने की कोशिश करता है।
इस शोध पत्र के लेखक, मनी हमीदी और टेरेंस डिकॉन, तर्क देते हैं कि ये तीन नियम बहुत कठोर हैं। वे कहते हैं कि वास्तविक जीवन कोई वीडियो गेम नहीं है जिसमें एक ही हाई स्कोर हो। इसके बजाय, वे सुझाव देते हैं कि हमें यह समझने के लिए कि एक "एजेंट" (एक ऐसा अस्तित्व जो अपने आप कार्य करता है) होने का वास्तव में क्या अर्थ है, विकास (evolution) और भौतिकी (physics) के लेंस से सीखना देखना चाहिए।
यहाँ उनके तर्क का रोजमर्रा के उपमाओं (analogies) का उपयोग करके एक सरल विवरण दिया गया है:
1. सीखना केवल "खोज" नहीं है; यह "अन्वेषण" है (बगीचे की उपमा)
पुराना दृष्टिकोण कहता है कि सीखना एक हाइकर (पर्वतारोही) की तरह है जो एक अकेले पहाड़ की चोटी खोजने की कोशिश कर रहा है। यदि आप चोटी पा लेते हैं, तो आप रुक जाते हैं।
लेखक कहते हैं कि वास्तविक अनुकूलन एक खुले, अनियंत्रित बगीचे की देखभाल करने वाले माली की तरह है।
- पुराना तरीका: आप केवल उन्हीं फूलों को लगाते हैं जो सबसे ऊँचे बढ़ते हैं। एक बार जब आपके पास सबसे ऊँचा फूल आ जाता है, तो आपका काम खत्म हो जाता है।
- नया तरीका: आप केवल "सबसे अच्छे" फूल की तलाश नहीं करते। आप विभिन्न प्रकार के पौधों को बगीचे के अलग-अलग कोनों में बढ़ने के लिए प्रोत्साहित करते हैं ताकि वे एक-दूसरे के साथ प्रतिस्पर्धा न करें। कुछ पौधे छोटे लेकिन बहुत रंगीन हो सकते हैं; अन्य ऊँचे लेकिन विरल हो सकते हैं।
- यह क्यों मायने रखता है: वास्तविक दुनिया में, अक्सर आपको यह नहीं पता होता कि "सर्वश्रेष्ठ" समाधान क्या है। आपको नए प्रकार के समाधानों (नवीनता) को बनाने के लिए निरंतर अन्वेषण करने की आवश्यकता होती है, न कि केवल एक पुराने समाधान को पूर्ण बनाने की। यह "ओपन-एंडेड नोवेल्टी सर्च" है। यह विचारों के एक विविध पारिस्थितिकी तंत्र को बनाने के बारे में है, न कि केवल एक विजेता खोजने के बारे में।
2. "स्कोर" जीवित चीजों के लिए काम नहीं करता (मल्टीटास्किंग की उपमा)
पुराना दृष्टिकोण कहता है कि एक एजेंट एक एकल संख्या (जैसे गेम में स्कोर) द्वारा संचालित होता है। लेखक तर्क देते हैं कि जीवित चीजों के लिए यह असंभव है क्योंकि जीवन मल्टीटास्किंग है।
कल्पना कीजिए कि आप एक इंसान के रूप में जीवित रहने की कोशिश कर रहे हैं। आप केवल "खुशी को अधिकतम" करने की कोशिश नहीं कर रहे हैं। आप साथ-साथ:
- गर्म रहने की कोशिश कर रहे हैं (थर्मोरेगुलेशन)।
- अपने नमक के स्तर को सही रखने की कोशिश कर रहे हैं (ऑस्मोरेगुलेशन)।
- भोजन खोजने की कोशिश कर रहे हैं।
- शिकारी से बचने की कोशिश कर रहे हैं।
ये सभी अलग-अलग "लक्ष्य" हैं जो कभी-कभी एक-दूसरे से टकराते हैं। यदि कोई बाघ सामने आता है, तो "भोजन खोजने" का आपका लक्ष्य अचानक "भागने" के लक्ष्य से कम महत्वपूर्ण हो जाता है।
- समस्या: आप इन सभी अलग-अलग, बदलते हुए जरूरतों को एक एकल संख्या (स्केलर रिवॉर्ड) में नहीं समेट सकते।
- समाधान: जीवित चीजें होमियोस्टेसिस (homeostasis) पर काम करती हैं (आंतरिक संतुलन बनाए रखना)। वे एक उच्च स्कोर प्राप्त करने की कोशिश नहीं कर रही हैं; वे अपने आंतरिक "थर्मोस्टेट" और "फ्यूल गेज" को एक सुरक्षित सीमा के भीतर रखने की कोशिश कर रही हैं। "रिवॉर्ड" एक संख्या नहीं है; यह एक जरूरत पूरी होने पर मिलने वाली राहत की भावना है।
3. लक्ष्य कहाँ से आते हैं? ("घर किसने बनाया?" की उपमा)
यदि हम कहते हैं कि एक रोबोट सीखता है क्योंकि वह एक स्कोर को अधिकतम करना चाहता है, तो वह स्कोर उसे किसने दिया? वर्तमान AI में, एक मानव इंजीनियर कोड लिखता है। जीव विज्ञान में, हम कहते हैं कि "विकास" ने हमें हमारे लक्ष्य दिए।
लेकिन लेखक पूछते हैं: विकास को अपने लक्ष्य कहाँ से मिले?
वे तर्क देते हैं कि आप केवल "विकास" कहकर रुक नहीं सकते। विकास को काम करने के लिए किसी चीज़ की आवश्यकता होती है। इसे एक ऐसी प्रणाली की आवश्यकता है जो खुद की नकल कर सके और प्रजनन करने तक जीवित रह सके।
- जीवन की भौतिकी: विकास से पहले, आपको एक ऐसी भौतिक प्रणाली की आवश्यकता है जो चीजों के बिखरने की प्राकृतिक प्रवृत्ति (एन्ट्रॉपी) के खिलाफ लड़ती है। एक कैंपफायर (अलाव) बनाम एक बैक्टीरिया (जीवाणु) के बारे में सोचें।
- एक कैंपफायर ईंधन जलाता है और एक क्षण के लिए व्यवस्था बनाता है, लेकिन यह बस खुद को जलाकर समाप्त हो जाता है। यह जीवित रहने की कोशिश नहीं करता है।
- एक बैक्टीरिया एक ऐसी मशीन है जो ईंधन जलाते रहने के लिए सक्रिय रूप से अपनी दीवारें बनाता है और खुद की मरम्मत करता है। यह एक "स्व-बनाए रखने वाला" (self-persisting) लूप है।
- बड़ी अंतर्दृष्टि: लेखक तर्क देते हैं कि वास्तविक एजेंसी (अपने स्वयं के हित में कार्य करने की क्षमता) केवल तभी मौजूद होती है जब एक प्रणाली भौतिक रूप से खुद को बनाए रखने के लिए बनी हो। "लक्ष्य" एक संख्या नहीं है; लक्ष्य केवल जीवित रहना है।
"रैचेट" (Ratchet) रूपक
शोध पत्र एक शक्तिशाली छवि के साथ समाप्त होता है। एक रैचेट (एक उपकरण जो पेंच को एक दिशा में घुमाता है लेकिन उसे वापस फिसलने नहीं देता) की कल्पना करें।
- सीखने के अधिकांश सिद्धांत एक पहाड़ी पर लुढ़कती गेंद की तरह हैं; यह आसानी से वापस नीचे लुढ़क सकती है।
- लेखक सुझाव देते हैं कि वास्तविक एजेंसी एक रैचेट की तरह है। यह एक ऐसी प्रणाली है जो खुद को बनाती है, हवा के खिलाफ अपना आकार बनाए रखती है, और फिर उस आकार को अगली पीढ़ी को सौंप देती है।
- यह "रैचेट" ही है जो विकास को होने में सक्षम बनाता है। बिना एक ऐसी प्रणाली के जो खुद को थामे रख सके, विकसित होने के लिए "स्वयं" (self) का अस्तित्व ही नहीं है।
सारांश
पत्र का दावा है कि वास्तव में बुद्धिमान, स्वायत्त मशीनें बनाने के लिए, हमें उन्हें उच्च स्कोर का पीछा करने वाले वीडियो गेम पात्रों के रूप में सोचना बंद करना होगा। इसके बजाय, हमें उन्हें जीवित प्रणालियों के रूप में सोचना चाहिए जो:
- कई अलग-अलग संभावनाओं का अन्वेषण करती हैं (केवल एक आदर्श पथ नहीं)।
- कई आंतरिक जरूरतों को संतुलित करती हैं (केवल एक स्कोर नहीं)।
- भौतिक रूप से खुद को बनाए रखने और प्रजनन करने के लिए बनी हैं (बिखरने की प्राकृतिक प्रवृत्ति के विरुद्ध लड़ना)।
यह समझने से कि एक प्रणाली जीवित रहने के लिए भौतिक रूप से कैसे बनी होती है, हम अंततः समझ सकते हैं कि "लक्ष्य" और "सीखना" वास्तव में कहाँ से आते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।