Adaptive integration of model-based and model-free strategies in human reinforcement learning of reachable space
एक नवीन रोबोटिक भूलभुलैया कार्य का उपयोग करते हुए, यह अध्ययन प्रदर्शित करता है कि मनुष्य सुलभ स्थान (रीचेबल स्पेस) में नेविगेट करने के लिए मॉडल-आधारित और मॉडल-मुक्त सुदृढीकरण शिक्षण रणनीतियों को अनुकूल रूप से एकीकृत करते हैं, जिससे परिचितता बढ़ने के साथ अधिक कुशल मॉडल-मुक्त नियंत्रण की ओर बदलाव आता है और यह प्रकट होता है कि स्थानिक शिक्षण संरचनाएं विभिन्न पैमानों पर साझा की जाती हैं लेकिन इफ़ेक्टर सिस्टम की विशिष्ट बाधाओं के अनुरूप कैलिब्रेट की जाती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: हम अपने हाथों को चलाना कैसे सीखते हैं
कल्पना कीजिए कि आप एक भीड़भाड़ वाली मेज से कॉफी का कप उठाने की कोशिश कर रहे हैं। आपको हाथ आगे बढ़ाना है, प्लेटों के ढेर से बचना है, और एक फूलदान को गिरने से बचाना है। यह हर दिन होता है, लेकिन वैज्ञानिक अब तक वास्तव में यह नहीं समझ पाए थे कि हमारा मस्तिष्क इसे करने के लिए कैसे सीखता है।
यह शोध एक सरल प्रश्न पूछता है: जब हम अपने हाथों से किसी कठिन जगह में रास्ता बनाना सीखते हैं, तो क्या हमारा मस्तिष्क एक "जीपीएस मैप" (पहले से योजना बनाना) का उपयोग करता है या यह केवल "मसल मेमोरी" (प्रयास और त्रुटि) पर निर्भर रहता है?
उत्तर यह है: हम दोनों का उपयोग करते हैं, और एक हाइब्रिड कार की तरह उनके बीच स्विच करते हैं।
प्रयोग: रोबोटिक भूलभुलैया (Maze)
यह पता लगाने के लिए, शोधकर्ताओं ने एक विशेष वीडियो गेम बनाया।
- सेटअप: प्रतिभागी एक रोबोटिक आर्म के सामने बैठे थे। उन्होंने एक हैंडल पकड़ा हुआ था जो स्क्रीन पर एक आभासी (virtual) गेंद को नियंत्रित करता था।
- लक्ष्य: गेंद को एक शुरुआती बिंदु से लाल लक्ष्य वर्ग (target square) तक ले जाना।
- बाधा: भूलभुलैया ग्रे रंग के ब्लॉकों से भरी थी। यदि आप किसी ब्लॉक से टकराते, तो रोबोट आपके हाथ पर पीछे की ओर दबाव डालता (जैसे किसी दीवार से टकराना)।
- ट्विस्ट: उन्होंने दो समूहों का परीक्षण किया:
- "आंखों वाला" (Eyes-On) समूह: वे पूरी भूलभुलैया और ब्लॉकों को देख सकते थे।
- "अंधा" (Blind) समूह: वे भूलभुलैया या अपने हाथ को नहीं देख सकते थे। उन्हें केवल रोबोट के फीडबैक (धक्के) का उपयोग करके रास्ता खोजना था।
मस्तिष्क के दो मोड: आर्किटेक्ट बनाम आदत बनाने वाला
शोधकर्ताओं ने यह अनुमान लगाने के लिए कंप्यूटर मॉडल का उपयोग किया कि प्रतिभागियों के दिमाग में क्या हो रहा था। उन्होंने दो अलग-अलग रणनीतियाँ पाईं:
मॉडल-आधारित (द आर्किटेक्ट - Architect):
- यह क्या है: यह आपका मस्तिष्क एक मानसिक मानचित्र (mental map) बना रहा है। यह एक जीपीएस की तरह है। आप भूलभुलैया को देखते हैं, एक रास्ता तय करते हैं, और सोचते हैं, "यदि मैं बाएं जाता हूँ, फिर ऊपर जाता हूँ, तो मैं दीवार से टकरा जाऊंगा, इसलिए मैं दाएं जाऊंगा।"
- फायदे: यह लचीला है। यदि भूलभुलैया बदलती है, तो आप तुरंत पुनर्गणना कर सकते हैं।
- नुकसान: यह धीमा और थकाऊ है। हर कदम की योजना बनाने में बहुत मानसिक ऊर्जा लगती है।
मॉडल-मुक्त (द हैबिट-फॉर्मर - Habit-Former):
- यह क्या है: यह आपका मस्तिष्क सफल चालों को सहेज (cache) रहा है। यह एक गिलहरी की तरह है जो याद रखती है कि उसने कहाँ अखरोट छिपाए थे। "मैं पहले यहाँ बाएं गया था, और मुझे इनाम मिला, इसलिए मैं फिर से बाएं जाऊंगा।" उसे यह नहीं पता कि यह क्यों काम करता है, वह बस इतना जानता है कि यह काम करता है।
- फायदे: यह बहुत तेज़ और स्वचालित है।
- नुकसान: यह कठोर है। यदि भूलभुलैया बदलती है, तो गिलहरी गलत जगह खोदती रहती है।
आश्चर्यजनक निष्कर्ष
1. हम आर्किटेक्ट के रूप में शुरू करते हैं, फिर आदत बनाने वाले बन जाते हैं
खेल की शुरुआत में, सभी ने आर्किटेक्ट रणनीति का उपयोग किया। वे सावधानीपूर्वक योजना बना रहे थे। लेकिन जैसे-जैसे उन्होंने अधिक राउंड खेले, वे धीरे-धीरे हैबिट-फॉर्मर में बदल गए।
- उपमा: एक नए रास्ते पर गाड़ी चलाना सीखने के बारे में सोचें। शुरू में, आप जीपीएस देखते हैं (योजना बनाना)। एक सप्ताह के बाद, आप बिना सोचे समझे ऑटोपायलट पर गाड़ी चलाते हैं (आदत)। अध्ययन दिखाता है कि हमारा मस्तिष्क ऊर्जा बचाने के लिए स्वतः ही ऐसा करता है।
2. "अंधे" समूह ने आदतों पर अधिक भरोसा किया
जिस समूह को भूलभुलैया दिखाई नहीं दे रही थी, उन्होंने दिखने वाले समूह की तुलना में हैबिट-फॉर्मर रणनीति का बहुत अधिक उपयोग किया।
- क्यों? जब आप देख नहीं सकते, तो एक सटीक मानसिक मानचित्र बनाना कठिन और अनिश्चित होता है। इसलिए, आपका मस्तिष्क कहता है, "मैं इस एक बार के लिए अपनी मसल मेमोरी पर भरोसा करूँगा।"
- ट्विस्ट: भले ही वह समूह जो भूलभुलैया देख सकता था, अंततः आदतों पर ही स्विच कर गया! यह साबित करता है कि हमारा मस्तिष्क केवल इसलिए आदतों पर स्विच नहीं करता क्योंकि हम भ्रमित हैं, बल्कि इसलिए क्योंकि योजना बनाना महंगा (ऊर्जा खर्च करने वाला) है। एक बार जब हमें रास्ता पता चल जाता है, तो हम ऊर्जा बचाने के लिए योजना बनाना बंद कर देते हैं।
3. गति बनाम सुरक्षा
यहाँ सबसे दिलचस्प हिस्सा है: जो लोग आदतों पर अधिक निर्भर थे, वे तेज़ चले।
- उपमा: "आर्किटेक्ट" एक शतरंज खिलाड़ी की तरह है जो चाल चलने से पहले 10 मिनट सोचता है। "हैबिट-फॉर्मर" एक रिफ्लेक्स (reflex) की तरह है।
- अध्ययन में पाया गया कि जब लोग तेज़ चलते थे, तो वे वास्तव में अपने "आदत" वाले मस्तिष्क का अधिक उपयोग कर रहे थे। दिलचस्प बात यह है कि ये तेज़ चलने वाले लोग ब्लॉकों से भी कम टकराते थे। क्यों? क्योंकि आदतें वही दोहराती हैं जो पहले काम आया था, जिससे वे उन जोखिम भरे, अनछुए रास्तों से बच जाते हैं जिन्हें "आर्किटेक्ट" आज़माने की कोशिश कर सकता है।
बड़ी तुलना: हाथ बनाम पैर
शोधकर्ताओं ने अपने हाथ-भूलभुलैया खेल की तुलना एक समान खेल से की जहाँ लोग एक कुर्सी का उपयोग करके एक आभासी भूलभुलैया में "चलते" थे।
- परिणाम: लोगों ने अपने पैरों का उपयोग करने की तुलना में अपने हाथों का उपयोग करते समय आदतों पर बहुत अधिक भरोसा किया।
- कारण: चलना धीमा और थकाऊ है। यदि आप चलते समय गलत मोड़ लेते हैं, तो इसमें बहुत समय लगता है। इसलिए, आपका मस्तिष्क आपको सावधानीपूर्वक योजना बनाने (आर्किटेक्ट मोड) के लिए मजबूर करता है।
- हाथ का अंतर: हाथ हिलाना तेज़ और सस्ता है। यदि आप अपने हाथ से थोड़ा गलत मोड़ लेते हैं, तो इसमें केवल एक सेकंड का समय लगता है। क्योंकि गलती की "पेनल्टी" (कीमत) इतनी कम है, इसलिए आपका मस्तिष्क केवल तेज़, स्वचालित आदतों का उपयोग करने के लिए सुरक्षित महसूस करता है।
निष्कर्ष
हमारा मस्तिष्क अविश्वसनीय रूप से स्मार्ट इंजीनियर है। यह केवल सीखने के एक तरीके पर नहीं टिका रहता।
- जब हम कुछ नया सीख रहे होते हैं, तो हम योजना बनाते हैं (आर्किटेक्ट)।
- एक बार जब हमें इसकी समझ हो जाती है, तो हम ऊर्जा बचाने और तेज़ी से चलने के लिए आदतों (हैबिट-फॉर्मर) पर स्विच कर जाते हैं।
- हम आदतों पर तब और भी तेज़ी से स्विच करते हैं जब कार्य त्वरित और आसान होता है (जैसे हाथ हिलाना), बजाय इसके कि जब वह धीमा और महंगा हो (जैसे चलना)।
संक्षेप में: हम सभी हाइब्रिड लर्नर (hybrid learners) हैं। जब हमें ज़रूरत होती है, तो हम मानचित्र बनाते हैं, लेकिन जैसे ही संभव हो, हम अपने दिमाग को अन्य चीज़ों के लिए खाली करने और तेज़ी से चलने के लिए अपनी आदतों को नियंत्रण सौंप देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।