Embodied reinforcement learning in the primate cortico-basal ganglia system
मैकैक कॉर्टिको-बेसल गैन्ग्लिया प्रणाली में न्यूरोनल गतिविधि को रिकॉर्ड करके, यह अध्ययन प्रदर्शित करता है कि मूल्य प्रतिनिधित्व (value representations) मोटर-सिस्टम-विशिष्ट होते हैं न कि अपरिवर्तनीय, जिससे सुदृढीकरण शिक्षण (reinforcement learning) के मौजूदा जैविक विवरणों को चुनौती मिलती है और उन एम्बोडीड (embodied) ढांचों का समर्थन मिलता है जहाँ व्यवहार एक एजेंट की भौतिक संरचना में निहित होता है।
मूल पेपर CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मस्तिष्क की दो-ट्रैक प्रणाली: आपके हाथ और आँखें अलग तरह से क्यों सीखते हैं
कल्पना कीजिए कि आपका मस्तिष्क एक सुपर-स्मार्ट वीडियो गेम कंसोल है जो यह समझने की कोशिश कर रहा है कि कौन से बटन आपको सबसे अधिक अंक दिलाते हैं। दशकों तक, वैज्ञानिकों का मानना था कि यह "अंक प्रणाली" एक एकल, सार्वभौमिक मुद्रा (currency) की तरह काम करती है। उन्हें लगा कि आप गेम कैसे भी खेलें—चाहे आप जॉयस्टिक, कीबोर्ड या वॉयस कमांड का उपयोग कर रहे हों—मस्तिष्क एक केंद्रीय स्थान पर पुरस्कार के मूल्य की गणना करता है और फिर बस उस विशिष्ट मांसपेशी समूह को "अच्छा काम किया!" का संकेत भेज देता है जिसे कार्य करने की आवश्यकता होती है। यह विचार, जिसे 'रिनफोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है, यह सुझाव देता था कि मस्तिष्क का रिवॉर्ड कैलकुलेटर शरीर के उन हिस्सों से पूरी तरह अलग था जो गति कर रहे थे। यह एक सुव्यवस्थित सिद्धांत था: एक मस्तिष्क, एक मूल्य, और कार्य करने के कई तरीके।
लेकिन क्या होगा यदि मस्तिष्क एक एकल मुद्रा विनिमय (currency exchange) की तरह काम नहीं करता है? क्या होगा यदि, इसके बजाय, आप जिस तरह से चलते हैं, वह इस बात से गहराई से जुड़ा हुआ है कि आप कैसे सीखते हैं? यह "एम्बोडीड कॉग्निशन" (embodied cognition) का मूल है, एक ऐसी अवधारणा जो बताती है कि हमारे विचार और सीखना हमारे भौतिक शरीर में निहित हैं, न कि उनके ऊपर एक अमूर्त बादल में तैर रहे हैं। यदि यह सच है, तो हाथ से कुकी पकड़ना सीखने का अनुभव आपके मस्तिष्क में, आँखों से कुकी को देखने के अनुभव से पूरी तरह से अलग और भिन्न हो सकता है, भले ही कुकी वही हो। इसे समझना महत्वपूर्ण है क्योंकि यह हमारे देखने के नज़रिए को बदल देता है—चाहे वह जंगली जीवन में जानवरों के जीवित रहने का तरीका हो या रोबोट को स्मार्ट बनाना या मस्तिष्क की चोटों से जूझ रहे लोगों की मदद करना। यदि मस्तिष्क विभिन्न शरीर के अंगों को अलग-अलग सीखने के चैनलों के रूप में मानता है, तो इसका मतलब है कि हमारा मन पहले की तुलना में कहीं अधिक भौतिक और कम "अमूर्त" है।
महान बंदर प्रयोग: आँखें बनाम हाथ
इस अध्ययन में, शोधकर्ताओं फ्रैंको गियारोको और ब्रूनो एवरबेक ने इन बंदरों को 'सुपर-लर्नर' बनाकर इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने एक खेल तैयार किया जहाँ बंदरों को जूस का पुरस्कार जीतने के लिए दो चित्रों के बीच चयन करना था। कभी-कभी, बंदरों को सही चित्र को देखकर (एक सैकैड या आँखों की हरकत) अपना चुनाव करना होता था, और अन्य समय में, उन्हें सही चित्र को छूने के लिए हाथ बढ़ाना (एक रीच या हाथ की हरकत) होता था। पेच यह था कि बंदरों को केवल प्रयास और त्रुटि (trial and error) के माध्यम से यह सीखना था कि कौन सा चित्र "अच्छा" (80% जूस की संभावना) है और कौन सा "बुरा" (20% की संभावना) है।
जब बंदर यह खेल खेल रहे थे, तब वैज्ञानिकों ने आठ अलग-अलग मस्तिष्क क्षेत्रों में 4,843 न्यूरॉन्स की गतिविधि को रिकॉर्ड किया। उन्होंने अमिगडाला (जो अक्सर भावनाओं से जुड़ा होता है) से लेकर प्रीफ्रंटल कॉर्टेक्स (मस्तिष्क का सीईओ) और बेसल गैन्ग्लिया (मस्तिष्क का एक्शन सेंटर) तक सब कुछ देखा। वे यह देखना चाहते थे कि क्या मस्तिष्क एक ही "न्यूरल भाषा" का उपयोग करता है ताकि पुरस्कार के मूल्य के बारे में बात की जा सके, चाहे बंदर अपनी आँखों का उपयोग कर रहा हो या अपने हाथों का।
बड़ी खोज: दो अलग भाषाएँ
परिणाम पुराने सिद्धांत के लिए एक झटका थे। वैज्ञानिकों ने पाया कि मस्तिष्क ने मूल्य के लिए एक एकल, सार्वभौमिक भाषा का उपयोग नहीं किया। इसके बजाय, यह इस बात पर निर्भर करता था कि कौन सा शरीर का हिस्सा काम कर रहा है, मस्तिष्क दो पूरी तरह से अलग बोलियाँ बोलता था।
कल्प diजिये कि मस्तिष्क के न्यूरॉन्स एक विशाल ऑर्केस्ट्रा हैं। यदि "सार्वभौमिक मूल्य" का सिद्धांत सत्य होता, तो ऑर्केस्ट्रा एक ही धुन बजाता चाहे बंदर अपनी आँखों का उपयोग कर रहा हो या अपने हाथों का, बस शायद थोड़ा तेज़ या धीमा। लेकिन शोधकर्ताओं ने जो पाया वह एक ही समय में दो पूरी तरह से अलग गाने बजाने वाले ऑर्केस्ट्रा जैसा था। जब बंदर अपनी आँखों का उपयोग करता, तो न्यूरॉन्स एक विशिष्ट पैटर्न में फायर करते हुए कहते, "यह चित्र बहुत कीमती है!" जब बंदर अपने हाथ का उपयोग करता, तो न्यूरॉन्स का एक दूसरा सेट एक अलग पैटर्न में फायर करता जो बिल्कुल यही बात कहता।
"पॉपुलेशन ज्योमेट्री" नामक एक गणितीय उपकरण का उपयोग करते हुए, शोधकर्ताओं ने इन दो न्यूरल पैटर्न के बीच के "कोण" को मापा। उन्होंने पाया कि ये पैटर्न एक-दूसरे के लगभग समकोण पर थे—जैसे कि एक "T" आकार। गणितीय शब्दों में, इसका अर्थ है कि वे ऑर्थोगोनल (orthogonal), या ज्यामितीय रूप से स्वतंत्र हैं। आँखों का उपयोग करते समय मूल्य की जानकारी, हाथों का उपयोग करते समय मिलने वाली जानकारी से इतनी अलग थी कि यदि आप "हाथ" वाले डिकोडर का उपयोग करके "आँख" वाले सिग्नल को पढ़ने की कोशिश करते, तो आप बहुत भ्रमित हो जाते। अनुवाद के दौरान मूल्य की जानकारी पूरी तरह से खो जाती थी।
यह अलगाव मस्तिष्क में हर जगह हुआ, यहाँ तक कि वेंट्रल स्ट्रिएटम और अमिगडाला जैसे गहरे, भावनात्मक हिस्सों में भी, जिन्हें वैज्ञानिक सार्वभौमिक मूल्य केंद्र मानते थे। एकमात्र स्थान जहाँ मस्तिष्क ने थोड़ी सी साझा भाषा रखी थी, वह वेंट्रोलैटरल प्रीफ्रंटल कॉर्टेक्स (vlPFC) था, जो अमूर्त नियमों को संभालने के लिए जाना जाता है। लेकिन वहाँ भी, अलगाव बहुत मजबूत था।
यह क्यों मायने रखता है: शरीर मन को आकार देता है
अध्ययन बताता है कि मस्तिष्क "एम्बोडीड" (embodied) है। यह केवल पुरस्कार की गणना नहीं करता और फिर शरीर को क्या करना है यह नहीं बताता; बल्कि जिस तरह से शरीर चलता है, वह वास्तव में इस बात को आकार देता है कि पुरस्कार को कैसे सीखा और संग्रहीत किया जाता है। शोधकर्ताओं ने पाया कि बंदर अपने हाथों (रीच) का उपयोग करते समय अपनी आँखों (सैकैड्स) की तुलना में बेहतर ढंग से सीख रहे थे, वे तेज़ी से सीख रहे थे और बेहतर निर्णय ले रहे थे। यह संकेत देता है कि हमारे विभिन्न शरीर के अंग अलग-अलग प्रकार के सीखने के कार्यों को संभालने के लिए विकसित हुए होंगे।
महत्वपूर्ण रूप से, शोधकर्ताओं ने इस विचार को खारिज कर दिया कि ये अंतर केवल इसलिए थे क्योंकि बंदर एक कार्य में दूसरे की तुलना में बेहतर थे। यहाँ तक कि जब उन्होंने केवल उन सत्रों को देखा जहाँ बंदर दोनों आँखों और हाथों के साथ समान रूप से अच्छा प्रदर्शन कर रहे थे, तब भी मस्तिष्क ने दो अलग-अलग भाषाओं का उपयोग किया। यह सिद्ध करता है कि यह अलगाव कोई गलती या किसी कार्य में खराब होने का दुष्प्रभाव नहीं है; बल्कि यह एक मौलिक विशेषता है कि मस्तिष्क कैसे वायर्ड (wired) है।
इसलिए, अगली बार जब आप कुछ नया सीख रहे हों, तो याद रखें: आपका मस्तिष्क आपके हाथों और आपकी आँखों को एक ही कक्षा के दो अलग-अलग छात्रों के रूप में मान सकता है, जिनमें से प्रत्येक के पास अपना नोटबुक और पाठ को समझने का अपना तरीका है। मस्तिष्क एक एकल, अमूर्त कैलकुलेटर नहीं है; यह एक भौतिक मशीन है जहाँ जिस तरह से आप चलते हैं, वह आपके सोचने के तरीके का एक हिस्सा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।