Reinforcement learning for closed-loop optimisation of spatiotemporal stimulation in patterned neuronal networks
यह शोधपत्र एक कम लागत वाला, ओपन-सोर्स क्लोज्ड-लूप सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) सिस्टम प्रस्तुत करता है जो स्थलाकृतिक रूप से बाधित इन विट्रो न्यूरोनल नेटवर्क में उनके अवस्था-निर्भर प्रतिक्रियाओं को अभिलक्षणित करके और यह प्रदर्शित करके कि लर्निंग एजेंट विशिष्ट लक्षित गतिविधि रूपांकनों (मोटिफ्स) को उत्पन्न करने के लिए गैर-तुच्छ उद्दीपन रणनीतियों की पहचान कर सकते हैं, स्थानिक-कालिक उद्दीपन पैटर्न के कुशल, लक्ष्य-निर्देशित अनुकूलन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास न्यूरॉन्स (मस्तिष्क कोशिकाओं) से बना एक छोटा सा, जीवित शहर है जो एक विशेष चिप पर विकसित हो रहा है। इस शहर का एक विशिष्ट लेआउट है, जैसे कि चार निकास द्वारों वाला एक गोल चक्कर (roundabout)। आपका लक्ष्य इस शहर को विद्युत "संदेश" (उत्तेजना/stimuli) भेजना है ताकि यातायात (स्पाइक्स) एक गोल चक्कर के चारों ओर एक आदर्श घड़ी की दिशा (clockwise) में घूम सके।
समस्या क्या है? यह शहर अराजक है। यह कोई सरल मशीन नहीं है जहाँ आप एक बटन दबाते हैं और एक अनुमानित परिणाम मिलता है। न्यूरॉन्स अलग तरह से प्रतिक्रिया करते हैं, यह इस बात पर निर्भर करता है कि एक पल पहले क्या हुआ था, और उन संदेशों को भेजने के लाखों संभावित तरीके हैं। रैंडम तरीके से अंदाज़ा लगाकर सही संदेश ढूँढने की कोशिश करना बहुत लंबा समय लेगा—जैसे समुद्र तट पर हर सेकंड एक-एक करके रेत का दाना उठाकर एक विशिष्ट दाने को खोजने की कोशिश करना।
यहाँ शोधकर्ताओं ने "स्मार्ट कोच" (रीइन्फोर्समेंट लर्निंग) का उपयोग करके इसे कैसे हल किया:
1. सेटअप: एक जीवित सर्किट बोर्ड
वैज्ञानिकों ने इलेक्ट्रोड के ग्रिड पर मस्तिष्क कोशिकाओं को उगाया। उन्होंने कोशिकाओं को एक विशिष्ट आकार में बढ़ने के लिए मजबूर करने के लिए सूक्ष्म दीवारों (माइक्रोफ्लुइडिक चैनल्स) का उपयोग किया—एक लूप। यह इस "शहर" को समझना आसान बनाता है, लेकिन यह अभी भी एक जीवित, सांस लेता हुआ सिस्टम है जो समय के साथ बदलता रहता है।
2. चुनौती: एक "ब्लैक बॉक्स"
यदि आप शहर के एक हिस्से को बिजली का झटका देते हैं, तो न्यूरॉन्स एक घेरे में फायर कर सकते हैं। लेकिन यदि आप 10 सेकंड बाद उसी जगह पर झटका देते हैं, तो वे शायद नहीं करेंगे। क्यों? क्योंकि न्यूरॉन्स की एक "याददाश्त" होती है कि अभी क्या हुआ है।
- उपमा: कल्पना कीजिए कि आप एक कुत्ते को बैठने (sit) के लिए सिखा रहे हैं। यदि आप "बैठो" तब कहते हैं जब कुत्ता पहले से ही थका हुआ है, तो वह आपको अनदेखा कर सकता है। यदि आप इसे तब कहते हैं जब वह उत्साहित है, तो वह कूद सकता है। कुत्ते की प्रतिक्रिया इस बात पर निर्भर करती है कि उसकी वर्तमान स्थिति क्या है। शोधकर्ताओं को यह जानने के तरीके की आवश्यकता थी कि न केवल क्या कहना है, बल्कि यह भी कि कुत्ते (नेटवर्क) के महसूस करने के आधार पर उसे कब कहना है।
3. समाधान: रीइन्फोर्समेंट लर्निंग एजेंट
इंसान द्वारा अंदाज़ा लगाने के बजाय, उन्होंने एक कंप्यूटर प्रोग्राम बनाया—एक AI एजेंट—जो एक कोच के रूप में कार्य करता है।
- लूप: AI चिप को एक संकेत (एक उत्तेजना) भेजता है।
- प्रतिक्रिया: चिप न्यूरॉन्स के फायर होने का वीडियो (प्रतिक्रिया) वापस भेजती है।
- स्कोर: AI वीडियो की जाँच करता है। क्या न्यूरॉन्स एक आदर्श घड़ी की दिशा में एक घेरे में फायर हुए? यदि हाँ, तो AI को उच्च स्कोर (पुरस्कार/reward) मिलता है। यदि नहीं, तो उसे कम स्कोर मिलता है।
- सीखना: AI संकेतों के लाखों संयोजन आज़माता है। समय के साथ, वह सीख जाता है: "आह, जब मैं इलेक्ट्रोड A को झटका देता हूँ और फिर इलेक्ट्रोड B को झटका देने से पहले 2 मिलीसेकंड प्रतीक्षा करता हूँ, तो न्यूरॉन्स एक घेरे में नाचने लगते हैं!"
4. गति: मिलीसेकंड मायने रखते हैं
पिछले प्रयोग धीमे थे, जैसे पत्र भेजना और जवाब के लिए एक सप्ताह प्रतीक्षा करना। यह नया सिस्टम एक रियल-टाइम बातचीत है।
- AI एक संकेत भेजता है, न्यूरॉन्स की प्रतिक्रिया (लगभग 20 मिलीसेकंड) का इंतज़ार करता है, और तुरंत अगला कदम तय करता है।
- यह बिजली की गति से खेले जाने वाले पिंग-पोंग गेम की तरह है, जहाँ AI गेंद (संकेत) को एक घेरे में बनाए रखने के लिए सही लय सीखता है।
5. आश्चर्यजनक खोज: यह वह नहीं है जिसकी आप उम्मीद करते हैं
शोधकर्ताओं ने सोचा था कि AI अंततः घड़ी की दिशा में (A, फिर B, फिर C, फिर D) इलेक्ट्रोड्स को झटकने का क्रम सीख जाएगा ताकि वृत्त से मेल खा सके।
- वास्तविकता: AI ने बहुत अधिक अजीब और जटिल समाधान खोजा। उसने पाया कि कभी-कभी न्यूरॉन्स को सहयोग करने के लिए उसे अराजक क्रम में झटका देने या कुछ को पूरी तरह से छोड़ने की आवश्यकता होती है।
- रूपक: कल्पना कीजिए कि आप लोगों के एक समूह को घेरे में चलने के लिए कहने की कोशिश कर रहे हैं। आप सोच सकते हैं कि आपको उन्हें "बाएँ, बाएँ, बाएँ" कहने की आवश्यकता है। लेकिन AI ने पाया कि कभी-कभी लोगों के समूह को घेरे में चलाने के लिए आपको "दाएँ, रुको, कूदो, बाएँ" चिल्लाना पड़ सकता है क्योंकि वे एक-दूसरे के प्रति कैसे प्रतिक्रिया कर रहे हैं। AI ने वह "सीक्रेट हैंडशेक" खोज लिया जो काम करता है, भले ही वह हमें रैंडम लगे।
6. "स्टेट" (अवस्था) का कारक
शोधकर्ताओं ने यह भी खोजा कि न्यूरॉन्स की प्रतिक्रिया इस बात पर बहुत अधिक निर्भर करती है कि ठीक पहले क्या हुआ था।
- उपमा: यदि आप किसी मित्र से प्रश्न पूछते हैं, तो उनका उत्तर इस पर निर्भर करता है कि वे अभी हँस रहे थे या रो रहे थे। AI ने इस "मूड" (अवस्था/state) का लाभ उठाना सीखा। उसने सीखा कि यदि नेटवर्क "मूड X" में था, तो उसे "सिग्नल Y" आज़माना चाहिए, लेकिन यदि नेटवर्क "मूड Z" में था, तो उसे "सिग्नल W" आज़माना चाहिए।
- जबकि AI इन मूड्स का उपयोग करने में बेहतर हुआ, सबसे सरल रणनीति (केवल एक सबसे अच्छा सिग्नल खोजना) अभी भी जटिल मूड-सेंसिंग रणनीति के लगभग बराबर काम करती थी।
यह क्यों मायने रखता है?
यह केवल न्यूरॉन्स को घेरे में नाचने के बारे में नहीं है। यह मस्तिष्क को समझने का एक नया उपकरण है।
- विज्ञान के लिए: यह हमें यह समझने का एक तरीका देता है कि मस्तिष्क के सर्किट कैसे काम करते हैं, बिना यह जाने कि प्रत्येक कनेक्शन पहले से क्या है।
- चिकित्सा के लिए: यह मिर्गी (epilepsy) या पार्किंसंस के रोगियों के लिए बेहतर ब्रेन इम्प्लांट्स डिजाइन करने में मदद कर सकता है। डॉक्टर द्वारा दौरे को रोकने के लिए सही विद्युत पैटर्न का अनुमान लगाने के बजाय, एक AI उस विशिष्ट रोगी के मस्तिष्क के लिए वास्तविक समय में सही पैटर्न सीख सकता है।
संक्षेप में: शोधकर्ताओं ने एक तेज़, स्मार्ट रोबोट कोच बनाया जिसने एक जीवित मस्तिष्क चिप से बात करना सीख लिया। उसने मस्तिष्क कोशिकाओं को एक घेरे में चलाने के लिए गुप्त कोड खोज लिया, जिससे यह साबित होता है कि हम जटिल, अस्त-व्यस्त जैविक दुनिया को समझने और नियंत्रित करने के लिए AI का उपयोग कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।