Equilibrium Propagation with Predictive Learning in Leaky Integrate-and-Fire Spiking Neural Networks

कल्पना कीजिए कि आप स्पाइकिंग न्यूरल नेटवर्क (Spiking Neural Networks) नामक नन्हे, जैविक कंप्यूटरों की एक टीम को तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि बिल्ली और कुत्ते के बीच अंतर करना। आमतौर पर, इन कंप्यूटरों को सिखाने के लिए वैज्ञानिक बैकप्रोपैगेशन (Backpropagation) नामक एक विधि का उपयोग करते हैं। बैकप्रोपैगेशन को एक सख्त, ऊपर से नीचे काम करने वाले मैनेजर की तरह समझें जो अंतिम गलती को देखता है, यह गणना करता है कि उस त्रुटि में प्रत्येक कार्यकर्ता का कितना योगदान था, और फिर उसे ठीक करने के लिए नेटवर्क में वापस नीचे एक विशिष्ट निर्देश भेजता है। हालांकि यह कंप्यूटरों पर अच्छा काम करता है, लेकिन यह वास्तविक मस्तिष्क के काम करने के तरीके के बहुत करीब नहीं है, क्योंकि वास्तविक न्यूरॉन्स के पास कोई "मैनेजर" नहीं होता जो नेटवर्क में वैश्विक निर्देश भेज सके।

यह शोध पत्र इस नेटवर्क को सिखाने का एक अधिक स्वाभाविक तरीका पेश करता है, जिसे इक्विलिब्रियम प्रोपेगेशन (Equilibrium Propagation - EP) कहा जाता है।

उपमा: "ग्रुप हडल" बनाम "मैनेजर"

एक मैनेजर द्वारा निर्देश भेजने के बजाय, कल्पना करें कि न्यूरॉन्स की टीम एक समूह की तरह काम करती है जो एक पहेली को सुलझाने के लिए एक "हडल" (समूह चर्चा) में जुटे हुए हैं:

1. सेटअप: न्यूरॉन्स एक कमरे में मौजूद लोगों की तरह हैं। उनका एक लक्ष्य है (छवि को सही ढंग से पहचानना)।
2. "फ्री" अवस्था (The "Free" State): पहले, वे तस्वीर को देखते हैं और अपना सबसे अच्छा अनुमान लगाते हैं। वे एक-दूसरे से बात करते हैं, लेकिन अभी तक किसी को सुधारा नहीं जा रहा है।
3. "क्लैम्प्ड" अवस्था (The "Clamped" State): फिर, कोई समूह के कान में सही उत्तर फुसफुसाता है। न्यूरॉन्स इस सच्चाई से मेल खाने के लिए अपनी आंतरिक स्थिति को थोड़ा समायोजित करते हैं।
4. सीखना: न्यूरॉन्स यह तुलना करते हैं कि वे "फ्री" अवस्था में कैसे कार्य कर रहे थे बनाम "क्लैम्प्ड" अवस्था में। इन दो क्षणों के बीच का अंतर उन्हें अगली बार बेहतर करने के लिए अपने कनेक्शन को बदलने का संकेत देता है।

इस विधि को इक्विलिब्रियम प्रोपेगेशन (Equilibrium Propagation) कहा जाता है क्योंकि सीखने की प्रक्रिया से पहले न्यूरॉन्स एक संतुलन (इक्विलिब्रियम) में स्थिर हो जाते हैं। यह काफी हद तक वैसा ही है जैसा कि एक वास्तविक मस्तिष्क सीख सकता है: यह तुलना करके कि आपने क्या उम्मीद की थी और वास्तव में क्या हुआ, ठीक उसी क्षण में।

नया मोड़: प्रेडिक्टिव लर्निंग (पूर्वानुमानित सीखना)

शोधकर्ताओं ने इस "ग्रुप हडल" पद्धति को लीकी इंटीग्रेट-एंड-फायर (Leaky Integrate-and-Fire - LIF) नामक एक विशिष्ट प्रकार के न्यूरॉन पर लागू किया। आप इन न्यूरॉन्स को "लीकी बकेट" (छिद्रयुक्त बाल्टी) की तरह समझ सकते हैं। पानी (सिग्नल) अंदर आता है, और यदि बाल्टी पर्याप्त भर जाती है, तो वह "छलकती" (स्पाइक फायर करती) है ताकि अगले व्यक्ति को संदेश भेजा जा सके। यदि यह नहीं भरती है, तो पानी रिस जाता है, और संदेश खो जाता है।

इस पेपर का बड़ा नवाचार यह है कि ये न्यूरॉन्स छलकने (स्पिल करने) के लिए कैसे सीखते हैं। STDP नामक एक सामान्य नियम का उपयोग करने के बजाय (जो कुछ ऐसा है जैसे, "यदि मैंने तुम्हारे ठीक पहले फायर किया, तो मैं तुम्हारा दोस्त हूँ; यदि मैं बाद में फायर किया, तो मैं नहीं हूँ"), उन्होंने एक प्रेडिक्टिव लर्निंग रूल (पूर्वानुमानित शिक्षण नियम) का उपयोग किया।

इसे एक मौसम भविष्यवक्ता की तरह सोचें:

• न्यूरॉन्स लगातार यह अनुमान लगाने की कोशिश करते रहते हैं कि अगला सिग्नल क्या होगा।
• यदि वे सही भविष्यवाणी करते हैं, तो वे शांत रहते हैं।
• यदि वे हैरान होते हैं (भविष्यवाणी गलत थी), तो वे अगली बार बेहतर भविष्यवाणी करने के लिए अपनी "लीकीनेस" (रिसाव की दर) या आसानी से छलकने की क्षमता को समायोजित करते हैं।
• यह प्रेडिक्टिव कोडिंग (Predictive Coding) के विचार के अनुरूप है, जहाँ मस्तिष्क का मुख्य कार्य लगातार भविष्य का अनुमान लगाना है और केवल तभी सीखना है जब उसे कोई आश्चर्य मिले।

उन्हें क्या मिला?

टीम ने इस नए "प्रेडिक्टिव हडल" सिस्टम का परीक्षण तीन प्रसिद्ध पिक्चर डेटासेट्स (MNIST, KMNIST, और Fashion-MNIST) पर किया, जो इमेज रिकग्निशन के लिए मानक टेस्ट की तरह हैं।

1. यह काम करता है: उनके नए सिस्टम (EP+LIF) ने पारंपरिक "मैनेजर" सिस्टम (BP+LIF) के लगभग बराबर स्कोर प्राप्त किए। इसने साबित कर दिया कि बेहतरीन परिणाम प्राप्त करने के लिए आपको ऊपर से नीचे काम करने वाले मैनेजर की आवश्यकता नहीं है; एक स्थानीय, प्रेडिक्टिव हडल भी उतना ही अच्छा काम करता है।
2. अलग आदतें: जब उन्होंने बारीकी से देखा कि न्यूरॉन्स कैसे व्यवहार करते हैं, तो उन्होंने उनके "व्यक्तित्व" में एक अंतर देखा:
   • पारंपरिक मैनेजर सिस्टम (BP) ने न्यूरॉन्स को बहुत शांत और कुशल बनाया। वे केवल तभी फायर करते हैं जब बिल्कुल आवश्यक हो, जिससे एक स्पार्स (विरल) गतिविधि का पैटर्न बनता है।
   • नया प्रेडिक्टिव सिस्टम (EP) न्यूरॉन्स को अधिक सक्रिय और निरंतर बनाए रखता है। वे लंबे समय तक "जागे" रहते हैं और एक-दूसरे से बात करते रहते हैं।

निचोड़

यह पेपर दिखाता है कि आप उन्नत, मस्तिष्क जैसे कंप्यूटर नेटवर्क को एक ऐसे तरीके से प्रशिक्षित कर सकते हैं जो बैकप्रोपैगेशन (जो एक कठोर इंजीनियरिंग पद्धति है) के बजाय प्राकृतिक जीव विज्ञान (अनुमान लगाने और समूह चर्चा करने) के बहुत करीब महसूस होता है। हालांकि नया तरीका न्यूरॉन्स को थोड़ा अधिक "बातूनी" और कम "स्पार्स" बनाता है, फिर भी यह उच्च स्तर की सटीकता प्राप्त करता है। यह सुझाव देता है कि मस्तिष्क सीखने के लिए इस तरह के प्रेडिक्टिव, इक्विलिब्रियम-आधारित तरीकों का उपयोग कर सकता है, और हम उन विशिष्ट आदतों की नकल करके बेहतर AI बना सकते हैं।