🤖 machine learning

Scalable Equilibrium Propagation via Intermediate Error Signals for Deep Convolutional CRNNs

यह शोध पत्र एक नवीन इक्विलिब्रियम प्रोपेगेशन फ्रेमवर्क प्रस्तावित करता है जो वैनिशिंग ग्रेडिएंट समस्या को दूर करने के लिए लेयर-वाइज लर्निंग सिग्नल्स और नॉलेज डिस्टिलेशन को एकीकृत करता है, जिससे CIFAR डेटासेट्स पर डीप VGG आर्किटेक्चर को अत्याधुनिक प्रदर्शन के साथ सफलतापूर्वक प्रशिक्षित करना सक्षम होता है।

मूल लेखक: Jiaqi Lin, Malyaban Bal, Abhronil Sengupta

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiaqi Lin, Malyaban Bal, Abhronil Sengupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ऊँची, बहु-मंजिला इमारत को तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह इमारत एक "न्यूरल नेटवर्क" है, और इसकी मंजिलें प्रोसेसिंग के "लेयर्स" (परतें) हैं।

लंबे समय तक, इन इमारतों को सिखाने का मानक तरीका (जिसे बैकप्रोपैगेशन कहा जाता था) ऐसा था जैसे कोई मास्टर आर्किटेक्ट छत पर खड़ा हो, एक गलती देखे, और हर मंजिल को नीचे विशिष्ट निर्देश चिल्लाकर दे। हालांकि यह प्रभावी था, लेकिन यह जैविक रूप से अवास्तविक था—असली दिमाग इस तरह काम नहीं करते हैं। असली दिमाग स्थानीय स्तर पर सीखते हैं, जहाँ प्रत्येक न्यूरॉन केवल अपने आस-पास के पड़ोसियों से बात करता है।

एक नया, अधिक "मस्तिष्क जैसा" तरीका जिसे इक्विलिब्रियम प्रोपेगेशन (EP) कहा जाता है, इसे ठीक करने की कोशिश करता है। छत से चिल्लाने के बजाय, EP एक कोमल लहर (ripple) की तरह काम करता है। आप ऊपरी मंजिल को थोड़ा सा हिलाते हैं, और वह छोटा सा बदलाव इमारत के माध्यम से नीचे की ओर लहर की तरह फैलता है, और जैसे-जैसे यह नीचे जाता है, यह कनेक्शनों को समायोजित करता जाता है। यह कुशल और जैविक रूप से प्रशंसनीय है।

समस्या: "फुसफुसाहट" खो जाती है
हालांकि, इस शोध पत्र के लेखकों ने पाया कि जब उन्होंने इन इमारतों को बहुत ऊँचा (गहरा) बनाने की कोशिश की, तो एक बड़ी खामी सामने आई।

उपमा: एक 50-मंजिला इमारत में खेले जाने वाले "टेलीफोन" गेम की कल्पना करें। यदि शीर्ष मंजिल पर बैठा व्यक्ति नीचे वाले व्यक्ति को कुछ फुसफुसाता है, और वह व्यक्ति अगले व्यक्ति को फुसफुसाता है, तो जब तक संदेश नीचे की मंजिल तक पहुँचता है, वह सन्नाटे में बदल चुका होता है।
वास्तविकता: गहरे EP नेटवर्क में, "त्रुटि संकेत" (error signal - यह संदेश कि क्या गलत हुआ) जैसे-जैसे निचली परतों तक यात्रा करता है, वह इतना कमजोर हो जाता है कि निचली मंजिलों को लगभग कुछ भी प्राप्त नहीं होता। नेटवर्क सीखना बंद कर देता है क्योंकि निचली मंजिलों को पता ही नहीं चलता कि उन्होंने क्या गलती की है। इसे "वेनिशिंग ग्रेडिएंट" (vanishing gradient) की समस्या कहा जाता है।

समाधान: मिडिल मैनेजर्स और ट्यूटर्स
इसे ठीक करने के लिए, लेखकों ने एक नया ढांचा पेश किया जो इमारत में "मिडिल मैनेजर्स" और "ट्यूटर्स" जोड़ने जैसा है। वे इसे स्केलेबल इक्विलिब्रियम प्रोपेगेशन (Scalable Equilibrium Propagation) कहते हैं।

उन्होंने संकेत को मजबूत बनाए रखने के लिए दो विशिष्ट तरकीबें आजमाईं:

स्थानीय त्रुटि संकेत (मिडिल मैनेजर्स):
संदेश के छत से बेसमेंट तक यात्रा करने का इंतजार करने के बजाय, उन्होंने बीच की मंजिलों पर छोटे "चेकपॉइंट्स" रखे। यदि तीसरी मंजिल कोई गलती करती है, तो उसे अपना तत्काल फीडबैक सिग्नल मिलता है। उसे यह जानने के लिए शीर्ष मंजिल के बताने का इंतजार नहीं करना पड़ता कि क्या गलत हुआ। यह सुनिश्चित करता है कि हर मंजिल को एक स्पष्ट संदेश मिले, जिससे बहुत ऊँची इमारतों में भी सीखने की प्रक्रिया जीवित रहती है।
नॉलेज डिस्टिलेशन (ट्यूटर):
एक छात्र की कल्पना करें जो एक कठिन विषय सीखने की कोशिश कर रहा है। केवल अनुमान लगाने के बजाय, उसके पास एक "ट्यूटर" (एक पूर्व-प्रशिक्षित, स्मार्ट मॉडल) खड़ा है। ट्यूटर केवल अंतिम उत्तर नहीं देता; बल्कि वह छात्र को यह भी दिखाता है कि मध्यवर्ती चरण (intermediate steps) कैसे दिखने चाहिए।

शोध पत्र की विधि में, "स्टूडेंट" नेटवर्क (जिसे प्रशिक्षित किया जा रहा है) की तुलना विभिन्न परतों पर "ट्यूटर" से लगातार की जाती है। स्टूडेंट केवल अंतिम उत्तर की नकल नहीं करता, बल्कि ट्यूटर के मध्यवर्ती विचारों की नकल करने की कोशिश करता है। यह गहरी परतों के लिए एक मजबूत, स्पष्ट मार्ग प्रदान करता है, जिससे संकेत के फीके पड़ने की समस्या रुक जाती है।

परिणाम
लेखकों ने इस नई विधि का परीक्षण दो प्रसिद्ध इमेज डेटासेट्स (CIFAR-10 और CIFAR-100) पर किया, जो AI विजन के लिए मानक परीक्षाओं की तरह हैं।

पहले: पिछले EP तरीके केवल छोटी इमारतों (लगभग 5 परतें गहरी) को संभाल सकते थे। यदि वे 10 या 13 परतों वाली इमारत बनाने की कोशिश करते, तो वे सीखने में विफल रहते।
बाद में: इन नए "मिडिल मैनेजर्स" और "ट्यूटर्स" के साथ, उन्होंने बहुत गहरी इमारतों (13 परतों तक) को सफलतापूर्वक प्रशिक्षित किया जो पिछले सभी EP प्रयासों से बेहतर प्रदर्शन करती हैं। वास्तव में, उन्होंने शीर्ष-स्तरीय स्कोर हासिल किया, जो पुराने, गैर-जैविक तरीकों के बराबर है।

यह क्यों महत्वपूर्ण है?
यह एक बड़ी बात है क्योंकि यह साबित करता है कि "मस्तिष्क जैसा" सीखना (EP) जटिल, गहरे कार्यों को संभालने के लिए बड़े कंप्यूटेशनल पावर की आवश्यकता के बिना भी स्केल (विस्तारित) हो सकता है। यह सुझाव देता है कि भविष्य में, हम उन्नत AI को सीधे छोटे, कम बिजली वाले चिप्स (जैसे रोबोट या स्मार्ट डिवाइस में लगे चिप्स) पर प्रशिक्षित कर सकते हैं, जो हमारे अपने मस्तिष्क के सीखने के तरीके की नकल करने वाली विधियों का उपयोग करते हैं, न कि विशाल, ऊर्जा-खर्चीले सुपरकंप्यूटरों पर निर्भर रहते हैं।

सारांश में:
यह शोध पत्र मध्यवर्ती चेकपॉइंट्स और शिक्षक-निर्देशित शिक्षण को जोड़कर गहरे, मस्तिष्क-तुल्य AI नेटवर्क में "कमजोर संकेतों" की समस्या को हल करता है। यह इन नेटवर्कों को बहुत अधिक ऊँचा और स्मार्ट बनाता है, जबकि यह भी सुनिश्चित करता है कि वे इस बात के प्रति सच्चे रहें कि जैविक मस्तिष्क वास्तव में कैसे सीखते हैं।

तकनीकी सारांश: मध्यवर्ती त्रुटि संकेतों के माध्यम से स्केलेबल इक्विलिब्रियम प्रोपेगेशन (Equilibrium Propagation)

समस्या विवरण
इक्विलिब्रियम प्रोपेगेशन (EP), कन्वर्जेंट रिकरेंट न्यूरल नेटवर्क्स (CRNNs) के लिए एक जैविक रूप से प्रशंसनीय (biologically plausible) लर्निंग रूल है, जो बैकप्रोपैगेशन थ्रू टाइम (BPTT) की गैर-जैविक आवश्यकताओं से बचते हुए, केवल स्थानीय और अस्थायी रूप से अलग न्यूरॉन अवस्थाओं का उपयोग करके ग्रेडिएंट का अनुमान लगाता है। जबकि EP ने न्यूरोमॉर्फिक ऑन-चिप ट्रेनिंग के लिए एक संभावित उम्मीदवार के रूप में आशा दिखाई है, इसका अनुप्रयोग ऐतिहासिक रूप से उथली (shallow) आर्किटेक्चर तक ही सीमित रहा है। जैसे-जैसे नेटवर्क की गहराई बढ़ती है, EP-प्रशिक्षित CRNNs वैनिशिंग ग्रेडिएंट समस्या (vanishing gradient problem) से ग्रस्त होते हैं। गहरे नेटवर्क्स में, सिम्युलेशन के दौरान पीछे की ओर प्रसारित होने वाले एरर सिग्नल परतों के बीच क्षीण (attenuate) हो जाते हैं, जिससे मध्यवर्ती न्यूरॉन्स की इक्विलिब्रियम अवस्थाओं को पर्याप्त रूप से विचलित करने में विफल रहते हैं। यह ग्रेडिएंट गणना में पतन (collapse) का कारण बनता है और नेटवर्क को अभिसरण (convergence) करने से रोकता है, जिसके परिणामस्वरूप गहरे मॉडलों (जैसे VGG-11/13) में उथले मॉडलों (जैसे VGG-5) की तुलना में खराब प्रदर्शन होता है।

कार्यप्रणाली (Methodology)
EP की स्केलेबिलिटी सीमाओं को संबोधित करने के लिए, लेखक एक नवीन ढांचा प्रस्तावित करते हैं जो सूचना प्रवाह और न्यूरॉन डायनेमिक्स को बढ़ाने के लिए मध्यवर्ती लर्निंग सिग्नल्स (intermediate learning signals) को एकीकृत करता है। मुख्य कार्यप्रणाली में EP प्रशिक्षण प्रक्रिया में उपयोग किए जाने वाले स्केलर प्रिमिटिव फंक्शन $\Phi$ को विशिष्ट मध्यवर्ती परतों पर सहायक लॉस टर्म्स जोड़कर संशोधित करना शामिल है। यह ढांचा दो विशिष्ट ऑगमेंटेशन रणनीतियों को पेश करता है:

लोकल एरर (LE) सिग्नल: यह दृष्टिकोण चुनिंदा मध्यवर्ती परतों पर छद्म-लक्ष्यों (pseudo-targets) $\hat{y}^*_i$ को शामिल करता है। न्यूरॉन अवस्थाओं $\xi^t_i$ को एक रैंडमली इनिशियलाइज्ड मैट्रिक्स $B_i$ के माध्यम से प्रोजेक्ट किया जाता है ताकि मध्यवर्ती रीडआउट $\hat{\xi}^t_i$ उत्पन्न किया जा सके। इन रीडआउट्स और छद्म-लक्ष्यों के बीच एक स्थानीय लॉस $L_{Aug}$ की गणना की जाती है, जो मध्यवर्ती परतों को प्रत्यक्ष पर्यवेक्षण (supervision) प्रदान करता है।
नॉलेज डिस्टिलेशन (KD): यह दृष्टिकोण एक पूर्व-प्रशिक्षित "टीचर" मॉडल का उपयोग करता है। स्टूडेंट नेटवर्क (EP-प्रशिक्षित CRNN) की मध्यवर्ती परतों को टीचर मॉडल के संगत लॉजिट्स (logits) के साथ संरेखित किया जाता है। स्टूडेंट के मध्यवर्ती आउटपुट्स और टीचर के आउटपुट्स के बीच लॉस $L_{Aug}$ की गणना की जाती है, जिसे एक टेम्परेचर पैरामीटर $\tau$ द्वारा स्केल किया जाता है।

ऑगमेंटेड EP फ्रेमवर्क के लिए कुल लॉस फंक्शन को इस प्रकार परिभाषित किया गया है:
$L_{Total} = L_{EP}(\xi^t_{out}, \hat{y}) + \kappa \sum_{i \in \Upsilon} L_{Aug}(\xi^t_i, \hat{y}^*_i)$
जहाँ $\kappa$ एक स्केलिंग फैक्टर है और $\Upsilon$ उन परतों का सेट है जिन्हें मध्यवर्ती सिग्नल प्राप्त होते हैं। सैद्धांतिक विश्लेषण (Theorem 3.1) यह प्रदर्शित करता है कि विशिष्ट लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) की शर्तों के तहत, यह ऑगमेंटेड फ्रेमवर्क एक फिक्स्ड पॉइंट की ओर अभिसरण की गारंटी बनाए रखता है। इसके अतिरिक्त, Theorem 3.2 स्थापित करता है कि ग्रेडिएंट अनुमान वास्तविक ग्रेडिएंट का एक अनबायस्ड एप्रोक्सिमेशन बना रहता है (एक एरर बाउंड $O(\beta^2)$ के साथ) जब नजिंग फैक्टर $\beta \to 0$ होता है।

लेखक वेटेड नॉलेज डिस्टिलेशन (weighted knowledge distillation) का भी अन्वेषण करते हैं, जिसमें स्टूडेंट और टीचर लॉजिट्स को संरेखित करने के लिए लर्नबल लीनियर मैपिंग वेट्स पेश किए गए हैं, हालांकि अनुभवजन्य परिणामों ने संकेत दिया कि इस विशिष्ट वेरिएंट में मानक KD दृष्टिकोण की तुलना में अधिक मेमोरी लागत और थोड़ा कम प्रदर्शन हुआ।

मुख्य योगदान

स्केलेबल EP फ्रेमवर्क: यह कार्य पहला EP फ्रेमवर्क प्रस्तुत करता है जो सफलतापूर्वक गहरे कनवोल्यूशनल CRNNs को प्रशिक्षित करने में सक्षम है (पिछले पांच-परत की सीमा को पार करते हुए), जो प्रभावी रूप से उथले और गहरे आर्किटेक्चर के बीच के प्रदर्शन अंतर को पाटता है।
वैनिशिंग ग्रेडिएंट्स का अनुभवजन्य प्रमाण: पेपर यह अनुभवजन्य प्रमाण प्रदान करता है कि गहरे EP नेटवर्क्स में वैनिशिंग ग्रेडिएंट्स स्केलर प्रिमिटिव फंक्शन के न्यूनीकरण और ग्रेडिएंट गणना प्रक्रिया दोनों के दौरान होते हैं, जिससे अभिसरण विफलता होती है।
मध्यवर्ती सिग्नल्स का एकीकरण: लेखकों की जानकारी के अनुसार, यह EP फ्रेमवर्क के भीतर नॉलेज डिस्टिलेशन और लोकल एरर सिग्नल्स का पहला एकीकरण है।
सैद्धांतिक अभिसरण (Theoretical Convergence): अध्ययन एक सैद्धांतिक प्रमाण (Theorem 3.1) प्रदान करता है जो सुनिश्चित करता है कि ऑगमेंटेड न्यूरॉन डायनेमिक्स स्थिर अवस्थाओं की ओर अभिसरित होते हैं, जिससे EP अपडेट नियम की जैविक सुसंगतता बनी रहती है।

परिणाम
प्रस्तावित फ्रेमवर्क का मूल्यांकन डीप VGG आर्किटेक्चर (VGG-7, VGG-10/11, VGG-12/13) का उपयोग करके CIFAR-10 और CIFAR-100 डेटासेट्स पर किया गया।

प्रदर्शन: ऑगमेंटेड EP फ्रेमवर्क ने इन डेटासेट्स के लिए EP-प्रशिक्षित नेटवर्क्स के लिए स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। CIFAR-10 के लिए, VGG-7-KD मॉडल ने 89.67% टेस्ट एक्यूरेसी प्राप्त की, और VGG-7-LE मॉडल ने 88.99% प्राप्त किया, जो पिछले VGG-5 तक सीमित EP अध्ययनों से बेहतर है। CIFAR-100 पर, VGG-12-KD मॉडल ने 64.75% टेस्ट एक्यूरेसी प्राप्त की।
अभिसरण व्यवहार (Convergence Behavior): लोकल एरर (LE) सिग्नल्स ने तेज़ अभिसरण प्रदर्शित किया, जो 15वें एपोक से पहले ही 70% से अधिक एक्यूरेसी तक पहुँच गया, जबकि नॉलेज डिस्टिलेशन (KD) को तुलनीय स्तर तक पहुँचने के लिए 45 से अधिक एपोक्स की आवश्यकता थी, जो संभवतः वार्म-अप चरण की आवश्यकता के कारण है।
दक्षता: मध्यवर्ती सिग्नल्स के जुड़ने के बावजूद, कम्प्यूटेशनल और मेमोरी ओवरहेड मानक EP की तुलना में मामूली रहा। महत्वपूर्ण रूप से, ऑगमेंटेड EP फ्रेमवर्क की मेमोरी खपत BPTT की तुलना में काफी कम थी (उदाहरण के लिए, CIFAR-100 पर VGG-13 के लिए BPTT ने KD-ऑगमेंटेड EP की तुलना में ~18.1x अधिक GPU मेमोरी खर्च की)।

महत्व और दावे
पेपर का दावा है कि मध्यवर्ती लर्निंग सिग्नल्स का परिचय इक्विलिब्रियम प्रोपगेशन की स्केलेबिलिटी में एक महत्वपूर्ण प्रगति है। जैविक रूप से प्रशंसनीय, स्थानीय प्रकृति वाले लर्निंग रूल को त्याग बिना काफी गहरे आर्किटेक्चर को प्रशिक्षित करने में सक्षम बनाकर, यह कार्य सुझाव देता है कि EP को व्यावहारिक, जटिल अनुप्रयोगों तक विस्तारित किया जा सकता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण EP की न्यूरोमॉर्फिक और ऑन-चिप ट्रेनिंग के लिए उपयुक्तता को बनाए रखता है, जहाँ हार्डवेयर बाधाओं के लिए कुशल, स्थानीय लर्निंग मैकेनिज्म की आवश्यकता होती है। यह कार्य वैनिशिंग ग्रेडिएंट समस्या को हल करने के लिए अन्य हालिया प्रयासों (जैसे कि रेसिडुअल कनेक्शन का उपयोग करने वाले) के पूरक विकास के रूप में खुद को स्थापित करता है, जो बड़े पैमाने के विजन और लैंग्वेज मॉडल्स पर EP को लागू करने के लिए भविष्य के अनुसंधान का मार्ग प्रशस्त करता है।

इसी तरह के और पेपर