🤖 machine learning

Adaptive Multi-Scale Goodness Aggregation for Forward-Forward Learning

यह शोध पत्र एडेप्टिव मल्टी-स्केल गुडनेस एग्रीगेशन (AMSGA) को प्रस्तुत करता है, जो फॉरवर्ड-फॉरवर्ड एल्गोरिदम का एक नवीन विस्तार है जो मल्टी-स्केल रिप्रजेंटेशन एग्रीगेशन और एडेप्टिव ट्रेनिंग रणनीतियों के माध्यम से स्थिरता, मजबूती और सामान्यीकरण को बढ़ाता है, और जैविक संभाव्यता एवं मेमोरी दक्षता बनाए रखते हुए MNIST और Fashion-MNIST पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है।

मूल लेखक: Salar Beigzad, Vansh Verma

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Salar Beigzad, Vansh Verma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों के एक समूह को विभिन्न वस्तुओं, जैसे कि हस्तलिखित संख्याओं या कपड़ों के परिधानों को पहचानना सिखाने की कोशिश कर रहे हैं।

द दशकों से, इसे करने का मानक तरीका (जिसे "बैकप्रोपैगेशन" कहा जाता है) एक सख्त शिक्षक की तरह है जो कमरे के पीछे खड़ा होता है। जब कोई छात्र गलती करता है, तो शिक्षक अंत से शुरू तक एक संकेत भेजता है, जिससे लाइन में मौजूद हर छात्र को सुधार दिया जाता है। यह अविश्वसनीय रूप से अच्छी तरह काम करता है, लेकिन इसमें दो बड़ी समस्याएं हैं:

मेमोरी: शिक्षक को यह याद रखना पड़ता है कि प्रत्येक चरण में प्रत्येक छात्र ने क्या किया ताकि सुधार वापस भेजा जा सके। इसमें बहुत अधिक मानसिक ऊर्जा (या कंप्यूटर मेमोरी) खर्च होती है।
जीव विज्ञान (बायोलॉजी): वास्तविक मस्तिष्क इस तरह काम नहीं करते हैं। हमारे न्यूरॉन्स एक आदर्श तार के माध्यम से "त्रुटि संकेत" (error signals) नहीं भेजते हैं। वे स्थानीय स्तर पर सीखते हैं, जो उनके ठीक सामने होता है।

फॉरवर्ड-फॉरवर्ड (FF) एल्गोरिदम का आगमन: बैकवर्ड सुधार के बजाय, FF एक "दो-चरण" (Two-Pass) प्रणाली की तरह है।

चरण 1 (अच्छी चीजें): आप छात्रों को वास्तविक उदाहरण दिखाते हैं (जैसे, "7" की एक तस्वीर)। वे खुद को "अच्छा" (उच्च ऊर्जा) महसूस करने की कोशिश करते हैं।
चरण 2 (बुरी चीजें): आप उन्हें नकली या मिश्रित उदाहरण दिखाते हैं। वे खुद को "बुरा" (कम ऊर्जा) महसूस करने की कोशिश करते हैं।
नियम: प्रत्येक छात्र (या न्यूरॉन की परत) स्वतंत्र रूप से सीखता है। उन्हें लाइन के अंत से संकेत मिलने का इंतज़ार करने की ज़रूरत नहीं है। वे बस देखते हैं: "क्या मैंने इस वास्तविक चीज़ के बारे में अच्छा महसूस किया? क्या मैंने इस नकली चीज़ के बारे में बुरा महसूस किया?"

समस्या: मूल FF विधि थोड़ी सरल थी। यह एक कुंद उपकरण (blunt instrument) की तरह थी। इसने सभी छात्रों के साथ एक जैसा व्यवहार किया, यादृच्छिक (random) "बुरे" उदाहरणों का उपयोग किया, और जैसे-जैसे छात्र स्मार्ट हुए, इसने अपने नियम कभी नहीं बदले। यह ठीक-ठाक काम करता था, लेकिन यह मानक बैकप्रोपैगेशन पद्धति जितना अच्छा नहीं था।

समाधान: AMSGA (एडेप्टिव मल्टी-स्केल गुडनेस एग्रीगेशन)
लेखकों ने FF का एक नया, अपग्रेड किया गया संस्करण बनाया जिसे AMSGA कहा जाता है। उन्होंने चार मुख्य कमजोरियों को ठीक किया ताकि सीखने की प्रक्रिया अधिक स्मार्ट, स्थिर और सटीक बन सके। उन्होंने इसे कैसे किया, इसके लिए सरल उपमाओं का उपयोग किया:

1. विभिन्न पैमानों पर सुनना (मल्टी-स्केल गुडness)

पुराना तरीका: कल्पना कीजिए कि एक जज प्रदर्शन को केवल एक संख्या के आधार पर स्कोर करता है: कमरे का कुल शोर (वॉल्यूम)। इससे कोई फर्क नहीं पड़ता कि एक व्यक्ति चिल्ला रहा था या सभी फुसफुसा रहे थे; कुल वॉल्यूम समान रहता है।
नया तरीका (AMSGA): नया सिस्टम तीन अलग-अलग स्तरों पर सुनता है:

स्थानीय (Local): क्या यह विशिष्ट न्यूरॉन सक्रिय है? (जैसे यह जांचना कि क्या एक एकल वायलिन वादक अच्छा खेल रहा है)।
मध्यवर्ती (Intermediate): क्या न्यूरॉन्स का यह समूह मिलकर काम कर रहा है? (जैसे स्ट्रिंग सेक्शन की जांच करना)।
वैश्विक (Global): पूरे कमरे की ऊर्जा क्या है? (पूरा ऑर्केस्ट्रा)।
इन तीन दृश्यों को जोड़कर, सिस्टम एक एकल, धुंधली संख्या के बजाय यह समझ पाता है कि क्या हो रहा है, जिससे उसे एक समृद्ध चित्र मिलता है।

2. स्मार्ट अभ्यास प्रश्न (एडेप्टिव नेगेटिव माइनिंग)

पुराना तरीका: सिस्टम पूरी तरह से यादृच्छिक रूप से "बुरे" उदाहरण (नकली) चुनता था। शुरुआत में, नकली उदाहरण इतने स्पष्ट थे कि छात्र ऊब जाते थे। बाद में, नकली उदाहरण इतने भ्रमित करने वाले थे कि छात्र निराश हो जाते थे।
नया तरीका (AMSGA): सिस्टम एक पाठ्यक्रम (Curriculum) का उपयोग करता है, जैसे एक शिक्षक जो छात्र के बेहतर होने के साथ होमवर्क की कठिनाई को समायोजित करता है।

प्रारंभिक चरण: यह ऐसे नकली उदाहरण चुनता है जो थोड़े कठिन हैं (छात्र के ज्ञान की सीमा के करीब)।
मध्य चरण: यह और कठिन नकली उदाहरणों को मिलाना शुरू करता है।
अंतिम चरण: यह छात्रों को उनकी सीमा तक धकेलने के लिए सबसे कठिन नकली उदाहरणों के साथ चुनौती देता है।
यह सीखने के "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) को बनाए रखता है—न बहुत आसान, न असंभव।

3. गोलपोस्ट बदलना (एडेप्टिव थ्रेशोल्ड्स)

पुराना तरीका: सिस्टम में एक निश्चित नियम था कि क्या "पर्याप्त अच्छा" माना जाए (थ्रेशोल्ड)। यह कहने जैसा था कि, "आपको पास होने के लिए 50 अंक प्राप्त करने होंगे," चाहे आप नौसिखिया हों या विशेषज्ञ, इससे कोई फर्क नहीं पड़ता।
नया तरीका (AMSGA): सिस्टम यह समझता है कि एक नौसिखिए को कम स्तर की आवश्यकता होती है, और एक विशेषज्ञ को उच्च स्तर की। जैसे-जैसे छात्र नेटवर्क में गहरे (अधिक अमूर्त) होते जाते हैं और जैसे-जैसे प्रशिक्षण आगे बढ़ता है (समय के साथ), "पासिंग स्कोर" स्वचालित रूप से बढ़ जाता है। यह सुनिश्चित करता है कि नियम हर चरण में निष्पक्ष और चुनौतीपूर्ण बने रहें।

4. एक कोमल शुरुआत (वार्म-अप और कोसाइन एनीलिंग)

पुराना तरीका: सिस्टम तुरंत पूरी गति से सीखना शुरू कर देता था। यह कार के इंजन को गियर में डालने से पहले ही अधिकतम आरपीएम पर चलाने जैसा है; इससे अक्सर दुर्घटना या लड़खड़ाहट होती है।
नया तरीका (AMSGA):

वार्म-अप (Warm-Up): यह बहुत धीमी लर्निंग रेट के साथ शुरू होता है, जिससे सिस्टम को स्थिर होने और अपनी स्थिति बनाने का मौका मिलता है।
कोसाइन एनीलिंग (Cosine Annealing): जैसे-जैसे प्रशिक्षण आगे बढ़ता है, यह लर्निंग रेट को धीरे-धीरे और सुचारू रूप से धीमा कर देता है, जैसे कि स्टॉप साइन के पास पहुँचते समय धीरे से ब्रेक लगाना। यह सिस्टम को अंत में समाधान से आगे निकलने (overshoot) से रोकता है।

परिणाम

लेखकों ने इस नए सिस्टम का परीक्षण दो मानक डेटासेट्स पर किया: MNIST (हस्तलिखित संख्याएं) और Fashion-MNIST (कपड़ों के परिधान)।

संख्याओं पर: मूल FF लगभग 92% सही था। नया AMSGA 94.45% सही था।
कपड़ों पर: मूल FF लगभग 81% सही था। नया AMSGA 84.5% सही था।

यह क्यों मायने रखता है:
पेपर का दावा है कि यह सिद्ध करता है कि "स्थानीय शिक्षण" (बिना बैकवर्ड एरर सिग्नल के सीखना) कमजोर नहीं होना चाहिए। केवल नियमों को स्मार्ट और अनुकूलनीय बनाकर, उन्होंने इस जैविक रूप से अनुकूल पद्धति और मानक, भारी-भरकम कंप्यूटर लर्निंग विधियों के बीच के अंतर को पाट दिया है। उन्होंने यह सब बिना अधिक कंप्यूटर मेमोरी या शक्ति की आवश्यकता के किया, उन्होंने बस मौजूदा प्रक्रिया को बेहतर तरीके से काम करने के लिए बनाया।

संक्षेप में: उन्होंने एक आशाजनक लेकिन सरल विचार लिया, उसमें कुछ स्मार्ट "ट्रेनिंग व्हील्स" और "समायोज्य नियम" जोड़े, और इसे काफी बेहतर प्रदर्शन करने के योग्य बनाया, जबकि इसके मेमोरी-कुशल, मस्तिष्क जैसे लाभों को बरकरार रखा।

तकनीकी सारांश: फॉरवर्ड-फॉरवर्ड लर्निंग के लिए एडेप्टिव मल्टी-स्केल गुडनेस एग्रीगेशन (AMSGA)

1. समस्या विवरण

हिंटन द्वारा पेश किया गया फॉरवर्ड-फॉरवर्ड (FF) एल्गोरिदम, बैकप्रोपैगेशन का एक जैविक रूप से प्रशंसनीय (biologically plausible) विकल्प प्रदान करता है, जो परतों को स्वतंत्र रूप से प्रशिक्षित करने के लिए दो फॉरवर्ड पास (एक वास्तविक डेटा पर, एक नकारात्मक डेटा पर) का उपयोग करता है। यह दृष्टिकोण ग्रेडिएंट गणना के लिए इंटरमीडिएट एक्टिवेशन को स्टोर करने की आवश्यकता को समाप्त करता है, जिससे मेमोरी का उपयोग कम होता है और "वेट ट्रांसपोर्ट" (weight transport) की समस्या से बचा जा सकता है। हालांकि, बेसलाइन FF एल्गोरिदम बैकप्रोपैगेशन-आधारित मॉडलों (जैसे कि MNIST पर ~92% बनाम ~98%) की तुलना में महत्वपूर्ण प्रदर्शन अंतराल (performance gap) से ग्रस्त है।

लेखक पहचानते हैं कि यह प्रदर्शन अंतराल मूल कार्यान्वयन के कोर FF कॉन्सेप्ट से नहीं, बल्कि चार विशिष्ट, अत्यधिक सरल डिज़ाइन विकल्पों से उत्पन्न होता है:

सिंगल-स्केल गुडनेस (Single-Scale Goodness): मूल एल्गोरिदम "गुडनेस" (एक्टिवेशन की गुणवत्ता का एक माप) को एक एकल स्केलर (स्क्वेयर्ड एक्टिवेशन का योग) के रूप में कंप्यूट करता है, जो विभिन्न स्तरों के एब्स्ट्रैक्शन पर जानकारी कैप्चर करने में विफल रहता है।
स्टैटिक नेगेटिव सैंपलिंग (Static Negative Sampling): नकारात्मक नमूने रैंडम शफलिंग के माध्यम से उत्पन्न किए जाते हैं, जिसके परिणामस्वरूप प्रशिक्षण संकेत या तो बहुत आसान होते हैं या विनाशकारी रूप से कठिन, जिनमें पाठ्यक्रम-आधारित प्रगति (curriculum-based progression) का अभाव होता है।
फिक्स्ड थ्रेशोल्ड्स (Fixed Thresholds): एक एकल, स्थिर थ्रेशोल्ड ( $\theta$ ) सभी परतों में और पूरी प्रशिक्षण प्रक्रिया के दौरान लागू किया जाता है, जो इस तथ्य को अनदेखा करता है कि नेटवर्क की गहराई और प्रशिक्षण की प्रगति के साथ एक्टिवेशन वितरण बदल जाता है।
स्टैटिक लर्निंग रेट्स (Static Learning Rates): फिक्स्ड लर्निंग रेट का उपयोग उन शुरुआती प्रशिक्षण चरणों की अस्थिरता को संबोधित करने में विफल रहता है जहाँ गुडनेस स्कोर और थ्रेशोल्ड अभी भी सेटल हो रहे होते हैं।

2. कार्यप्रणाली: एडेप्टिव मल्टी-स्केल गुडनेस एग्रीगेशन (AMSGA)

पेपर AMSGA का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो FF की कोर लेयर-वाइज, नॉन-बैकप्रोपैगेशन संरचना को बनाए रखता है, जबकि इन चार कमजोर डिज़ाइन विकल्पों को एडेप्टिव मैकेनिज्म से बदल देता है।

A. मल्टी-स्केल गुडनेस एग्रीगेशन

एक एकल गुडनेस मेट्रिक के बजाय, AMSGA तीन पैमानों पर गुडनेस कंप्यूट करता है और उन्हें डेप्थ-डिपेंडेंट वेट्स का उपयोग करके जोड़ता है:

लोकल गुडनेस ( $g_{local}$ ): प्रति न्यूरॉन मीन स्क्वेयर्ड एक्टिवेशन। यह सूक्ष्म-स्तरीय, लो-लेवल फीचर्स को कैप्चर करता है, जिसे शुरुआती परतों में अधिक भार दिया जाता है।
इंटरमीडिएट गुडनेस ( $g_{inter}$ ): न्यूरॉन्स को समूहों (partitions) में बांटा जाता है, और समूहों के भीतर औसत मीन स्क्वेयर्ड एक्टिवेशन लिया जाता है। यह एक स्थिर मिड-लेवल सिग्नल प्रदान करता है।
ग्लोबल गुडनेस ( $g_{global}$ ): सभी न्यूरॉन्स और सैंपल्स में औसत मीन स्क्वेयर्ड एक्टिवेशन, जो लेयर की समग्र ऊर्जा (overall energy) को कैप्चर करता है। इसे गहरी परतों में अधिक भार दिया जाता है।
वेटिंग स्कीम (Weighting Scheme): लेयर $l$ पर अंतिम गुडनेस $g(h, l)$ एक लीनियर कॉम्बिनेशन है:
$g(h, l) = w_{local}(l) \cdot g_{local} + 0.35 \cdot g_{inter} + w_{global}(l) \cdot g_{global}$
जहाँ वेट्स शुरुआती परतों में लोकल स्ट्रक्चर को प्राथमिकता देने से लेकर गहरी परतों में ग्लोबल एक्टिविटी की ओर लीनियर रूप से शिफ्ट होते हैं।

B. करिकुलम लर्निंग के साथ एडेप्टिव नेगेटिव माइनिंग

नकारात्मक नमूनों का चयन प्रशिक्षण प्रगति ( $p = \text{वर्तमान एपोक} / \text{कुल एपोक}$ ) के आधार पर गतिशील रूप से समायोजित किया जाता है:

शुरुआती चरण ( $p < 0.3$ ): "बाउंड्री प्रॉक्सिमिटी" पर ध्यान केंद्रित करता है, जो स्थिर प्रारंभिक लर्निंग सुनिश्चित करने के लिए निर्णय थ्रेशोल्ड के करीब के नेगेटिव्स चुनता है।
मध्य चरण ( $0.3 \le p < 0.7$ ): कठिनाई बैंड को बढ़ाता है और रिप्रेजेंटेशन को रिफाइन करने के लिए 40% दर पर "वेरी हार्ड" नेगेटिव्स (जिनका गुडनेस स्कोर उच्च है) पेश करता है।
अंतिम चरण ( $p \ge 0.7$ ): बैंड को चौड़ा करके और बहुत कठिन नेगेटिव्स के सैंपलिंग रेट को बढ़ाकर 50% तक बढ़ाकर मॉडल को आक्रामक रूप से रिफाइन करता है।
सेफ्टी मैकेनिज्म: यदि चयन मानदंड बहुत कम नमूने प्रदान करते हैं, तो एल्गोरिदम शेष सबसे कठिन नमूनों को जोड़कर एक न्यूनतम बैच साइज की गारंटी देता है।

C. लेयर-डिपेंडेंट एडेप्टिव थ्रेशोल्ड्स

$\theta$ अब एक ग्लोबल कांस्टेंट नहीं है। इसे लेयर डेप्थ ( $l$ ) और प्रशिक्षण प्रगति ( $p$ ) दोनों के आधार पर अनुकूलित किया जाता है:
$\theta(l, p) = \theta_0 \times \left(1 + 0.15 \frac{l}{L}\right) \times (1 + 0.3 p)$
यह सुनिश्चित करता है कि गहरी परतें (जो अधिक एब्स्ट्रैक्ट फीचर्स को संभालती हैं) और बाद के प्रशिक्षण चरण (जहाँ रिप्रेजेंटेशन अधिक रिफाइंड होते हैं), उच्च थ्रेशोल्ड का उपयोग करें, जिससे निर्णय सीमा (decision boundary) का उचित कैलिब्रेशन बना रहे।

D. लर्निंग रेट शेड्यूलिंग

गुडनेस स्कोर और थ्रेशोल्ड के शुरुआती सेटलिंग के दौरान अस्थिरता को रोकने के लिए, AMSGA एक वार्म-अप चरण (पहले 10% प्रशिक्षण के लिए लर्निंग रेट को लीनियर रूप से बढ़ाना) का उपयोग करता है, जिसके बाद शेष भाग के लिए कोसाइन एनिलिंग (cosine annealing) का उपयोग किया जाता है। यह FF में बहुत महत्वपूर्ण है ताकि सिस्टम के स्थिर होने से पहले बड़े, अस्थिर अपडेट से बचा जा सके।

3. मुख्य योगदान

नया एग्रीगेशन मैकेनिज्म: मल्टी-स्केल गुडनेस एग्रीगेशन का परिचय जो डेप्थ-डिपेंडेंट वेटिंग के साथ लोकल, इंटरमीडिएट और ग्लोबल सिग्नल्स का लाभ उठाता है।
करिकुलम-आधारित प्रशिक्षण: एक एडेप्टिव नेगेटिव माइनिंग रणनीति का कार्यान्वयन जो प्रशिक्षण प्रगति के साथ नमूना कठिनाई को विकसित करती है।
डायनेमिक कैलिब्रेशन: फिक्स्ड थ्रेशोल्ड्स को लेयर- और स्टेज-डिपेंडेंट एडेप्टिव थ्रेशोल्ड्स से बदलना।
स्टेबलाइजेशन स्ट्रैटेजी: लोकल लर्निंग रूल्स की अनूठी गतिशीलता के लिए विशेष रूप से तैयार किए गए वार्म-अप और कोसाइन एनिलिंग का एकीकरण।
परफॉरमेंस वैलिडेशन: यह प्रदर्शन करना कि ये संशोधन मॉडल की मेमोरी दक्षता या जैविक प्रशंसनीयता (biological plausibility) से समझौता किए बिना, FF और बैकप्रोपैगेशन के बीच के प्रदर्शन अंतर को महत्वपूर्ण रूप से कम करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोग MNIST और Fashion-MNIST पर मल्टी-लेयर पर्सेप्ट्रॉन (MLP) आर्किटेक्चर का उपयोग करके किए गए।

MNIST:
- बेसलाइन FF: 92.00% टेस्ट एक्यूरेसी।
- AMSGA: 94.45% टेस्ट एक्यूरेसी।
- सुधार: +2.45%।
- मॉडल ने <0.1% का ट्रेन-टेस्ट गैप हासिल किया, जो मजबूत जनरलाइजेशन को दर्शाता है।
Fashion-MNIST:
- बेसलाइन FF: 81.00% टेस्ट एक्यूरेसी।
- AMSGA: 84.50% टेस्ट एक्यूरेसी।
- सुधार: +3.5%।
कंप्यूटेशनल दक्षता:
- AMSGA न्यूनतम कंप्यूटेशनल ओवरहेड पेश करता है। एग्रीगेशन और माइनिंग लॉजिक की अतिरिक्त जटिलता के बावजूद प्रति एपोक समय केवल थोड़ा ही बढ़ा (जैसे, MNIST पर 2.5s से 2.7s)।
- यह विधि मूल FF लाभों को बरकरार रखती है: कोई बैकवर्ड पास नहीं, कोई ग्लोबल ग्रेडिएंट स्टोरेज नहीं, और लेयर-वाइज ऑप्टिमाइजेशन।

5. महत्व और दावे

पेपर यह तर्क देता है कि स्थानीय लर्निंग रूल्स (जैसे FF) की सीमाएं उनके कॉन्सेप्ट में निहित नहीं हैं, बल्कि वे "अस्पष्ट डिफ़ॉल्ट" (unambitious default) डिज़ाइन विकल्पों का परिणाम हैं। यह संबोधित करके कि गुडनेस को कैसे मापा जाता है, नकारात्मक नमूनों का चयन कैसे किया जाता है, और प्रशिक्षण गतिशीलता को कैसे आकार दिया जाता है, लेखक प्रदर्शित करते हैं कि जैविक रूप से प्रशंसनीय लर्निंग को मानक बेंचमार्क पर बैकप्रोपैगेशन के प्रतिस्पर्धी बनाया जा सकता है।

लेखक दावा करते हैं कि AMSGA, बायो-प्लासिबल लर्निंग को "वास्तव में प्रतिस्पर्धी, न कि केवल सैद्धांतिक रूप से दिलचस्प" बनाने की दिशा में एक कदम है। वे इस बात पर जोर देते हैं कि हालांकि कठिन कार्यों पर स्टेट-ऑफ-द-आर्ट बैकप्रोपैगेशन मॉडलों की तुलना में एक अंतर बना हुआ है, यहाँ प्राप्त प्रदर्शन लाभ यह सिद्ध करते हैं कि अंतर मुख्य रूप से ट्रेनिंग डायनेमिक्स के कारण है, न कि जटिल रिप्रेजेंटेशन सीखने में स्थानीय नियमों की मौलिक अक्षमता के कारण। यह कार्य सुझाव देता है कि भविष्य के सुधार लेबल जानकारी को कैसे एम्बेड किया जाता है और लेयर-वाइज इंडिपेंडेंस को कैसे प्रबंधित किया जाता है, इसे रिफाइन करने में हो सकते हैं, न कि स्थानीय लर्निंग प्रतिमान (paradigm) को छोड़ने में।