🤖 machine learning

Covariance-Aware Goodness for Scalable Forward-Forward Learning

यह शोध पत्र कोवेरियेंस-अवेयर गुडनेस (Covariance-Aware Goodness) का परिचय देता है, जो एक स्केलेबल फॉरवर्ड-फॉरवर्ड लर्निंग फ्रेमवर्क है जिसमें कॉन्वोल्यूशनल सेटिंग्स में संरचनात्मक बाधाओं को दूर करने के लिए बाई-एक्सिस कोवेरियेंस गुडनेस (Bi-axis Covariance Goodness), लॉजिस्टिक फ्यूजन (Logistic Fusion) और फीचर एलाइनमेंट लेयर्स (Feature Alignment Layers) शामिल हैं, जो इमेजनेट-100 (ImageNet-100) और टाइनी-इमेजनेट (Tiny-ImageNet) पर बैकप्रोपैगेशन के समान प्रदर्शन प्राप्त करते हुए पीक मेमोरी उपयोग को लगभग 50% कम करता है।

मूल लेखक: Xiaoyi Jiang, Bashir M. Al-Hashimi, Kai Xu

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoyi Jiang, Bashir M. Al-Hashimi, Kai Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप विशेषज्ञों की एक टीम (एक न्यूरल नेटवर्क में लेयर्स) को अलग-अलग वस्तुओं, जैसे कि बिल्ली, कुत्ते या कार को पहचानना सिखाने की कोशिश कर रहे हैं।

पारंपरिक तरीके से इन टीमों को सिखाने में (जिसे बैकप्रोपैगेशन (Backpropagation) कहा जाता है), बॉस लाइन के बिल्कुल अंत से शुरू तक एक संदेश भेजता है, "आपने यहाँ गलती की, और आपने वहाँ भी गलती की।" ऐसा करने के लिए, बॉस को यह याद रखना पड़ता है कि रास्ते में हर किसी ने क्या कदम उठाए थे। जैसे-जैसे टीम बड़ी होती जाती है, बॉस अभिभूत (overwhelmed) हो जाता है, और उन सभी कदमों को याद रखने के लिए आवश्यक मेमोरी बहुत विशाल हो जाती है।

फॉरवर्ड-फॉरवर्ड (FF) सिखाने का एक नया तरीका है। एक लंबे संदेश को पीछे भेजने के बजाय, हर विशेषज्ञ को उनके काम के दौरान ही खुद परोक्ष रूप से आंका जाता है। प्रत्येक विशेषज्ञ को एक "गुडनेस स्कोर" (Goodness Score) दिया जाता है कि वे अभी कैसा प्रदर्शन कर रहे हैं। यदि स्कोर अधिक है, तो वे वही करते रहते हैं जो वे कर रहे हैं; यदि कम है, तो वे बदलाव करते हैं। यह मेमोरी को बचाने के लिए बहुत उपयोगी है क्योंकि किसी को भी पूरी यात्रा को याद रखने की आवश्यकता नहीं होती, केवल अपने वर्तमान कदम को याद रखना होता है।

समस्या:
लेखकों ने पाया कि जबकि यह "स्थानीय निर्णय" (local judging) सरल कार्यों (जैसे छोटी, धुंधली तस्वीरों) के लिए बहुत अच्छा काम करता है, यह जटिल कार्यों (जैसे हाई-डेफिनिशन इमेज) पर विफल हो जाता है। क्यों? क्योंकि जिस तरह से वे "गुडनेस स्कोर" की गणना कर रहे थे, वह बहुत सरल था।

वे केवल इस बात को देख रहे थे कि प्रत्येक कलर चैनल कितना चमकदार (bright) है (जैसे कि लाल चैनल कितना चमकीला है, नीला चैनल कितना चमकीला है, आदि)। यह एक शेफ को केवल इस आधार पर आंकने जैसा है कि उसने कितना नमक इस्तेमाल किया, बिना यह देखे कि नमक और काली मिर्च के बीच क्या संबंध है, या मसालों का स्वाद गर्मी बढ़ने पर कैसे बदल जाता है। वे संबंधों (relationships) को देखने में चूक रहे थे।

समाधान: "कोवेरिएंस-अवेयर" (Covariance-Aware) अपग्रेड
यह पेपर इस समस्या को ठीक करने के लिए तीन मुख्य उपकरणों का उपयोग करके एक नया ढांचा प्रस्तावित करता है:

1. बी-एक्सिस कोवेरिएंस गुडनेस (Bi-axis Covariance Goodness - BiCovG): "रिलेशनशिप डिटेक्टिव"

केवल व्यक्तिगत चैनलों की चमक की जांच करने के बजाय, यह नया तरीका इस बात पर नज़र रखता है कि चैनल एक-दूसरे से कैसे बात करते हैं और स्थान के माध्यम से पैटर्न कैसे बदलते हैं।

उपमा (Analogy): कल्पना कीजिए कि एक गाना (choir) है। पुराना तरीका केवल यह मापता था कि प्रत्येक गायक व्यक्तिगत रूप से कितना तेज़ था। नया तरीका तालमेल (harmony) को सुनता है—कैसे सोप्रानो की आवाज़ टेनर के साथ घुलती-मिलती है, और कैसे ध्वनि संगीत के फुसफुसाहट से चिल्लाहट की ओर बढ़ते हुए बदलती है।
यह कैसे काम करता है: यह जानकारी एकत्र करने के लिए दो "एक्सिस" का उपयोग करता है:
- क्रॉस-चैनल (Cross-Channel): यह डेटा को इस तरह प्रोजेक्ट करता है कि विभिन्न विशेषताएं आपस में कैसे मिलती हैं (जैसे तालमेल की जाँच करना)।
- मल्टी-स्केल (Multi-Scale): यह छवि को विभिन्न आकारों में देखता है (ज़ूम आउट और ज़ूम इन) ताकि उन पैटर्न को पकड़ा जा सके जो केवल कुछ विशेष पैमानों पर दिखाई देते हैं।
परिणाम: यह विशेषज्ञों को एक बहुत समृद्ध "गुडनेस स्कोर" देता है, जिससे वे भ्रमित हुए बिना बहुत गहरे और जटिल पैटर्न सीख सकते हैं।

2. फीचर एलाइनमेंट लेयर (Feature Alignment Layer - FAL): "अनुवादक"

जब आप विशेषज्ञों को स्वतंत्र रूप से प्रशिक्षित करते हैं, तो कभी-कभी एक विशेषज्ञ का आउटपुट अगले विशेषज्ञ के इनपुट के साथ पूरी तरह फिट नहीं बैठता है। यह एक रिले रेस की तरह है जहाँ धावक बैटन (baton) को अगले धावक को सौंपता है, लेकिन अगला व्यक्ति ऐसे दस्ताने पहने हुए है जो बैटन के लिए सही नहीं हैं।

उपमा: FAL विशेषज्ञों के समूहों के बीच एक छोटा, स्मार्ट एडॉप्टर है। यह एक "बैटन एडजस्टर" की तरह है जो बैटन में एक छोटा, शून्य-लागत वाला सुधार करता है ताकि अगला धावक उसे पूरी तरह से पकड़ सके।
परिणाम: यह "रिले रेस" को हैंड-ऑफ (hand-offs) के समय लड़खड़ाने से रोकता है, जिससे टीम गहरी और सुसंगत बनी रहती है।

3. लॉजिस्टिक फ्यूजन (Logistic Fusion): "टीम कैप्टन"

चूंकि प्रत्येक विशेषज्ञ अपना स्वयं का अनुमान लगा रहा है, तो हम अंतिम उत्तर कैसे प्राप्त करें?

उपमा: अंतिम व्यक्ति की बात सुनने के बजाय (जो थका हुआ या भ्रमित हो सकता है), टीम का कप्तान सभी की राय सुनता है। वे शुरुआती विशेषज्ञों और बाद के विशेषज्ञों के विचारों को तौलते हैं, और उन्हें एक अंतिम, स्मार्ट निर्णय में मिला देते हैं।
परिणाम: यह सुनिश्चित करता है कि गहरे, जटिल लेयर्स भी सरल, शुरुआती लेयर्स के समान ही योगदान दें।

4. हाइब्रिड गुडनेस ब्लॉक्स (Hybrid Goodness Blocks - HGB): "दोनों दुनियाओं का सर्वश्रेष्ठ"

कभी-कभी, आप स्थानीय पद्धति की मेमोरी बचत चाहते हैं, लेकिन आपको वास्तव में कठिन कार्यों के लिए पारंपरिक "ग्लोबल बॉस" की थोड़ी शक्ति की आवश्यकता होती है।

उपमा: कल्पना कीजिए कि विशेषज्ञों को 4 के छोटे समूहों में बांटा गया है। इस छोटे समूह के भीतर, वे एक-दूसरे से बात कर सकते हैं और गलतियों को सुधार सकते हैं (पुराने तरीके की तरह), लेकिन समूह स्वयं स्वतंत्र रहते हैं (नए तरीके की तरह)।
परिणाम: आप इन टीमों के आकार को ट्यून कर सकते हैं। यदि आप आकार 1 रखते हैं, तो आप अधिकतम मेमोरी बचाते हैं। यदि आप आकार 4 रखते हैं, तो आप पारंपरिक पद्धति के लगभग बराबर प्रदर्शन करते हैं, लेकिन फिर भी लगभग 50% कंप्यूटर मेमोरी बचाते हैं।

परिणाम

इन उपकरणों का उपयोग करके, लेखकों ने एक ऐसा सिस्टम बनाया जिसने:

नेटवर्क की गहराई को दोगुना कर दिया (उथले नेटवर्क से 16-लेयर वाले VGG-16 जैसे नेटवर्क तक)।
पारंपरिक "ग्लोबल बॉस" पद्धति का उपयोग किए बिना ImageNet-100 पर 73.01% सटीकता और Tiny-ImageNet पर 50.30% हासिल की।
जब उन्होंने "हाइब्रिड" मोड (HGB) का उपयोग किया, तो उन्हें ImageNet-100 पर 83.98% प्राप्त हुआ, जो पारंपरिक पद्धति से केवल 3.6% कम है, लेकिन इसमें आधी मेमोरी का उपयोग होता है।

संक्षेप में, उन्होंने यह पता लगाया कि कैसे "लोकल जजिंग" को जटिल, हाई-डेफिनिशन इमेज संभालने के लिए पर्याप्त स्मार्ट बनाया जाए, इसके लिए सिस्टम को केवल कच्चे नंबरों के बजाय संबंधों और पैटर्न को खोजने के लिए प्रशिक्षित किया गया।

तकनीकी सारांश: स्केलेबल फॉरवर्ड-फॉरवर्ड लर्निंग के लिए कोवेरियेंस-अवेयर गुडनेस (Covariance-Aware Goodness)

समस्या विवरण (Problem Statement)
फॉरवर्ड-फॉरवर्ड (FF) एल्गोरिदम बैकप्रोपैगेशन (BP) के एक सिद्धांतिक विकल्प के रूप में 'गुडनेस' (goodness) ऑब्जेक्टिव का उपयोग करके प्रत्येक परत (layer) को प्रशिक्षित करता है, जिससे बैकवर्ड पास के लिए मध्यवर्ती एक्टिवेशन (intermediate activations) को स्टोर करने की आवश्यकता समाप्त हो जाती है। हालाँकि, मौजूदा BP-मुक्त FF विधियाँ जटिल, बड़े पैमाने के कनवोल्यूशनल बेंचमार्क (जैसे ImageNet-100, Tiny-ImageNet) पर लागू होने पर एक संरचनात्मक बाधा (structural bottleneck) का सामना करती हैं। मानक गुडनेस फॉर्मूलेशन प्रति-चैनल स्क्वेर्ड एक्टिवेशन का योग करता है, जो प्रभावी रूप से फीचर वॉल्यूम को प्रथम-क्रम सांख्यिकी (marginal channel energies) में संकुचित कर देता है। यह दृष्टिकोण महत्वपूर्ण द्वितीय-क्रम निर्भरताओं (second-order dependencies), विशेष रूप से क्रॉस-चैनल सहसंबंधों (cross-channel correlations) और स्थानिक सह-सक्रियण पैटर्न (spatial co-activation patterns) को त्याग देता है, जो गहरे नेटवर्क में विभेदक प्रतिनिधित्व (discriminative representation) के लिए आवश्यक हैं। परिणामस्वरूप, जबकि FF विधियाँ CIFAR जैसे छोटे डेटासेट पर पर्याप्त प्रदर्शन करती हैं, वे बड़े बेंचमार्क पर BP की तुलना में काफी कम प्रदर्शन करती हैं, और नेटवर्क की गहराई तथा कार्य की जटिलता बढ़ने के साथ यह अंतर बढ़ता जाता है। इसके अतिरिक्त, गहरे स्थानीय रूप से प्रशिक्षित नेटवर्क ब्लॉक सीमाओं पर प्रतिनिधित्व मिसअलाइनमेंट (representation misalignment) और एक निश्चित रैंडम रीडआउट (fixed random readout) से ग्रस्त होते हैं जो क्षमता में संतृप्त (saturate) हो जाता है।

कार्यप्रणाली (Methodology)
लेखकों ने एक स्थानीय शिक्षण ढांचे का प्रस्ताव दिया है जिसे VGG-16 आर्किटेक्चर में तीन प्राथमिक घटकों के माध्यम से प्रतिनिधित्व और अनुकूलन संबंधी बाधाओं को दूर करने के लिए डिज़ाइन किया गया है:

बाय-एक्सिस कोवेरियेंस गुडनेस (Bi-axis Covariance Goodness - BiCovG): यह मुख्य नवाचार है, जो स्पष्ट कोवेरियेंस मैट्रिक्स अनुमान की $O(C^2)$ जटिलता के बिना द्वितीय-क्रम सांख्यिकी को कैप्चर करने के लिए गुडनेस फंक्शन को दो ऑर्थोगोनल अक्षों के साथ विस्तारित करता है।
- क्रॉस-चैनल प्रोजेक्शन: स्वतंत्र चैनल-वार एग्रीगेशन के बजाय, यह विधि चैनल्स को मिक्स करने के लिए सीखने योग्य लीनियर प्रोजेक्शन का उपयोग करती है। यह ऑफ-डायगोनल कोवेरियेंस संरचनाओं की जांच करता है, जिससे इंटर-फीचर इंटरैक्शन कैप्चर होते हैं।
- नेस्टेड मल्टी-स्केल स्पेशियल एग्रीगेशन: यह विधि स्थानिक डोमेन को कई पैमानों ( $s_1, s_2$ ) पर ग्रिड में विभाजित करती है और इन क्षेत्रों के भीतर स्थानीय ऊर्जा की गणना करती है। यह स्थानिक द्वितीय-क्रम निर्भरताओं और स्केल-वेरिएंट विशेषताओं को कैप्चर करता है जिन्हें ग्लोबल पूलिंग छोड़ देती है।
- परिणामी फीचर वेक्टर विभिन्न पैमानों पर प्रति-चैनल स्पेशियल गुडनेस और क्रॉस-चैनल गुडनेस को संयोजित (concatenate) करता है।
फीचर अलाइनमेंट लेयर (Feature Alignment Layer - FAL): नेटवर्क को ग्रेडिएंट-आइसोलेटेड ब्लॉक्स में अलग करने के कारण होने वाले प्रतिनिधित्व मिसअलाइनमेंट को कम करने के लिए, ब्लॉक सीमाओं पर एक हल्का रेसिडुअल एडॉप्टर (residual adapter) डाला गया है। यह अगले ब्लॉक में प्रवेश करने से पहले एक ब्लॉक के आउटपुट पर एक ज़ीरो-इनिशियलाइज्ड, चैनल-वाइज एडिटिव करेक्शन ( $\Delta$ ) लागू करता है। यह अगले ब्लॉक को ग्रीडी लोकल ऑप्टिमाइजेशन प्रॉपर्टी को बाधित किए बिना वितरण बदलाव (distributional shifts) के अनुकूल होने की अनुमति देता है।
लॉजिस्टिक फ्यूजन (Logistic Fusion): केवल एक एकल परत के प्रेडिक्शन या एक निश्चित रैंडम प्रोजेक्शन पर निर्भर रहने के बजाय, यह ढांचा सभी लेयर-वाइज क्लासिफायर से लॉजिट्स को एक हल्के, ट्रेन करने योग्य फ्यूजन हेड का उपयोग करके एकत्रित करता है। यह गहरे प्रतिनिधित्वों के योगदान को बढ़ाता है और नेटवर्क की गहराई के माध्यम से पूरक जानकारी का लाभ उठाता है।
हाइब्रिड गुडनेस ब्लॉक्स (Hybrid Goodness Blocks - HGB): एक व्यावहारिक विस्तार के रूप में, लेखक एक प्रशिक्षण योजना पेश करते हैं जहाँ नेटवर्क को आकार $m$ के ब्लॉक्स में विभाजित किया जाता है। एक ब्लॉक के भीतर की परतों को मानक BP (ब्लॉक के भीतर) के माध्यम से संयुक्त रूप से प्रशिक्षित किया जाता है, जबकि ब्लॉक्स ग्रेडिएंट-आइसोलेटेड रहते हैं। यह सख्त लेयर-वाइज FF ( $m=1$ ) और पूर्ण एंड-टू-एंड BP ( $m=L$ ) के बीच एक ट्यूनेबल निरंतरता (tunable continuum) बनाता है, जिससे मेमोरी दक्षता और सटीकता के बीच संतुलन बनाया जा सकता है।

मुख्य योगदान (Key Contributions)

बाय-एक्सिस कोवेरियेंस गुडनेस (BiCovG): एक नवीन गुडनेस एनकोडिंग जो डायगोनल, फर्स्ट-ऑर्डर सांख्यिकी से आगे बढ़कर ऑफ-डायगोनल क्रॉस-चैनल कोवेरियेंस और मल्टी-स्केल स्पेशियल सहसंबंधों को मॉडल करती है। यह कोवेरियेंस-अवेयर लर्निंग का एक सुलभ सन्निकटन (approximation) प्रदान करता है, जिससे निरंतर प्रति-लेयर लाभ (+3% से +7%) मिलता है और गहरे-लेयर उपयोग में सुधार होता है।
फीचर अलाइनमेंट लेयर (FAL): ज़ीरो-इनिशियलाइज्ड करेक्शन के माध्यम से गहरे, स्थानीय रूप से प्रशिक्षित नेटवर्क में प्रतिनिधित्व मिसअलाइनमेंट को ठीक करने के लिए रेसिडुअल एडप्टर का एक सीमा-विशिष्ट अनुकूलन।
हाइब्रिड गुडनेस ब्लॉक्स (HGB): एक कॉन्फ़िगर करने योग्य प्रशिक्षण योजना जो स्थानीय BP-मुक्त शिक्षण और पूर्ण बैकप्रोपैगेशन के बीच के अंतर को पाटती है, जिससे महत्वपूर्ण मेमोरी बचत बनाए रखते हुए सटीकता प्राप्त की जा सकती है।

परिणाम (Results)
प्रस्तावित विधियों का मूल्यांकन CIFAR-100, Tiny-ImageNet, और ImageNet-100 पर किया गया।

BP-मुक्त प्रदर्शन: पूर्ण BP-मुक्त मॉडल (BiCovG + FAL) ImageNet-100 पर 73.01% सटीकता और Tiny-ImageNet पर 50.30% सटीकता प्राप्त करता है। यह पूर्व FF विधियों (जैसे SCFF जिसने Tiny-ImageNet पर ~35% प्राप्त किया) की तुलना में महत्वपूर्ण सुधार है और FF लर्निंग की व्यवहार्य गहराई को प्रभावी ढंग से दोगुना करता है, जिससे 16-लेयर VGG-16 आर्किटेक्चर तक मजबूत उपयोग सुनिश्चित होता है।
हाइब्रिड प्रदर्शन: $m=4$ के ब्लॉक आकार के साथ HGB का उपयोग करने पर, मॉडल ImageNet-100 पर एंड-टू-एंड BP के अंतर को 3.6% (83.98% बनाम 87.61% BP) तक कम कर देता है और Tiny-ImageNet पर BP प्रदर्शन के बराबर (54.48% बनाम 54.17%) पहुँच जाता है।
दक्षता: BP-मुक्त मॉडल ImageNet-100 पर मानक BP की तुलना में पीक GPU मेमोरी उपयोग को लगभग 47.8% से 53.1% तक कम कर देता है, मुख्य रूप से इंटर-ब्लॉक एक्टिवेशन के स्टोरेज को समाप्त करके। प्रति-लेयर लीनियर रीडआउट्स के कारण पैरामीटर काउंट भी 134.7M (मानक VGG-16) से घटकर 34.9M रह जाता है।
मैकेनिज्म विश्लेषण: प्रति-लेयर विश्लेषण इंगित करता है कि BiCovG "डिक्लाइन एरिया" (पीक के बाद गिरावट) को काफी कम करता है और "प्रभावी परतों की संख्या" ( $N_{eff}$ ) को बढ़ाता है, जो पुष्टि करता है कि यह विधि नेटवर्क में गहराई तक स्थानीय पर्यवेक्षण (local supervision) को उत्पादक बनाए रखती है।

महत्व (Significance)
यह शोध दावा करता है कि इसने गुडनेस एक्सट्रैक्शन में उस संरचनात्मक बाधा की पहचान की है और उसे हल किया है जिसने फॉरवर्ड-फॉरवर्ड लर्निंग की स्केलेबिलिटी को सीमित किया है। डायगोनल, फर्स्ट-ऑर्डर सांख्यिकी से आगे बढ़कर स्ट्रक्चर्ड सेकंड-ऑर्डर डिपेंडेंसीज (कोवेरियेंस और स्पेशियल कोरिलेशन) को शामिल करके, लेखक प्रदर्शित करते हैं कि BP-मुक्त स्थानीय शिक्षण को जटिल, उच्च-रिज़ॉल्यूशन बेंचमार्क तक स्केल किया जा सकता है। यह कार्य जटिल बेंचमार्क पर ग्लोबल BP-मुक्त CNN ट्रेनिंग के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है और मेमोरी दक्षता और पूर्ण बैकप्रोपैगेशन के प्रदर्शन के बीच संतुलन बनाने के लिए एक व्यावहारिक मार्ग (HGB के माध्यम से) प्रदान करता है। लेखक इसे इन बेंचमार्क पर अब तक के सबसे मजबूत रिपोर्ट किए गए CNN-आधारित ग्लोबल BP-मुक्त FF परिणामों के रूप में प्रस्तुत करते हैं।

1. बी-एक्सिस कोवेरिएंस गुडनेस (Bi-axis Covariance Goodness - BiCovG): "रिलेशनशिप डिटेक्टिव"

2. फीचर एलाइनमेंट लेयर (Feature Alignment Layer - FAL): "अनुवादक"

3. लॉजिस्टिक फ्यूजन (Logistic Fusion): "टीम कैप्टन"

4. हाइब्रिड गुडनेस ब्लॉक्स (Hybrid Goodness Blocks - HGB): "दोनों दुनियाओं का सर्वश्रेष्ठ"

परिणाम

इसी तरह के और पेपर