🤖 machine learning

Hyperspherical Forward-Forward with Prototypical Representations

यह शोधपत्र हाइपरस्फेरिकल फॉरवर्ड-फॉरवर्ड (HFF) प्रस्तुत करता है, जो एक नवीन जैव-प्रेरित (bio-inspired) एल्गोरिदम है जो स्थानीय उद्देश्यों को हाइपरस्फेरिकल फीचर स्पेस के भीतर मल्टी-क्लास क्लासिफिकेशन के रूप में पुनर्गठित करके मूल फॉरवर्ड-फॉरवर्ड विधि की गणनात्मक रूप से अत्यधिक महंगी इन्फरेंस बाधा को हल करता है, जिससे इमेजनेट-1k (ImageNet-1k) जैसे बेंचमार्क पर बेहतर सटीकता प्राप्त करते हुए 40 गुना से अधिक तेज़ सिंगल-पास इन्फरेंस सक्षम होता है।

मूल लेखक: Shalini Sarode, Brian Moser, Joachim Folz, Federico Raue, Tobias Nauen, Stanislav Frolov, Andreas Dengel

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shalini Sarode, Brian Moser, Joachim Folz, Federico Raue, Tobias Nauen, Stanislav Frolov, Andreas Dengel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप काम करने वालों की एक टीम (एक न्यूरल नेटवर्क) को खिलौनों के एक विशाल ढेर को अलग-अलग बक्सों में छांटना सिखाने की कोशिश कर रहे हैं: कारें, गुड़िया, जानवर और अन्य।

दशकों तक, इसे करने का मानक तरीका बैकप्रोपैगेशन (Backpropagation) था। इसे ऐसे समझें जैसे एक सख्त मैनेजर जो पूरी छंटाई प्रक्रिया को शुरू से अंत तक देखता है। यदि कोई खिलौना गलत बक्से में चला जाता है, तो मैनेजर पूरी लाइन में वापस जाता है, और हर एक कर्मचारी को बताता है कि उन्होंने कहाँ गलती की और उसे कैसे ठीक किया जाए। यह अविश्वसनीय रूप से अच्छा काम करता है, लेकिन यह धीमा है और इसके लिए बहुत अधिक मेमोरी की आवश्यकता होती है क्योंकि मैनेजर को उन "सुधार नोट्स" को भेजने के लिए पूरी प्रक्रिया को याद रखना पड़ता है।

"फॉरवर्ड-फॉरवर्ड" (Forward-Forward) एल्गोरिदम की समस्या

कुछ साल पहले, एक नया विचार जिसे फॉरवर्ड-फॉरवर्ड (FF) कहा गया, पेश किया गया था। इसमें मैनेजर के पीछे जाने के बजाय, प्रत्येक कर्मचारी को स्थानीय स्तर पर सिखाने की कोशिश की जाती है।

यह कैसे काम करता है: प्रत्येक कर्मचारी एक "अच्छे" उदाहरण (जैसे एक कार) को देखता है और कोशिश करता है कि उसका दिमाग कितनी तेज़ी से चमके। फिर, वह एक "बुरे" उदाहरण (जैसे एक कार जिसे गुड़िया बताया गया हो) को देखता है और कोशिश करता है कि उसका दिमाग मंद हो जाए।
चुनौती: यह पता लगाने के लिए कि क्या कोई नया खिलौना एक कार है, पुराने FF तरीके में एक बड़ी खामी थी। उसे हर एक कर्मचारी से पूछना पड़ता था: "क्या यह एक कार है?" फिर उसे फिर से पूछना पड़ता था: "क्या यह एक गुड़िया है?" और फिर से: "क्या यह एक घोड़ा है?"
रुकावट (The Bottleneck): यदि आपके पास 1,000 प्रकार के खिलौने हैं, तो आपको एक खिलौने को छांटने के लिए पूरी छंटाई लाइन को 1,000 अलग-अलग बार चलाना होगा। यह एक ही बॉक्स को चेक करने के लिए 1,000 अलग-अलग टीमों को काम पर रखने जैसा है। यह अविश्वसनीय रूप से धीमा और अव्यावहारिक है।

समाधान: हाइपरस्फेरिकल फॉरवर्ड-फॉरवर्ड (HFF)

लेखकों ने हाइपरस्फेरिकल फॉरवर्ड-फॉरवर्ड (HFF) पेश किया। उन्होंने खेल के नियमों को बदलकर इस गति की समस्या को ठीक कर दिया।

1. "हाइपरस्फीयर" (Hypersphere) सादृश्य

कल्पना कीजिए कि कर्मचारियों के दिमाग केवल लाइट चालू या बंद नहीं कर रहे हैं; बल्कि, वे एक विशाल, अदृश्य ग्लोब (हाइपरस्फीयर) पर विशिष्ट दिशाओं में इशारा कर रहे हैं।

पुराने तरीके में, कर्मचारी केवल "तेज़" या "धीमे" होने की कोशिश करते थे।
HFF में, कर्मचारियों को प्रशिक्षित किया जाता है कि वे ग्लोब पर विशिष्ट स्थानों की ओर अपनी "उंगलियां" इंगित करें।

2. "प्रोटोटाइप्स" (The Prototypes - एंकर्स)

"क्या यह एक कार है?" 1,000 बार पूछने के बजाय, सिस्टम प्रोटोटाइप्स सीखता है।

कल्पना कीजिए कि ग्लोब पर "कारों" के लिए एक विशाल, चमकता हुआ एंकर (लंगर) तैर रहा है, "गुड़ियों" के लिए दूसरा, "जानवरों" के लिए तीसरा, आदि।
जब कोई नया खिलौना आता है, तो कर्मचारी बस खिलौने को देखता है और पूछता है: "यह खिलौना किस एंकर के सबसे करीब इशारा कर रहा है?"
क्योंकि खिलौने को इस ग्लोब पर प्रोजेक्ट किया जाता है, सिस्टम तुरंत देख सकता है कि वह एक ही नज़र में किस एंकर के सबसे करीब है।

3. परिणाम: एक पास, एक उत्तर

यह जादू का तरीका है।

पुराना FF: "क्या यह एक कार है? नहीं। क्या यह एक गुड़िया है? नहीं। क्या यह एक घोड़ा है? हाँ!" (1,000 प्रयासों में)।
नया HFF: "खिलौने को देखो। यह 'घोड़े' वाले एंकर की ओर सबसे करीब इशारा करता है।" (1 प्रयास में)।

यह इसे मूल फॉरवर्ड-फॉरवर्ड तरीके की तुलना में 40 गुना तेज़ बनाता है, जबकि उस धीमे "पीछे की ओर जाने वाले मैनेजर" (बैकप्रोपैगेशन) की आवश्यकता के बिना भी काम करता है।

उन्होंने क्या हासिल किया?

पेपर का दावा है कि इस "ग्लोब और एंकर" प्रणाली का उपयोग करके:

गति: वे छवियों को छांटने में मानक, धीमे बैकप्रोपैगेशन तरीकों के लगभग समान तेज़ हैं, लेकिन बिना बैकवर्ड पास के।
सटीकता: उन्हें मानक परीक्षणों (जैसे अंकों या सरल छवियों को पहचानना) पर बहुत उच्च स्कोर प्राप्त हुआ।
बड़ा डेटा (Big Data): उन्होंने इसे ImageNet पर सफलतापूर्वक लागू किया, जो 1,000 अलग-अलग श्रेणियों वाला एक विशाल डेटासेट है। वे पारंपरिक बैकवर्ड तरीके का उपयोग किए बिना इस विशाल डेटासेट पर एक अच्छा सटीकता स्कोर (25% से अधिक) प्राप्त करने वाले पहले लोगों में से थे।
ट्रांसफर लर्निंग: उन्होंने दिखाया कि यदि आप पुराने, धीमे तरीके द्वारा पहले से प्रशिक्षित मॉडल को लेते हैं और बस उनके नए तरीके के साथ अंतिम "एंकर" परतों को थोड़ा ट्यून करते हैं, तो यह और भी बेहतर काम करता है (ImageNet पर लगभग 66% सटीकता तक पहुँच जाता है)।

संक्षेप में

यह पेपर एक आशाजनक लेकिन धीमे विचार (फॉरवर्ड-फॉरवर्ड) को फिर से आविष्कार करता है। "क्या यह X है? क्या यह Y है? क्या यह Z है?" बार-बार पूछने के बजाय, वे सिस्टम को "एंकर्स" के मानचित्र की ओर इशारा करना और तुरंत निकटतम को चुनना सिखाते हैं। यह एक धीमी, दोहराव वाली प्रक्रिया को एक तेज़, एकल-चरण निर्णय में बदल देता है, जिससे पारंपरिक तरीकों की भारी कम्प्यूटेशनल लागत के बिना जटिल AI मॉडल को प्रशिक्षित करना संभव हो जाता है।

यहाँ शोध पत्र "Hyperspherical Forward-Forward with Prototypical Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जेफ्री हिंटन द्वारा प्रस्तावित Forward-Forward (FF) एल्गोरिदम, बैकप्रोपैगेशन (BP) के एक जैविक रूप से प्रेरित (bio-inspired) विकल्प के रूप में बैकवर्ड पास को दूसरे फॉरवर्ड पास से बदलकर प्रस्तुत करता है। प्रत्येक परत को "पॉजिटिव" डेटा (सही लेबल) को "नेगेटिव" डेटा (गलत लेबल) से अलग करने के लिए एक स्थानीय उद्देश्य (local objective) पर ग्रिडीली (greedily) प्रशिक्षित किया जाता है।

हालाँकि, मूल FF एल्गोरिदम एक गंभीर इन्फरेंस बॉटलनेक (inference bottleneck) से ग्रस्त है:

अकुशल इन्फरेंस (Inefficient Inference): एक एकल परीक्षण छवि को वर्गीकृत करने के लिए, नेटवर्क को प्रत्येक संभावित क्लास के लिए "गुडनेस" स्कोर की गणना करने हेतु एक अलग, पूर्ण फॉरवर्ड पास करना पड़ता है।
स्केलेबिलिटी समस्या (Scalability Issue): इसके परिणामस्वरूप इन्फरेंस लागत $O(C)$ होती है, जहाँ $C$ क्लास की संख्या है। ImageNet-1K (1,000 क्लास) या CIFAR-100 (100 क्लास) जैसे बड़े डेटासेट के लिए, यह इन्फरेंस को कम्प्यूटेशनल रूप से अत्यधिक महंगा और वास्तविक दुनिया के उपयोग के लिए अव्यावहारिक बना देता है।
बाइनरी सीमा (Binary Limitation): मूल FF लर्निंग को एक बाइनरी भेदभाव कार्य (पॉजिटिव बनाम नेगेटिव) के रूप में मानता है, न कि एक प्रत्यक्ष मल्टी-क्लास वर्गीकरण के रूप में, जो कुशल और पृथक प्रतिनिधित्व (separable representations) सीखने की इसकी क्षमता को सीमित करता है।

2. कार्यप्रणाली: हाइपरस्फेरिकल फॉरवर्ड-फॉरवर्ड (HFF)

लेखक Hyperspherical Forward-Forward (HFF) का प्रस्ताव करते हैं, जो FF एल्गोरिदम का एक पुनर्गठन है जो स्थानीय लर्निंग उद्देश्य को नया रूप देकर इन्फरेंस बॉटलनेक को हल करता है।

मुख्य नवाचार (Core Innovations)

हाइपरस्फेरिकल प्रोजेक्शन (Hyperspherical Projection):
- कच्चे एक्टिवेशन वेक्टर्स का उपयोग करने के बजाय, HFF प्रत्येक परत के आउटपुट को $\ell_2$ नॉर्मलाइजेशन के माध्यम से एक यूनिट हाइपरस्फीयर ( $S^{D-1}$ ) पर प्रोजेक्ट करता है।
- $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$ ।
- यह सुनिश्चित करता है कि लर्निंग फीचर्स के परिमाण (magnitude) के बजाय उनके दिशा (angular similarity) पर केंद्रित हो, जिससे परतें लॉस फंक्शन को चकमा देने के लिए वेक्टर मैग्निट्यूड का फायदा नहीं उठा पातीं।
प्रोटोटाइपिकल रिप्रेजेंटेशन (Prototypical Representations - Geometric Anchors):
- प्रत्येक परत क्लास-विशिष्ट, यूनिट-नॉर्म प्रोटोटाइप्स $\{v^{(l)}_{c,p}\}$ सीखती है, जहाँ $c$ क्लास है और $p$ प्रोटोटाइप इंडेक्स है।
- ये प्रोटोटाइप हाइपरस्फेरिकल फीचर स्पेस में ज्यामितीय एंकर (geometric anchors) के रूप में कार्य करते हैं, जो प्रत्येक क्लास के लिए एक अद्वितीय क्षेत्र को परिभाषित करते हैं।
- मूल FF के विपरीत, जिसमें स्पष्ट नेगेटिव सैंपल्स उत्पन्न करने की आवश्यकता होती है, ये प्रोटोटाइप निहित नेगेटिव (implicit negatives) के रूप में कार्य करते हैं।
प्रत्यक्ष मल्टी-क्लास क्लासिफिकेशन ऑब्जेक्टिव (Direct Multi-Class Classification Objective):
- लोकल ऑब्जेक्टिव को बाइनरी गुडनेस भेदभाव से बदलकर प्रत्यक्ष मल्टी-क्लास क्लासिफिकेशन में स्थानांतरित कर दिया गया है।
- लॉगिट गणना (Logit Calculation): एक नॉर्मलाइज्ड फीचर वेक्टर $h^{(l)}_{norm}$ के लिए, क्लास $c$ का स्कोर उस क्लास के सभी प्रोटोटाइप्स के बीच समानता के LogSumExp (LSE) का उपयोग करके निकाला जाता है:
  $g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$
  जहाँ $\tau$ एक टेम्परेचर पैरामीटर है जो मैक्स ऑपरेशन की सॉफ्टनेस को नियंत्रित करता है।
- लॉस फंक्शन (Loss Function): एक स्मूथ मार्जिन लॉस (smooth margin loss) का उपयोग किया जाता है ताकि वास्तविक क्लास के स्कोर को अधिकतम किया जा सके और अन्य सभी क्लास के स्कोर को न्यूनतम किया जा सके (जो कि नेगेटिव क्लासेस के LSE के माध्यम से निहित रूप से संभाला जाता है):
  $L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y]))})$
सिंगल-पास इन्फरेंस (Single-Pass Inference):
- क्योंकि मॉडल प्रत्येक परत पर सभी क्लासों के लिए क्लास स्कोर का एक वेक्टर आउटपुट करता है, इसलिए इन्फरेंस के लिए केवल एक फॉरवर्ड पास की आवश्यकता होती है।
- अंतिम भविष्यवाणी केवल $\hat{c} = \arg\max_c G_{last}(x)[c]$ है।
- यह इन्फरेंस जटिलता को क्लास की संख्या के सापेक्ष $O(C)$ से घटाकर $O(1)$ कर देता है।
कन्वोल्यूशनल अनुकूलन (Convolutional Adaptation):
- HFF स्वाभाविक रूप से कन्वेशनल न्यूरल नेटवर्क्स (CNNs) तक विस्तारित होता है। यह लोकल ऑब्जेक्टिव को फीचर एक्सट्रैक्शन से अलग करता है, जिससे पिछले FF वेरिएंट्स के लिए आवश्यक जटिल लेबल एम्बेडिंग या स्थानिक लेबल मास्क की आवश्यकता नहीं रहती।
- हाइपरस्फेरिकल प्रोजेक्शन के लिए फीचर डायमेंशन को एडजस्ट करने के लिए सहायक 1x1 कन्वोल्यूशन का उपयोग किया जाता है, जिससे मुख्य नेटवर्क की गहराई में बदलाव नहीं आता।

3. मुख्य योगदान (Key Contributions)

इन्फरेंस बॉटलनेक का समाधान: HFF सिंगल-पास इन्फरेंस को सक्षम बनाता है, जिससे फॉरवर्ड-फॉरवर्ड एल्गोरिदम कई क्लास वाले डेटासेट्स पर मूल FF की तुलना में >40x तेज़ हो जाता है।
बेहतर सटीकता (Superior Accuracy): यह विधि स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करती है, जो मानक FF और अन्य लोकल लर्निंग एल्गोरिदम (जैसे SymBa, FFCL) को काफी पीछे छोड़ देती है।
ImageNet स्केलेबिलिटी: HFF उन पहले ग्रीडी लोकल-लर्निंग तरीकों में से एक है जो ImageNet-1K पर परिणाम रिपोर्ट करता है, जो स्क्रैच से 25.70% टॉप-1 सटीकता और ट्रांसफर लर्निंग के साथ 65.96% प्राप्त करता है (ट्रांसफर सेटिंग में इसके बैकप्रोपैगेशन बेसलाइन 65.80% को पार कर जाता है)।
सैद्धांतिक स्थिरता (Theoretical Stability): लेखक विश्लेषण प्रदान करते हैं कि HFF लेयर्स लिप्सचिट्ज़ निरंतर (Lipschitz continuous) हैं, जो इनपुट परPerturbations के प्रति स्वाभाविक मजबूती प्रदान करती हैं।
व्याख्यात्मकता (Interpretability): HFF की लेयर-वाइज प्रकृति सूक्ष्म व्याख्यात्मकता की अनुमति देती है, जहाँ प्रत्येक परत एक वैध क्लास प्रेडिक्शन उत्पन्न करती है, और प्रोटोटाइप क्लास क्लस्टर्स के बारे में ज्यामितीय अंतर्दृष्टि प्रदान करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, और ImageNet-1K पर HFF का मूल्यांकन किया।

डेटासेट	मेट्रिक	HFF-MLP	HFF-CNN	सर्वश्रेष्ठ लोकल मेथड (Non-HFF)	बैकप्रोपैगेशन बेसलाइन
MNIST	सटीकता	98.59%	99.09%	98.74% (MF)	99.25%
CIFAR-10	सटीकता	61.93%	83.08%	82.39% (MF)	84.37%
CIFAR-100	सटीकता	-	54.34%	54.77% (MF)	55.16%
ImageNet-1K	Top-1 (Scratch)	-	25.70%	~22% (SoftHebb)	71.59%
ImageNet-1K	Top-1 (Transfer)	-	65.96%	65.30% (DFA)	65.80%

इन्फरेंस स्पीड: CIFAR-100 पर, HFF इन्फरेंस बेसलाइन FF एल्गोरिदम की तुलना में लगभग 40x तेज़ है।
अभिसरण (Convergence): हालांकि HFF को बैकप्रोपैगेशन की तुलना में थोड़ा अधिक प्रशिक्षण समय (1.7x) की आवश्यकता होती है, यह मूल FF (जो BP से 9.5x अधिक समय लेता है) की तुलना में काफी तेजी से अभिसरित होता है।
एब्लेशन स्टडीज (Ablation Studies):
- लॉस प्लेसमेंट: पोस्ट-एक्टिवेशन लॉस (ReLU के बाद) प्री-एक्टिवेशन की तुलना में बेहतर स्थिरता देता है।
- प्रोटोटाइप्स: सामान्यीकरण (generalization) के लिए आमतौर पर प्रति क्लास एक प्रोटोटाइप ( $P=1$ ) पर्याप्त और इष्टतम है।
- नॉर्मलाइजेशन: फीचर्स को यूनिट हाइपरस्फीयर पर प्रोजेक्ट करना प्रदर्शन के लिए महत्वपूर्ण है।

5. महत्व (Significance)

यह कार्य बायोलॉजिकली प्लेसिबल डीप लर्निंग की दिशा में एक बड़ा कदम है।

व्यावहारिक व्यवहार्यता: इन्फरेंस बॉटलनेक को हल करके, HFF फॉरवर्ड-फॉरवर्ड एल्गोरिदम को वास्तविक दुनिया के अनुप्रयोगों, विशेष रूप से संसाधन-बाधित वातावरण (जैसे एज डिवाइसेस) के लिए एक व्यवहार्य उम्मीदवार बनाता है जहाँ बैकप्रोपैगेशन बहुत अधिक मेमोरी-इंटेंसिव होता है।
गैप को कम करना: HFF, लोकल लर्निंग और बैकप्रोपैगेशन के बीच के अंतर को कम करता है, विशेष रूप से ImageNet जैसे बड़े पैमाने के डेटासेट्स पर, जो इस धारणा को चुनौती देता है कि उच्च-प्रदर्शन डीप लर्निंग के लिए ग्लोबल ग्रेडिएंट फ्लो अनिवार्य है।
ज्यामितीय लर्निंग: हाइपरस्फेरिकल फीचर स्पेस और प्रोटोटाइपिकल लर्निंग की ओर बदलाव यह दर्शाता है कि न्यूरल नेटवर्क ग्लोबल एरर सिग्नल्स के बिना कैसे विभेदक प्रतिनिधित्व (discriminative representations) सीख सकते हैं, जो जैविक लर्निंग तंत्र के अधिक निकट है।

निष्कर्षतः, Hyperspherical Forward-Forward सफलतापूर्वक फॉरवर्ड-फॉरवर्ड एल्गोरिदम को व्यावहारिक सीमाओं वाले एक सैद्धांतिक कौतुक से एक स्केलेबल, उच्च-प्रदर्शन और कुशल विकल्प में बदल देता है।