🔬 condensed matter

High-Capacity Generalized Hopfield Networks

यह शोध पत्र SU(d) सममित स्थानों (symmetric spaces) पर सामान्यीकृत हॉपफील्ड नेटवर्क (Generalized Hopfield Networks) प्रस्तुत करता है जो पारंपरिक वेक्टर नेटवर्क की तुलना में क्रिटिकल मेमोरी कैपेसिटी में लगभग एक क्रम के परिमाण (order-of-magnitude) की वृद्धि प्राप्त करने के लिए ली बीजगणितीय विधियों (Lie algebraic methods) का उपयोग करते हैं, साथ ही लैंडौ-लिफ़्श्विट्ज़-गिल्बर्ट डायनेमिक्स के माध्यम से सुदृढ़ रिकॉल प्रदर्शित करते हैं और क्वांटाइजेशन पर सचदेव-ये ग्लास मॉडल (Sachdev-Ye glassy models) के साथ संबंधों को प्रकट करते हैं।

मूल लेखक: Victor Galitski

प्रकाशित 2026-08-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Victor Galitski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

अपने मस्तिष्क की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ हर किताब एक स्मृति (मेमोरी) है। इस लाइब्रेरी में, "लाइब्रेरियन" न्यूरॉन्स हैं, और उनका काम तब सही किताब ढूँढना है जब आप उन्हें कोई धुंधला, आधा-अधूरा सुराग दें। दशकों से, वैज्ञानिकों ने यह समझने के लिए एक गणितीय मॉडल का अध्ययन किया है जिसे हॉपफील्ड नेटवर्क (Hopfield network) कहा जाता है कि यह सब कैसे काम करता है। हॉपफील्ड नेटवर्क को "डॉट कनेक्ट करने" के एक विशाल खेल के रूप में समझें। जब आप नेटवर्क को एक बिखरी हुई, अधूरी तस्वीर दिखाते हैं (जैसे कि ऐसी फोटो जिसके आधे पिक्सेल गायब हों), तो न्यूरॉन्स एक-दूसरे से बात करते हैं, और अपनी स्थितियों को तब तक समायोजित करते हैं जब तक कि वे इस बात पर सहमत न हो जाएं कि मूल तस्वीर कैसी दिखनी चाहिए थी।

पारंपरिक रूप से, इन न्यूरॉन्स को सरल स्विच माना जाता था जो केवल "ऑन" या "ऑफ" हो सकते थे, या शायद एक गेंद पर अलग-अलग दिशाओं में इशारा करने वाले तीरों की तरह। वैज्ञानिकों ने एक निराशाजनक नियम की खोज की: तीर जितनी अधिक जटिल दिशाओं में इशारा कर सकते थे (जैसे कि एक सपाट वृत्त से पूर्ण 3D गोले की ओर बढ़ना), नेटवर्क उतनी ही कम स्मृतियाँ रख पाता था इससे पहले कि वह भ्रमित हो जाए। यह एक ऐसी लाइब्रेरी को व्यवस्थित करने जैसा था जहाँ किताबों को एक विशाल ग्लोब पर कहीं भी रखा जा सकता था; आपने किताबों को जितनी अधिक स्वतंत्रता दी, उन्हें शोर के बीच खो जाने से बचाना उतना ही कठिन हो गया। इस वजह से कई लोग यह मानने लगे थे कि "न्यूरॉन की दुनिया" को अधिक जटिल बनाना स्मृति भंडारण के लिए एक बुरा विचार है।

लेकिन क्या होगा यदि लाइब्रेरी एक गेंद पर नहीं होती? क्या होगा यदि शेल्फ एक अजीब, बहु-आयामी आकार में व्यवस्थित होते जिन्हें हम आसानी से विज़ुअलाइज़ नहीं कर सकते? यही वह प्रश्न है जिसे विक्टर गैलत्स्की (Victor Galitski) अपने पेपर में उठाते हैं। वह एक नए प्रकार के हॉपफील्ड नेटवर्क की खोज करते हैं जहाँ न्यूरॉन्स और स्मृतियाँ एक जटिल गणितीय आकार (विशेष रूप से SU(d) समूह से संबंधित) पर रहती हैं। साधारण तीरों के बजाय, ये न्यूरॉन्स "क्विडिट्स" (qudits) की तरह हैं—क्वांटम-जैसे ऑब्जेक्ट जो ऊपर या नीचे के अलावा कई अन्य अवस्थाओं में मौजूद हो सकते हैं। पेपर पूछता है: यदि हम इन विलक्षण, उच्च-आयामी आकारों पर अपनी मेमोरी लाइब्रेरी बनाते हैं, तो क्या पुराना नियम कि 'जटिलता से भ्रम बढ़ता है' अभी भी लागू होता है?

इसका उत्तर एक आश्चर्यजनक "नहीं" है। वास्तव में, पेपर में पाया गया है कि इन जटिल आकारों की ओर बढ़ने से, नेटवर्क की स्मृति संग्रहीत करने की क्षमता विस्फोट की तरह बढ़ जाती है। जबकि एक मानक नेटवर्क जो एक गोले पर आधारित है, अपने आकार के सापेक्ष केवल कुछ ही स्मृतियों को रखने में संघर्ष कर सकता है, ये नए "सामान्यीकृत हॉपफील्ड नेटवर्क" (Generalized Hopfield Networks) क्रमों के परिमाण (orders of magnitude) अधिक स्मृतियाँ रख सकते हैं। एक नेटवर्क के लिए जो सबसे सरल जटिल आकार (SU(3)) का उपयोग करता है, क्षमता एक छोटे से अंश से उछलकर लगभग 1 मेमोरी प्रति न्यूरॉन तक पहुँच जाती है। जैसे-जैसे आकार की जटिलता बढ़ती है (SU(4), SU(5) और आगे बढ़ते हुए), क्षमता और भी तेज़ी से बढ़ती है, जो SU(8) के लिए 40 मेमोरी प्रति न्यूरॉन जैसे मान तक पहुँच जाती है।

इसका गुप्त मंत्र (secret sauce) केवल अधिक स्थान होना नहीं है; बल्कि यह है कि नेटवर्क स्मृतियों को कैसे खोजता है। पुराने मॉडलों में, न्यूरॉन्स अन्य सभी न्यूरॉन्स की औसत दिशा के साथ संरेखित (align) होने की कोशिश करते थे, जो रैंडम शोर से आसानी से भटक जाता था। इस नए मॉडल में, न्यूरॉन्स एक विशेष मैट्रिक्स (जिसे "मेमोरी कर्नेल" कहा जाता है) के "टॉप आइजनवेक्टर" (top eigenvector) के साथ संरेखित होते हैं। इसे ऐसे समझें: पुराने सिस्टम में, भीड़ में मौजूद हर व्यक्ति शोर के औसत को सुनकर फुसफुसाहट की दिशा का अनुमान लगाने की कोशिश करता है, जिससे अक्सर गलत उत्तर मिलता है। नए सिस्टम में, भीड़ उस एक विशिष्ट, तेज़ आवाज़ को सुनती है जो शोर के ऊपर उभर कर आती है, और बाकी शोर को अनदेखा कर देती है। यह "स्पाइक्ड" (spiked) संरचना रैंडम हस्तक्षेप के अराजक शोर के खिलाफ बहुत अधिक मजबूत है।

लेखक ने इसे केवल कल्पना नहीं किया है; उन्होंने इसे कंप्यूटर सिमुलेशन और उन्नत गणितीय तकनीकों ("रेप्लिका एनालिसिस") दोनों का उपयोग करके सिद्ध किया है। उन्होंने यह भी दिखाया कि यह व्यवहार में कैसे काम करता है, इन जटिल न्यूरॉन्स में एक वास्तविक रंगीन फोटो को एनकोड करके। जब उन्होंने इमेज को रैंडम शोर के साथ खराब किया, तो नेटवर्क ने सफलतापूर्वक मूल फोटो को "याद" किया और उसे बहाल किया, जिससे एक ही झटके में मूल फोटो लगभग पूरी तरह से वापस मिल गई। उन्होंने यह भी प्रदर्शित किया कि यह मेमोरी रिकवरी केवल एक कंप्यूटर एल्गोरिदम नहीं है; यह प्राकृतिक भौतिक नियमों के माध्यम से भी हो सकती है, जैसे कि एक घूमता हुआ लट्टू घर्षण के कारण स्थिर होता है (जिसे लैंडौ-लिफ़शिट्ज़-गिल्बर्ट समीकरण द्वारा वर्णित किया गया है)।

अंत में, पेपर क्वांटम दुनिया में एक झलक देता है। यदि आप इन नेटवर्कों को वास्तविक क्वांटम सिस्टम में बदलते हैं, तो सिस्टम के ऊर्जा स्तर एक अराजक मलबे की तरह दिखते हैं, जो स्मृतियों को एक "डार्क बैंड" (dark band) की अवस्थाओं के भीतर छिपा देते हैं। हालांकि यह क्वांटम स्पेक्ट्रम से स्मृति को सीधे पढ़ना बहुत कठिन बना देता है, लेकिन पेपर सुझाव देता है कि अंतर्निहित भौतिकी अभी भी स्मृति संरचना का समर्थन करती है, जो सही भौतिक गतिकी (physical dynamics) द्वारा अनलॉक होने की प्रतीक्षा कर रही है।

संक्षेप में, यह पेपर उस धारणा को उलट देता है जिसे हम स्मृति की सीमाओं के बारे में जानते थे। यह सुझाव देता है कि जटिल, उच्च-आयामी ज्यामिति को अपनाकर, हम ऐसे न्यूरल नेटवर्क बना सकते हैं जो न केवल बहुत अधिक जानकारी रखने में सक्षम हैं, बल्कि शोर के प्रति अविश्वसनीय रूप से लचीले भी हैं। यह एक याद दिलाता है कि कभी-कभी, एक लाइब्रेरी को व्यवस्थित करने का सबसे कुशल तरीका शेल्फ को सरल बनाना नहीं है, बल्कि एक ऐसे आकार में निर्माण करना है जिसे हमने अभी तक पूरी तरह से नहीं खोजा है।

तकनीकी सारांश: उच्च-क्षमता वाले सामान्यीकृत हॉपफील्ड नेटवर्क (High-Capacity Generalized Hopfield Networks)

समस्या विवरण
पारंपरिक हॉपफील्ड नेटवर्क स्मृतियों को एक गोले ( $S^{n-1}$ ) पर वेक्टर्स के रूप में संग्रहीत करते हैं। जबकि बाइनरी नेटवर्क ( $S^0$ ) में एक महत्वपूर्ण क्षमता $\alpha_c \approx 0.138$ होती है, निरंतर वेक्टर नेटवर्क की क्षमता जैसे-जैसे गोले के आयाम (dimension) बढ़ते हैं, कम होती जाती है (उदाहरण के लिए, $S^2$ पर हाइजेनबर्ग वेक्टर नेटवर्क के लिए $\alpha_c \approx 0.05$ )। यह गिरावट इसलिए होती है क्योंकि जैसे-जैसे स्वतंत्रता के स्तर (degrees of freedom) बढ़ते हैं, निरंतर वेक्टर्स संग्रहीत दिशाओं से आसानी से विचलित हो जाते हैं। यह शोध पत्र यह प्रस्ताव देता है कि सरल गोलों से परे "न्यूरॉन मैनिफोल्ड" की जटिलता बढ़ाने से गुणात्मक रूप से नए रिकॉल तंत्र और काफी उच्च भंडारण क्षमता प्राप्त हो सकती है, जो इस धारणा को चुनौती देती है कि उच्च-आयामी निरंतर मैनिफोल्ड उप-इष्टतम (suboptimal) होते हैं।

कार्यप्रणाली
लेखक 'जनरलाइज्ड हॉपफील्ड नेटवर्क' का एक वर्ग प्रस्तुत करता है जहाँ न्यूरॉन्स और स्मृतियाँ एक कॉम्पैक्ट रीमानियन मैनिफोल्ड (compact Riemannian manifold) पर स्थित निरंतर चर (continuous variables) हैं, विशेष रूप से $SU(d)$ के विशेष यूनिटरी समूहों से जुड़े सिमेट्रिक स्पेस (symmetric spaces) पर ध्यान केंद्रित किया गया है। इस मैनिफोल्ड को कॉम्प्लेक्स प्रोजेक्टिव स्पेस $M = \mathbb{C}P^{d-1} = SU(d)/U(d-1)$ के रूप में परिभाषित किया गया है।

इन मैनिफोल्ड्स के गैर-रेखीय ज्यामितीय बाधाओं (non-linear geometric constraints) को संभालने के लिए, लेखक एक ली-एल्जेब्रिक (Lie-algebraic) विधि का उपयोग करते हैं। वे शास्त्रीय तंत्रिका नेटवर्क चरों ( $\mathbb{C}P^{d-1}$ पर कोहेरेंट स्टेट्स) को $SU(d) $के जनरेटरों (सामान्यीकृत गेल-मैन मैट्रिसेस) का उपयोग करके एक सहायक हिल्बर्ट स्पेस (ब्लॉक मैग्नेटाइजेशन वेक्टर्स) में वास्तविक वेक्टर्स में मैप करते हैं। यह नेटवर्क की गतिशीलता को एक उच्च-आयामी एम्बेडिंग स्पेस ($ R^{d^2-1}$) में रैखिक बीजगणित (linear algebra) के माध्यम से वर्णित करने की अनुमति देता है।

यह अध्ययन तीन प्राथमिक विश्लेणात्मक और संख्यात्मक दृष्टिकोणों का उपयोग करता है:

असिंक्रोनस अपडेट नियम (Asynchronous Update Rule): एक ऐसा रिकॉल तंत्र विकसित करना जहाँ एक न्यूरॉन स्थानीय "मेमोरी कर्नेल" मैट्रिक्स के शीर्ष आइगेनवेक्टर (top eigenvector) के साथ संरेखित होता है, न कि केवल एक मीन-फील्ड वेक्टर के साथ।
रेप्लिका विश्लेषण (Replica Analysis): रेप्लिका विधि और हबर्ड-स्ट्रैटोनोविच रूपांतरण का उपयोग करके सिस्टम को एक सांख्यिकीय-यांत्रिक समस्या में मैप करना, जिससे थर्मोडायनामिक लिमिट ( $N \to \infty$ ) में रिट्रीवल ओवरलैप और क्रिटिकल कैपेसिटी के लिए स्व-सुसंगत समीकरण (self-consistent equations) प्राप्त किए जा सकें।
संख्यात्मक सिमुलेशन (Numerical Simulations): विश्लेषणात्मक भविष्यवाणियों और इमेज एनकोडिंग/डिकोडिंग प्रोटोकॉल को मान्य करने के लिए परिमित-आकार के नेटवर्क पर अपडेट नियमों और भौतिक गतिशीलता को लागू करना।

प्रमुख योगदान और परिणाम

रिकॉल तंत्र में गुणात्मक बदलाव: पारंपरिक वेक्टर हॉपफील्ड नेटवर्क के विपरीत, जहाँ रिकॉल एक मीन-फील्ड वेक्टर के साथ संरेखण पर निर्भर करता है (जो रैंडम मैट्रिक्स क्रॉस-टॉक के प्रति संवेदनशील है), $SU(d)$ हॉपफील्ड नेटवर्क का रिकॉल एक स्पाइक्ड मेमोरी कर्नेल मैट्रिक्स के शीर्ष आइगेनवेक्टर के साथ संरेखण के अनुरूप है। लेखक का तर्क है कि यह आइगेनवेक्टर संरेखण रैंडम मैट्रिक्स शोर के प्रति कम संवेदनशील है, विशेष रूप से जब सिग्नल (स्मृति) रैंडम मैट्रिक्स स्पेक्ट्रम के बल्क से एक स्पेक्ट्रल गैप बनाता है (जो Baik-Ben Arous-Péché ट्रांजिशन के समान है)।
बढ़ी हुई क्रिटिकल क्षमता: संख्यात्मक सिमुलेशन और रेप्लिका विश्लेषण दोनों ही दर्शाते हैं कि जैसे-जैसे $d$ $d$ बढ़ता है, क्रिटिकल स्टोरेज क्षमता ( $\alpha_c = P/N$ $α_{c} = P / N$ ) में नाटकीय वृद्धि होती है:
- $d=2$ के लिए (मानक वेक्टर/हाइजेनबर्ग नेटवर्क $S^2$ के समकक्ष), $\alpha_c \approx 0.05$ ।
- $d=3$ के लिए (qutrits पर $\mathbb{C}P^2$ ), $\alpha_c \approx 0.62$ ।
- $d=4$ के लिए, $\alpha_c \approx 2.41$ ।
- $d=8$ के लिए, $\alpha_c \approx 40.3$ ।
  यह $d=3$ से एक क्रम-परिमाण (order-of-magnitude) की वृद्धि को दर्शाता है, जो गोलाकार नेटवर्क में देखे गए $1/n$ क्षय के बिल्कुल विपरीत है।
इमेज एनकोडिंग और रिकवरी: लेखक एक व्यावहारिक अनुप्रयोग प्रदर्शित करते हैं जिसमें RGB रंग छवियों को $SU(3)$ qutrits में एनकोड किया गया है। वे व्युत्पन्न अपडेट नियमों का उपयोग करके दूषित इमेज फ्रैग्मेंट्स (40% शोर के साथ) को सफलतापूर्वक पुनः प्राप्त करने में सक्षम रहे, जो न्यूरॉन अपडेट के एक सिंगल स्वीप के भीतर लक्ष्य स्मृति की ओर तीव्र अभिसरण (rapid convergence) दिखाते हैं।
LLG डायनेमिक्स के माध्यम से भौतिक कार्यान्वयन: यह पेपर एक भौतिक रिकॉल तंत्र पेश करता है जो सामान्यीकृत लैंडौ-लिफ़शिट्ज़-गिल्बर्ट (LLG) डायनेमिक्स पर आधारित है। यह विसरित विकास (dissipative evolution) स्वाभाविक रूप से सिस्टम की ऊर्जा को कम करता है, जिससे नेटवर्क एल्गोरिथम स्टेप-बाय-स्टेप अपडेट की आवश्यकता के बिना स्मृति अवस्थाओं की ओर बढ़ता है। संख्यात्मक परिणाम पुष्टि करते हैं कि यह भौतिक गतिशीलता एल्गोरिथम आइगेनवेक्टर अपडेट नियम के समान क्रिटिकल क्षमता प्राप्त करती है।
क्वांटम सामान्यीकरण: लेखक सामान्यीकृत हॉपफील्ड नेटवर्क को क्वांटाइज़ करते हैं, यह दिखाते हुए कि वे Sachdev-Ye प्रकार के ग्लास मॉडल में बदल जाते हैं। मेनी-बॉडी स्पेक्ट्रा का विश्लेषण दो अलग-अलग बैंड दिखाता है: एक "डार्क" बैंड (जीरो मोड्स) और एक "मेमोरी" बैंड। मेमोरी बैंड में अराजक (chaotic) Wigner-Dyson लेवल सांख्यिकी (GUE) दिखाई देती है, जो सुझाव देती है कि क्वांटम शासन में, हेब्बियन डेटा प्रभावी रूप से रैंडम मैट्रिक्स स्पेक्ट्रम के भीतर छिपा हुआ है, जिससे मानक क्वांटम मेमोरी स्टोरेज बिना एरर करेक्शन या विशिष्ट एनकोडिंग के अक्षम हो जाता है।

महत्व
यह शोध पत्र दावा करता है कि गोले से अधिक समृद्ध ज्यामिति और टोपोलॉजी वाले मैनिफोल्ड (विशेष रूप से $d \ge 3$ के लिए $\mathbb{C}P^{d-1}$ ) एक गुणात्मक रूप से नए रिकॉल तंत्र का समर्थन करते हैं। यह तंत्र, जो एक मेमोरी कर्नेल के शीर्ष आइगेनवेक्टर के साथ संरेखण पर आधारित है, रैंडम मैट्रिक्स क्रॉस-टॉक के विरुद्ध मजबूत है, जिससे पारंपरिक वेक्टर नेटवर्क की तुलना में "गुणात्मक रूप से नया" और "काफी उच्च" क्षमता प्राप्त होती है। यह कार्य अमूर्त एसोसिएटिव मेमोरी सिद्धांत और भौतिक कार्यान्वयन के बीच के अंतर को पाटता है, यह सुझाव देते हुए कि $SU(d)$ डिग्री ऑफ फ्रीडम वाले सिस्टम (जैसे मल्टी-लेवल अल्ट्राकोल्ड एटम्स या ट्रैप्ड आयन) उच्च-क्षमता वाले भौतिक मेमोरी डिवाइस के रूप में कार्य कर सकते हैं। लेखक इस बात पर जोर देते हैं कि बढ़ी हुई क्षमता मैनिफोल्ड की ज्यामिति और परिणामस्वरूप इंटरैक्शन मैट्रिक्स के स्पेक्ट्रल गुणों का एक मौलिक गुण है, न कि विशिष्ट मेमोरी वितरण का एक आर्टिफैक्ट।

इसी तरह के और पेपर