🤖 machine learning

Hebbian-Oscillatory Co-Learning

यह शोध पत्र हिबियन-ऑसिलेटरी को-लर्निंग (HOC-L) को प्रस्तुत करता है, जो एक एकीकृत टू-टाइमस्केल फ्रेमवर्क है जो हाइपरबोलिक स्पार्स ज्योमेट्री को कुरामोटो-आधारित फेज सिंक्रोनाइज़ेशन के साथ एकीकृत करता है ताकि केवल तभी कनेक्टिविटी सुदृढ़ीकरण सक्षम किया जा सके जब फेज कोहेरेंस सार्थक पैटर्न का संकेत देता है, जिससे बायो-इंस्पायर्ड न्यूरल आर्किटेक्चर में सिद्ध अभिसरण और $O(n \cdot k)$ जटिलता प्राप्त होती है।

मूल लेखक: Hasi Hays

प्रकाशित 2026-03-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hasi Hays

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 10,000 लोगों (न्यूरॉन्स) के एक विशाल, अराजक शहर को एक जटिल समस्या को हल करने के लिए एक साथ काम करना सिखाने की कोशिश कर रहे हैं।

मौजूदा कंप्यूटर मस्तिष्क (AI) में, शहर एक निश्चित मानचित्र के साथ बनाया जाता है। सड़कें (कनेक्शन) इंजीनियरों द्वारा शहर खुलने से पहले तय की जाती हैं, और वे बहुत धीरे-धीरे, या बिल्कुल नहीं बदलती हैं। लोग आपस में लगातार बात करते हैं, लेकिन उन्हें वास्तव में यह नहीं पता होता कि कब सुनना है या किसे सुनना है।

हेब्बियन-ऑसिलेटरी को-लर्निंग (HOC-L) इस शहर को बनाने का एक नया, स्मार्ट तरीका है। यह दो प्राचीन, जैविक नियमों को एक एकीकृत प्रणाली में जोड़ता है जो वास्तव में वास्तविक मस्तिष्क में काम करते हैं।

यहाँ एक रचनात्मक उपमा (analogy) का उपयोग करके इसका सरल विवरण दिया गया है:

1. मस्तिष्क के दो नियम

HOC-L को समझने के लिए, आपको उन दो नियमों को जानना होगा जिन्हें यह जोड़ता है:

नियम A: "अभ्यास ही स्थायी बनाता है" (हेब्बियन प्लास्टिसिटी - Hebbian Plasticity)
- उपमा: कल्पना कीजिए कि दो पड़ोसी हैं जो हर दिन एक-दूसरे से बात करते रहते हैं। अंततः वे अपने घरों के बीच एक निजी, पक्की सड़क (driveway) बनाते हैं ताकि वे तेज़ी से बात कर सकें। यदि वे बात करना बंद कर देते हैं, तो वह सड़क झाड़ियों से भर जाती है और गायब हो जाती है।
- AI में: यदि दो न्यूरॉन्स अक्सर एक साथ सक्रिय (fire) होते हैं, तो उनके बीच का कनेक्शन मजबूत हो जाता है। यदि वे नहीं होते, तो कनेक्शन कमजोर हो जाता है। यह वह तरीका है जिससे मस्तिष्क दिनों और हफ्तों में खुद को "रीवायर" करता है।
नियम B: "डांस फ्लोर प्रभाव" (ऑसिलेटरी सिंक्रोनाइज़ेशन - Oscillatory Synchronization)
- उपमा: एक बड़े डांस पार्टी की कल्पना करें। शुरू में, हर कोई अपनी अलग लय (beat) पर नाच रहा होता है, पूरी तरह से तालमेल से बाहर। लेकिन अचानक, एक डीजे एक बीट बजाता है, और हर कोई लय में ताली बजाने लगता है। जब हर कोई एक साथ ताली बजा रहा होता है (सिंक्रोनाइज़्ड), तो वे एक-दूसरे को स्पष्ट रूप से सुन सकते हैं और संदेश आसानी से पास कर सकते हैं। जब वे तालमेल में नहीं होते, तो यह केवल शोर है।
- AI में: न्यूरॉन्स एक निश्चित गति पर दोलन (oscillate/vibrate) करते हैं। जब वे तालमेल (sync) में कंपन करते हैं, तो वे प्रभावी ढंग से संवाद कर सकते हैं। जब वे तालमेल में नहीं होते, तो वे एक-दूसरे को अनदेखा कर देते हैं।

2. वर्तमान AI के साथ समस्या

वर्तमान AI इन दोनों चीजों को अलग-अलग करने की कोशिश करता है।

यह गणित का उपयोग करके सड़कें (संरचना) बनाने की कोशिश करता है, लेकिन यह "डांस रिदम" (लय) को नहीं सुनता है।
यह लोगों को नाचने (तालमेल बिठाने) के लिए कहता है, लेकिन यह उन्हें उस नाचने के आधार पर नई सड़कें बनाने की अनुमति नहीं देता है।

यह एक ऐसे शहर को बनाने जैसा है जहाँ सड़कें निश्चित हैं, लेकिन लोगों को नाचने के लिए कहा जाता है। वे एक साथ नाचने के कारण बेहतर सड़कें नहीं बना सकते।

3. HOC-L समाधान: "सिंक्रोनाइज़ेशन गेटकीपर" (The Synchronization Gate)

HOC-L एक शानदार "गेटकीपर" पेश करता है जो दोनों नियमों को जोड़ता है।

परिदृश्य:
कल्पना कीजिए कि शहर के पास एक विशाल ऑर्डर पैरामीटर (मान लीजिए कि यह "वाइब मीटर" है) है।

कम वाइब (0): हर कोई अलग-अलग गानों पर नाच रहा है। अराजकता।
उच्च वाइब (1): हर कोई पूर्ण सामंजस्य में एक साथ नाच रहा है। सद्भाव।

जादुई तंत्र:
HOC-L कहता है: "हम केवल तभी नई सड़कें बनाएंगे (कनेक्शन मजबूत करेंगे) जब वाइब मीटर उच्च होगा।"

तेज समय (डांस): न्यूरॉन्स नाचते हैं और तालमेल बिठाने की कोशिश करते हैं। यह बहुत तेजी से होता है (मिलीसेकंड में)।
जांच: सिस्टम "वाइब मीटर" की जांच करता है।
- क्या समूह सिंक्रोनाइज़्ड है? नहीं? तो, रुकिए! कोई भी नई सड़कें न बनाएं। कनेक्शन कमजोर ही रहेंगे।
- क्या समूह सिंक्रोनाइज़्ड है? हाँ! जाओ! अब, जो न्यूरॉन्स एक साथ नाच रहे हैं, उन्हें उनके बीच एक स्थायी, मजबूत सड़क बनाने का मौका मिलेगा।

4. यह एक बड़ी बात क्यों है?

यह कुशल है (स्पार्स सिटी):
एक सामान्य शहर में, हर कोई हर किसी के लिए सड़क बनाने की कोशिश करता है। यह ट्रैफ़िक का दुःस्वप्न है (बहुत अधिक गणित)। HOC-L में, सड़कें केवल उन्हीं लोगों के बीच बनाई जाती हैं जो वास्तव में एक साथ नाच रहे हैं। यह शहर को छोटा, तेज़ और ऊर्जा-कुशल रखता है। यह एक ऐसे शहर की तरह है जहाँ आप केवल उन्हीं सड़कों को पक्का करते हैं जिनका आप वास्तव में उपयोग करते हैं।
यह पैटर्न सीखता है:
चूंकि सिस्टम केवल तभी कनेक्शन मजबूत करता है जब समूह तालमेल (sync) में होता है, यह स्वाभाविक रूप से "क्लिक्स" या "टीमें" खोज लेता है। यदि न्यूरॉन्स का एक समूह गणित की समस्याओं को हल करने में अच्छा है, तो वे तालमेल बिठाएंगे, मजबूत सड़कें बनाएंगे, और एक समर्पित "मैथ टीम" बन जाएंगे। यदि दूसरा समूह चेहरों को पहचानने में अच्छा है, तो वे तालमेल बिठाएंगे, मजबूत सड़कें बनाएंगे, और एक "फेस टीम" बन जाएंगे। मस्तिष्क की संरचना व्यवहार से उभरती है।
यह स्थिर है:
यह पेपर गणितीय रूप से सिद्ध करता है कि यह सिस्टम पागल नहीं होगा। यह अंततः एक स्थिर अवस्था में बस जाएगा जहाँ सड़कें उन विशिष्ट कार्यों के लिए पूरी तरह से बिछाई जाएंगी जिनकी शहर को आवश्यकता है।

एक वाक्य में सारांश

HOC-L एक स्मार्ट लर्निंग सिस्टम है जो कहता है, "हम केवल उन्हीं न्यूरॉन्स के बीच स्थायी संबंध बनाएंगे जो पूर्ण सामंजस्य में नाच रहे हैं," जिससे मस्तिष्क कुशलतापूर्वक और स्वाभाविक रूप से खुद को रीवायर करने में सक्षम होता है, ठीक वैसे ही जैसे मानव मस्तिष्क करता है।

यह लाखों न्यूरॉन्स के अराजक शोर को एक सिंक्रोनाइज़्ड ऑर्केस्ट्रा में बदल देता है, जहाँ संगीत ही यह तय करता है कि किन वाद्ययंत्रों को हमेशा एक साथ बजाने का मौका मिलेगा।

यहाँ हासी हेज़ (Hasi Hays) के शोध पत्र "Hebbian-Oscillatory Co-Learning (HOC-L)" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान कृत्रिम तंत्रिका नेटवर्क (ANNs) आमतौर पर संरचनात्मक शिक्षण (connectivity बदलना) और गतिक समन्वय (सूचना प्रवाह) को अलग-अलग प्रक्रियाओं के रूप में देखते हैं।

मानक डीप लर्निंग (Standard Deep Learning): एक निश्चित टोपोलॉजी पर ग्रेडिएंट डिसेंट के माध्यम से भार (weights) को अनुकूलित करता है, जिसमें गतिविधि-आधारित संरचनात्मक पुनर्गठन (structural rewiring) की कमी होती है।
स्पार्सिटी विधियाँ (जैसे Lottery Ticket Hypothesis): संरचनात्मक स्पार्सिटी को संबोधित करती हैं लेकिन उनमें दोलन संबंधी समन्वय (oscillatory coordination) तंत्रों का अभाव होता है।
ऑसिलेटर मॉडल (Oscillator Models): टेम्पोरल समन्वय (जैसे Kuramoto मॉडल) को कैप्चर करते हैं, लेकिन आमतौर पर बिना प्लास्टिसिटी वाले स्थिर ग्राफ पर संचालित होते हैं।

जैविक साक्ष्य बताते हैं कि ये प्रक्रियाएं आपस में जुड़ी हुई हैं: दोलन सामंजस्य (oscillatory coherence) (फेज सिंक्रोनाइज़ेशन) हेबियन लर्निंग (Hebbian learning) को नियंत्रित करता है। जो न्यूरॉन्स एक साथ फायर होते हैं (सिंक्रनाइज़ होते हैं), वे आपस में जुड़ जाते हैं, लेकिन यह सुदृढ़ीकरण (consolidation) तभी होता है जब फेज कोहेरेंस एक सार्थक पैटर्न का संकेत देता है। HOC-L इन तंत्रों को एक एकल ढांचे में एकीकृत करने का लक्ष्य रखता है जो इस जैविक अंतर्संबंध की नकल करता है।

2. कार्यप्रणाली: HOC-L ढांचा (Methodology: The HOC-L Framework)

HOC-L एक एकीकृत, दो-समय-सीमा (two-timescale) वाला डायनेमिकल सिस्टम है जो Resonant Sparse Geometry Networks (RSGN) और Selective Synchronization Attention (SSA) को जोड़ता है।

A. मुख्य घटक (Core Components)

संरचनात्मक बैकबोन (RSGN):
- यह पोइन्केयर बॉल (Poincaré ball) (हाइपरबोलिक स्पेस) में न्यूरल रिप्रजेंटेशन को एम्बेड करता है।
- यह एक स्पार्स कंप्यूटेशनल ग्राफ को परिभाषित करने के लिए जियोडेसिक दूरी (geodesic distance) का उपयोग करता है। नोड्स $i$ और $j$ केवल तभी जुड़ते हैं यदि उनकी हाइपरबोलिक दूरी $d_H(z_i, z_j) < \delta$ हो।
- यह इनपुट-निर्भर स्पार्सिटी ( $k \ll n$ ) प्रदान करता है।
गतिक समन्वय (SSA):
- यह मानक डॉट-प्रोडक्ट अटेंशन के स्थान पर कुरामोटो ऑसिलेटर डायनेमिक्स (Kuramoto oscillator dynamics) का उपयोग करता है।
- प्रत्येक यूनिट $i$ की एक आंतरिक आवृत्ति $\omega_i$ और फेज $\theta_i(t)$ होती है।
- अटेंशन वेट्स फेज-लॉकिंग से उभरते हैं: इकाइयाँ तब सिंक्रोनाइज़ होती हैं जब उनके फेज संरेखित होते हैं।
- एक मैक्रोस्कोपिक ऑर्डर पैरामीटर $r(t)$ वैश्विक सामंजस्य (global coherence) को मापता है ( $r \approx 0$ असंगत है, $r \approx 1$ पूर्णतः सिंक्रनाइज़ है)।
कपलिंग तंत्र: सिंक्रोनाइज़ेशन-गेटेड प्लास्टिसिटी (The Coupling Mechanism: Synchronization-Gated Plasticity)
- यह HOC-L का अभिनव मूल है। संरचनात्मक अपडेट (Hebbian learning) ऑसिलेटर एन्सेम्बल के कोहेरेंस द्वारा गेट (gated) किए जाते हैं।
- नियम: $\Delta W_{ij} = \eta \cdot x_i x_j \cdot G(r(t))$ , जहाँ $G(r)$ एक स्मूथ सिग्मॉइड गेट है (जो एक इंडिकेटर फंक्शन का अनुमान लगाता है)।
- तर्क: संरचनात्मक कनेक्शन केवल तभी मजबूत (consolidate) किए जाते हैं जब $r(t) > r_c$ (एक महत्वपूर्ण थ्रेशोल्ड) हो। यदि नेटवर्क असंगत है, तो प्लास्टिसिटी को दबा दिया जाता है, जिससे अवांछित लर्निंग (spurious learning) को रोका जा सके।

B. दो-समय-सीमा डायनेमिक्स (Two-Timescale Dynamics)

सिस्टम दो अलग-अलग समय-सीमाओं पर कार्य करता है:

फास्ट टाइमस्केल ( $\tau_{fast}$ ): ऑसिलेटर फेज सिंक्रोनाइज़ेशन की ओर तेजी से विकसित होते हैं, और कार्य-विशिष्ट ग्रेडिएंट अपडेट होते हैं।
स्लो टाइमस्किल ( $\tau_{slow}$ ): हेबियन संरचनात्मक अपडेट वेट मैट्रिक्स $W$ और ग्राफ टोपोलॉजी को संशोधित करते हैं।
पृथक्करण (Separation): $\tau_{fast} \ll \tau_{slow}$ यह सुनिश्चित करता है कि संरचनात्मक परिवर्तनों से पहले ऑसिलेटरी डायनेमिक्स एक क्वाज़ी-स्टेशनरी अवस्था तक पहुँच जाएँ।

3. प्रमुख योगदान (Key Contributions)

एकीकृत डायनेमिकल सिस्टम: हाइपरबोलिक ज्योमेट्री पर आधारित, सिंक्रोनाइज़ेशन-गेटेड हेबियन स्ट्रक्चरल प्लास्टिसिटी को कुरामोटो-टाइप फेज सिंक्रोनाइज़ेशन के साथ जोड़ने वाला पहला सिस्टम तैयार किया।
सैद्धांतिक अभिसरण (Theoretical Convergence): सिद्ध किया कि संयुक्त सिस्टम एक कंपोजिट लयापुनोव फंक्शन (composite Lyapunov function) ( $V(W, \theta)$ ) का उपयोग करके एक स्थिर संतुलन की ओर अभिसरित होता है। यह प्रमाण स्थिरता के लिए आवश्यक टाइमस्केल सेपरेशन अनुपात ( $\tau_{fast}/\tau_{slow}$ ) की स्पष्ट शर्तों को स्थापित करता है।
जटिलता दक्षता (Complexity Efficiency): एक ऐसा आर्किटेक्चर विकसित किया जिसकी कंप्यूटेशनल जटिलता $O(n \cdot k)$ है (जहाँ $k \ll n$ स्पार्स पड़ोस का आकार है), जो मानक सेल्फ-अटेंशन की $O(n^2)$ लागत से बचते हुए दोनों पैरेंट फ्रेमवर्क की दक्षता को बनाए रखता है।
प्रायोगिक प्रोटोकॉल: सिद्धांत को मान्य करने के लिए व्यापक बेंचमार्क (सिंथेटिक, ग्राफ क्लासिफिकेशन, लॉन्ग-रेंज सीक्वेंस, न्यूरोमॉर्फिक) और एब्लेशन अध्ययन प्रस्तावित किए।

4. परिणाम और सिमुलेशन (Results and Simulations)

पेपर संख्यात्मक सिमुलेशन प्रस्तुत करता है (अभी तक ImageNet/LLMs पर पूर्ण-पैमाने का प्रशिक्षण नहीं, बल्कि सिमुलेशन के माध्यम से सैद्धांतिक सत्यापन) जो फ्रेमवर्क के व्यवहार की पुष्टि करते हैं:

टाइमस्केल सेपरेशन: सिमुलेशन फास्ट फेज अपडेट (तेजी से घटते दोलन जैसे ही सिंक्रोनाइज़ेशन होता है) और स्लो वेट अपडेट (गेट द्वारा मॉड्यूलेटेड) के बीच स्पष्ट फ्रीक्वेंसी कंटेंट दिखाते हैं।
उभरती हुई संरचना (Emergent Structure): दो फ्रीक्वेंसी क्लस्टर वाले सिस्टम में, मॉडल ने स्वायत्त रूप से क्लस्टर संरचना की खोज की। मजबूत कनेक्शन केवल सिंक्रनाइज़्ड ऑसिलेटर्स के बीच बने, जबकि डिसिंक्रनाइज़्ड समूहों के बीच कोई कनेक्शन नहीं रहा। इसके परिणामस्वरूप एक ब्लॉक-डायगोनल वेट मैट्रिक्स प्राप्त हुआ, जो जैविक माइक्रोसर्किट्स में मॉड्यूलर कनेक्टिविटी को दर्शाता है।
लयापुनोव स्थिरता (Lyapunov Stability): $(W, \theta)$ स्पेस में प्रक्षेपवक्र (trajectories) ने कंपोजिट लयापुनोव फंक्शन की निरंतर कमी प्रदर्शित की, जो एक स्थिर बेसिन की ओर अभिसरित होता है जहाँ ऑसिलेटर्स सिंक्रनाइज़ होते हैं और वेट्स रेगुलराइज्ड होते हैं।
गेट तंत्र: प्लास्टिसिटी गेट ने असंगत अवस्थाओं ( $r < r_c$ ) के दौरान वेट अपडेट को प्रभावी ढंग से दबा दिया और केवल तभी सक्रिय किया जब नेटवर्क ने एक सुसंगत कंप्यूटेशनल पैटर्न की पहचान की।

5. महत्व और निहितार्थ (Significance and Implications)

जैविक संभाव्यता (Biological Plausibility): HOC-L "कम्युनिकेशन थ्रू कोहेरेंस" को लागू करके न्यूरोसाइंस और डीप लर्निंग के बीच के अंतर को पाटता है। यह मॉडल करता है कि मस्तिष्क कैसे दीर्घकालिक संरचनात्मक परिवर्तनों (LTP/LTD) को गेट करने के लिए दोलन लय (oscillatory rhythms) का उपयोग करता है।
दक्षता: हाइपरबोलिक स्पार्सिटी के साथ ऑसिलेटरी गेटिंग को जोड़कर, मॉडल उच्च दक्षता ( $O(n \cdot k)$ ) प्राप्त करता है, जो इसे लॉन्ग-रेंज सीक्वेंस मॉडलिंग और बड़े ग्राफों के लिए उपयुक्त बनाता है जहाँ मानक अटेंशन अत्यधिक महंगा हो जाता है।
न्यूरोमॉर्फिक क्षमता: यह आर्किटेक्चर न्यूरोमॉर्फिक हार्डवेयर के लिए स्वाभाविक रूप से उपयुक्त है। फास्ट ऑसिलेटरी डायनेमिक्स को एनालॉग ऑसिलेटर्स में मैप किया जा सकता है, जबकि स्लो हेबियन अपडेट को मेमरिस्टिव क्रॉसबार एरेज़ में लागू किया जा सकता है, जो GPU-आधारित ट्रेनिंग की तुलना में महत्वपूर्ण ऊर्जा दक्षता प्रदान कर सकता है।
सामान्यीकरण (Generalization): यह ढांचा मौजूदा दृष्टिकोणों को सामान्य बनाता है; विशिष्ट मापदंडों (जैसे $K=0$ या $\eta=0$ ) को सेट करने पर HOC-L, RSGN, SSA, या मानक स्पार्स नेटवर्क में बदल जाता है, जो यह दर्शाता है कि यह एक प्रतिस्थापन के बजाय एक एकीकृत प्रतिमान (unifying paradigm) है।

संक्षेप में, HOC-L प्रस्तावित करता है कि संरचना और गतिशीलता गहराई से जुड़े हुए हैं। संरचनात्मक प्लास्टिसिटी के लिए गेट के रूप में ऑसिलेटरी कोहेरेंस का उपयोग करके, मॉडल एक स्व-संगठित, स्पार्स और स्थिर न्यूरल आर्किटेक्चर प्राप्त करता है जो जैविक सिद्धांतों के अनुरूप है।