तकनीकी सारांश: रेजोनेंट स्पार्स ज्योमेट्री नेटवर्क (RSGN)

समस्या विवरण

प्रमुख ट्रांसफॉर्मर आर्किटेक्चर सघन (dense) सेल्फ-अटेंशन तंत्र पर निर्भर करता है, जिसके परिणामस्वरूप अनुक्रम लंबाई (sequence length) के सापेक्ष द्विघातीय कम्प्यूटेशनल जटिलता ($O(n^2)$) होती है। यह स्केलिंग सीमा मानक ट्रांसफॉर्मर्स को लंबे संदर्भ अनुप्रयोगों (जैसे, दस्तावेज़-स्तरीय समझ) के लिए कम्प्यूटेशनल रूप से निषेधात्मक और संसाधन-सीमित वातावरण के लिए अक्षम बनाती है। जबकि मौजूदा कुशल अटेंशन वेरिएंट (जैसे, स्पार्स ट्रांसफॉर्मर्स, लिन्फॉर्मर) जटिलता को कम करते हैं, वे आमतौर पर निश्चित स्पर्सिटी पैटर्न या स्थिर प्रोजेक्शन का उपयोग करते हैं, जो जैविक तंत्रिका प्रणालियों में देखे जाने वाले इनपुट-निर्भर रूटिंग की नकल करने में विफल रहते हैं। इसके अलावा, मानक डीप लर्निंग मॉडल में संरचनात्मक प्लास्टिसिटी और अत्यधिक सक्रियता स्पर्सिटी (1-2% न्यूरॉन्स सक्रिय) का अभाव होता है, जो मानव मस्तिष्क की विशेषता है, जो उल्लेखनीय ऊर्जा दक्षता के साथ कार्य करता है।

कार्यप्रणाली

लेखक रेजोनेंट स्पार्स ज्योमेट्री नेटवर्क (RSGN) का प्रस्ताव करते हैं, जो एक मस्तिष्क-प्रेरित आर्किटेक्चर है जो चार प्रमुख जैविक सिद्धांतों को एकीकृत करता है: स्पार्स एक्टिवेशन, इनपुट-निर्भर रूटिंग, हेब्बियन लर्निंग के माध्यम से स्व-संगठित संरचना, और भौतिक ज्यामिति में अंतर्निहित पदानुक्रमित संगठन।

1. हाइपरबोलिक स्थानिक एम्बेडिंग (Hyperbolic Spatial Embedding)

RSGN $N$ कम्प्यूटेशनल नोड्स को एक सीखे गए $d$-आयामी हाइपरबोलिक स्थान ($H_d$) के भीतर एम्बेड करता है, विशेष रूप से पोइनकेरे बॉल मॉडल (Poincaré ball model) का उपयोग करके।

• ज्यामिति: हाइपरबोलिक स्थान में घातांकीय आयतन वृद्धि (exponential volume growth) पेड़ जैसी पदानुक्रमित संरचनाओं को कम विरूपण (distortion) के साथ एम्बेड करने की अनुमति देती है।
• कनेक्टिविटी: नोड्स के बीच कनेक्शन स्ट्रेंथ ($w_{ij}$) जियोडेसिक दूरी के साथ तेजी से घटती है। यह बिना किसी स्पष्ट प्रूनिंग तंत्र के स्वाभाविक रूप से स्थानीयता और स्पर्सिटी को लागू करता है।
• पदानुक्रम: मूल (origin) के पास के नोड्स अमूर्त अवधारणाओं (roots) का प्रतिनिधित्व करते हैं, जबकि सीमा के पास के नोड्स विशिष्ट उदाहरणों (leaves) का प्रतिनिधित्व करते हैं, जिससे कुशल सूचना रूटिंग सुलभ होती है।

2. इनपुट-निर्भर इग्निशन और डायनेमिक्स

नेटवर्क प्रत्येक इनपुट के लिए दो-चरणीय प्रक्रिया के माध्यम से कार्य करता है:

• इग्निशन (Ignition): इनपुट टोकन को हाइपरबोलिक एम्बेडिंग स्पेस में "स्पार्क पॉइंट्स" के रूप में मैप किया जाता है। यह केवल पास के नोड्स को सक्रिय करता है, जिससे एक स्पार्स प्रारंभिक सक्रियता पैटर्न बनता है।
• रेजोनेंट प्रोपेगेशन (Resonant Propagation): सक्रियण नेटवर्क के माध्यम से पुनरावृत्ति ($K$ स्टेप्स) के माध्यम से प्रसारित होते हैं। डायनेमिक्स में शामिल हैं:
  • सिग्नल एग्रीगेशन: सक्रिय नोड्स अपने पड़ोसियों से सिग्नल एकत्र करते हैं।
  • सॉफ्ट थ्रेशोल्डिंग: एक डिफरेंशिएबल सॉफ्ट-थ्रेशोल्ड फंक्शन ($\sigma((x-\theta)/T)$) नोड सक्रियता को निर्धारित करता है, जिससे ग्रेडिएंट-आधारित प्रशिक्षण संभव होता है।
  • लोकल इनहिबिशन: स्थानिक पड़ोस के भीतर डिवासिव नॉर्मलाइजेशन (divisive normalization) एक "विनर-टेक-मोर" प्रतियोगिता को लागू करता है, जो सक्रियता विस्फोट को रोकता है और स्पार्स डिस्ट्रिब्यूटेड रिप्रेजेंटेशन को बढ़ावा देता है।

3. टू-टाइमस्केल लर्निंग सिस्टम

RSGN सीखने को तेज़ और धीमी टाइमस्केल में विभाजित करता है, जो तंत्रिका गतिशीलता (neural dynamics) और सिनैप्टिक प्लास्टिसिटी के बीच जैविक अंतर को दर्शाता है:

• फास्ट लर्निंग (ग्रेडिएंट डिसेंट): फॉरवर्ड पास के टाइमस्केल पर कार्य प्रदर्शन को अनुकूलित करता है। यह बैकप्रोपेगेशन के माध्यम से इनपुट एम्बेडिंग फंक्शन, ट्रांसफॉर्मेशन मैट्रिसेस, आउटपुट प्रोजेक्शंस और एफिनिटी फैक्टर्स को अपडेट करता है।
• स्लो लर्निंग (हेब्बियन स्ट्रक्चरल प्लास्टिसिटी): ट्रेनिंग बैचों के दौरान नेटवर्क के टोपोलॉजी को अनुकूलित करता है।
  • एफिनिटी अपडेट: सह-सक्रिय नोड्स अपने कनेक्शन एफिनिटी को मजबूत करते हैं ($\Delta a_{ij} \propto \bar{\alpha}_i \bar{\alpha}_j R$), जिसे एक वैश्विक रिवॉर्ड सिग्नल (नेगेटिव लॉस) द्वारा मॉड्यूलेट किया जाता है।
  • थ्रेशोल्ड एडैप्टेशन: थ्रेशोल्ड्स एक लक्षित स्पर्सिटी स्तर बनाए रखने के लिए होमियोस्टैटिक रूप से समायोजित होते हैं।
  • प्रूनिंग और स्प्राउटिंग: कमजोर कनेक्शनों को समय-समय पर हटाया जाता है, जबकि अत्यधिक सह-संबंधित लेकिन असंबद्ध नोड्स के बीच नए कनेक्शन बनते हैं।

मुख्य योगदान

1. गणितीय ढांचा: हाइपरबोलिक ज्यामिति में स्थानिक रूप से-एम्बेडेड न्यूरल कंप्यूटेशन के लिए एक पूर्ण सूत्रीकरण, जो दूरी-आधारित कनेक्टिविटी, सॉफ्ट-थ्रेशोल्ड डायनेमिक्स और स्थानीय निषेध को परिभाषित करता है।
2. डिफरेंशिएबल रिलैक्सेशन: एक ऐसी योजना जो गतिशील, स्पार्स संरचनाओं वाले नेटवर्क के ग्रेडिएंट-आधारित प्रशिक्षण को सक्षम बनाती है, जो डिस्क्रीट जैविक-समान गणना को निरंतर अनुकूलन (continuous optimization) के साथ जोड़ती है।
3. हाइब्रिड लर्निंग रूल: फास्ट वेट अपडेट के लिए बैकप्रोपेगेशन और संरचनात्मक अनुकूलन के लिए स्लो हेब्बियन नियमों का एक अभिनव संयोजन, जो एंड-टू-एंड स्ट्रक्चर लर्निंग के लिए एक जैविक रूप से प्रशंसनीय विकल्प प्रदान करता है।
4. सैद्धांतिक और प्रयोगात्मक सत्यापन: उप-द्विघातीय कम्प्यूटेशनल जटिलता ($O(n \cdot k)$ जहाँ $k \ll n$) का प्रमाण और नाटकीय रूप से कम पैरामीटर गणना के साथ प्रतिस्पर्धी प्रदर्शन का प्रयोगात्मक प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने पदानुक्रमित फीचर लर्निंग और लॉन्ग-रेंज डिपेंडेंसी कैप्चर का परीक्षण करने के लिए डिज़ाइन किए गए सिंथेटिक बेंचमार्क पर RSGN का मूल्यांकन किया।

• पदानुक्रमित वर्गीकरण (20 क्लासेस):
  • RSGN ने 41,672 पैरामीटर्स का उपयोग करके 23.8% सटीकता प्राप्त की।
  • मानक ट्रांसफॉर्मर्स ने 30.1% सटीकता प्राप्त की लेकिन उन्हें 403,348 पैरामीटर्स (लगभग 10$\times$ अधिक) की आवश्यकता थी।
  • RSGN ने फिक्स्ड-स्पर्सिटी स्पार्स ट्रांसफॉर्मर्स (15.9%) और MLPs (16.0%) को महत्वपूर्ण रूप से पीछे छोड़ दिया, जो इनपुट-निर्भर रूटिंग के लाभ को प्रदर्शित करता है।
• लॉन्ग-रेंज डिपेंडेंसी (अनुक्रम लंबाई 128):
  • RSGN ने 40,382 पैरामीटर्स का उपयोग करके 96.5% सटीकता प्राप्त की।
  • ट्रांसफॉर्मर्स और LSTMs ने 100% सटीकता प्राप्त की लेकिन उन्हें लगभग 15$\times$ अधिक पैरामीटर्स (600,330 और 563,722 क्रमशः) की आवश्यकता थी।
• एब्लेशन स्टडीज (Ablation Studies): पुष्टि की कि हेब्बियन लर्निंग स्थिरता और अभिसरण (convergence) में निरंतर सुधार प्रदान करती है। आर्किटेक्चर हाइपरपैरामीटर विविधताओं के प्रति मजबूत था, प्रदर्शन नोड काउंट और प्रोपेगेशन स्टेप्स के विभिन्न मानों में स्थिर रहा।

महत्व और दावे

यह शोध पत्र दावा करता है कि RSGN अधिक कुशल और जैविक रूप से प्रशंसनीय न्यूरल आर्किटेक्चर की ओर एक आशाजनक दिशा प्रदान करता है। एक्टिवेशन रूटिंग (फास्ट) को संरचनात्मक अनुकूलन (स्लो) से अलग करके और पदानुक्रमित संगठन के लिए हाइपरबोलिक ज्यामिति का लाभ उठाकर, RSGN प्रदर्शित करता है कि:

• पैरामीटर दक्षता: मानक ट्रांसफॉर्मर्स की तुलना में एक क्रम (order of magnitude) कम पैरामीटर्स के साथ उच्च प्रदर्शन प्राप्त किया जा सकता है।
• स्केलेबिलिटी: आर्किटेक्चर सक्रिय नोड्स के सापेक्ष रैखिक या उप-द्विघातीय स्केलिंग ($O(n \cdot k)$) प्राप्त करता है, जो सघन अटेंशन के द्विघातीय बॉटलनेक से बचता है।
• जैविक संभाव्यता: स्पार्स कोडिंग, इनपुट-निर्भर रूटिंग और हेब्बियन प्लास्टिसिटी का एकीकरण कम्प्यूटेशनल सिद्धांतों को देखे गए जैविक तंत्रों के साथ संरेखित करता है, जो यह सुझाव देता है कि भविष्य के आर्किटेक्चर निश्चित, सघन गणना ग्राफों के बजाय स्व-संगठित, गतिशील संरचनाओं की ओर बढ़ सकते हैं।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें वर्तमान बेंचमार्क पर ट्रांसफॉर्मर्स की तुलना में पूर्ण सटीकता में अंतर और मौजूदा GPU हार्डवेयर पर स्पार्स, डायनेमिक कंप्यूटेशन को मैप करने की चुनौती शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य को न्यूरोमॉर्फिक हार्डवेयर कार्यान्वयन और मानक NLP एवं विजन बेंचमार्क पर बिलियन-पैरामीटर रिजीम तक विस्तार करने की खोज करनी चाहिए।