ReLU$^k$ Neural de Rham Complexes

तकनीकी सारांश: ReLU$^k$ न्यूरल डी रॅम कॉम्प्लेक्स (de Rham Complexes)

समस्या विवरण (Problem Statement)
यह शोध पत्र तंत्रिका नेटवर्क (neural network) के सन्निकटन स्थानों (approximation spaces) की बीजगणितीय संरचना और फाईनाइट एलीमेंट एक्सटीरियर कैलकुलस (Finite Element Exterior Calculus - FEEC) के ज्यामितीय/टोपोलॉजिकल ढांचे के बीच के अंतर को संबोधित करता है। जबकि FEEC ने यह स्थापित किया है कि आंशिक अवकल समीकरणों (PDEs) के लिए स्थिर संख्यात्मक योजनाओं हेतु डी रॅम कॉम्प्लेक्स की सटीक शुद्धता (exactness) को बनाए रखना महत्वपूर्ण है, मौजूदा न्यूरल नेटवर्क दृष्टिकोण मुख्य रूप से यूनिवर्सल एप्रोक्सिमेशन या फाईनाइट एलीमेंट स्पेस के डीप नेटवर्क इम्यूलेशन पर केंद्रित रहे हैं। विशेष रूप से, एक निश्चित-न्यूरॉन शालो (shallow) ReLU$^k$ ढांचे के भीतर एक सटीक डी रॅम अनुक्रम (de Rham sequence) का कोई अंतर्निहित निर्माण नहीं था। मानक शालो न्यूरल नेटवर्क गैर-रैखिक एप्रोक्सिमेशन स्पेस हैं, जो उनके बीजगणितीय गुणों के विश्लेषण को जटिल बनाते हैं। लेखक एक निश्चित-न्यूरॉन शालो ReLU$^k$ स्पेस के भीतर सीधे एक परिमित-आयामी डी रॅम उप-जटिल (subcomplex) का निर्माण करने का लक्ष्य रखते हैं, जो आवश्यक शुद्धता गुण को बनाए रखता है।

कार्यप्रणाली (Methodology)
लेखक "न्यूरल डिफरेंशियल फॉर्म्स" पर आधारित एक निर्माण प्रस्तावित करते हैं। वे $n$ एफाइन न्यूरॉन्स के एक निश्चित सेट पर विचार करते हैं जिन्हें $s_i(x) = \omega_i \cdot x + b_i$ द्वारा परिभाषित किया गया है, जहाँ पैरामीटर $\theta_i = (\omega_i, b_i)$ निश्चित हैं (उदाहरण के लिए, यूनिट स्फीयर पर क्वैसी-यूनिफॉर्मली वितरित), और केवल बाहरी गुणांक (outer coefficients) प्रशिक्षित योग्य (trainable) हैं।

1. न्यूरल डिफरेंशियल फॉर्म स्पेस: दिए गए डिग्री $p$ ($0 \le p \le d$) के लिए, स्पेस $C_p$ को उन डिफरेंशियल $p$-फॉर्म्स के स्पैन (span) के रूप में परिभाषित किया गया है जिनके गुणांक $k-p$ क्रम के ReLU$^k$ रिज फंक्शन (ridge functions) हैं:
   $$C_p := \left\{ \sum_{i=1}^n \sigma_{k-p}(s_i) \alpha_i : \alpha_i \in \Lambda^p \right\}$$
   जहाँ $\Lambda^p$ स्थिर-गुणांक वाले $p$-फॉर्म्स का स्पेस है और $\sigma_k(t) = \max\{t, 0\}^k$ है।

2. डिफरेंशिएशन मैकेनिज्म: बाह्य अवकलज (exterior derivative) $d$ इन स्पेसों पर कार्य करते हुए ReLU की घात को एक कम करता है और न्यूरॉन के ग्रेडिएंट द्वारा निर्धारित एक निश्चित बीजगणितीय ऑपरेशन लागू करता है। विशेष रूप से, $d(\sigma_{k-p}(s_i) \alpha) = (k-p)\sigma_{k-p-1}(s_i) ds_i \wedge \alpha$। यह अवकलज की क्रिया को न्यूरॉन्स के बीच अलग (decouple) कर देता है।

3. रैखिक स्वतंत्रता धारणा (Linear Independence Assumption): शुद्धता का प्रमाण एक गैर-अपभ्रंश (non-degeneracy) धारणा पर निर्भर करता है: निम्नतम-क्रम के रिज फंक्शन्स $\{\sigma_{k-d}(s_i)\}_{i=1}^n$ का परिवार डोमेन $\Omega$ पर रैखिक रूप से स्वतंत्र होना चाहिए। लेखक इसके लिए एक ज्यामितीय पर्याप्त स्थिति प्रदान करते हैं: सामान्यीकृत पैरामीटर्स में प्रतिपक्षी जोड़े (antipodal pairs) नहीं होने चाहिए ($\theta_i \neq \pm \theta_j$), और प्रत्येक हाइपरप्लेन $s_i(x)=0$ डोमेन को प्रतिच्छेद (intersect) करना चाहिए।

4. विघटन (Decomposition): रैखिक स्वतंत्रता धारणा के तहत, वैश्विक कॉम्प्लेक्स स्वतंत्र "न्यूरॉन-वार" कोशुल कॉम्प्लेक्स (Koszul complexes) में विभाजित हो जाता है। वैश्विक कॉम्प्लेक्स की शुद्धता को गैर-शून्य एक-रूप (one-form) $ds_i$ द्वारा उत्पन्न ज्ञात बीजगणितीय कोशुल कॉम्प्लेक्स की शुद्धता में कम किया जाता है।

प्रमुख योगदान (Key Contributions)

• एक सटीक अनुक्रम का निर्माण: यह शोध पत्र निश्चित-न्यूरॉन शालो ReLU$^k$ स्पेस के भीतर एक परिमित-आयामी अनुक्रम $0 \to C_0 \xrightarrow{d} C_1 \xrightarrow{d} \dots \xrightarrow{d} C_d \to 0$ का निर्माण करता है और एक प्राकृतिक रैखिक स्वतंत्रता धारणा के तहत इसकी शुद्धता को सिद्ध करता है।
• सैद्धांतिक प्रमाण: लेखक सिद्ध करते हैं कि डिफरेंशिएशन निम्न-क्रम के ReLU पावर से उच्च-क्रम के पावर में रैखिकता (linear independence) को स्थानांतरित करता है (लेम्मा 4.3), और न्यूरल कॉम्प्लेक्स की शुद्धता प्रत्येक न्यूरॉन से जुड़े कोशुल कॉम्प्लेक्स की शुद्धता का अनुसरण करती है (थ्योरम 6.2)।
• ज्यामितीय स्थितियाँ: एक पर्याप्त ज्यामितीय स्थिति (धारणा 4.1) प्रदान की गई है जो आवश्यक रैखिक स्वतंत्रता को सुनिश्चित करती है, जिसमें प्रतिपक्षी न्यूरॉन जोड़ों जैसे अपभ्रंश विन्यासों को बाहर रखा गया है।
• संख्यात्मक सत्यापन: शोध पत्र प्रयोग प्रस्तुत करता है जो प्रदर्शित करते हैं कि ये स्पेस पॉइसन समस्या (Poisson problem) और हॉज लैप्लासियन (Hodge Laplacian) के मिश्रित सूत्रीकरण (mixed formulations) के लिए स्थिर विविक्तकरण (discretizations) प्रदान करते हैं। महत्वपूर्ण रूप से, री-एंट्रेंट कॉर्नर (L-आकार के डोमेन) वाले डोमेन पर आइजनवैल्यू समस्याओं में, प्रस्तावित न्यूरल कॉम्प्लेक्स पर आधारित मिश्रित सूत्रीकरण स्प्यूरियस मोड (spurious modes) से बचता है और सिंगुलर आइजनवैल्यू को सही ढंग से हल करता है, जबकि एक प्राइमल (primal) सूत्रीकरण इसे पकड़ने में विफल रहता है।

परिणाम (Results)

• शुद्धता (Exactness): निर्मित कॉम्प्लेक्स को मनमाने आयामों में शुद्ध सिद्ध किया गया है, बशर्ते कि निम्नतम-क्रम के रिज फंक्शन्स रैखिक रूप से स्वतंत्र हों। यह सुनिश्चित करता है कि डिस्क्रीट कर्नेल-रेंज पहचान बनी रहती है, जिससे स्प्यूरियस क्लोज्ड फील्ड्स रुक जाते हैं।
• अभिसरण दरें (Convergence Rates): पॉइसन समस्या और हॉज लैप्लासियन पर संख्यात्मक प्रयोगों से अभिसरण दरें रैखिककृत ReLU$^k$ स्पेस के अंतर्निहित सन्निकटन सिद्धांत के अनुरूप पाई गई हैं।
• स्थिरता (Stability): मिश्रित H(div)-L$^2$ सूत्रीकरण के लिए डिस्क्रीट इन्फ-सुप (inf-sup) स्थिरांक न्यूरॉन्स की संख्या बढ़ने के साथ शून्य से दूर रहते हैं, जो स्थिरता का संकेत देते हैं।
• स्पेक्ट्रल सटीकता (Spectral Accuracy): हॉज लैप्लासियन आइजनवैल्यू समस्या में, न्यूरल कॉम्प्लेक्स का उपयोग करने वाला मिश्रित सूत्रीकरण स्प्यूरियस मोड के बिना निरंतर स्पेक्ट्रम को ट्रैक करता है। यह L-आकार के डोमेन के री-एंट्रेंट कॉर्नर से जुड़े सिंगुलर आइजनवैल्यू को सही ढंग से कैप्चर करता है, जबकि प्राइमल सूत्रीकरण एक स्पेक्ट्रल गैप उत्पन्न करता है और सिंगुलर मोड को अनुमान लगाने में विफल रहता है।

महत्व (Significance)
यह शोध पत्र दावा करता है कि यह निर्माण एक परिमित-आयामी डी रॅम उप-जटिल के "मेश-फ्री एनालॉग" के रूप में कार्य करता है। इसका महत्व दोहरा है:

1. यह निश्चित-न्यूरॉन ReLU$^k$ स्पेस के लिए एक संगत विभेदक संरचना (differential structure) स्थापित करता है, जो न्यूरल नेटवर्क एप्रोक्सिमेशन थ्योरी को FEEC के संरचनात्मक सिद्धांतों के साथ जोड़ता है।
2. यह संरचना-संरक्षण न्यूरल विविक्तकरण (structure-preserving neural discretizations) की दिशा में एक मार्ग प्रशस्त करता है। शुद्धता सुनिश्चित करके, यह निर्माण सही डिस्क्रीट कर्नेल-रेंज पहचान की गारंटी देता है और बीजगणितीय स्प्यूरियस कोहोमोलॉजी (algebraic spurious cohomology) को समाप्त करता है, जो मिश्रित फाईनाइट एलीमेंट विधियों के लिए मौलिक है।

लेखक नोट करते हैं कि यह कार्य एक आधारभूत बीजगणितीय मॉडल के रूप में कार्य करता है। पहचाने गए भविष्य के दिशा-निर्देशों में सीमा-अनुकूलित (boundary-compatible) न्यूरल कॉम्प्लेक्स का निर्माण करना (जो स्पर्शरेखीय या अभिलंब ट्रेस स्थितियों को संतुष्ट करते हैं), गैर-तुच्छ टोपोलॉजी वाले डोमेन तक विस्तार करना (नॉन-ट्रिवियल टोपोलॉजी वाले डोमेन में हार्मोनिक प्रतिनिधि शामिल करना), और अन्य सक्रियण परिवारों (जैसे फूरियर मोड) की जांच करना शामिल है जो समान डिफरेंशिएशन पदानुक्रमों को स्वीकार करते हैं। शोध पत्र यह दावा नहीं करता है कि यह सभी स्थिरता समस्याओं को हल करता है (जैसे कि बाउंडेड कम्यूटिंग प्रोजेक्शन सिद्ध नहीं किए गए हैं), बल्कि यह प्रदर्शित करता है कि मूल बीजगणितीय शुद्धता को इस न्यूरल सेटिंग में प्राप्त किया जा सकता है।