Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

तकनीकी सारांश: पार्टीशन-ऑफ-यूनिटी गॉसियन कोलोमोगोरोव-आर्नोल्ड नेटवर्क (PU-GKAN)

1. समस्या विवरण

कोलोमोगोरोव-आर्नोरोल्ड नेटवर्क (KANs) ने मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) के एक शक्तिशाली विकल्प के रूप में उभरकर दिखाया है, जहाँ वे नोड्स पर फिक्स्ड एक्टिवेशन के बजाय किनारों (edges) पर सीखने योग्य यूनिवेरिएट फंक्शन (univariate functions) का उपयोग करते हैं। यद्यपि गाऊसी रेडियल बेसिस फंक्शन्स (Gaussian RBFs), अपनी सुगमता (smoothness) और स्थानीयता (locality) के कारण KANs के लिए एक आकर्षक आधार हैं, लेकिन वे एक महत्वपूर्ण शास्त्रीय कमजोरी से ग्रस्त हैं: स्केल पैरामीटर ($\epsilon$) के प्रति अत्यधिक संवेदनशीलता।

• छोटा $\epsilon$: अत्यधिक स्थानीयकृत आधारों की ओर ले जाता है जो वैश्विक रुझानों (global trends) को पकड़ने में विफल रहते हैं।
• बड़ा $\epsilon$: लगभग सपाट, अत्यधिक सह-संबंधित (correlated) फीचर्स की ओर ले जाता है जो संख्यात्मक खराब स्थिति (numerical ill-conditioning) और रैंक की हानि का कारण बनते हैं।
  यह शोध इस अस्थिरता को दूर करने और एक गणितीय रूप से सुदृढ़ नॉर्मलाइजेशन तकनीक के माध्यम से गाऊसी-आधारित KANs की सन्निकटन सटीकता (approximation accuracy) में सुधार करने का प्रयास करता है।

2. कार्यप्रणाली

लेखक पार्टीशन-ऑफ-यूनिटी गॉसियन KAN (PU-GKAN) प्रस्तुत करते हैं। मुख्य नवाचार प्रत्येक KAN एज के भीतर गाऊसी बेसिस फंक्शन्स पर शेपर्ड-टाइप नॉर्मलाइजेशन (Shepard-type normalization) का अनुप्रयोग है।

• गणितीय निर्माण: कच्चे गाऊसी फंक्शन $\phi_g(t)$ के बजाय, मॉडल नॉर्मलाइज्ड बेसिस फंक्शन $e\phi_g(t)$ का उपयोग करता है:
  $$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$$
  जहाँ $c_g$ निश्चित केंद्र (fixed centers) हैं और $G$ केंद्रों की संख्या है। यह सुनिश्चित करता है कि $\sum e\phi_g(t) = 1$, जो एक पार्टीशन-ऑफ-यूनिटी बनाता है।
• फाइनाइट-फीचर और कर्नेल दृष्टिकोण: पेपर एक कठोर व्युत्पत्ति प्रदान करता है जो यह दर्शाता है कि मानक GKAN और PU-GKAN दोनों को फाइनाइट-फीचर लेयर्स के रूप में देखा जा सकता है। यह लेखक को प्रेरित एडिटिव कर्नेल (induced additive kernels) और एम्पिरिकल फीचर मैट्रिसेस को स्पष्ट रूप से परिभाषित करने की अनुमति देता है, जिनका उपयोग मॉडल की कंडीशनिंग का विश्लेषण करने के लिए किया जाता है।
• स्केल चयन नियम: $\epsilon$ की संवेदनशीलता को कम करने के लिए, लेखक स्केल पैरामीटर के लिए एक व्यावहारिक संदर्भ अंतराल (reference interval) प्रस्तावित करते हैं:
  $$\epsilon \in \left[ \frac{1}{G-1}, \frac{2}{G-1} \right]$$
  निचली सीमा (lower bound) आस-पास के केंद्रों के बीच पर्याप्त ओवरलैप सुनिश्चित करती है, जबकि ऊपरी सीमा (upper bound) को संख्यात्मक अस्थिरता को रोकने के लिए एक कंडीशनिंग थ्रेशोल्ड से व्युत्पन्न किया गया है।

3. प्रमुख योगदान

• वास्तुकला संबंधी नवाचार: PU-GKAN पेश करता है, जो डोमेन-डिकंपोजिशन या अतिरिक्त सब-नेटवर्क्स की जटिलता के बिना शेपर्ड-टाइप नॉर्मलाइजेशन प्राप्त करता है। यह मूल KAN संरचना को बनाए रखता है और एज स्तर पर सटीक कॉन्स्टेंट रिप्रोडक्शन (exact constant reproduction) का गुण जोड़ता है।
• सैद्धांतिक ढांचा: KAN को फाइनाइट-फीचर लेयर्स के संयोजन के रूप में स्वरूपित करता है, जो शास्त्रीय कर्नेल/RBF सन्निकटन सिद्धांत और न्यूरल आर्किटेक्चर के बीच एक स्पष्ट संबंध प्रदान करता है।
• मजबूत स्केल चयन: $\epsilon$ चुनने के लिए एक कंडीशनिंग-आधारित ह्यूरिस्टिक स्थापित करता है, जिससे व्यापक हाइपरपैरामीटर स्वीप की आवश्यकता कम हो जाती है।
• सामान्यीकरण क्षमता: यह प्रदर्शित करता है कि नॉर्मलाइजेशन सिद्धांत केवल गाउसियन्स तक सीमित नहीं है और इसे अन्य RBFs, जैसे कि मैटर्न फंक्शन्स (Matérn functions) पर भी लागू किया जा सकता है।

4. परिणाम

पेपर विविध परीक्षणों के माध्यम से PU-GKAN का मूल्यांकन करता है:

• फंक्शन एप्रोक्सिमेशन: स्मूथ और मध्यम रूप से नॉन-स्मूथ लक्ष्यों ($F_1$–$F_6$) के लिए, PU-GKAN ने लगातार मानक GKAN से बेहतर प्रदर्शन किया, जिसने अक्सर RMSE को 30% से 78% तक कम किया।
• हाइपरपैरामीटर्स के प्रति मजबूती: PU-GKAN ने स्केल पैरामीटर $\epsilon$ के प्रति काफी कम संवेदनशीलता दिखाई और बदलते सैंपल साइज ($N$) और केंद्रों की संख्या ($G$) केAcross बेहतर प्रदर्शन किया।
• उच्च-आयामीता (High-Dimensionality): लाभ उच्च-आयामी सेटिंग्स ($d=1$ से $d=4$) में भी बने रहे, जिससे कम न्यूनतम त्रुटि और $\epsilon$ लैंडस्केप में व्यापक "लो-एरर" क्षेत्र बनाए रखा गया।
• फिजिक्स-इन्फॉर्म्ड लर्निंग (PINNs): हेल्महोल्ट्ज़ समीकरण (Helmholtz equation) और 1D वेव समीकरण (1D Wave equation) को हल करने में, PU-GKAN ने मानक GKAN की तुलना में बेहतर अभिसरण (convergence) और कम अंतिम वैलिडेशन एरर प्रदर्शित किया, जो वैज्ञानिक मशीन लर्निंग में इसकी उपयोगिता को सिद्ध करता है।
• अपवाद: अत्यधिक विच्छिन्न (discontinuous) लक्ष्यों ($F_7$) के लिए, सुधार कम एकसमान था, क्योंकि स्मूथ RBFs स्वाभाविक रूप से विच्छिन्नता (discontinuities) के साथ संघर्ष करते हैं।

5. महत्व

यह कार्य RBF-आधारित KANs के लिए एक सरल लेकिन गणितीय रूप से गहन स्थिरीकरण तंत्र प्रदान करता है। गाऊसी बेसिस को पार्टीशन-ऑफ-यूनिटी में बदलकर, लेखक प्रभावी रूप से आंतरिक कोऑर्डिनेट वितरण को नियमित (regularize) करते हैं और फीचर मैट्रिसेस की कंडीशनिंग में सुधार करते हैं। यह गाऊसी KAN को अधिक विश्वसनीय, प्रशिक्षित करने में आसान और जटिल वैज्ञानिक कंप्यूटिंग कार्यों, जिसमें आंशिक अंतर समीकरणों (PDEs) को हल करना शामिल है, के लिए अधिक सटीक बनाता है।