💻 computer science

Scaling of Gaussian Kolmogorov--Arnold Networks

यह शोध पत्र यह स्थापित करता है कि गॉसियन कोलमोगोरोव-आर्नोल्ड नेटवर्क में गॉसियन स्केल पैरामीटर $\epsilon$ मुख्य रूप से पहली परत की फीचर ज्यामिति (feature geometry) द्वारा नियंत्रित होता है, और एक व्यावहारिक ऑपरेटिंग अंतराल $\epsilon \in [\frac{1}{G-1}, \frac{2}{G-1}]$ का प्रस्ताव करता है जो विभिन्न आर्किटेक्चर और अनुप्रयोगों में स्थिरता और प्रतिस्पर्धात्मकता सुनिश्चित करने के लिए एक सुदृढ़ डिज़ाइन नियम के रूप में कार्य करता है।

मूल लेखक: Amir Noorizadegan, Sifan Wang

प्रकाशित 2026-04-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amir Noorizadegan, Sifan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल पेंटिंग में पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं। आप रोबोट को कुछ "लेंस" (गणितीय उपकरण) देते हैं जिनसे वह पेंटिंग को देखता है। कुछ लेंस बहुत तीक्ष्ण (sharp) और सूक्ष्म विवरणों पर केंद्रित हैं, जबकि अन्य धुंधले हैं और पूरी तस्वीर को एक साथ देखते हैं।

यह पेपर Gaussian Kolmogorov–Arnold Networks (Gaussian KANs) के बारे में है, जो एक प्रकार का AI है जो इन "लेंसों" (जिन्हें Gaussian Radial Basis Functions कहा जाता है) का उपयोग करके सीखता है। मुख्य सवाल जो लेखकों ने पूछा था, वह था: "इन लेंसों को कितना धुंधला या तीक्ष्ण होना चाहिए?"

तकनीकी शब्दों में, इस "धुंधलेपन" को $\epsilon$ (एप्सिलॉन) नामक एक संख्या द्वारा नियंत्रित किया जाता है। यदि $\epsilon$ बहुत छोटा है, तो लेंस बहुत तीक्ष्ण हैं और रोबोट शोर (noise) से भ्रमित हो जाता है। यदि $\epsilon$ बहुत बड़ा है, तो लेंस इतने धुंधले हैं कि रोबोट कोई भी विवरण नहीं देख पाता है।

यहाँ उनकी खोज का सरल विवरण दिया गया है:

1. "पहली छाप" का नियम (The "First Impression" Rule)

इस पेपर की सबसे महत्वपूर्ण खोज यह है कि नेटवर्क की पहली परत (layer) ही बॉस है।

AI नेटवर्क को एक रिले रेस की तरह समझें। पहला धावक (पहली परत) कच्चे डेटा (पेंटिंग) को प्राप्त करता है। यदि पहला धावक बैटन गिरा देता है या गलत दिशा में दौड़ता है, तो इससे कोई फर्क नहीं पड़ता कि दूसरा या तीसरा धावक कितना तेज़ है; टीम हार जाएगी।

खोज: लेखकों ने पाया कि पहले लेयर का "धुंधलापन" ( $\epsilon$ ) पूरी टीम की सफलता निर्धारित करता है। यदि पहला लेयर भ्रमित हो जाता है क्योंकि लेंस बहुत धुंधले हैं, तो बाद के लेयर्स इसे कभी ठीक नहीं कर सकते।
उपमा: कल्पना कीजिए कि आप एक धुंधली खिड़की के माध्यम से किताब पढ़ने की कोशिश कर रहे हैं। यदि खिड़की बहुत अधिक धुंधली है (खराब $\epsilon$ ), तो आप शब्द नहीं देख पाएंगे। चाहे आप बाद में कितनी भी आँखें सिकोड़ लें या आपकी दृष्टि कितनी भी अच्छी क्यों न हो, आप फिर भी पढ़ नहीं पाएंगे। आपको पहले खिड़की साफ करनी होगी।

2. "गोल्डिलॉक्स" ज़ोन (The "Goldilocks" Zone)

लेखकों ने धुंधलेपन के विभिन्न स्तरों का परीक्षण करने में काफी समय बिताया। उन्होंने पाया कि केवल एक आदर्श संख्या नहीं है; बल्कि एक सुरक्षित सीमा (safe range) है जहाँ AI सबसे अच्छा काम करता है।

उन्होंने एक सरल नियम खोजा जो आपके पास कितने "लेंस" (centers) हैं उस पर आधारित है:

बहुत तीक्ष्ण (छोटा $\epsilon$ ): लेंस इतने केंद्रित हैं कि वे केवल छोटे धब्बे देखते हैं। AI बड़ी तस्वीर को मिस कर देता है।
बहुत धुंधला (बड़ा $\epsilon$ ): लेंस इतने चौड़े हैं कि सब कुछ एक ग्रे धब्बे जैसा दिखता है। AI सारा विवरण खो देता है और गणित अस्थिर हो जाता है (जैसे जेन्गा के उन ब्लॉकों के टावर को संतुलित करने की कोशिश करना जो सभी एक ही रंग के हों)।
बिल्कुल सही: "स्वीट स्पॉट" तब होता है जब एक लेंस का "धुंधलापन" अपने पड़ोसी के साथ अच्छी तरह से ओवरलैप होता है, लेकिन इतना भी नहीं कि वे एक बड़े धब्बे में मिल जाएं।

जादुई फॉर्मूला:
उन्होंने पाया कि आदर्श रेंज लगभग $1/(G-1)$ और $2/(G-1)$ के बीच है, जहाँ $G$ लेंसों की संख्या है।

सरल अनुवाद: यदि आपके पास 20 लेंस हैं, तो आपकी "धुंधलापन" सेटिंग 0.05 और 0.1 के बीच होनी चाहिए। यह एक सरल रेसिपी है जो लगभग हर बार काम करती है, चाहे आप किसी भी समस्या को हल कर रहे हों।

3. यह क्यों मायने रखता है ( "फीचर, न कि बग" का विचार)

अतीत में, वैज्ञानिकों ने सोचा था कि इन AI मॉडलों की "धुंधलेपन" सेटिंग के प्रति संवेदनशीलता एक दोष (बग) थी। उन्होंने सोचा, "यदि एक संख्या बदलने से मॉडल टूट जाता है, तो मॉडल खराब है।"

लेखक इसके विपरीत तर्क देते हैं: यह संवेदनशीलता एक सुपरपावर है।

उपमा: एक रेडियो ट्यूनर के बारे में सोचें। यदि रेडियो बहुत अधिक संवेदनशील है, तो यह स्टेटिक (शोर) पकड़ लेता है। यदि यह पर्याप्त संवेदनशील नहीं है, तो यह कुछ भी नहीं पकड़ पाता। लेकिन यदि आप इसे बिल्कुल सही फ्रीक्वेंसी पर ट्यून करते हैं, तो संगीत एकदम स्पष्ट सुनाई देता है।
लेखक कहते हैं: "संवेदनशीलता से डरें नहीं। इसका उपयोग करें!" यह समझकर कि कैसे "धुंधलापन" पहले लेयर को प्रभावित करता है, हम बिना अनुमान लगाए रेडियो को सही स्टेशन पर ट्यून कर सकते हैं।

4. व्यावहारिक लाभ

यह पेपर इंजीनियरों और वैज्ञानिकों को एक "चीट शीट" देता है ताकि उन्हें अनुमान न लगाना पड़े:

अब अनुमान लगाने की ज़रूरत नहीं: आपको 100 अलग-अलग सेटिंग्स आज़माने की ज़रूरत नहीं है। बस अपने लेंस काउंट के आधार पर फॉर्मूला का उपयोग करें।
तेज़ प्रशिक्षण (Faster training): आप प्रशिक्षण के पहले कुछ सेकंड में एरर (error) को देखकर बहुत तेज़ी से सही सेटिंग पा सकते हैं, बजाय घंटों इंतज़ार करने के।
हर जगह काम करता है: उन्होंने साधारण गणितीय समस्याओं से लेकर जटिल भौतिक समीकरणों (जैसे कमरे में ध्वनि तरंगें) तक सब कुछ पर इसका परीक्षण किया, और यह नियम हर बार कायम रहा।

सारांश

यह पेपर एक कैमरा लेंस के लिए परफेक्ट फोकस रिंग खोजने जैसा है। पहले, फोटोग्राफरों (AI शोधकर्ताओं) को एक स्पष्ट फोटो पाने के लिए अनुमान लगाना और बार-बार प्रयास करना पड़ता था। अब, लेखक कहते हैं: "यहाँ एक सरल नियम है। अपने लेंस काउंट के आधार पर अपने फोकस रिंग को इस विशिष्ट रेंज में सेट करें, और आप हर बार एक परफेक्ट फोटो प्राप्त करेंगे, चाहे आप फूल की फोटो ले रहे हों या लैंडस्केप की।"

यह एक रहस्यमय, कठिन गणितीय समस्या को एक सरल, विश्वसनीय डिज़ाइन नियम में बदल देता है।

यहाँ आमिर नूरिज़ादेगन और सिफ़ान वांग के शोध पत्र "Scaling of Gaussian Kolmogorov–Arnold Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कोलमॉग़ोरोव-आर्नोल्ड नेटवर्क (KANs), मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) के एक संरचित विकल्प हैं जो निश्चित नोड सक्रियणों (fixed node activations) के स्थान पर किनारों (edges) पर सीखने योग्य एकचर कार्यों (univariate functions) का उपयोग करते हैं। यद्यपि स्मूथनेस और गणनात्मक दक्षता के कारण Gaussian Radial Basis Functions (RBFs) को KANs के आधार (जैसे FastKAN में) के रूप में प्रस्तावित किया गया है, फिर भी एक महत्वपूर्ण अंतराल बना हुआ है: गाऊसीअन स्केल पैरामीटर ( $\epsilon$ ) का व्यवस्थित चयन कैसे किया जाए।

मौजूदा साहित्य में, $\epsilon$ को अक्सर अनुमान (heuristics) के माध्यम से, परीक्षण-और-त्रुटि (trial-and-error) द्वारा, या बिना किसी सैद्धांतिक आधार के प्रशिक्षित (trainable) बनाया जाता है। शास्त्रीय RBF सिद्धांत में, स्केल पैरामीटर सन्निकटन शक्ति (approximation power) और संख्यात्मक स्थिरता (numerical stability/conditioning) के बीच एक संतुलन को नियंत्रित करता है। खराब चुनाव या तो कमजोर सन्निकटन (यदि $\epsilon$ बहुत छोटा है) या गंभीर इल-कंडीशनिंग और प्रतिनिधित्व पतन (representation collapse) (यदि $\epsilon$ बहुत बड़ा है) की ओर ले जाते हैं। यह शोध पत्र विशेष रूप से गहरे, एज-आधारित Gaussian KAN आर्किटेक्चर के संदर्भ में $\epsilon$ के चयन के लिए एक सिद्धांत-आधारित विधि के अभाव को संबोधित करता है।

2. कार्यप्रणाली (Methodology)

लेखक Gaussian KAN के प्रथम परत (first layer) का विश्लेषण करके इस समस्या को हल करते हैं, और तर्क देते हैं कि यह पूरे नेटवर्क के व्यवहार के लिए निर्णायक बाधा (bottleneck) है।

सैद्धांतिक ढांचा (Theoretical Framework):
- शोध पत्र Gaussian KAN परत को एक फीचर मैप $\Phi$ और उसके बाद एक लीनियर कोएफिशिएंट मैप के रूप में मॉडल करता है।
- यह स्थापित करता है कि प्रथम परत सीधे इनपुट डोमेन पर कार्य करती है। यदि प्रथम परत (खराब स्केलिंग के कारण) इनपुट्स की विशिष्टता खो देती है, तो बाद की परतें इस जानकारी को पुनः प्राप्त नहीं कर सकतीं।
- लेखक स्थिरता विश्लेषण के लिए मुख्य वस्तु के रूप में फीचर मैट्रिक्स $\Phi$ (न कि ग्राम मैट्रिक्स $\Phi^\top\Phi$ ) का विश्लेषण करते हैं। वे व्युत्पन्न करते हैं कि ग्राम मैट्रिक्स का कंडीशन नंबर, फीचर मैट्रिक्स के कंडीशन नंबर का वर्ग होता है ( $\kappa(\Phi^\top\Phi) = \kappa(\Phi)^2$ )।
- वे एक "पतन" (collapse) शासन को परिभाषित करते हैं जहाँ बड़ा $\epsilon$ फीचर मैट्रिक्स को एक रैंक-वन सीमा (rank-one limit) के करीब ले जाता है, जिससे नेटवर्क इनपुट्स के बीच अंतर करने में असमर्थ हो जाता है।
प्रायोगिक सेटअप (Experimental Setup):
- बेंचमार्क: चार रिग्रेशन लक्ष्य ( $F_1$ से $F_4$ ) जो स्मूथ, आवधिक (periodic), तीव्र (sharp), और असंतत (discontinuous) फलनों को कवर करते हैं, साथ ही एक फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क (PINN) हेल्महोल्ट्ज़ समीकरण।
- आर्किटेक्चर: विभिन्न गहराई और चौड़ाई के साथ मानक KAN संरचनाएं (जैसे, $[2, 12, 12, 1]$ )।
- खोज रणनीति (Search Strategy): त्रुटि व्यवहार के लिए ग्राउंड ट्रुथ स्थापित करने के लिए एक लॉगरिदमिक रेंज में $\epsilon$ का ब्रूट-फोर्स स्वीप, जिसकी तुलना कंडीशनिंग-आधारित डायग्नोस्टिक्स से की गई।
- डायग्नोस्टिक्स: अध्ययन वैलिडेशन RMSE, स्पेक्ट्रल कंडीशन नंबर $\kappa(\Phi)$ , और न्यूमेरिकल रैंक लॉस की शुरुआत को ट्रैक करता है।

3. प्रमुख योगदान (Key Contributions)

A. प्रथम-परत बाधा की पहचान (Identification of the First-Layer Bottleneck)

यह शोध पत्र सैद्धांतिक और प्रायोगिक रूप से सिद्ध करता है कि प्रथम परत स्केल चयन के लिए प्रमुख कारक है।

प्रस्ताव (Proposition): यदि दो इनपुट प्रथम-परत फीचर मैप के बाद अविभाज्य (indistinguishable) हो जाते हैं (बड़े $\epsilon$ के कारण), तो पूरे नेटवर्क का आउटपुट उन इनपुट्स के लिए समान हो जाता है।
साक्ष्य: $\epsilon$ को केवल पहली परत में बदलने से पूरे नेटवर्क में $\epsilon$ बदलने वाली त्रुटि वक्र (error curve) की नकल होती है। इसके विपरीत, गहरी परतों को ढहने (collapsing) का प्रभाव पहली परत के ढहने की तुलना में नगण्य है।

B. एक व्यावहारिक ऑपरेटिंग इंटरवल का व्युत्पन्न (Derivation of a Practical Operating Interval)

प्रथम-परत फीचर मैट्रिक्स की कंडीशनिंग के आधार पर, लेखक $\epsilon$ चुनने के लिए एक सरल, पैरामीटर-मुक्त नियम व्युत्पन्न करते हैं।

निचली सीमा (Lower Bound): यह Gaussian केंद्रों के बीच की दूरी द्वारा निर्धारित होती है। यदि $\epsilon$ $ϵ$ केंद्रों की दूरी से छोटा है, तो आधार (basis) बहुत अधिक स्थानीयकृत (localized) होगा।
- $\epsilon_{min} = \frac{1}{G-1}$ (जहाँ $G$ केंद्रों की संख्या है)।
ऊपरी सीमा (Upper Bound): यह न्यूमेरिकल रैंक लॉस और इल-कंडीशनिंग की शुरुआत द्वारा निर्धारित होती है। लेखक पाते हैं कि कंडीशन नंबर थ्रेशोल्ड ( $\kappa \approx 3 \times 10^3$ $κ \approx 3 \times 1 0^{3}$ ) और रैंक लॉस की शुरुआत एक साथ होती है।
- एम्पिरिकल फिटिंग से पता चलता है कि ऊपरी सीमा इस प्रकार स्केल होती है: $\epsilon_{max} \approx \frac{2}{G-1}$ ।
नियम (The Rule): अनुशंसित ऑपरेटिंग इंटरवल है:
$\epsilon \in \left[ \frac{1}{G-1}, \frac{2}{G-1} \right]$
यह नियम मुख्य रूप से ग्रिड रिज़ॉल्यूशन ( $G$ ) पर निर्भर करता है और कोलोकेशन पॉइंट्स ( $N$ ) या इनपुट डाइमेंशन ( $d$ ) से काफी हद तक स्वतंत्र है।

C. विभिन्न डोमेन में सत्यापन (Validation Across Domains)

प्रस्तावित इंटरवल को निम्नलिखित द्वारा सत्यापित किया गया है:

विभिन्न लक्ष्य फलन (Target Functions): स्मूथ, ऑसिलेटरी, शार्प, और डिस्कंटीन्यूअस फंक्शन।
कोलोकेशन डेंसिटी ( $N$ ): $N$ में वृद्धि सटीकता में सुधार करती है लेकिन अनुकूलतम $\epsilon$ विंडो को महत्वपूर्ण रूप से नहीं बदलती है।
नेटवर्क आर्किटेक्चर: गहरे या चौड़े नेटवर्क अनुकूलतम $\epsilon$ के बाएं छोर (जो पहली परत द्वारा नियंत्रित है) को नहीं बदलते हैं, हालांकि वे दाएं छोर को व्यापक बना सकते हैं।
इनपुट डाइमेंशन: 1D से 4D तक अनुकूलतम $\epsilon$ रेंज और U-आकार का त्रुटि वक्र सुसंगत रहता है।
फिजिक्स-इन्फॉर्म्ड लर्निंग: यह नियम हेल्महोल्ट्ज़ समीकरण के लिए भी लागू होता है, भले ही आवृत्ति पैरामीटर ( $\lambda$ ) भिन्न हो।

D. व्यावहारिक अनुप्रयोग (Practical Applications)

परिवर्तनीय स्केल (Variable Scales): शोध पत्र यह प्रदर्शित करता है कि व्युत्पन्न अंतराल के भीतर केंद्रों को यादृच्छिक परिवर्तनशील स्केल आवंटित करना एक एकल निश्चित स्केल से बेहतर प्रदर्शन कर सकता है।
कुशल खोज (Efficient Search): शुरुआती एपॉक्स (जैसे 500) पर प्रशिक्षण MSE, अंतिम वैलिडेशन एरर के साथ मजबूती से सह-संबंधित (correlate) है, जिससे पूर्ण प्रशिक्षण या ग्राउंड ट्रुथ लेबल के बिना तीव्र स्केल चयन संभव होता है।
चेबिशेव तुलना (Chebyshev Comparison): एक सही ढंग से स्केल किया गया Gaussian KAN, एक मैच किए गए चेबिशेव KAN (समान संख्या में प्रशिक्षित गुणांकों के साथ) के बराबर या कभी-कभी उससे बेहतर सटीकता प्राप्त करता है, बिना उच्च-डिग्री बहुपदों (polynomials) से जुड़ी कठोर स्थिरता समस्याओं के।

4. परिणाम (Results)

एरर लैंडस्केप (Error Landscape): वैलिडेशन एरर $\epsilon$ के संबंध में एक स्पष्ट U-आकार प्रदर्शित करता है। त्रुटियाँ बहुत छोटे $\epsilon$ (स्थानीयकरण) और बहुत बड़े $\epsilon$ (पतन/इल-कंडीशनिंग) के लिए उच्च होती हैं।
अनुकूलतम रेंज (Optimal Range): न्यूनतम त्रुटि लगातार $[\frac{1}{G-1}, \frac{2}{G-1}]$ अंतराल के भीतर आती है।
कंडीशनिंग (Conditioning): जैसे ही $\epsilon$ , $\frac{2}{G-1}$ से अधिक होता है, प्रथम-परत फीचर मैट्रिक्स का कंडीशन नंबर तेजी से बढ़ता है, जो मॉडल की सटीकता में गिरावट के साथ मेल खाता है।
मजबूती (Robustness): नियम यह मानकर भी काम करता है कि स्केल परतों में साझा (shared) है या प्रति परत स्थिर (fixed) है, हालांकि सरलता के लिए साझा स्केल की सिफारिश की जाती है।

5. महत्व (Significance)

यह शोध पत्र Gaussian KANs के दृष्टिकोण को $\epsilon$ को एक मनमाने हाइपरपैरामीटर के रूप में मानने के बजाय इसे इनपुट डोमेन की ज्यामिति और प्रथम परत द्वारा संचालित एक डिजाइन सिद्धांत के रूप में देखने की दिशा में मौलिक बदलाव लाता है।

स्थिरता बनाम सटीकता (Stability vs. Accuracy): यह डीप लर्निंग में "कंडीशनिंग-सटीकता ट्रेड-ऑफ" को संचालित करता है, यह दिखाते हुए कि संख्यात्मक स्थिरता की सीमा (सुरक्षित शासन के भीतर) तक कंडीशनिंग को धकेलना सबसे अच्छा सन्निकटन प्रदान करता है।
व्यावहारिक उपयोगिता (Practical Utility): व्युत्पन्न सूत्र $\epsilon \in [\frac{1}{G-1}, \frac{2}{G-1}]$ चिकित्सकों के लिए एक तत्काल, मजबूत शुरुआती बिंदु प्रदान करता है, जिससे महंगे हाइपरपैरामीटर स्वीप की आवश्यकता समाप्त हो जाती है।
सैद्धांतिक विस्तार (Theoretical Extension): यह शास्त्रीय RBF स्केलिंग सिद्धांत (विशेष रूप से लार्सन, शाबैक और फासनर के कार्य) को न्यूरल नेटवर्क सेटिंग में विस्तारित करता है, यह पुष्टि करते हुए कि स्केलिंग पर मजबूत निर्भरता एक "विशेषता" है जिसे समझने पर मॉडल के व्यवहार पर सटीक नियंत्रण मिलता है।

संक्षेप में, यह शोध पत्र Gaussian KANs के लिए स्केलिंग हेतु एक कठोर, प्रयोगात्मक रूप से सत्यापित ढांचा प्रदान करता है, जिससे यह सुनिश्चित होता है कि ये नेटवर्क वैज्ञानिक मशीन लर्निंग कार्यों की एक विस्तृत श्रृंखला में संख्यात्मक रूप से स्थिर और अत्यधिक सटीक हों।