📊 statistics

Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

यह शोध पत्र Adaptive RBF-KAN प्रस्तुत करता है, जो एक नवीन ढांचा है जो विविध रेडियल बेसिस कर्नेल (मैटर्न और वेंडलैंड सहित) को एकीकृत करके और कर्नेल शेप पैरामीटर्स के डेटा-संचालित इनिशियलाइजेशन के लिए लीव-वन-आउट क्रॉस-वैलिडेशन का उपयोग करके कोलमोगोरोव-आर्नोल्ड नेटवर्क को उन्नत करता है, जिससे मौजूदा RBF-आधारित दृष्टिकोणों की तुलना में विभिन्न प्रकार के फलनों (functions) पर मॉडल के प्रदर्शन में सुधार होता है।

मूल लेखक: Roberto Cavoretto, Alessandra De Rossi, Adeeba Haider, Amir Noorizadegan

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Roberto Cavoretto, Alessandra De Rossi, Adeeba Haider, Amir Noorizadegan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कुछ बिखरे हुए बिंदुओं के आधार पर एक चित्र बनाने के लिए सिखाने की कोशिश कर रहे हैं। रोबोट को उन रेखाओं और वक्रों (curves) को समझना होगा जो उन बिंदुओं को जोड़ते हैं ताकि मूल छवि को फिर से बनाया जा सके। गणितज्ञ इसे "फंक्शन एप्रोक्सिमेशन" (function approximation) कहते हैं।

लंबे समय तक, इसे करने का मानक तरीका MLPs (मल्टी-लेयर पर्सेप्ट्रॉन्स) का उपयोग करना था, जो पेंटरों के एक कठोर ग्रिड की तरह हैं। उनके पास निश्चित ब्रश (एक्टिवेशन फंक्शन) होते हैं जिन्हें वे बदल नहीं सकते। यदि चित्र को एक तीखे कोने, एक चिकनी वक्र या एक लहरदार रेखा की आवश्यकता है, तो रोबोट को इसे सही ढंग से करने के लिए अधिक पेंटरों और अधिक ब्रशों का उपयोग करना होगा, जिससे यह प्रक्रिया धीमी और महंगी हो जाती है।

फिर, KAN (कोलमोगोरोव-आर्नोल्ड नेटवर्क) नामक एक नए प्रकार के रोबोट का आविष्कार किया गया। निश्चित ब्रशों के बजाय, KANs रोबोट को "स्मार्ट ब्रश" देते हैं जो उस विशिष्ट भाग को पेंट करने के लिए अपना आकार बदल सकते हैं जिसे वह पेंट कर रहा है। यह उन्हें बहुत अधिक सटीक और समझने में आसान बनाता है। हालाँकि, मूल KANs धीमे थे क्योंकि उनके "स्मार्ट ब्रश" जटिल गणितीय आकृतियाँ (स्प्लाइन्स) थे जिन्हें कैलकुलेट करने में बहुत समय लगता था।

इस गति संबंधी समस्या को ठीक करने के लिए, शोधकर्ताओं ने FastKAN बनाया। उन्होंने जटिल स्प्लाइन्स को गौसियन रेडियल बेसिस फंक्शन्स (RBFs) से बदल दिया। सोचिए ये चिकने, घंटी के आकार के टीलों की तरह हैं। ये गणना करने में तेज़ हैं, लेकिन इनकी एक कमी है: इनका एक "निश्चित चौड़ाई" (fixed width) होती है।

समस्या: "एक ही आकार की टोपी" वाला सिद्धांत

कल्पना कीजिए कि आपके पास एक टोपी (RBF) है जिसे आपको पेंट करने के लिए पहनना है।

यदि टोपी बहुत चौड़ी है, तो यह विवरणों को धुंधला कर देगी। आप चट्टान के तीखे किनारों या पानी की छोटी लहरों को नहीं देख पाएंगे।
यदि टोपी बहुत संकीरी है, तो यह एक स्थान पर बहुत अधिक केंद्रित हो जाएगी और शोर (noise) को पैटर्न के रूप में देखने लगेगी, जिससे एक अस्त-व्यस्त, अत्यधिक विस्तृत गड़बड़ी पैदा होगी।

मानक FastKAN में, आपको काम शुरू करने से पहले एक टोपी का आकार चुनना होता है, और आप इसे बदल नहीं सकते। यदि आप एक चिकने आकाश को पेंट कर रहे हैं, तो एक चौड़ी टोपी बेहतरीन है। लेकिन यदि आप एक ऊबड़-खाबड़ पर्वत श्रृंखला या एक लहरदार समुद्र पेंट कर रहे हैं, तो वही चौड़ी टोपी चित्र को बिगाड़ देगी।

समाधान: अडैप्टिव RBF-KAN (Adaptive RBF-KAN)

लेखकों ने एक नया संस्करण पेश किया जिसे Adaptive RBF-KAN कहा जाता है। उन्होंने "निश्चित टोपी" की समस्या को दो चतुर तरीकों से हल किया:

1. "खरीदने से पहले परीक्षण" (LOOCV)
इससे पहले कि रोबोट पेंटिंग शुरू करे, लेखक उसे एक त्वरित परीक्षण देते हैं। वे लीव-वन-आउट क्रॉस-वैलिडेशन (LOOCV) नामक विधि का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आपके पास पहेली के टुकड़ों (puzzle pieces) का एक सेट है। आप एक टुकड़ा बाहर निकालते हैं, बाकी टुकड़ों के आधार पर अनुमान लगाने की कोशिश करते हैं कि वह कैसा दिखता है, और देखते हैं कि आपका अनुमान कितना सटीक है। आप हर एक टुकड़े के लिए ऐसा ही करते हैं।
परिणाम: यह परीक्षण रोबोट को बताता है कि उस विशिष्ट चित्र को पेंट करने के लिए कौन सा आकार (shape parameter) सबसे अच्छा काम करेगा। यह एक डेटा-संचालित अनुमान है जो रोबोट को केवल अंदाज़ा लगाने के बजाय एक शानदार शुरुआत देता है।

2. "आकार बदलने वाली" टोपी
एक बार जब रोबोट पेंटिंग शुरू कर देता है, तो वह वहीं नहीं रुकता। लेखकों ने टोपी के आकार को अडैप्टिव (अनुकूलनीय) बना दिया है।

उपमा: जैसे-जैसे रोबोट पेंट करता है, उसे एहसास होता है, "अरे, इस पहाड़ के इस हिस्से के लिए एक संकरी टोपी की आवश्यकता है, लेकिन आकाश के इस हिस्से के लिए एक चौड़ी टोली की आवश्यकता है।"
तंत्र (Mechanism): रोबोट काम करते समय अपनी टोली के आकार को बदलना सीख जाता है। यह सुनिश्चित करने के लिए कि टोपी कभी शून्य तक न सिकुड़े या ऋणात्मक न हो जाए (जिससे गणित टूट सकता है), यह लॉग-स्पेस मैपिंग नामक एक गणितीय ट्रिक का उपयोग करता है, जिससे यह चित्र के अनुकूल होने के लिए सुचारू रूप से विकसित हो पाती है।

3. टोपियों का एक नया वार्डरोब
मूल FastKAN में केवल एक प्रकार की टोपी थी: गौसियन (चिकनी घंटी के आकार की वक्र)। लेखकों ने वार्डरोब में नई प्रकार की टोपियाँ जोड़ी हैं:

मैटर्न कर्नेल्स (Matérn Kernels): ये ऐसी टोपियाँ हैं जो थोड़ी खुरदरी या तीखी हो सकती हैं, जो अचानक आने वाले उतार-चढ़ाव या किनारों के लिए अच्छी हैं।
वेंडलैंड कर्नेल्स (Wendland Kernels): ये ऐसी टोपियाँ हैं जो अचानक रुक जाती हैं (कंपैक्ट सपोर्ट), जो बैकग्राउंड को धुंधला किए बिना तीखे शिखरों या लहरों को पकड़ने के लिए बेहतरीन हैं।

जब उन्होंने इसका परीक्षण किया तो क्या हुआ?

लेखकों ने अपने नए रोबोट का परीक्षण चार अलग-अलग प्रकार के "चित्रों" (गणितीय फलनों) पर किया:

चिकने टीले (Smooth Hills): मानक गौसियन टोली ने अच्छा काम किया, लेकिन नए तरीके ने इसे और भी बेहतर बनाने के लिए परफेक्ट आकार खोज लिया।
तीखे कदम/विच्छेदन (Sharp Steps/Discontinuities): मानक गौसियन टोली ने किनारे को धुंधला कर दिया। नए मैटर्न टोली ने, अपने अडैप्टिव आकार के साथ, किनारे को एकदम तीक्ष्ण रखा।
लहरें (Waves/Oscillations): मानक टोली बहुत चौड़ी थी और लहरों को पूरी तरह से सपाट कर दिया। नए वेंडलैंड टोली ने, अपने विशिष्ट आकार के साथ, लहरों को पूरी तरह से कैप्चर किया।
अचानक स्पाइक्स (Singularities): मानक टोली शिखर को मिस कर गई। नए वेंडलैंड टोली ने ज़ूम इन किया और सटीक निशाना लगाया।

मुख्य निष्कर्ष (The Bottom Line)

लेखक दावा करते हैं कि शुरुआती टोली का आकार चुनने के लिए एक स्मार्ट "प्री-टेस्ट" और पेंटिंग के दौरान टोली को आकार बदलने की अनुमति देने के संयोजन से, उनका नया Adaptive RBF-KAN:

मूल, जटिल KANs की तुलना में तेज़ है।
मानक FastKAN (जो एक निश्चित टोली का उपयोग करता है) की तुलना में अधिक सटीक है।
अधिक लचीला है क्योंकि यह चित्र के चिकने, ऊबड़-खाबड़ या लहरदार होने के आधार पर अलग-अलग प्रकार की "टोपियों" (कर्नेल्स) के बीच स्विच कर सकता है।

संक्षेप में, उन्होंने एक ऐसा रोबोट पेंटर बनाया है जो न केवल एक निश्चित उपकरण का उपयोग करता है; बल्कि पहले कैनवास को मापता है, सही उपकरण चुनता है, और फिर एक आदर्श चित्र बनाने के लिए उस उपकरण को चलते-फिरते (on the fly) समायोजित करता है।

तकनीकी सारांश: एडेप्टिव RBF-KAN

समस्या विवरण
कोल्मोगोरोव-आर्नोल्ड नेटवर्क (KANs), मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) के विकल्प के रूप में कार्य करते हैं, जो नोड्स पर फिक्स्ड एक्टिवेशन फंक्शन के बजाय नेटवर्क किनारों (edges) पर सीखने योग्य यूनिवैरिएट फंक्शन्स का उपयोग करते हैं। जबकि मूल KAN कार्यान्वयन B-स्प्लाइन बेसिस का उपयोग करता है, यह दृष्टिकोण प्रशिक्षण के दौरान महत्वपूर्ण कम्प्यूटेशनल लागत उत्पन्न करता है। FastKAN इसे मौजूदा स्प्लाइन्स को गाऊसी रेडियल बेसिस फंक्शन्स (RBFs) से बदलकर संबोधित करता है, जिससे दक्षता में काफी सुधार होता है। हालांकि, मानक FastKAN एक निश्चित कर्नेल शेप पैरामीटर ( $h$ ) पर निर्भर करता है। इस पैरामीटर का चयन अत्यंत महत्वपूर्ण है: छोटे मान ओवरफिटिंग का कारण बन सकते हैं, जबकि बड़े मान ओवरस्मूथिंग (oversmoothing) की ओर ले जाते हैं। एक निश्चित पैरामीटर विविध प्रकार के फंक्शन्स (जैसे, स्मूथ सतहें, विच्छिन्नता (discontinuities), दोलनकारी पैटर्न और सिंगुलैरिटीज़) के लिए मॉडल की अनुकूलन क्षमता को सीमित करता है। इसके अलावा, मानक FastKAN फॉर्मूलेशन केवल गाऊसी कर्नेल्स तक ही सीमित है, जो गैर-स्मूथ या अत्यधिक स्थानीयकृत (localized) फंक्शन्स के लिए प्रतिनिधित्व संबंधी लचीलेपन को सीमित कर सकता है।

कार्यप्रणाली (Methodology)
लेखक एक एडेप्टिव RBF-KAN (जिसे एडेप्टिव FastKAN भी कहा जाता है) प्रस्तावित करते हैं जो मौजूदा ढांचे में दो प्राथमिक संवर्द्धन पेश करता है:

LOOCV-आधारित इनिशियलाइजेशन: एक निश्चित या रैंडमली इनिशियलाइज्ड शेप पैरामीटर के बजाय, लेखक लीव-वन-आउट क्रॉस-वैलिडेशन (LOOCV) का उपयोग करके प्रारंभिक कर्नेल स्केल ( $h_{opt}$ ) का अनुमान लगाते हैं। यह इनपुट डेटा से निर्मित एक सहायक एक-आयामी RBF इंटरपोलेशन मॉडल पर किया जाता है। संख्यात्मक स्थिरता सुनिश्चित करने के लिए, इंटरपोलेशन मैट्रिक्स में एक छोटा रेगुलराइजेशन टर्म ( $\lambda = 10^{-9}$ ) जोड़ा जाता है। इष्टतम $h$ को एक दो-चरणीय खोज (कोर्स और फाइन) के माध्यम से पाया जाता है जो अधिकतम LOOCV त्रुटि को कम करता है।
एडेप्टिव शेप पैरामीटर लर्निंग: नेटवर्क को प्रशिक्षण के दौरान कर्नेल स्केल को परिष्कृत करने की अनुमति देने के लिए, शेप पैरामीटर को लॉग-स्पेस ( $\theta = \ln(h)$ ) में पुन: पैरामीटराइज किया जाता है। यह सुनिश्चित करता है कि $h = e^\theta$ हमेशा धनात्मक बना रहे, जिससे ग्रेडिएंट-आधारित ऑप्टिमाइजेशन के दौरान संख्यात्मक अस्थिरता (शून्य से विभाजन या घातीय वृद्धि) को रोका जा सके। $\theta$ को बैकप्रोपैगेशन के माध्यम से स्प्लाइन गुणांकों के साथ अपडेट किया जाता है।
विस्तारित कर्नेल परिवार: ढांचे को गाऊसी कर्नेल से आगे बढ़ाकर अन्य रेडियल बेसिस फंक्शन्स के एक व्यापक परिवार को शामिल करने के लिए विस्तारित किया गया है। विशेष रूप से, लेखक पहली बार KAN आर्किटेक्चर में मैटर्न (M2, M4, M6) और वेंडलैंड (W2, W4, W6) कर्नेल्स को पेश करते हैं। ये कर्नेल्स विभिन्न स्तरों की स्मूथनेस और कॉम्पैक्ट सपोर्ट प्रदान करते हैं, जिससे नेटवर्क को विभिन्न संरचनात्मक विशेषताओं वाले फंक्शन्स के प्रति बेहतर ढंग से अनुकूलित होने में मदद मिलती है।

प्रमुख योगदान

LOOCV और डीप KANs का प्रथम एकीकरण: लेखकों के सर्वोत्तम ज्ञान के अनुसार, यह डीप KAN आर्किटेक्चर के प्रशिक्षण के साथ LOOCV-आधारित कर्नेल स्केल अनुमान को एकीकृत करने वाला पहला अध्ययन है।
नवीन कर्नेल एकीकरण: यह पेपर KAN फ्रेमवर्क में मैटर्न और वेंडलैंड कर्नेल्स को पेश करता है, जो मानक FastKAN के गाऊसी-ओनली दृष्टिकोण से आगे बढ़ता है।
डेटा-संचालित इनिशियलाइजेशन रणनीति: प्रस्तावित विधि कर्नेल स्केल के लिए एक सिद्धांत-आधारित, डेटा-संचालित इनिशियलाइजेशन प्रदान करती है, जो महंगे हाइपरपैरामीटर सर्च पर निर्भरता को कम करती है और प्रशिक्षण के दौरान और अधिक शोधन (refinement) की अनुमति देती है।
व्यापक बेंचमार्किंग: यह अध्ययन चार विशिष्ट बेंचमार्क फंक्शन्स (जो स्मूथ, विच्छिन्न, दोलनकारी और सिंगुलर व्यवहारों का प्रतिनिधित्व करते हैं) पर MLP, मानक KAN (स्प्लाइन-आधारित), EfficientKAN, Chebyshev KAN, KAF और मानक FastKAN के विरुद्ध प्रस्तावित पद्धति का मूल्यांकन करता है।

परिणाम
यूनिट स्क्वायर डोमेन $[0, 1]^2$ पर संख्यात्मक प्रयोग निम्नलिखित प्रकट करते हैं:

कर्नेल चयन मायने रखता है: कोई भी एकल कर्नेल सभी प्रकार के फंक्शन्स के लिए इष्टतम नहीं है।
- स्मूथ फंक्शन्स (Franke): गाऊसी (GA) कर्नेल सबसे अच्छा प्रदर्शन करता है, जो इसकी अनंत अवकलनीयता (infinite differentiability) के अनुरूप है।
- विच्छिन्नता (Discontinuities): मैटर्न C2 (M2) कर्नेल GA से काफी बेहतर प्रदर्शन करता है, जो कम त्रुटि और कम ब्लरिंग के साथ शार्प जम्प्स को कैप्चर करता है।
- दोलनकारी पैटर्न (Oscillatory Patterns): गाऊसी कर्नेल हाई-फ्रीक्वेंसी ऑसिलेशन को कैप्चर करने में विफल रहता है, जबकि वेंडलैंड C2 (W2) कर्नेल पैटर्न को सटीक रूप से पुनर्निर्मित करता है।
- सिंगुलैरिटीज (Singularities): वेंडलैंड C6 (W6) कर्नेल स्थानीयकृत चोटियों (localized peaks) के लिए GA बेसलाइन की तुलना में त्रुटि को लगभग 52% कम कर देता है।
अनुकूलनशीलता (Adaptivity) प्रदर्शन में सुधार करती है: एडेप्टिव RBF-KAN लगातार निश्चित शेप पैरामीटर वाले मानक FastKAN से बेहतर प्रदर्शन करता है। उदाहरण के लिए, दोलनकारी फंक्शन पर, त्रुटि $4.54 \times 10^{-1}$ (फिक्स्ड GA) से गिरकर $6.24 \times 10^{-2}$ (एडेप्टिव W2) हो गई।
दक्षता बनाम सटीकता ट्रेड-ऑफ: जबकि मानक KAN (स्प्लाइन-आधारित) उच्च सटीकता प्रदान करता है, यह कम्प्यूटेशनल रूप से महंगा है (प्रशिक्षण समय ~60s बनाम RBF वेरिएंट के लिए ~3-5s)। एडेप्टिव RBF-KAN FastKAN की कम्प्यूटेशनल दक्षता बनाए रखते हुए सभी टेस्ट केसों में प्रतिस्पर्धी या बेहतर सटीकता प्राप्त करता है। MLPs को कम्प्यूटेशनल रूप से कुशल पाया गया लेकिन वे जटिल पैटर्न पर सटीकता के लिए संघर्ष करते रहे, और अक्सर हाई-फ्रीक्वेंसी फीचर्स को ओवर-स्मूथ कर देते हैं।

महत्व और दावे
यह पेपर दावा करता है कि LOOCV-आधारित इनिशियलाइजेशन को एडेप्टिव कर्नेल लर्निंग के साथ जोड़ना RBF-आधारित KAN मॉडल्स को बेहतर बनाने के लिए एक व्यावहारिक और लचीली रणनीति प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनका कार्य LOOCV-आधारित स्केल अनुमान को डीप KAN प्रशिक्षण से जोड़ने का पहला प्रयास है। वे तर्क देते हैं कि प्रस्तावित विधि निश्चित कर्नेल चयन और निश्चित शेप पैरामीटर की सीमाओं को संबोधित करती है, जिससे नेटवर्क को लक्षित फंक्शन की विशिष्ट संरचनात्मक विशेषताओं (स्मूथनेस, विच्छिन्नता, दोलन या सिंगुलैरिटी) के अनुसार अपने बेसिस रिप्रेजेंटेशन को बेहतर ढंग से अनुकूलित करने में मदद मिलती है। अध्ययन निष्कर्ष निकालता है कि हालांकि अलग-अलग कर्नेल्स विभिन्न श्रेणियों के फंक्शन्स के लिए लाभ दिखाते हैं, एडेप्टिव फ्रेमवर्क एक मजबूत समाधान प्रदान करता है जो FastKAN की कम्प्यूटेशनल दक्षता और विविध एप्रोक्सिमेशन चुनौतियों के लिए आवश्यक सटीकता के बीच संतुलन बनाता है। भविष्य के कार्य के रूप में उच्च-आयामी समस्याओं, शोर वाले वास्तविक डेटासेट और आंशिक अंतर समीकरणों (PDEs) को हल करने जैसे वैज्ञानिक कंप्यूटिंग कार्यों में अनुप्रयोगों की जांच करने का सुझाव दिया गया है।

समस्या: "एक ही आकार की टोपी" वाला सिद्धांत

समाधान: अडैप्टिव RBF-KAN (Adaptive RBF-KAN)

जब उन्होंने इसका परीक्षण किया तो क्या हुआ?

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर