🔢 mathematics

FEKAN: Feature-Enriched Kolmogorov-Arnold Networks

यह शोधपत्र फीचर-एनरिच्ड कोलमोगोरोव-आर्नोल्ड नेटवर्क (FEKAN) प्रस्तुत करता है, जो एक पैरामीटर-कुशल विस्तार है जो उनकी व्याख्यात्मकता को बनाए रखते हुए फीचर एनरिचमेंट के माध्यम से मौजूदा KAN आर्किटेक्चर की कम्प्यूटेशनल दक्षता, अभिसरण गति और भविष्य कहने वाली सटीकता को बढ़ाता है।

मूल लेखक: Sidharth S. Menon, Ameya D. Jagtap

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sidharth S. Menon, Ameya D. Jagtap

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अपने आस-पास की जटिल, अराजक दुनिया को समझना सिखाने की कोशिश कर रहे हैं—जैसे मौसम की भविष्यवाणी करना, किसी पुल के कंपन का अनुकरण करना, या किसी वायरस के फैलने का मॉडल बनाना।

लंबे समय तक, हमने एक मानक प्रकार के रोबोट मस्तिष्क का उपयोग किया जिसे MLP (मल्टीलेयर पर्सेप्ट्रॉन) कहा जाता है। यह एक सामान्य-उद्देश्य वाले कार्यकर्ता की तरह है: यह तेज़ है और कई चीजों में अच्छा है, लेकिन कभी-कभी यह सूक्ष्म, उच्च-तीव्रता वाले विवरणों (जैसे हवा का अचानक झोंका) को मिस कर देता है क्योंकि यह व्यापक, सुचारू रूप से सोचने का आदी है।

फिर, एक नए प्रकार का मस्तिष्क आया जिसे KAN (कोलमोगोरोव-आर्नो नेटवर्क) कहा गया। KAN को एक कुशल शिल्पकार के रूप में सोचें। एक ब्लंट हथौड़े (निश्चित गणितीय नियमों) का उपयोग करने के बजाय, यह डेटा को तराशने के लिए लचीले, सीखने योग्य उपकरणों (वक्र रेखाओं) के एक सेट का उपयोग करता है। यह KAN अविश्वसनीय रूप से सटीक और मनुष्यों के लिए समझने में आसान (व्याख्यात्मक) बनाता है।

लेकिन एक पेंच है: कुशल शिल्पकार धीमा है। इसे सीखने में लंबा समय लगता है, और कभी-कभी जब डेटा बहुत जटिल या "शोर वाला" (noisy) होता है, तो यह फंस जाता है या भ्रमित हो जाता है।

यहाँ लेखक आते हैं, जो FEKAN (फीचर-एनरिच्ड KAN) पेश करते हैं।

मुख्य विचार: शिल्पकार को एक "चीट शीट" देना

कल्पना कीजिए कि आप एक कठिन पहेली सुलझाने की कोशिश कर रहे हैं।

पुराना तरीका (मानक KAN): आपको सादे, वर्गाकार टाइल्स का एक बॉक्स दिया जाता है। आपको यह पता लगाना होता है कि एक घूमती हुई आकाशगंगा की तस्वीर बनाने के लिए उन्हें कैसे व्यवस्थित किया जाए। यह संभव है, लेकिन इसमें बहुत समय लगता है, और हो सकता है कि आप रंग गलत चुन लें।
FEKAN का तरीका: काम शुरू करने से पहले, कोई आपको एक विशेष टूलकिट थमाता है। वे कहते हैं, "यहाँ कुछ पहले से कटे हुए टाइल्स हैं जो पहले से ही भंवरों जैसे दिखते हैं, और कुछ जो सितारों जैसे दिखते हैं। बस इनका उपयोग करके अपनी आकाशगंगा बनाएं।"

तकनीकी शब्दों में, यह "विशेष टूलकिट" फीचर एनरिचमेंट (Feature Enrichment) कहलाता है।
FEKAN कच्चे इनपुट (जैसे समय और स्थान निर्देशांक) को लेता है और मुख्य मस्तिष्क तक पहुँचने से पहले ही इसे तुरंत एक समृद्ध, अधिक विस्तृत संस्करण में बदल देता है। यह दरवाजे पर ही साइन वेव्स (sine waves), कोसाइन वेव्स (cosine waves), या बहुपद वक्रों (polynomial curves) जैसी चीजें जोड़ देता है।

यह एक बड़ी बात क्यों है?

पेपर दिखाता है कि FEKAN एक कुशल शिल्पकार को बिना उसे धीमा या महंगा बनाए, उसे एक सुपरपावर देने जैसा है। जब आप FEKAN का उपयोग करते हैं, तो यह होता है:

यह "उच्च-आवृत्ति" (High-Frequency) विवरणों को देखता है:
मानक KAN अक्सर तीव्र परिवर्तनों (जैसे उच्च-तीव्रता वाली आवाज़ें या ग्राफ में तीखे स्पाइक्स) को अनदेखा कर देते हैं। इसे "स्पेक्ट्रल बायस" कहा जाता है। FEKAN इसे ठीक करता है। "भंवर" वाले टाइल्स को पहले से जोड़कर, मस्तिष्क को उन्हें शून्य से सीखने के लिए संघर्ष नहीं करना पड़ता। यह बड़े चित्र पर ध्यान केंद्रित कर सकता है जबकि विवरण पहले से ही वहां मौजूद हैं।
- उपमा: यह एक टेढ़े-मेढ़े पहाड़ को चित्रित करने की कोशिश करने जैसा है। एक मानक KAN चिकनी, घुमावदार रेखाओं के साथ इसे खींचने की कोशिश करता है और विफल हो जाता है। FEKAN को तुरंत एक टेढ़ा-मेढ़ा पेंसिल दी जाती है, इसलिए वह आधे समय में पहाड़ को पूरी तरह से बना देता है।
यह तेज़ और स्थिर है:
क्योंकि मस्तिष्क को बुनियादी बातें समझने के लिए उतनी मेहनत नहीं करनी पड़ती, इसलिए यह तेजी से सीखता है। पेपर ने कई कठिन गणितीय समस्याओं (पार्शियल डिफरेंशियल इक्वेशंस) पर इसका परीक्षण किया और पाया कि FEKAN मूल KAN की तुलना में बहुत तेज़ी से कन्वर्ज (सीखना पूरा करना) हुआ।
- उपमा: यदि आप मैराथन दौड़ने की कोशिश कर रहे हैं, तो एक मानक KAN भारी जूतों में दौड़ रहा है। FEKAN हल्के, एरोडायनामिक जूतों में दौड़ रहा है। वे एक ही धावक हैं, लेकिन FEKAN बहुत पहले फिनिश लाइन तक पहुँच जाता है।
यह भूलता नहीं है (निरंतर सीखना/Continual Learning):
AI की सबसे बड़ी समस्याओं में से एक "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) है—एक नया कार्य सीखने से AI पुराना कार्य भूल जाता है। KAN पहले से ही याद रखने में अच्छे हैं, लेकिन FEKAN और भी बेहतर है।
- उपमा: एक लाइब्रेरी की कल्पना करें। जब आप एक नई किताब (नया डेटा) जोड़ते हैं, तो एक मानक KAN गलती से पुरानी किताबों को गिरा सकता है। FEKAN के पास एक विशेष शेल्फ सिस्टम (फीचर एनरिचमेंट) है जो पुरानी चीजों को परेशान किए बिना नई किताब को व्यवस्थित रखता है।
यह "अव्यवस्थित" गणित को बेहतर ढंग से संभालता है:
पेपर में FEKAN का परीक्षण कुछ ऐसी गणितीय समस्याओं पर किया गया है जो आमतौर पर अन्य AI मॉडल को क्रैश या त्रुटिपूर्ण बना देती हैं (जैसे चेबिशेव बेसिस फंक्शन्स)। FEKAN ने एक स्टेबलाइजर के रूप में कार्य किया, जिससे प्रशिक्षण सुचारू और त्रुटि-मुक्त बना रहा।

निचोड़

लेखकों ने केवल एक बड़ा, भारी मस्तिष्क नहीं बनाया। उन्होंने एक स्मार्टर इंटरफेस बनाया है।

उन्होंने दिखाया कि केवल यह बदलकर कि डेटा सिस्टम में कैसे प्रवेश करता है (फीचर एनरिचमेंट लेयर जोड़कर), आप प्राप्त कर सकते हैं:

उच्च सटीकता: बेहतर भविष्यवाणियां।
तेज़ गति: कम प्रशिक्षण समय।
बेहतर स्थिरता: कम क्रैश और त्रुटियां।
समान लागत: इसके लिए अधिक कंप्यूटिंग पावर या मेमोरी की आवश्यकता नहीं है।

संक्षेप में: FEKAN पहले से ही प्रभावशाली "कुशल शिल्पकार" (KAN) को उच्च गुणवत्ता वाले, पहले से बने उपकरणों का एक सेट देता है। परिणाम एक ऐसा सिस्टम है जो जटिल वैज्ञानिक समस्याओं को पहले से कहीं अधिक तेज़ी से, अधिक सटीकता से और अधिक विश्वसनीयता के साथ हल करता है, और यह सब करते हुए भी मनुष्यों के लिए समझने में आसान रहता है।

यहाँ शोध पत्र "FEKAN: Feature-Enriched Kolmogorov-Arnold Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Kolmogorov-Arnold Networks (KANs), अपनी व्याख्यात्मकता (functional decomposition के माध्यम से) और पैरामीटर दक्षता के कारण, Multilayer Perceptrons (MLPs) के एक आशाजनक विकल्प के रूप में उभरे हैं। हालाँकि, मूल (vanilla) KAN आर्किटेक्चर महत्वपूर्ण सीमाओं से ग्रस्त हैं:

उच्च कम्प्यूटेशनल लागत और धीमी अभिसरण (High Computational Cost & Slow Convergence): KAN को प्रशिक्षित करना MLPs की तुलना में काफी अधिक महंगा और धीमा है।
स्पेक्ट्रल बायस (Spectral Bias): MLPs की तरह, KAN भी उच्च-आवृत्ति (high-frequency) घटकों और सूक्ष्म संरचनाओं को सीखने में संघर्ष करते हैं, जिससे वे अक्सर जटिल दोलन व्यवहारों (oscillatory behaviors) या विच्छिन्नताओं (discontinuities) को पकड़ने में विफल रहते हैं।
अस्थिरता (Instability): कुछ KAN वेरिएंट (जैसे, चेबीशेव या वेवलेट आधारों का उपयोग करने वाले) अक्सर प्रशिक्षण विचलन (training divergence) या संख्यात्मक अस्थिरता प्रदर्शित करते हैं।
स्केलेबिलिटी (Scalability): ये मुद्दे वैज्ञानिक मशीन लर्निंग (SciML), विशेष रूप से आंशिक अंतर समीकरणों (PDEs) को हल करने और न्यूरल ऑपरेटर्स को सीखने के लिए KAN की व्यावहारिक प्रयोज्यता को सीमित करते हैं।

यह शोध पत्र यह तर्क देता है कि जबकि फीचर एनरिचमेंट (feature enrichment) शास्त्रीय मशीन लर्निंग (जैसे, कर्नेल मेथड्स, MLPs के लिए फूरियर फीचर मैपिंग) में एक मानक तकनीक है, इसे इन विशिष्ट बाधाओं को दूर करने के लिए KAN ढांचे के भीतर व्यवस्थित रूप से नहीं खोजा गया है।

2. कार्यप्रणाली: फीचर-एनरिच्ड KAN (FEKA N: Methodology)

लेखक FEKAN का प्रस्ताव करते हैं, जो मूल KAN आर्किटेक्चर का एक सरल लेकिन प्रभावी विस्तार है जो मुख्य नेटवर्क में प्रशिक्षित पैरामीटर्स की संख्या बढ़ाए बिना फीचर एनरिचमेंट को शामिल करता है।

मुख्य आर्किटेक्चर (Core Architecture)

फीचर मैप ( $\gamma$ ): इससे पहले कि इनपुट $x$ KAN बैकबोन में प्रवेश करे, इसे एक समृद्ध फीचर स्पेस $\mathcal{F} \subset \mathbb{R}^{n+m}$ में रूपांतरित किया जाता है, जो एक मैपिंग $\gamma: \mathbb{R}^n \to \mathbb{R}^{n+m}$ द्वारा संचालित होता है।
एनरिचमेंट रणनीति (Enrichment Strategy): यह मैपिंग आमतौर पर मूल इनपुट वेक्टर के साथ गैर-रेखीय आधार कार्यों (जैसे, फूरियर टर्म्स जैसे $\sin(ax), \cos(ax)$ $sin (a x), cos (a x)$ , बहुपद, या इंटरेक्शन टर्म्स) को जोड़ती है।
- उदाहरण: $\gamma(x) = [x, \sin(a_1 x), \cos(a_1 x), \dots]^\top$ ।
एकीकरण (Integration): समृद्ध फीचर्स को मानक KAN लेयर्स में फीड किया जाता है। अंतर्निहित KAN संरचना (एजेस पर सीखने योग्य एकचर सक्रियण कार्य/univariate activation functions) अपरिवर्तित रहती है, जिससे व्याख्यात्मकता बनी रहती है।
फिजिक्स-इन्फॉर्म्ड एक्सटेंशन (PI-FEKAN): PDE समाधान के लिए, लॉस फंक्शन (रेसिड्यूअल, बाउंड्री और इनिशियल कंडीशंस) की गणना करने से पहले फीचर मैप को स्थानिक-कालिक निर्देशांकों (spatiotemporal coordinates) $(x, y, z, t)$ पर लागू किया जाता है।

सैद्धांतिक आधार (Theoretical Foundations)

यह शोध पत्र FEKAN के लिए कठोर सैद्धांतिक आधार स्थापित करता है:

फीचर-एनरिच्ड कोलमोगोरोव सुपरपोजिशन थ्योरम: लेखक शास्त्रीय प्रमेय का विस्तार करते हैं ताकि यह दिखाया जा सके कि इनपुट्स और अतिरिक्त निरंतर फीचर्स का कोई भी निरंतर फलन (continuous function), एकचर कार्यों के संयोजन के रूप में दर्शाया जा सकता है। यह दर्शाता है कि FEKAN आयाम-स्वतंत्र त्रुटि सीमाओं के साथ उच्च-आयामी फलनों का सन्निकटन (approximation) कर सकता है, जो "डायमेंशनलिटी के अभिशाष" (curse of dimensionality) को कम करता है।
प्रतिनिधित्व क्षमता (Representation Capacity): प्रमेय 2 सिद्ध करता है कि फीचर एनरिचमेंट प्रतिनिधित्व योग्य फलनों के परिवार को सख्ती से बढ़ाता है ( $\mathcal{R}_n \subsetneq \mathcal{R}_{n,m}$ ) और कुछ लक्ष्यों (जैसे, उच्च-आवृत्ति वाले फलन) को अनुमानित करने के लिए आवश्यक जटिलता को कम करता है।
न्यूरल टेंगेंट कर्नेल (NTK) विश्लेषण: लेखक प्रशिक्षण गतिशीलता को समझाने के लिए NTK ड्रिफ्ट का विश्लेषण करते हैं। वे पाते हैं कि मूल KANs में NTK में तीव्र आइगेनवैल्यू क्षय (eigenvalue decay) होता है, जिससे स्पेक्ट्रल बायस उत्पन्न होता है (उच्च आवृत्तियों को अनदेखा करना)। FEKAN इस क्षय को धीमा करता है, जिससे मॉडल उच्च-आवृत्ति घटकों को प्रभावी ढंग से प्राथमिकता देने और सीखने में सक्षम होता है।

3. प्रमुख योगदान (Key Contributions)

नूतन आर्किटेक्चर: FEKA N का परिचय, जो KAN की व्याख्यात्मकता और पैरामीटर दक्षता को बनाए रखते हुए इनपुट फीचर एनरिचमेंट के माध्यम से KAN को उन्नत करता है।
सैद्धांतिक ढांचा: फीचर-एनरिच्ड कोलमोगोरोव सुपरपोजिशन थ्योरम का औपचारिक प्रमाण और प्रतिनिधित्व क्षमता लाभ तथा रेडेमेकर कॉम्प्लेक्सिटी (Rademacher complexity) का विश्लेषण।
व्यापक बेंचमार्किंग: निम्नलिखित क्षेत्रों में व्यापक मूल्यांकन:
- फंक्शन एप्रोक्सिमेशन: उच्च-आवृत्ति और विच्छिन्न टेस्ट फंक्शन्स।
- डायनामिकल सिस्टम्स: लोरेंज अट्रैक्टर (chaotic ODEs)।
- PDE समाधान: हेल्महोल्ट्ज़, एलन-कान (Allen-Cahn), और क्लेन-गॉर्डन (Klein-Gordon) समीकरण (स्थिर और समय-निर्भर)।
- न्यूरल ऑपरेटर्स: उच्च-आवृत्ति बबल डायनेमिक्स को सीखने के लिए मैपिंग (DeepOKAN बनाम DeepOFEKAN)।
स्थिरता तंत्र (Stability Mechanism): यह प्रदर्शन करना कि फीचर एनरिचमेंट अस्थिर आधारों (जैसे चेबीशेव) के लिए प्रशिक्षण को स्थिर करता है, जिसमें मैन्युअल स्केलिंग या आर्किटेक्चरल ओवरहाल की आवश्यकता नहीं होती है।
निरंतर सीखना (Continual Learning): साक्ष्य कि FEKA N, मूल KAN की तुलना में बाउंड्री वैल्यू प्रॉब्लम्स में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को बेहतर तरीके से दबाता है।

4. मुख्य परिणाम (Key Results)

शोध पत्र कई डोमेन में प्रयोगात्मक साक्ष्य प्रस्तुत करता है जो दिखाता है कि FEKAN लगातार मूल KAN और इसके वेरिएंट (FastKAN, WavKAN, ReLUKAN, ChebyKAN, आदि) से बेहतर प्रदर्शन करता है:

सटीकता और अभिसरण (Accuracy & Convergence):
- फंक्शन एप्रोक्सिमेशन: उच्च-आवृत्ति और विच्छिन्न फलनों के लिए FEKAN, KAN की तुलना में सापेक्ष $L_2$ त्रुटि में क्रम-परिमाण (order-of-magnitude) की कमी प्राप्त करता है। यह काफी तेजी से अभिसरित होता है।
- PDE समाधान: PI-FEKAN प्रयोगों में, इस पद्धति ने PI-KAN की तुलना में त्रुटियों को 50% से 99% तक कम कर दिया। उदाहरण के लिए, चेबीशेव आधारों के साथ हेल्मholtz समीकरण पर, FEKAN ने स्थिर प्रशिक्षण प्राप्त किया जहाँ PI-KAN या तो विचलन (diverge) कर गया या उच्च त्रुटियां उत्पन्न कीं।
- न्यूरल ऑपरेटर्स: उच्च-आवृत्ति बबल डायनेमिक्स को सीखने में, DeepOFEKAN में ब्रांच नेटवर्क को समृद्ध करने से DeepOKAN की तुलना में त्रुटियों में एक क्रम-परिमाण की कमी आई।
कम्प्यूटेशनल दक्षता (Computational Efficiency):
- FEKAN, फीचर मैप के बावजूद, मूल KAN के तुलनीय कम्प्यूटेशनल लागत (प्रति इटरेशन सेकंड) बनाए रखता है, क्योंकि एनरिचमेंट लेयर एक निश्चित, गैर-प्रशिक्षित रूपांतरण है।
- यह कम प्रशिक्षित पैरामीटर्स या कम प्रशिक्षण इपॉक्स के साथ उच्च सटीकता प्राप्त करता है, जिससे समग्र दक्षता बेहतर होती है।
स्थिरता और मजबूती (Stability & Robustness):
- चेबीशेव अस्थिरता: जबकि ChebyKAN प्रशिक्षण के दौरान अक्सर विचलन (NaNs) प्रदर्शित करता है, FEK AN चेबीशेव आधारों के साथ स्थिर रूप से अभिसरित होता है।
- स्पेक्ट्रल बायस: FEKAN KAN के अंतर्निहित स्पेक्ट्रल बायस को दूर करता है, और उन उच्च-आवृत्ति संरचनाओं को सफलतापूर्वक कैप्चर करता है जिन्हें मूल KAN मिस कर देते हैं।
- निरंतर सीखना: फेज-वाइज बाउंड्री डेटा परिचय में, FEKAN न्यूनतम फॉरगेटिंग के साथ सीखे गए बाउंड्री कंडीशंस को बनाए रखता है, जबकि PI-KAN महत्वपूर्ण उतार-चढ़ाव और पूर्व ज्ञान की हानि प्रदर्शित करता है।
रैंडम फीचर एनरिचमेंट: अध्ययन ने दिखाया कि फूरियर फ्रीक्वेंसीज को गाऊसी वितरण (Random Fourier Features) से सैंपल करना अक्सर नियत (deterministic) चयन से बेहतर होता है, जो हाइपरपैरामीटर सर्च स्पेस को केवल एक वेरिएंस पैरामीटर ( $\sigma$ ) तक सीमित कर देता है।

5. महत्व और निहितार्थ (Significance and Implications)

अंतर को पाटना: FEKAN, KAN की प्राथमिक कमजोरी: कम्प्यूटेशनल अक्षमता और धीमी अभिसरण को संबोधित करके, KAN को बड़े पैमाने पर वैज्ञानिक कंप्यूटिंग के लिए एक व्यवहार्य विकल्प बनाता है।
सामान्य सिद्धांत: यह शोध पत्र "फीचर एनरिचमेंट" को KAN-आधारित मॉडलों को सुधारने के एक सार्वभौमिक सिद्धांत के रूप में स्थापित करता है, जो नेटवर्क में उपयोग किए जाने वाले विशिष्ट आधार कार्यों (जैसे स्प्लाइन, वेवलेट, चेबीशेव आदि) के बावजूद लागू होता है।
वैज्ञानिक फाउंडेशन मॉडल्स: अपनी स्केलेबिलिटी और स्थिरता में सुधार करके, FEKAN, KAN को वैज्ञानिक फाउंडेशन मॉडल्स (SciFMs) के लिए एक संभावित मुख्य घटक के रूप में स्थापित करता है, जो ब्लैक-बॉक्स MLPs के लिए एक व्याख्यात्मक विकल्प प्रदान करता है।
व्यावहारिक प्रयोज्यता: इस पद्धति के लिए प्रशिक्षण एल्गोरिदम में किसी परिवर्तन की आवश्यकता नहीं है (बैकप्रोपैगेशन समान रहता है) और न ही प्रशिक्षित पैरामीटर्स में वृद्धि होती है, जो इसे मौजूदा KAN कार्यान्वयन के लिए एक "ड्रॉप-इन" अपग्रेड बनाता है।

निष्कर्षतः, FEKAN सफलतापूर्वक कोलमोगोरोव-आर्नोल्ड नेटवर्क ढांचे को उन्नत करता है, जिससे यह एक सैद्धांतिक रूप से दिलचस्प लेकिन कम्प्यूटेशनल रूप से भारी आर्किटेक्चर से बदलकर एक मजबूत, कुशल और अत्यधिक सटीक वैज्ञानिक मशीन लर्निंग टूल बन जाता है।