🤖 machine learning

FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks

यह शोध पत्र फ्रैक्टल इंटरपोलेशन कोलमोगोरोव-आर्नोल्ड नेटवर्क (FI-KAN) प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो पारंपरिक B-स्प्लाइन-आधारित KANs की तुलना में गैर-चिकनी (non-smooth) और फ्रैक्टल लक्ष्यों के लिए बेहतर सन्निकटन सटीकता (approximation accuracy) और नियमितता अनुकूलन प्राप्त करने के लिए KANs में सीखने योग्य फ्रैक्टल इंटरपोलेशन फंक्शन बेस को एकीकृत करता है।

मूल लेखक: Gnankan Landry Regis N'guessan

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gnankan Landry Regis N'guessan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखाने की कोशिश कर रहे हैं।

लंबे समय से, हमने इस रोबोट के लिए दो मुख्य प्रकार के "पेन" का उपयोग किया है:

स्मूथ पेन (MLPs): यह पेन एकदम सटीक, बहती हुई रेखाएं खींचता है। यह सूर्यास्त या एक चिकनी पहाड़ी बनाने के लिए बेहतरीन है, लेकिन यदि आप इसे एक टेढ़ी-मेढ़ी बिजली की चमक या कागज का एक कुचला हुआ टुकड़ा बनाने के लिए कहते हैं, तो यह संघर्ष करता है। यह खुरदरे किनारों को चिकना करने की कोशिश करता रहता है, जिससे चित्र धुंधला और गलत दिखने लगता है।
फ्लेक्सिबल पेन (KANs): यह एक नया, स्मार्ट पेन है। केवल एक चिकनी रेखा खींचने के बजाय, यह अपने रास्ते में अलग-अलग आकार (जैसे छोटे उभार और लहरें) बनाना सीख सकता है। यह विवरणों को पकड़ने में स्मूथ पेन की तुलना में बहुत बेहतर है।

लेकिन यहाँ एक समस्या है:
यहाँ तक कि फ्लेक्सिबल पेन (KAN) भी एक विशिष्ट प्रकार के गणित पर आधारित है जो यह मानता है कि चीजें ज्यादातर चिकनी होती हैं। यदि आप इसे वास्तव में "खुरदरा" कुछ बनाने के लिए कहते हैं—जैसे कि एक फ्रैक्टल तटरेखा, शेयर बाजार की गिरावट, या टूरी हुई चट्टान का नुकीला किनारा—तो यह अभी भी चिकनापन थोपने की कोशिश करता है। यह एक रूलर से तटरेखा की लंबाई मापने जैसा है; आप उसके छोटे-छोटे खांचों और कोनों को छोड़ देते हैं।

पेश है FI-KAN: "शेप-शिफ्टिंग" पेन

यह पेपर एक नए टूल को पेश करता है जिसे FI-KAN (फ्रैक्टल इंटरपोलेशन कोलोमोगोरोव-आर्नोल्ड नेटवर्क) कहा जाता है। FI-KAN को एक जादुई पेन के रूप में सोचें जो अपनी बनावट (texture) बदल सकता है।

केवल एक स्मूथ टिप या बंपी टिप होने के बजाय, इस पेन में एक "डायल" है जिसे रोबोट सीखने के दौरान घुमा सकता है।

डायल को "स्मूथ" पर घुमाएं: पेन एक सामान्य, चिकने पेन की तरह काम करता है (एक गेंद या एक चिकनी वक्र रेखा बनाने के लिए बेहतरीन)।
डायल को "रफ" पर घुमाएं: पेन अचानक टेढ़ा-मेढ़ा, खुद को दोहराने वाला और फ्रैक्टल बन जाता है (एक फर्न के पत्ते, बिजली की चमक, या पर्वत श्रृंखला बनाने के लिए बेहतरीन)।

FI-KAN की प्रतिभा यह है कि रोबोट खुद सीखता है कि डायल को कहाँ घुमाना है। इसे किसी इंसान द्वारा यह बताने की आवश्यकता नहीं है कि, "यह हिस्सा चिकना है, वह हिस्सा खुरदरा है।" रोबोट इसे अपने आप समझ लेता है।

जादुई पेन के दो संस्करण

यह पेपर इस जादुई पेन का उपयोग करने के दो तरीके प्रस्तुत करता है:

1. "प्योर" संस्करण (विशेषज्ञ)

यह कैसे काम करता है: यह पेन केवल खुरदरी, फ्रैक्टल बनावट का उपयोग करता है। यह चिकने हिस्से को पूरी तरह से हटा देता है।
सबसे अच्छा किसके लिए है: उन चीजों को बनाने के लिए जो हमेशा खुरदरी होती हैं, जैसे कि एक फ्रैक्टल पैटर्न या एक बहुत ही टेढ़ा-मेढ़ा सिग्नल।
कमजोरी: यदि आप इसे एक चिकना वृत्त बनाने के लिए कहते हैं, तो यह भ्रमित हो जाता है। यह वृत्त को छोटे-छोटे टेढ़े-मेढ़े चरणों से बनाने की कोशिश करता है, जो देखने में बहुत बुरा लगता है। यह टूटी हुई ईंटों से एक चिकनी दीवार बनाने जैसा है।

2. "हाइब्रिड" संस्करण (ऑल-राउंडर)

यह कैसे काम करता है: यह सुपरस्टार है। यह स्मूथ पेन को बनाए रखता है और ऊपर से एक "करेक्शन लेयर" के रूप में खुरदरे फ्रैक्टल पेन को जोड़ता है।
उपमा: कल्पना कीजिए कि आप एक दीवार पर पेंट कर रहे हैं।
- पहले, आप बड़े, सपाट क्षेत्रों को कवर करने के लिए एक स्मूथ रोलर का उपयोग करते हैं (B-spline वाला हिस्सा)।
- फिर, आप एक खुरदरे स्पंज का उपयोग करते हैं और जहाँ दीवार में दरारें या उभार हैं, वहाँ बनावट जोड़ने के लिए उसे ऊपर से थपथपाते हैं (फ्रैक्टल वाला हिस्सा)।
क्यों जीतता है: यदि दीवार चिकनी है, तो स्पंज शांत रहता है, और स्मूथ रोलर सारा काम करता है। यदि दीवार खुरदरी है, तो स्पंज सक्रिय हो जाता है और सभी टेढ़े-मेढ़े विवरणों को पकड़ लेता है। यह संस्करण हर चीज़ में बेहतर है क्योंकि यह तुरंत स्मूथ से रफ में स्विच कर सकता है।

यह क्यों मायने रखता है? (वास्तविक दुनिया के उदाहरण)

इस पेपर ने इसे उन कठिन समस्याओं पर टेस्ट किया जहाँ "स्मूथ" गणित आमतौर पर विफल हो जाता है:

"टूटे हुए" गणित की समस्याएं (PDEs): भौतिकी (physics) में, कुछ समीकरण ऐसी चीजों का वर्णन करते हैं जैसे कि एक नुकीले कोने के चारों ओर तरल पदार्थ का प्रवाह या किसी सामग्री में गर्मी का फैलना। इनके समाधान स्वाभाविक रूप से "खुरदरे" और टेढ़े-मेढ़े होते हैं।
- परिणाम: इन समस्याओं को हल करने में हाइब्रिड FI-KAN पुराने तरीकों की तुलना में 79 गुना अधिक सटीक था। यह एक धुंधली फोटो और एक हाई-डेफिनिशन 4K इमेज के बीच के अंतर जैसा है।
"नॉइजी" डेटा: जब डेटा अव्यवस्थित होता है (जैसे शेयर की कीमतें या भूकंप के सेंसर), तो पुराने पेन शोर (noise) से भ्रमित हो जाते हैं। FI-KAN पेन स्वाभाविक रूप से "सिग्नल" (असली पैटर्न) को "शोर" (noise) से अलग करने में अच्छा है क्योंकि यह समझता है कि खुरदरापन कैसे काम करता है।
"फ्रैक्टल" टेस्ट: जब एक वास्तविक फ्रैक्टल (एक आकार जो कितना भी ज़ूम करने पर समान दिखता है) बनाने के लिए कहा गया, तो FI-KAN पेन ने इसे सही ढंग से बनाया, जबकि अन्य पेन हार मान गए और केवल एक धुंधला सा निशान छोड़ दिया।

"ऑकैम्स रेज़र" डायल

इसकी सबसे शानदार विशेषताओं में से एक अंतर्निहित "कॉम्प्लेक्सिटी फ़िल्टर" है।
कल्पना कीजिए कि रोबोट आलसी है और कम से कम काम करना चाहता है। FI-KAN का एक नियम है: "जब तक बहुत आवश्यक न हो, पेन को खुरदरा न बनाएं।"

यदि लक्ष्य एक चिकना वक्र है, तो रोबोट डायल को "स्मूथ" पर सेट करता है और ऊर्जा बचाता है।
यदि लक्ष्य एक टेढ़ा-मेढ़ा पहाड़ है, तो रोबोट तभी डायल को "रफ" पर घुमाता है।

यह रोबोट को सरल चीजों को जटिल बनाने और बहुत अधिक सोचने से रोकता है।

निचोड़ (Bottom Line)

दशकों से, AI जटिल, वास्तविक दुनिया की समस्याओं को हल करने के लिए ऐसे उपकरणों का उपयोग करने की कोशिश कर रहा है जो चिकनी, आदर्श गणित के लिए डिज़ाइन किए गए हैं। यह एक हथौड़े से कार के इंजन को ठीक करने जैसा है।

FI-KAN AI को एक स्विस आर्मी नाइफ देता है। यह ज़रूरत पड़ने पर एक स्मूथ स्क्रूड्राइवर हो सकता है, या जब काम की मांग हो तो एक टेढ़ा-मेढ़ा आरी (saw) बन सकता है। यह जानकर कि समस्या कितनी खुरदरी है, यह वैज्ञानिक और इंजीनियरिंग कार्यों को पहले से कहीं अधिक तेज़ी से और अधिक सटीकता से हल करता है।

संक्षेप में: यदि दुनिया चिकनी है, तो स्मूथ पेन का उपयोग करें। यदि दुनिया खुरदरी है, तो फ्रैक्टल पेन का उपयोग करें। FI-KAN के साथ, AI अपने आप सीख जाता है कि काम के लिए सही पेन कौन सा चुनना है।

यहाँ शोध पत्र "FI-KAN: Fractal Interpolation Kolmogorov–Arnold Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मानक न्यूरल फंक्शन एप्रोक्सिमेशन आर्किटेक्चर, जिनमें मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और कोलोमोगोरोव-आर्नोल्ड नेटवर्क (KANs) शामिल हैं, स्मूथ बेसिस फंक्शन्स (जैसे ReLU, SiLU, या B-splines) पर निर्भर करते हैं। हालांकि ये स्मूथ टार्गेट्स (उच्च रेगुलैरिटी वाले सोबोलेव या बेसोव स्पेस) के लिए लगभग इष्टतम हैं, लेकिन गैर-स्मूथ (non-smooth) फंक्शन्स को एप्रोक्सिमेट करने के दौरान वे एक मौलिक रेगुलरिटी मिसमैच (regularity mismatch) का सामना करते हैं।

कई वैज्ञानिक और इंजीनियरिंग टार्गेट्स—जैसे कि टर्बुलेंस फील्ड्स, वित्तीय समय श्रृंखला (financial time series), फ्रैक्चर सतहें, और कॉर्नर सिंगुलैरिटी या रफ कोएफिशिएंट्स वाले पार्शियल डिफरेंशियल इक्वेशंस (PDEs) के समाधान—होल्डर रेगुलरिटी ( $\alpha < 1$ ) या फ्रैक्टल सेल्फ-सिमिलैरिटी प्रदर्शित करते हैं। ऐसे फंक्शन्स को स्मूथ बेसिस का उपयोग करके एप्रोक्सिमेट करने के लिए बेस एलिमेंट्स में घातांकीय वृद्धि ( $O(h^{-1/\alpha})$ ) की आवश्यकता होती है, जिससे मानक आर्किटेक्चर अक्षम हो जाते हैं और अंडरफिटिंग या ओवर-स्मूथिंग का शिकार हो जाते हैं।

मुख्य समस्या यह है कि एक ऐसे न्यूरल आर्किटेक्चर का अभाव है जो टार्गेट फंक्शन की ज्यामितीय रेगुलरिटी (geometric regularity) को सीखने में सक्षम हो, विशेष रूप से प्रशिक्षण के दौरान स्मूथ से फ्रैक्टल संरचनाओं में अनुकूलित होने में।

2. कार्यप्रणाली: FI-KAN आर्किटेक्चर (Methodology: FI-KAN Architecture)

लेखक फ्रैक्टल इंटरपोलेशन KAN (FI-KAN) पेश करते हैं, जो इटरेटेड फंक्शन सिस्टम्स (IFS) थ्योरी से प्राप्त फ्रैक्टल इंटरपोलेशन फंक्शन्स (FIFs) को KAN फ्रेमवर्क में एकीकृत करता है।

मुख्य तंत्र (Core Mechanism)

B-spline बेसिस के बजाय, FI-KAN सीखने योग्य फ्रैक्टल बेसिस का उपयोग करता है। मुख्य नवाचार IFS के वर्टिकल कॉन्ट्रैक्शन पैरामीटर्स ( $d_i$ ) को ट्रेन करने योग्य पैरामीटर्स के रूप में मानना है।

फ्रैक्टल डायमेंशन कंट्रोल: बेसिस फंक्शन्स का बॉक्स-काउंटिंग डायमेंशन ( $dim_B$ $d i m_{B}$ ), कॉन्ट्रैक्शन पैरामीटर्स $d$ $d$ का एक डिफरेंशिएबल फंक्शन है।
- जब $d = 0$ होता है, तो बेसिस एक मानक पीसवाइज लीनियर "हैट" फंक्शन में बदल जाता है (स्मूथ, $dim_B = 1$ )।
- जैसे-जैसे $|d|$ बढ़ता है, बेसिस में सेल्फ-अफ़ाइन, फ्रैक्टल संरचना विकसित होती है ( $dim_B > 1$ )।
डिफरेंशिएबिलिटी: FIF बेसिस के मूल्यांकन के लिए एक ट्रंकेटेड रीड-बाज्राटेरिक (RB) इटरेशन का उपयोग किया जाता है, जो पूरी तरह से डिफरेंशिएबल है, जिससे एंड-टू-एंड ग्रेडिएंट-बेस्ड ऑप्टिमाइजेशन संभव होता है।

दो वेरिएंट्स (Two Variants)

शोध पत्र दो अलग-अलग गणितीय ढांचों पर आधारित आर्किटेक्चर प्रस्तावित करता है:

प्योर FI-KAN (Barnsley Framework):
- संरचना: B-splines को पूरी तरह से FIF बेसिस से बदल देता है।
- फंक्शन: $\phi(x) = \sum w_m \phi_m(x; d)$ ।
- व्यवहार: रफ/फ्रैक्टल टार्गेट्स के लिए अत्यधिक विशिष्ट। यह स्मूथ टार्गेट्स पर संघर्ष करता है क्योंकि यह उच्च-डिग्री पॉलीनोमियल्स को कुशलतापूर्वक पुनरुत्पादित नहीं कर पाता (जब तक कि $d \approx 0$ न सीखा जाए), जो इसकी एप्रोक्सिमेशन पावर को सीमित करता है।
हाइब्रिड FI-KAN (Navascués Framework):
- संरचना: एक $\alpha$ $α$ -फ्रैक्टल डिकम्पोजिशन लागू करता है: $f^\alpha_b = b + h$ $f_{b}^{α} = b + h$ ।
  - $b$ (Base): एक मानक B-spline पाथ (क्लासिकल एप्रोक्सिमेंट)।
  - $h$ (Correction): एक समानांतर FIF पाथ जो एक फ्रैक्टल रेसिड्यूल के रूप में कार्य करता है।
- फंक्शन: $\phi(x) = \text{Spline}(x) + \sum w_m \phi_m(x; d)$ ।
- व्यवहार: पूरे स्पेक्ट्रम में मजबूत। यह $d=0$ होने पर एक मानक KAN बन जाता है और केवल वहीं फ्रैक्टल करेक्शन सीखता है जहाँ डेटा की मांग होती है।

रेगुलराइजेशन (Regularization)

एक फ्रैक्टल डायमेंशन रेगुलराइज़र पेश किया गया है जो अनावश्यक फ्रैक्टल जटिलता को दंडित करता है:
$R_{frac}(d) = (\dim_B(d) - 1)^2$
यह एक "जियोमेट्री-अवेयर ऑकम्स रेज़र" (Occam's razor) के रूप में कार्य करता है, जो नेटवर्क को स्मूथ बेस ( $dim_B \approx 1$ ) सीखने के लिए प्रोत्साहित करता है, जब तक कि डेटा फ्रैक्टल संरचना का पुख्ता प्रमाण न दे।

3. मुख्य योगदान (Key Contributions)

लर्नेबल बेसिस ज्योमेट्री: पहला न्यूरल आर्किटेक्चर जहाँ बेसिस फंक्शन्स की ज्यामितीय रेगुलरिटी (फ्रैक्टल डायमेंशन) एक निरंतर, सीखने योग्य पैरामीटर है जो IFS थ्योरी से व्युत्पन्न है।
सैद्धांतिक आधार: यह सिद्ध करता है कि FIF बेसिस $O(N)$ पैरामीटर्स के साथ सेल्फ-अफ़ाइन टार्गेट्स को सटीक रूप से दर्शा सकते हैं, जबकि B-splines को $O(\epsilon^{-1/\alpha})$ की आवश्यकता होती है। यह स्थापित करता है कि प्योर FI-KAN स्मूथ टार्गेट्स पर अनंत टोटल वेरिएशन से ग्रस्त होता है, जो इसके प्रदर्शन में गिरावट की व्याख्या करता है।
हाइब्रिड आर्किटेक्चर: यह प्रदर्शित करता है कि स्मूथ-रफ डिकम्पोजिशन (हाइब्रिड FI-KAN) शुद्ध स्मूथ और शुद्ध फ्रैक्टल दोनों दृष्टिकोणों से बेहतर प्रदर्शन करता है, जो मिश्रित रेगुलरिटी के लिए एक यूनिवर्सल एप्रोक्सिमेटर प्रदान करता है।
व्याख्यात्मकता (Interpretability): सीखे गए कॉन्ट्रैक्शन पैरामीटर्स टार्गेट रेगुलरिटी के लिए एक सीधा डायग्नोस्टिक प्रदान करते हैं। सीखा गया $dim_B$ , टार्गेट के वास्तविक होल्डर एक्सपोनेंट के साथ मोनोटोनिक रूप से सह-संबंधित (correlate) होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक 1D/2D रिग्रेशन, नॉइज़ रोबस्टनेस और नॉन-स्मूथ PDE सॉल्यूशंस पर FI-KAN को सत्यापित करते हैं।

होल्डर रेगुलरिटी स्वीप: टार्गेट्स $f_\alpha(x) = |x|^\alpha$ ( $\alpha \in [0.2, 2.0]$ ) पर, हाइब्रिड FI-KAN हर स्तर पर KAN से बेहतर प्रदर्शन करता है, जिसमें सुधार 1.3x से 33x (MSE में कमी) तक है।
फ्रैक्टल टार्गेट्स: वीयरस्ट्रॉस (Weierstrass) और टाकी-लैंड्सबर्ग (Takagi-Landsberg) फंक्शन्स पर, हाइब्रिड FI-KAN KAN की तुलना में 6.3x तक MSE कमी प्राप्त करता है। प्योर FI-KAN भी इन विशिष्ट टार्गेट्स पर KAN से बेहतर प्रदर्शन करता है, लेकिन स्मूथ टार्गेट्स पर विफल रहता है।
नॉन-स्मूथ PDE सॉल्यूशंस:
- रफ-कोएफिशिएंट डिफ्यूजन: हाइब्रिड FI-KAN, KAN की तुलना में 65x से 79x सुधार प्राप्त करता है।
- L-शेप्ड डोमेन (कॉर्नर सिंगुलैरिटी): $r^{2/3}$ सिंगुलैरिटी को एप्रोक्सिमेट करने में 3.5x सुधार।
- स्टोकेस्टिक हीट इक्वेशन: शोर वाले सॉल्यूशंस पर 25x तक सुधार।
नॉइज़ रोबस्टनेस: FI-KAN एक अंतर्निहित मल्टी-स्केल डीनॉइज़र के रूप में कार्य करता है, जो कम सिग्नल-टू-नॉइज़ रेशियो (5 dB) पर भी KAN पर 4.7x से 6.1x का लाभ बनाए रखता है।
पैरामीटर दक्षता: भले ही इसे पैरामीटर संख्या के लिए मैच किया गया हो, हाइब्रिड FI-KAN, KAN से बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि यह लाभ क्षमता (capacity) के कारण नहीं बल्कि आर्किटेक्चर के कारण है।

5. महत्व और निहितार्थ (Significance and Implications)

सिद्धांत-आधारित रेगुलरिटी मैचिंग: यह शोध पत्र स्थापित करता है कि बेसिस ज्योमेट्री को टार्गेट रेगुलरिटी से मेल खाना चाहिए। प्योर और हाइब्रिड वेरिएंट्स के बीच का अंतर नियंत्रित प्रमाण प्रदान करता है कि केवल पैरामीटर्स की संख्या बढ़ाना पर्याप्त नहीं है; बेसिस फंक्शन्स का आकार महत्वपूर्ण है।
वैज्ञानिक कंप्यूटिंग: FI-KAN उन समस्याओं के लिए एक सिद्धांत-आधारित समाधान प्रदान करता है जहाँ नॉन-स्मूथनेस स्वाभाविक है (जैसे फ्लूइड डायनेमिक्स, मटेरियल साइंस, जियोफिजिक्स), जो उस गैप को भरता है जहाँ मानक PINNs और KANs अपनी स्मूथनेस धारणाओं के कारण विफल हो जाते हैं।
व्याख्यात्मक जटिलता: फ्रैक्टल डायमेंशन को सीखने और रेगुलराइज करने की क्षमता न्यूरल नेटवर्क्स में व्याख्यात्मकता का एक नया आयाम प्रदान करती है, जिससे मॉडल को अंतर्निहित भौतिक प्रक्रिया की खुरदरापन (roughness) को "खोजने" की अनुमति मिलती है।
सीमाएँ: यह विधि $K=2$ के लिए फॉरवर्ड पास में लगभग 2.5x कम्प्यूटेशनल ओवरहेड (अनुक्रमिक पुनरावृत्ति के कारण) जोड़ती है। यह स्ट्रक्चर्ड रफनेस (डिटरमिनिस्टिक या PDE-इनहेरिटेड) के लिए सबसे प्रभावी है, न कि अनस्ट्रक्चर्ड स्टोकेस्टिक नॉइज़ के लिए।

निष्कर्षतः, FI-KAN "स्मूथ-फर्स्ट" न्यूरल एप्रोक्सिमेशन से रेगुलरिटी-एडेप्टिव एप्रोक्सिमेशन की ओर एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है, जो फ्रैक्टल ज्योमेट्री का लाभ उठाकर उन समस्याओं को हल करता है जो मानक डीप लर्निंग आर्किटेक्चर के लिए पहले कठिन थीं।