🤖 machine learning

Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

यह योगदान टेम्पोरल फंक्शनल सर्किट्स (Temporal Functional Circuits) को प्रस्तुत करता है, जो गेटेड रेसिडुअल कोल्मोगोरोव-अर्नोव नेटवर्क (KANs) पर आधारित एक ढांचा है जो स्पष्ट एज फंक्शन्स (edge functions) को टाइम सीरीज़ फोरकास्टिंग के लिए विश्वसनीय, समय-आधारित स्पष्टीकरणों में परिवर्तित करता है, जिससे प्रतिस्पर्धी प्रदर्शन प्राप्त होता है और सीखे गए स्प्लाइन आकारों (spline shapes) के भविष्य कहनेवाला मूल्य का प्रदर्शन होता है।

मूल लेखक: Naveen Mysore

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naveen Mysore

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कल के मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट कंप्यूटर मॉडल है जो पिछले डेटा का विश्लेषण करके अपनी भविष्यवाणी करता है। आमतौर पर, ये मॉडल "ब्लैक बॉक्स" की तरह होते हैं: वे एक उत्तर देते हैं, लेकिन यदि आप उनसे पूछते हैं कि उन्होंने वह उत्तर क्यों चुना, तो वे केवल इतना कहते हैं: "मैंने बहुत सारे नंबरों को प्रोसेस किया है।"

यह लेख KANs (कोलमोगोरोव-आर्नोल्ड नेटवर्क) नामक चीज़ का उपयोग करके ऐसे भविष्यवाणी मॉडल बनाने के लिए एक नई विधि पेश करता है। एक ब्लैक बॉक्स के बजाय, एक KAN एक पारदर्शी मशीन की तरह है जहाँ हर एक तार पर एक लेबल लगा होता है।

यहाँ इस लेख द्वारा किए गए कार्यों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "सुंदर चित्र" पर्याप्त नहीं हैं

अतीत में, शोधकर्ताओं ने KANs के भीतर गणितीय फलनों (जिन्हें "स्प्लाइन्स" कहा जाता है) के चित्र बनाकर उन्हें समझाने की कोशिश की थी। यह एक कार के इंजन के ब्लूप्रिंट को देखने जैसा है और यह कहना है: "देखें ये वक्र (curves)? यह इसी तरह काम करता है!"

लेकिन लेख तर्क देता है कि केवल वक्र को देखना यह प्रकट नहीं करता है कि क्या इंजन वास्तव में चलता है या क्या इसकी आवश्यकता भी है। कभी-कभी एक मॉडल एक तार पर एक फैंसी वक्र बनाता है लेकिन उसे पूरी तरह से अनदेखा कर देता है। लेख इसे "दृश्य सुसंगतता" (visual plausibility) बनाम "विश्वसनीयता" (reliability) कहता है। सिर्फ इसलिए कि कोई ग्राफ़िक दिखने में ऐसा लगता है कि वह भविष्यवाणी को समझा रहा है, इसका मतलब यह नहीं है कि उसने वास्तव में भविष्यवाणी का कारण उत्पन्न किया है।

2. समाधान: "स्मार्ट स्विच" (गेटेड रेसिडुअल KAN)

इसे ठीक करने के लिए, लेखकों ने एक स्मार्ट स्विच (एक "गेट") के साथ एक नया मॉडल बनाया।

रैखिक भाग (आधार/Base): कल्पना कीजिए कि एक साधारण, विश्वसनीय कैलकुलेटर है जो भविष्यवाणी के सीधे हिस्सों को संभालता है (जैसे "गर्मियों में आमतौर पर गर्मी अधिक होती है")।
KAN भाग (सुधार/Correction): कल्पना कीजिए कि एक फैंसी कलाकार है जो जटिल, लहरदार विवरण जोड़ता है (जैसे "लेकिन आज एक अजीब तूफान आ रहा है")।
गेट (Gate): यह एक स्विच है जो प्रत्येक व्यक्तिगत डेटा पॉइंट के लिए यह तय करता है कि क्या कलाकार को काम करने की अनुमति दी जानी चाहिए या हमें केवल कैलकुलेटर पर टिके रहना चाहिए।

यदि डेटा सरल है, तो स्विच बंद रहता है, और मॉडल साधारण कैलकुलेटर का उपयोग करता है। यदि डेटा अराजक और जटिल है, तो स्विच खुल जाता है, और कलाकार (KAN) भविष्यवाणी को सुधारने के लिए कदम रखता है।

3. "टेम्पोरल फंक्शनल सर्किट" (जासूसी कार्य)

लेख एक ढांचा प्रस्तुत करता है जिसे टेम्पोरल फंक्शनल सर्किट कहा जाता है। इसे मॉडल के लिए एक जासूसी किट के रूप में सोचें। नेटवर्क के प्रत्येक तार के लिए केवल तारों को देखने के बजाय, जासूस तीन विशिष्ट प्रश्न पूछता है:

यह तार किससे बात कर रहा है? (लैग असाइनमेंट): क्या यह तार इस बात की परवाह करता है कि 3 घंटे पहले क्या हुआ था या 3 दिन पहले क्या हुआ था? लेख तार को सीधे विशिष्ट समय बिंदुओं (time points) से जोड़ता है।
यह तार कितना महत्वपूर्ण है? (महत्व): लेख तारों को रैंक करता है। कुछ तार "सुपरस्टार" हैं जो भारी काम कर रहे हैं; अन्य केवल सजावट हैं। उन्होंने पाया कि जिन तारों का "मूवमेंट रेडियस" (सबसे जटिल वक्र) सबसे बड़ा होता है, वे आमतौर पर सबसे महत्वपूर्ण होते हैं।
यदि हम तार को काट दें तो क्या होगा? (हस्तक्षेप): यह सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने वास्तव में शीर्ष तारों को "काटा" (शून्य पर सेट किया) और भविष्यवाणी को देखा।
- परिणाम: जब उन्होंने शीर्ष तारों को काटा, तो भविष्यवाणी खराब हो गई। यह साबित करता है कि वे तार वास्तव में काम कर रहे थे और केवल अच्छे दिखने के लिए नहीं थे।
- "स्प्लाइन" टेस्ट: उन्होंने तार के केवल "वक्र-समृद्ध" हिस्से को हटाकर और उसके सीधे हिस्से को रखते हुए भी परीक्षण किया। भविष्यवाणी फिर भी खराब हो गई। यह साबित करता है कि वक्र का विशिष्ट आकार मायने रखता है, न कि केवल इस तथ्य से कि तार मौजूद है।

4. उन्होंने क्या पाया

शोधकर्ताओं ने आठ अलग-अलग वास्तविक दुनिया के डेटासेट्स (जैसे मौसम, सौर ऊर्जा और बिजली की खपत) के साथ-साथ कुछ काल्पनिक "जटिल" परिदृश्यों पर इसका परीक्षण किया।

कोई एक-आकार-सभी-के-लिए-उपयुक्त नहीं: कुछ डेटासेट्स के लिए (जैसे सरल मौसम पैटर्न), "स्मार्ट स्विच" KAN वाले हिस्से को ज्यादातर बंद रखता था क्योंकि एक साधारण कैलकुलेटर पर्याप्त था। अन्य डेटासेट्स के लिए (जैसे जटिल शासन-परिवर्तन संकेत), स्विच पूरी तरह खुला रहा, और KAN भाग ने दिन बचा लिया, जिससे सरल मॉडलों की तुलना में त्रुटियों में लगभग 60% की कमी आई।
गेट सबसे अच्छा जानता है: "स्मार्ट स्विच" ने स्वतः ही निर्धारित किया कि कब डेटा एक साधारण मॉडल के लिए बहुत जटिल था और कब यह इतना सरल था कि जटिल भाग को अनदेखा किया जा सके।
काम का प्रमाण: तारों को काटकर और भविष्यवाणी को विफल होते देखकर, उन्होंने साबित किया कि मॉडल केवल डेटा को याद नहीं कर रहा था; बल्कि यह समय श्रृंखला (time series) को समझने के लिए विशिष्ट, जटिल गणितीय आकारों का वास्तव में उपयोग कर रहा था।

सारांश

यह लेख कहता है: "एक न्यूरल नेटवर्क के भीतर सुंदर ग्राफों को केवल देखें नहीं। एक ऐसा मॉडल बनाएं जिसमें एक स्विच हो जो यह जानता हो कि जटिल गणित का उपयोग कब करना है, और फिर तारों को काटकर और यह देखकर कि क्या मॉडल ढह जाता है, यह साबित करें कि यह काम करता है।"

उन्होंने दिखाया कि उनकी नई विधि मौजूदा सर्वोत्तम मॉडलों जितनी ही सटीक है, लेकिन उनके विपरीत, यह वास्तव में विशिष्ट समय बिंदुओं और विशिष्ट गणितीय आकारों की ओर इशारा कर सकती है जो यह समझाते हैं कि इसने भविष्यवाणी क्यों की। यह एक जादू के खेल को एक पारदर्शी, समझने योग्य प्रक्रिया में बदल देता है।

तकनीकी निष्कर्ष: KAN पूर्वानुमान में टेम्पोरल फंक्शनल सर्किट्स (Temporal Functional Circuits)

समस्या विवरण
लॉन्ग-टर्म टाइम सीरीज़ फोरकास्टिंग (LTSF) ने हाल ही में यह प्रदर्शित किया है कि सरल रैखिक मॉडल (linear models) मानक बेंचमार्क पर ट्रांसफॉर्मर जैसे जटिल आर्किटेक्चर से बेहतर प्रदर्शन करते हैं, जो अतिरिक्त मॉडल जटिलता की आवश्यकता पर प्रश्न उठाते हैं। जबकि Kolmogorov-Arnold Networks (KANs) अपने "अंतर्निहित रूप से व्याख्या योग्य" (inherently interpretable) सीखे गए एज फंक्शन्स (आमतौर पर B-splines) के कारण मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) के एक आशाजनक विकल्प के रूप में उभरे हैं, मौजूदा अनुप्रयोग अक्सर इन फंक्शन्स को व्याख्यात्मक प्रमाण के रूप में विज़ुअलाइज़ करने पर निर्भर करते हैं। यह कार्य तर्क देता है कि लेटेंट स्प्लाइन आकृतियों (latent spline shapes) को विज़ुअलाइज़ करना, निष्ठावान और समय-बद्ध (temporally anchored) स्पष्टीकरण प्रदान करने के समान नहीं है। विशेष रूप से, एक KAN एज फंक्शन $\phi_e(z)$ स्वाभाविक रूप से यह प्रकट नहीं करता है कि किस इनपुट टाइम स्टेप्स ने इसे सक्रिय किया, क्या मॉडल ने वास्तव में उस एज का उपयोग किया, या क्या उसे हटाने से भविष्यवाणी बदल जाएगी। इसके अलावा, पूर्व जांचों से पता चलता है कि कोई भी एकल पूर्वानुमान कर्नेल (रैखिक, KAN, या अटेंशन) सभी डेटासेट्स पर सार्वभौमिक रूप से प्रभावी नहीं है, जिससे यह निर्धारित करने के लिए एक ढांचे की आवश्यकता होती है कि कब KAN फायदेमंद होते हैं और क्यों।

कार्यप्रणाली (Methodology)
यह कार्य टेम्पोरल फंक्शनल सर्किट्स (TFC) पेश करता है, जो एक ढांचा है जिसका उद्देश्य संरचनात्मक डिजाइन और लेटेंट विज़ुअलाइज़ेशन के हस्तक्षेप-आधारित सत्यापन (intervention-based validation) के संयोजन के माध्यम से KAN एज फंक्शन्स को निष्ठावान स्पष्टीकरण में बदलना है।

गेटेड रेसिडुअल KAN आर्किटेक्चर (Gated Residual KAN Architecture):
लेखक एक पूर्वानुमान आर्किटेक्चर प्रस्तावित करते हैं जिसे $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$ के रूप में परिभाषित किया गया है।

विघटन (Decomposition): इनपुट सिग्नल को मूविंग एवरेज फ़िल्टर का उपयोग करके ट्रेंड और रेसिडुअल घटकों में विभाजित किया जाता है।
शाखाएँ (Branches): एक लीनियर ब्रांच ( $f_{lin}$ ) रैखिक पैटर्न को संभालती है, जबकि एक KAN ब्रांच ( $f_{KAN}$ ) नॉनलीनियर रेसिडुअल्स को कैप्चर करती है।
गेटिंग (Gating): एक $L_1$ -रेगुलराइज्ड गेट $g(x) \in [0, 1]^C$ प्रति चैनल KAN ब्रांच के योगदान को नियंत्रित करता है। यह मॉडल को यह सीखने में सक्षम बनाता है कि KAN सुधार (linearity की ओर वापसी) को कब दबाना है और यह KAN उपयोग ( $U_{KAN}$ ) के लिए एक मापने योग्य मीट्रिक प्रदान करता है।
KAN संरचना: KAN ब्रांच किनारों (edges) पर स्प्लाइन्स का उपयोग करती है, जिसे $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$ के रूप में परिभाषित किया गया है।

टेम्पोरल फंक्शनल सर्किट्स (TFC):
प्रत्येक KAN एज $e$ के लिए, ढांचा एक स्पष्टीकरण टुपल $E_e = (\phi_e, A_e, I_e, \Delta_e)$ का निर्माण करता है:

$\phi_e$ : सीखा गया यूनिवेरिएट फंक्शन।
$A_e$ (लैग असाइनमेंट): एक आउटपुट-जागरूक असाइनमेंट विधि जो पैच एम्बेडिंग और डाउनस्ट्रीम लेयर्स के माध्यम से ग्रेडिएंट्स की गणना करके, गेट स्टेट को ध्यान में रखते हुए, एडजेस को विशिष्ट इनपुट लैग्स से मैप करती है।
$I_e$ (महत्व): एक रैंकिंग मीट्रिक जो भविष्यवाणी में एज के अपेक्षित योगदान पर आधारित है, जो एज के आउटपुट आयाम और डाउनस्ट्रीम संवेदनशीलता को जोड़ता है। यह कार्य B-spline ग्रिड के एक्टिवेशन रेंज ( $R_e$ ) का भी उपयोग डेटा-स्वतंत्र प्रॉक्सी के रूप में करता है।
$\Delta_e$ (हस्तक्षेप प्रभाव): एज पर हस्तक्षेप करने पर भविष्यवाणी हानि (prediction loss) में परिवर्तन। हस्तक्षेपों में एज को शून्य करना, इसे इसके माध्य (mean) से बदलना, या स्प्लाइन रिमूवल (सीखे गए B-spline घटक को रखते हुए मूल SiLU टर्म को बनाए रखना) शामिल है।

निष्ठा सत्यापन (Faithfulness Validation):
ढांचा निम्नलिखित के माध्यम से स्पष्टीकरणों को मान्य करता है:

एब्लेशन कर्व्स (Ablation Curves): उच्चतम-रैंक वाले एडजेस ( $R_e$ द्वारा) को चरणबद्ध तरीके से हटाना और MSE गिरावट को मापना। एक निष्ठावान रैंकिंग में $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$ दिखना चाहिए।
सिंथेटिक मैकेनिज्म की रिकवरी: बढ़ते जटिलता वाले सिंथेटिक रेजीम्स (Linear, Multi-Frequency, Threshold AR, Regime Switching) पर मॉडल का परीक्षण करना ताकि यह सत्यापित किया जा सके कि गेट उपयोग सिग्नल जटिलता के साथ सह-संबंधित है या नहीं।
हस्तक्षेप परीक्षण (Intervention Tests): विशेष रूप से यह परीक्षण करना कि क्या सीखा गया स्प्लाइन रूप स्वयं भविष्य कहनेवाला मूल्य रखता है या नहीं, इसके लिए फुल ज़ीरोइंग और स्प्लाइन रिमूवल की तुलना करना।

मुख्य परिणाम

प्रदर्शन: आठ बेंचमार्क (Weather, ETT, Solar, और PPG सहित) में, गेटेड KAN रैखिक, अटेंशन और MLP विकल्पों के प्रतिस्पर्धी है। यह 4/8 डेटासेट्स पर सर्वश्रेष्ठ या सर्वश्रेष्ठ के बराबर MSE प्राप्त करता है। विशेष रूप से, गेटेड KAN रेजीम-स्विचिंग सिग्नल्स पर शुद्ध रूप से रैखिक मॉडलों की तुलना में 59% कम MSE प्राप्त करता है।
गेट उपयोग: गेट उपयोग मीट्रिक ( $U_{KAN}$ ) सिग्नल जटिलता के साथ सह-संबंधित है। सिंथेटिक प्रयोगों में, $U_{KAN}$ रैखिक (0.49) से लेकर रेजीम-स्विचिंग सिग्नल्स (0.72) तक मोनोटोनिक रूप से बढ़ता है। वास्तविक डेटा पर, $U_{KAN}$ मुख्य रूप से रैखिक डेटासेट्स (जैसे ETTh1) के लिए कम और जटिल डेटासेट्स (जैसे Solar) के लिए अधिक है।
स्पष्टीकरण की निष्ठा:
- एब्लेशन कर्व्स: उच्चतम-रैंक वाले एडजेस ( $R_e$ द्वारा) को हटाने से रैंडम रिमूवल या निम्नतम-रैंक वाले एडजेस को हटाने की तुलना में लगातार प्रदर्शन में गिरावट आती है। Weather डेटासेट पर, शीर्ष-50 एडजेस को हटाने से MSE $2.20 \times 10^{-4}$ बढ़ गया, जबकि रैंडम रिमूवल का प्रभाव नगण्य था।
- स्प्लाइन का मूल्य: केवल B-spline घटक को हटाने (मूल SiLU को बनाए रखते हुए) से भविष्यवाणियों में गिरावट आई और इसने Weather डेटासेट पर फुल ज़ीरोइंग के प्रभाव का 41% तक हिस्सा लिया। यह प्रमाण देता है कि सीखा गया स्प्लाइन रूप केवल एक फिटिंग आर्टिफैक्ट नहीं है, बल्कि एक कार्यात्मक घटक है।
- लैग रिकवरी: ज्ञात कारण लैग्स (causal lags) वाले सिंथेटिक सिग्नल्स पर, प्रस्तावित एज-टू-लैग असाइनमेंट ( $A_e$ ) ने 0.44 के AUPRC के साथ वास्तविक लैग्स को रिकवर किया (रैंडम से 6 गुना ऊपर) और उन विशिष्ट KAN एडजेस की पहचान की जो लैग डिपेंडेंसी के लिए जिम्मेदार थे।
MLP के साथ तुलना: जबकि एक गेटेड MLP, गेटेड KAN की सटीकता प्राप्त कर सकता है, यह आवश्यक स्पष्ट 'एज फंक्शन्स' प्रदान नहीं कर सकता जो टेम्पोरल फंक्शनल सर्किट विश्लेषण के लिए आवश्यक हैं।

महत्व और दावे
यह कार्य दावा करता है कि KAN व्याख्यात्मकता के लिए केवल स्प्लाइन प्लॉट्स को विज़ुअलाइज़ करना पर्याप्त नहीं है; इसके लिए टेम्पोरल एंकरिंग और हस्तक्षेप-परीक्षित निष्ठा की आवश्यकता है।

मैकेनिस्टिक अंतर्दृष्टि: ढांचा यह प्रदर्शित करता है कि KAN को ऐसे कार्यात्मक सर्किट्स में विघटित किया जा सकता है जहाँ विशिष्ट एडजेस को विशिष्ट इनपुट लैग्स से जोड़ा जाता है और उन्हें हटाने के माध्यम से मान्य किया जाता है।
नैदानिक उपयोगिता (Diagnostic Utility): गेटेड आर्किटेक्चर एक मापने योग्य निदान ( $U_{KAN}$ ) प्रदान करता है जो यह बताता है कि कब एक नॉनलीनियर सुधार आवश्यक है, यह समझाता है कि KAN कुछ डेटासेट्स (जटिल, रेजीम-स्विचिंग) पर क्यों मदद करते हैं लेकिन अन्य (मुख्य रूप से रैखिक) पर क्यों नहीं।
स्प्लाइन्स का मूल्य: यह कार्य इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि सीखा गया B-spline रूप केवल एक फिटिंग आर्टिफैक्ट नहीं है, बल्कि भविष्यवाणी का एक कार्यात्मक घटक है, क्योंकि इसे हटाने से प्रदर्शन काफी खराब हो जाता है।
सीमित दायरा: लेखक स्वीकार करते हैं कि उनके हस्तक्षेप मॉडल के भीतर के प्रभावों को स्थापित करते हैं, न कि डेटा-जनरेटिंग प्रक्रिया के बारे में कारण संबंधी (causal) दावे। वे यह भी नोट करते हैं कि हालांकि गेटेड KAN प्रतिस्पर्धी है, यह लगातार स्टेट-ऑफ-द-आर्ट नहीं है, और यह ढांचा यह समझने की दिशा में एक कदम है कि KAN कब और कैसे योगदान देते हैं, न कि सार्वभौमिक श्रेष्ठता का दावा करना।

1. समस्या: "सुंदर चित्र" पर्याप्त नहीं हैं

2. समाधान: "स्मार्ट स्विच" (गेटेड रेसिडुअल KAN)

3. "टेम्पोरल फंक्शनल सर्किट" (जासूसी कार्य)

4. उन्होंने क्या पाया

सारांश

इसी तरह के और पेपर