🤖 machine learning

Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

यह शोध पत्र Symbolic-KAN को प्रस्तुत करता है, जो एक नवीन न्यूरल आर्किटेक्चर है जो स्केलेबल लर्निंग और व्याख्यात्मकता के बीच के अंतर को पाटने के लिए प्रशिक्षित डीप नेटवर्क्स में विविक्त प्रतीकात्मक संरचनाओं (discrete symbolic structures) को एकीकृत करता है, जिससे पोस्ट-होक सिम्बोलिक फिटिंग की आवश्यकता के बिना रिग्रेशन और फिजिक्स-इन्फॉर्म्ड समस्याओं के लिए संक्षिप्त, क्लोज्ड-फॉर्म गवर्निंग इक्वेशंस की सीधी खोज संभव हो पाती है।

मूल लेखक: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

प्रकाशित 2026-03-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को भौतिकी के नियमों को समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं, जैसे कि एक पेंडुलमम कैसे झूलता है या एक धातु की छड़ के माध्यम से ऊष्मा कैसे फैलती है।

समस्या: "ब्लैक बॉक्स" बनाम "सर्च इंजन"
वर्तमान में, वैज्ञानिकों के पास ऐसा करने के दो मुख्य तरीके हैं, और दोनों में कमियां हैं:

"ब्लैक बॉक्स" (न्यूरल नेटवर्क): ये अत्यंत बुद्धिमान लेकिन मूक जीनियस की तरह हैं। वे अविश्वसनीय सटीकता के साथ भविष्य की भविष्यवाणी कर सकते हैं, लेकिन यदि आप उनसे पूछें कि उन्होंने यह कैसे किया, तो वे बस कहते हैं, "मुझे बस पता है।" वे एक विशाल, अपठनीय फॉर्मूला देते हैं जिसे कोई इंसान समझ नहीं सकता।
"सर्च इंजन" (सिंबोलिक रिग्रेशन): ये उन पुस्तकालयाध्यक्षों (librarians) की तरह हैं जो शब्दकोश के हर शब्द को पुनर्व्यवस्थित करके एक आदर्श वाक्य खोजने की कोशिश करते हैं। वे सुंदर, सरल और पठनीय सूत्र (जैसे $E=mc^2$ ) तो बनाते हैं, लेकिन वे एक विशाल लाइब्रेरी में सही संयोजन खोजने के प्रयास में बहुत धीमे हो जाते हैं और अक्सर अटक जाते हैं।

समाधान: Symbolic-KAN
इस शोध पत्र के लेखक Symbolic-KAN पेश करते हैं, जो एक नया प्रकार का AI है जो दोनों दुनियाओं का सर्वश्रेष्ठ मिश्रण है। इसे एक स्मार्ट, स्वयं-संपादित करने वाले शेफ (रसोइया) के रूप में सोचें।

उपमा: स्वयं-संपादित करने वाला शेफ

कल्पना कीजिए कि आप एक शेफ को केवल सामग्रियों (डेटा) का स्वाद लेकर एक जटिल व्यंजन (भौतिक नियम) को फिर से बनाने के लिए प्रशिक्षित कर रहे हैं।

1. किचन सेटअप (आर्किटेक्चर)
पारंपरिक AI शेफ (मानक न्यूरल नेटवर्क) बस सब कुछ ब्लेंडर में डाल देते हैं। वे हजारों सामग्रियों को इस तरह मिलाते हैं कि स्वाद तो अच्छा आता है, लेकिन आप यह नहीं बता सकते कि सूप में क्या है।
Symbolic-KAN अलग है। इसके पास एक विशेष पेंट्री (बुनियादी सामग्रियों जैसे नमक, चीनी, साइन वेव्स और पॉलिनोमियल की एक लाइब्रेरी) है। सब कुछ मिलाने के बजाय, यह विशिष्ट सामग्रियों को चुनने और उन्हें मिलाने के साथ-साथ व्यंजन तैयार करता है।

2. "गेटिंग" तंत्र (स्वाद चखने वाला चम्मच)
यही असली जादू है। शुरुआत में, शेफ अनिश्चित होता है। वह सोच सकता है, "शायद मुझे थोड़ी चीनी, थोड़ा नमक और थोड़ा मिर्च चाहिए।" वे इन सबको एक नरम, धुंधले तरीके से मिला देते हैं। यह ट्रेनिंग चरण (training phase) है।

लेकिन जैसे ही शेफ व्यंजन का स्वाद लेता है और मूल व्यंजन से उसकी तुलना करता है, एक विशेष "गेटिंग सिस्टम" सक्रिय हो जाता है। यह एक सख्त संपादक की तरह है जो कहता है:

"अंदाजा लगाना बंद करो। तुम्हें मिर्च की ज़रूरत नहीं है। तुम्हें नमक की ज़रूरत नहीं है। तुम्हें केवल चीनी चाहिए।"
"और इस परत के लिए, तुम्हें उस 'शायद' वाले मिश्रण की ज़रूरत नहीं है। तुम्हें बिल्कुल सटीक चीनी चाहिए।"

यह संपादक शेफ को कठोर निर्णय (hard choices) लेने के लिए मजबूर करता है। यह धुंधले "शायद" को एक स्पष्ट "हाँ" में बदल देता है। इसे डिस्क्रीटाइजेशन (discretization) कहा जाता है।

3. परिणाम: एक सरल रेसिपी
एक बार जब शेफ का प्रशिक्षण पूरा हो जाता है, तो वह आपको 50 पन्नों का अपठनीय मैनुअल नहीं देता है। इसके बजाय, वह आपको एक सरल, 3-लाइन वाली रेसिपी देता है:

"इनपुट लें, एक साइन वेव (sine wave) लागू करें, फिर इसे 2 से गुणा करें।"

क्योंकि AI को सरल, ज्ञात गणितीय आकृतियों (जैसे साइन, कोसाइन, या $x^2$ ) की लाइब्रेरी से चुनने के लिए मजबूर किया गया था और केवल उन्हीं को चुनने के लिए कहा गया था जो वास्तव में महत्वपूर्ण थे, इसलिए अंतिम परिणाम एक संक्षिप्त, मानव-पठनीय समीकरण होता है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: "सर्च इंजन" पद्धति के विपरीत जो अरबों संयोजनों को आज़माता है, Symbolic-KAN एक आधुनिक AI की तरह कुशलता से सीखता है, लेकिन यह खुद को सरल रहने के लिए मजबूर करता है।
यह ईमानदार है: यह केवल उत्तर की भविष्यवाणी नहीं करता; यह आपको नियम बताता है। यदि आप पूछें, "पेंडुलम उस तरह से क्यों झूला?" तो यह आपको सटीक गणितीय सूत्र दिखा सकता है।
यह एक "प्री-सेलेक्टर" है: कल्पना कीजिए कि आप एक संदिग्ध की तलाश कर रहे हैं। Symbolic-KAN एक स्मार्ट फिल्टर की तरह है जो 10,000 संदिग्धों की सूची को केवल 3 संभावित संदिग्धों तक सीमित कर देता है। वैज्ञानिक फिर उस शेष रहस्य को तेज़ी से सुलझाने के लिए उन 3 सुरागों का उपयोग कर सकते हैं।

शोध पत्र में वास्तविक दुनिया के उदाहरण

लेखकों ने इस "स्वयं-संपादित करने वाले शेफ" का तीन प्रकार की समस्याओं पर परीक्षण किया:

सरल गणित: इसने ग्राफ पर बिखरे हुए बिंदुओं को देखा और तुरंत समझ लिया, "आह, यह तो बस एक परबोला ( $x^2$ ) है।" इसने उन सभी जटिल सामग्रियों को अनदेखा कर दिया जिनकी इसे आवश्यकता नहीं थी।
ऑसिलेटिंग सिस्टम (दोलन प्रणाली): इसने एक उछलती हुई गेंद (Van der Pol oscillator) को देखा और उस सटीक समीकरण का पता लगाया जो इसकी गति को नियंत्रित करता है, भले ही गणित अजीब गैर-पूर्णांक शक्तियों (non-integer powers) के साथ जटिल हो गया हो।
भौतिकी के नियम: इसने डेटा और भौतिकी के नियमों को देखकर सीखा कि ऊष्मा कैसे फैलती है या पानी कैसे बहता है, जिससे सरल सूत्र उत्पन्न हुए जो जटिल वास्तविकता से पूरी तरह मेल खाते थे।

निष्कर्ष

Symbolic-KAN एक सेतु (bridge) है। यह डीप लर्निंग की कच्ची शक्ति (जो पैटर्न खोजने में माहिर है) को मानवीय तर्क की स्पष्टता (जो उन्हें समझने में माहिर है) से जोड़ता है। यह "ब्लैक बॉक्स" को एक पारदर्शी ग्लास बॉक्स में बदल देता है, जो हमें न केवल यह दिखाता है कि क्या होगा, बल्कि यह भी कि वह क्यों होता है, एक ऐसी भाषा में जिसे हम पढ़ सकते हैं।

यहाँ शोध पत्र "Symbolic–KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वैज्ञानिक मशीन लर्निंग (SciML) एक मौलिक द्वंद्व (trade-off) का सामना करती है: स्केलेबिलिटी (scalability) और व्याख्यात्मकता (interpretability)।

न्यूरल नेटवर्क (जैसे, MLPs, मानक KANs): डेटा और आयामीता (dimensionality) के साथ कुशलतापूर्वक स्केल करते हैं लेकिन "अपारदर्शी" (opaque) प्रतिनिधित्व उत्पन्न करते हैं जिन्हें समझना या उनसे शासी नियमों (governing laws) को निकालना कठिन होता है।
शास्त्रीय सिम्बोलिक रिग्रेशन (जैसे, Genetic Algorithms, SINDy): स्पष्ट विश्लेषणात्मक व्यंजक (analytic expressions) प्रदान करते हैं लेकिन अक्सर उच्च कम्प्यूटेशनल लागत, कॉम्बिनेटोरियल सर्च की सीमाओं और पूर्व-निर्धारित लाइब्रेरी में मौजूद न होने वाले नए कार्यात्मक संयोजनों को खोजने में असमर्थता से ग्रस्त होते हैं।
अंतराल (The Gap): मौजूदा पद्धतियाँ डेटा से जटिल, उच्च-आयामी मैपिंग सीखने और बिना किसी पोस्ट-हॉक फिटिंग या बड़ी कैंडिडेट लाइब्रेरी की आवश्यकता के, स्वचालित रूप से अंतर्निहित संक्षिप्त, मानव-पठनीय प्रतीकात्मक समीकरणों की खोज करने के बीच संतुलन बनाने में संघर्ष करती हैं।

2. कार्यप्रणाली: Symbolic-KAN (Methodology: Symbolic-KAN)

लेखक Symbolic-KAN का प्रस्ताव करते हैं, जो एक ऐसा न्यूरल आर्किटेक्चर है जो एक प्रशिक्षित डीप नेटवर्क के भीतर विविक्त प्रतीकात्मक संरचना (discrete symbolic structure) को समाहित करके इस अंतराल को पाटता है। यह ढांचा Kolmogorov-Arnold Representation Theorem (KART) पर आधारित है, लेकिन इसमें एक नवीन, सीखने योग्य अपघटन (learnable decomposition) पेश किया गया है।

मुख्य वास्तुशिल्प नवाचार (Core Architectural Innovations)

सीखे गए स्केलर प्रोजेक्शन (Learned Scalar Projections): मानक KANs के विपरीत, जो फिक्स्ड कोऑर्डिनेट-वाइज यूनिवेरिएट मैप्स का उपयोग करते हैं, Symbolic-KAN इनपुट फीचर्स के स्केलर प्रोजेक्शन ( $s_k = w^T h + b$ ) सीखता है। यह नेटवर्क को नॉन-लिनैरिटीज़ लागू करने से पहले इनपुट्स के सार्थक रैखिक संयोजनों (linear combinations) की खोज करने की अनुमति देता है।
डायनेमिक प्रिमिटिव लाइब्रेरी (Dynamic Primitive Library): फिक्स्ड बेसिस फंक्शन्स (जैसे B-splines) के बजाय, नेटवर्क का प्रत्येक एज (edge) एक विविध एनालिटिक प्रिमिटिव लाइब्रेरी ( $P = \{0, 1, x, x^2, \sin, \cos, \tanh, e^x, \dots\}$ ) से चयन करता है।
हाइरार्किकल गेटिंग मैकेनिज्म (Hierarchical Gating Mechanism): नेटवर्क एक निरंतर मिश्रण मॉडल (continuous mixture model) को विविक्त प्रतीकात्मक संरचना में बदलने के लिए तीन स्तरों पर गेटिंग का उपयोग करता है:
1. प्रिमिटिव-सिलेक्शन गेट्स (Primitive-Selection Gates): एक एकल एनालिटिक प्रिमिटिव चुनने के लिए एक घटते तापमान पैरामीटर ( $\tau$ ) के साथ Gumbel-Softmax का उपयोग करता है। एंट्रॉपी रेगुलराइजेशन "वन-हॉट" चयन को प्रोत्साहित करता है।
2. एज-सिलेक्शन मास्क (Edge-Selection Masks): प्रति यूनिट एक एकल स्केलर प्रोजेक्शन (एज) चुनता है, जो इनपुट कनेक्शनों में स्पर्सिटी (sparsity) सुनिश्चित करता है।
3. यूनिट-लेवल गेटिंग (Unit-Level Gating): आर्किटेक्चर को और अधिक संकुचित करने के लिए निष्क्रिय हिडन यूनिट्स को हटा देता है।
प्रशिक्षण पाइपलाइन (Training Pipeline):
- चरण I (रिलेक्स्ड ट्रेनिंग): निरंतर गेट पैरामीटर्स और सॉफ्ट सिलेक्शन को ऑप्टिमाइज़ करता है। वितरण को तीक्ष्ण (sharpen) करने के लिए तापमान $\tau$ को हाई से लो तक एनेलिएट (anneal) किया जाता है।
- चरण II (हार्डनिंग): सॉफ्ट गेट्स को हार्ड "वन-हॉट" सिलेक्शन में बदल देता है। निरंतर पैरामीटर्स को सेकंड-ऑर्डर ऑप्टिमाइज़र (जैसे, L-BFGS) का उपयोग करके परिष्कृत किया जाता है।
लॉस फंक्शन (Loss Function): डेटा फिडेलिटी (या PDE रेसिडुअल्स) को सिम्बोलिक रेगुलराइजेशन टर्म्स के साथ जोड़ता है:
- एंट्रॉपी लॉस (Entropy Loss): विसरित (diffuse) प्रिमिटिव मिश्रणों को दंडित करता है।
- नॉन-मैक्सिमम सप्रेशन (NMS): एक ही यूनिट के विभिन्न एडजेस को समान प्रिमिटिव चुनने से रोकता है।
- यूनिट स्पर्सिटी (Unit Sparsity): सक्रिय यूनिट्स के लिए एक लक्षित घनत्व को प्रोत्साहित करता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): एक एकल आर्किटेक्चर पेश करता है जो स्केलेबल फंक्शन एप्रोक्सिमेशन और स्वचालित सिम्बोलिक डिस्कवरी दोनों करता है, जिससे अलग से पोस्ट-हॉक सिम्बोलिक रिग्रेशन चरणों की आवश्यकता समाप्त हो जाती है।
स्केलेबल प्रिमिटिव डिस्कवरी (Scalable Primitive Discovery): यह विधि एक "प्री-लाइब्रेरी सेलेक्टर" के रूप में कार्य करती है, जो एक व्यापक लाइब्रेरी से सबसे प्रासंगिक एनालिटिक घटकों की पहचान करती है। ये खोजे गए प्रिमिटिव बाद में स्पार्स इक्वेशन-लर्निंग विधियों (जैसे, SINDy) को सूचित कर सकते हैं, जो SINDy की उस सीमा को संबोधित करता है जहाँ कार्यात्मक रूप (functional form) का पूर्व ज्ञान आवश्यक होता है।
डिस्क्रीट-टू-कंटीन्यूअस ट्रांजिशन (Discrete-to-Continuous Transition): एक डिफरेंशिएबल रिलैक्सेशन (Gumbel-Softmax) के माध्यम से डिफरेंशिएबल ऑप्टिमाइजेशन और डिस्क्रीट सिम्बोलिक लॉजिक के बीच के अंतर को सफलतापूर्वक पाटता है, जो एक हार्ड सिम्बोलिक स्ट्रक्चर की ओर अभिसरित (converge) होता है।
फिजिक्स-इन्फॉर्म्ड लर्निंग (Physics-Informed Learning): PDEs के फॉरवर्ड और इनवर्स समस्याओं को हल करने के लिए इस ढांचे का विस्तार करता है, जिससे ऐसे समाधान प्राप्त होते हैं जो न केवल सटीक हैं बल्कि जिनमें उन शासी समीकरणों के वास्तविक एनालिटिकल स्ट्रक्चर को दर्शाने वाले सिम्बोलिक प्रतिनिधित्व भी होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन प्रतिमानों (paradigms) में Symbolic-KAN का मूल्यांकन किया:

A. डेटा-ड्रिवन रिग्रेशन (Data-Driven Regression)

कार्य: बिखरे हुए डेटा (scattered data) से मल्टीवेरिएट फंक्शन्स को रिकवर करना।
परिणाम: 1D फंक्शन्स के लिए सही प्रिमिटिव्स (जैसे, $x^2, \sin, \cos$ ) और संक्षिप्त क्लोज्ड-फॉर्म एक्सप्रेशंस को सफलतापूर्वक रिकवर किया। मॉडल ने मजबूत एक्सट्रपलेशन क्षमता प्रदर्शित की, जो ट्रेनिंग डोमेन के बाहर भी सटीकता बनाए रखता है।

B. इनवर्स डायनेमिकल सिस्टम्स (Van der Pol Oscillator)

कार्य: टाइम-सीरीज डेटा से शासी समीकरणों और अज्ञात मापदंडों (गैर-पूर्णांक घातांक जैसे $x^{2.15}$ सहित) की पहचान करना।
परिणाम:
- डायनेमिकल स्ट्रक्चर और मापदंडों ( $a, \mu, c$ ) को $< 1\%$ त्रुटि के साथ सटीक रूप से रिकवर किया।
- लंबे समय के क्षितिज ( $T=50$ ) और बदलते डेटा घनत्व पर मजबूती प्रदर्शित की।
- चुने गए प्रिमिटिव्स ( $\sin, \cos, x$ ) सिस्टम की दोलनशील प्रकृति (oscillatory nature) के साथ पूरी तरह मेल खाते हैं।

C. फिजिक्स-इन्फॉर्म्ड लर्निंग (PDEs)

कार्य: रिएक्शन-डिफ्यूजन इक्वेशन (इनवर्स प्रॉब्लम) और लैप्लेस इक्वेशन (फॉरवर्ड प्रॉब्लम)।
परिणाम:
- सटीकता: बेसलाइन मॉडल्स (cPIKAN और स्टैंडर्ड PINN) से काफी बेहतर प्रदर्शन किया। विस्तारित डोमेन $[-4, 4]$ पर रिएक्शन-डिफ्यूजन समस्या के लिए, Symbolic-KAN ने cPIKAN की तुलना में ~95% और PINN की तुलना में ~99% कम वैलिडेशन एरर दिखाया।
- पैरामीटर रिकवरी: बेसलाइन्स की तुलना में बहुत अधिक सटीकता के साथ गुणांकों (जैसे, रिएक्शन रेट $\kappa$ ) का अनुमान लगाया।
- सिम्बोलिक डिस्कवरी: हार्डन किए गए नेटवर्क ने प्रिमिटिव्स ( $\sin, \cos, \sinh, \cosh$ ) को चुना जो वास्तविक एनालिटिकल सॉल्यूशंस के फंक्शनल फैमिली से मेल खाते थे, भले ही उन्हें समाधान का रूप स्पष्ट रूप से न बताया गया हो।

5. महत्व और प्रभाव (Significance and Impact)

मैकेनिस्टिक इनसाइट (Mechanistic Insight): Symbolic-KAN "ब्लैक-बॉक्स" भविष्यवाणी से आगे बढ़कर मैकेनिस्टिक इनसाइट प्रदान करता है, जो किसी सिस्टम को नियंत्रित करने वाले वास्तविक गणितीय ऑपरेटरों को प्रकट करता है।
स्केलेबिलिटी (Scalability): यह व्याख्यात्मक लर्निंग का एक ऐसा मार्ग प्रदान करता है जो डेटा और आयामीता के साथ स्केल करता है, जिससे पारंपरिक सिम्बोलिक रिग्रेशन के कॉम्बिनेटोरियल विस्फोट (combinatorial explosion) की समस्या दूर होती है।
भविष्य के SciML के लिए आधार: यह सूचनात्मक प्रिमिटिव्स की खोज करने वाले एक स्केलेबल तंत्र के रूप में कार्य करके, "न्यूरल सॉल्वर्स" की एक नई श्रेणी की नींव रखता है जो मजबूत होने के साथ-साथ सिम्बोलिक निरीक्षण के अनुकूल भी हैं। यह इंजीनियरिंग, भौतिकी और जीव विज्ञान जैसे अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है जहाँ यह समझना कि मॉडल क्यों काम कर रहा है, उसकी सटीकता जितना ही महत्वपूर्ण है।

संक्षेप में, Symbolic-KAN डीप लर्निंग की अभिव्यक्ति (expressivity) को सिम्बोलिक गणित की पारदर्शिता के साथ एकीकृत करके वैज्ञानिक मशीन लर्निंग में एक महत्वपूर्ण कदम है, जो डेटा से सीधे शासी नियमों की खोज को सक्षम बनाता है।