🤖 machine learning

Geometry-Aware R-Structured Kolmogorov-Arnold Networks

यह शोध पत्र ज्योमेट्री-अवेयर आर-स्ट्रक्चर्ड कोल्मोगोरोव-आर्नोल्ड नेटवर्क (GRS-KAN) प्रस्तुत करता है, जो एक हाइब्रिड आर्किटेक्चर है जो ज्यामितीय बाधाओं और तार्किक ऑपरेशन्स को विश्लेषणात्मक रूप से एनकोड करने के लिए KANs में डिफरेंशिएबल आर-फंक्शंस को एकीकृत करता है, जिससे विच्छिन्नता (discontinuities) वाले समस्याओं के लिए भविष्यवाणात्मक सटीकता और बाउंड्री लोकलाइजेशन में महत्वपूर्ण सुधार होता है और मॉडल की व्याख्यात्मकता (interpretability) बढ़ती है।

मूल लेखक: Sergei Kucherenko, Nilay Shah

प्रकाशित 2026-07-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Sergei Kucherenko, Nilay Shah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (स्टैंडर्ड न्यूरल नेटवर्क)
आमतौर पर, हम रोबोट को एक खाली कैनवास देते हैं और कहते हैं, "वर्ग (square) के इन 1,000 उदाहरणों को देखो, और समझो कि इसे कैसे बनाना है।" रोबोट लाखों छोटे, सुचारू बदलाव करके आकार का अनुमान लगाने की कोशिश करता है। यह मिट्टी के एक ब्लॉक से एक सटीक वर्ग उकेरने की कोशिश करने जैसा है, जिसमें आप बस उसे धीरे से रगड़ते हैं। वह करीब तो पहुँच सकता है, लेकिन किनारे हमेशा थोड़े धुंधले रहेंगे, और यह सीखने में बहुत प्रयास लगेगा कि "यह एक वर्ग है" और "यह वर्ग नहीं है।"

नया तरीका (पेपर का समाधान: GRS-KAN)
इस पेपर के लेखक रोबोट को सिखाने का एक स्मार्ट तरीका प्रस्तावित करते हैं। वे कहते हैं: "सिर्फ अंदाज़ा मत लगाओ। हम तुम्हें वर्ग का ब्लूप्रिंट (खाका) देंगे, और तुम्हें बस बाकी हिस्सा पेंट करना सीखना है।"

उन्होंने एक नए प्रकार का "दिमाग" (एक न्यूरल नेटवर्क) बनाया जिसे GRS-KAN कहा जाता है। इसे एक पेंटिंग पर काम करने वाली दो लोगों की टीम के रूप में सोचें:

स्मूथ पेंटर (The KAN वाला हिस्सा): यह हिस्सा सुचारू, बहते हुए पैटर्न सीखने में माहिर है, जैसे बादलों के घुमाव या सूर्यास्त का रंग बदलना। यह डेटा से ठीक वैसे ही सीखता है जैसे एक सामान्य रोबोट।
आर्किटेक्ट (The R-Function वाला हिस्सा): यह हिस्सा नियमों का सख्ती से पालन करने वाला है। यह वर्ग या वृत्त जैसे आकारों के लिए एक पहले से बने, गणितीय ब्लूप्रिंट को थामे रहता है। यह अंदाज़ा नहीं लगाता; इसे पता है कि किनारे बिल्कुल कहाँ हैं।

वे मिलकर कैसे काम करते हैं
जादू तब होता है जब ये दोनों हिस्से मिलते हैं।

परिदृश्य A: "द जंप" (The Jump): कल्पना कीजिए कि एक तस्वीर है जो एक चिकले नीले आसमान जैसी है, लेकिन अचानक, बीच में एक चमकीला लाल वर्ग दिखाई देता है। एक सामान्य रोबलेट उस तीखे लाल किनारे को बनाने में संघर्ष करता है; वह उसे धुंधला बना देता है। GRS-KAN उस तीखे लाल वर्ग को तुरंत बनाने के लिए आर्किटेक्ट का उपयोग करता है, जबकि स्मूथ पेंटर नीले आसमान को संभालता है। परिणाम एक सटीक छवि है जिसमें एक स्पष्ट किनारा है।
परिदृश्य B: "द मास्क" (The Mask): कल्पना कीजिए कि एक तस्वीर है जहाँ चित्र केवल एक आयत (rectangle) के अंदर मौजूद है, और बाकी हर जगह पूरी तरह से काला (खाली) है। आर्किटेक्ट एक स्टेंसिल की तरह काम करता है, यह कहते हुए कि "केवल इस बॉक्स के अंदर ही पेंट करो।" स्मूथ पेंटर फिर बॉक्स के अंदर सही पैटर्न से भर देता है।

"स्मार्ट स्विच" (The Agnostic Model)
पेपर इस टीम का एक "स्मार्ट स्विच" संस्करण भी पेश करता है। कभी-कभी, हमें पता नहीं होता कि चित्र को एक तीखे वर्ग की आवश्यकता है या यह सिर्फ एक सुचारू वक्र (curve) है।

स्मार्ट स्विच समस्या को देखता है और पूछता है: "क्या हमें आर्किटेक्ट की आवश्यकता है?"
यदि उत्तर हाँ है (जैसे वर्ग के साथ), तो यह आर्किटेक्ट को चालू करता है और उसे मुख्य काम करने देता है।
यदि उत्तर नहीं है (जैसे एक सुचारू बादल के साथ), तो यह आर्किटेक्ट को बंद कर देता है और स्मूथ पेंटर को अकेले सब कुछ करने देता है।
इस तरह, रोबोट एक गोल समस्या पर वर्ग आकार थोपने के लिए ऊर्जा बर्बाद नहीं करता है।

पेपर ने क्या पाया
लेखकों ने वर्गों और आयतों से जुड़ी कंप्यूटर समस्याओं पर इसका परीक्षण किया।

सटीकता (Accuracy): नया तरीका आकारों के सटीक किनारों को खोजने में बहुत बेहतर था। इसने पुराने तरीके की तुलना में त्रुटियों को 67% तक कम कर दिया।
स्पष्टता (Clarity): क्योंकि रोबोट आकार के लिए एक गणितीय ब्लूप्रिंट का उपयोग करता है, हम वास्तव में यह देख और समझ सकते हैं कि उसने किनारों को कहाँ तय किया। यह अब कोई "ब्लैक बॉक्स" नहीं है; हम ब्लूप्रिंट की ओर इशारा कर सकते हैं और कह सकते हैं, "आह, इसीलिए इसने वहां रेखा खींची।"
दक्षता (Efficiency): इसने पुराने तरीकों की तुलना में कम "न्यूरॉन्स" (मस्तिष्क कोशिकाओं) के साथ इन आकारों को सीखा।

सारांश में
यह पेपर AI को आकारों के लिए एक "नियम पुस्तिका" देने के बारे में है। AI को यह अनुमान लगाने के लिए मजबूर करने के बजाय कि दीवार या वृत्त कहाँ है, हम उसे वह गणित दे देते हैं जो दीवार या वृत्त को परिभाषित करता है। यह AI को तीखे किनारों को बनाने में तेज़, अधिक सटीक और मनुष्यों के लिए समझना आसान बनाता है।

तकनीकी सारांश: ज्योमेट्री-अवेयर आर-स्ट्रक्चर्ड कोलोमोगा-आर्नो नेटवर्क (GRS-KAN)

समस्या विवरण
यद्यपि कोलोमोगा-आर्नो नेटवर्क (KANs) ने वेट मैट्रिसेस (weight matrices) को सीखने योग्य यूनिवेरिएट फंक्शन्स (univariate functions) से बदलकर वैज्ञानिक कंप्यूटिंग में महत्वपूर्ण क्षमता प्रदर्शित की है, फिर भी वे स्पष्ट ज्यामितीय बाधाओं (geometric constraints) को संभालने के मामले में "ब्लैक बॉक्स" बने हुए हैं। मानक KANs को स्मूथ स्प्लाइन बेसिस (smooth spline bases) का उपयोग करके जटिल ज्यामितीय संरचनाओं—जैसे कि व्यवहार्य क्षेत्रों (feasible regions), बुलियन स्थितियों (Boolean conditions) और विच्छिन्नताओं (discontinuities)—को डेटा से अंतर्निहित रूप से (implicitly) अनुमान लगाना पड़ता है। यह अंतर्निहित अनुमान अक्सर सीमाओं के पास उप-इष्टतम सटीकता (suboptimal accuracy) की ओर ले जाता है और तीव्र परिवर्तनों (sharp transitions) को अनुमानित करने के लिए बड़े पैरामीटर काउंट की आवश्यकता होती है। इसके विपरीत, आर-फंक्शन्स (V. L. Rvachev द्वारा विकसित) तार्किक ऑपरेशन्स (logical operations) और जटिल ज्यामितीय आकृतियों को एक एकल अवकलनीय समीकरण (differentiable equation) के रूप में प्रस्तुत करने के लिए एक कठोर विश्लेषणात्मक ढांचा प्रदान करते हैं, लेकिन उन्हें आधुनिक न्यूरल आर्किटेक्चर में स्मूथ फंक्शनल रिलेशनशिप्स को सीखने के लिए एकीकृत नहीं किया गया है।

कार्यप्रणाली
यह शोध पत्र जियोमेट्री-अवेयर आर-स्ट्रक्चर्ड कोलोमोगा-आर्नो नेटवर्क (GRS-KAN) का प्रस्ताव करता है, जो एक हाइब्रिड आर्किटेक्चर है जो स्मूथ नॉनलीनर संरचनाओं के सीखने और ज्ञात ज्यामितीय बाधाओं के एनकोडिंग को अलग करता है।

मुख्य एकीकरण (Core Integration): यह ढांचा मानक KAN शाखा को बनाए रखता है, जो सीखने योग्य एज फंक्शन्स (जो एक स्मूथ SiLU बेस और एक B-spline करेक्शन से बने होते हैं) का उपयोग करके डेटा से स्मूथ फंक्शनल व्यवहार सीखता है। साथ ही, यह एक आर-फंक्शन शाखा (R-function branch) पेश करता है जो विश्लेषणात्मक रूप से ज्ञात ज्यामितीय क्षेत्रों (जैसे आयत, वृत्त, या जटिल बुलियन संयोजन) को अवकलनीय आर-कंजंक्शन्स ( $\land$ ) और आर-डिस्कंजंक्शन्स ( $\lor$ ) का उपयोग करके एनकोड करता है।
डिफरेंशिएबल ज्योमेट्री (Differentiable Geometry): आर-फंक्शन्स तार्किक स्थितियों (जैसे, "एक आयत के अंदर") को वास्तविक-मान वाले फंक्शन्स में मैप करते हैं जहाँ साइन (sign) क्षेत्र को निर्धारित करता है। इन्हें ग्रेडिएंट-आधारित बैकप्रोपैगेशन के अनुकूल गेट्स बनाने के लिए लॉजिस्टिक सिग्मॉइड ( $\sigma(\kappa R(x))$ ) का उपयोग करके स्मूथ किया जाता है।
आर्किटेक्चरल वेरिएंट्स (Architectural Variants): लेखक तीन विशिष्ट कॉन्फ़िगरेशन पेश करते हैं:
- टारगेटेड एडिटिव GRS-KAN (Targeted Additive GRS-KAN): यह एक स्मूथ बैकग्राउंड प्लस एक स्थानीय जंप (localized jump) को एक ज्ञात क्षेत्र के भीतर मॉडल करता है ( $f_{smooth} + c \cdot \text{gate}$ )।
- टारगेटेड मल्टीप्लिकेटिव GRS-KAN (Targeted Multiplicative GRS-KAN): यह उन कार्यों को मॉडल करता है जो एक ज्ञात ज्यामितीय सपोर्ट के भीतर गैर-शून्य (non-zero) होते हैं ( $f_{smooth} \cdot \text{gate}$ )।
- एग्नोस्टिक GRS-KAN (Agnostic GRS-KAN): यह एक एकीकृत आर्किटेक्चर है जो एक बेसलाइन KAN, एक एडिटिव शाखा और एक मल्टीप्लिकेटिव शाखा को जोड़ता है। यह डेटा के आधार पर प्रमुख इंटरैक्शन मैकेनिज्म (प्योरली स्मूथ, एडिटिव, या मल्टीप्लिकेटिव) को स्वचालित रूप से निर्धारित करने के लिए लर्नेबल स्ट्रक्चर-सिलेक्शन पैरामीटर्स ( $w_{KAN}, w_{add}, w_{mul}$ ) का उपयोग करता है।

प्रमुख योगदान

सैद्धांतिक ढांचा (Theoretical Framework): डिफरेंशिएबल KAN फ्रेमवर्क के भीतर ज्यामितीय और तार्किक बाधाओं के विश्लेषणात्मक आर-फंक्शन प्रतिनिधित्व को एकीकृत करने की एक विधि।
विश्लेषणात्मक निर्माण (Analytical Constructions): ज्यामितीय इंडिकेटर्स (जैसे आयत) के लिए स्पष्ट क्लोज्ड-फॉर्म एक्सप्रेशन, जो बैकप्रोपैगेशन के लिए विश्लेषणात्मक ग्रेडिएंट्स के साथ पूर्ण हैं।
आर्किटेक्चरल नवाचार (Architectural Innovation): एडिटिव, मल्टीप्लिकेटिव और एग्नोस्टिक वेरिएंट्स का प्रस्ताव, जो ऑप्टिमाइजेशन के लिए आवश्यक डिफरेंशिएबिलिटी (differentiability) से समझौता किए बिना स्पष्ट ज्यामितीय एनकोडिंग की अनुमति देते हैं।
स्वचालित संरचना खोज (Automatic Structure Discovery): यह प्रदर्शन करना कि लर्न करने योग्य ब्रांच वेट्स यह पहचान सकते हैं कि किसी विशिष्ट कार्य के लिए ज्यामितीय प्रायर (geometric prior) फायदेमंद है या नहीं, जो प्रभावी रूप से स्ट्रक्चर सिलेक्शन करता है।

प्रायोगिक परिणाम
स्मूथ बेंचमार्क और आयताकार सपोर्ट वाले विच्छिन्न (discontinuous) समस्याओं पर संख्यात्मक प्रयोग किए गए।

स्मूथ बेंचमक्स (Smooth Benchmarks): मानक KAN बेंचमार्क (जैसे, $f(x,y) = \exp(\sin(\pi x) + y^2)$ और $f(x,y)=xy$) पर, लेखकों का कार्यान्वयन सफलतापूर्वक KAN की स्पार्स स्ट्रक्चर में प्रून करने और सटीक सिम्बोलिक एक्सप्रेशन रिकवर करने की क्षमता को दोहराता है, जो बेसलाइन को मान्य करता है।
विच्छिन्न/ज्यामितीय बेंचमार्क (Discontinuous/Geometric Benchmarks):
- रेक्टेंगुलर एडिटिव डिस्कंटीन्यूटी: टारगेटेड एडिटिव GRS-KAN ने मानक KAN की तुलना में टेस्ट RMSE को 67% और बाउंड्री-बैंड RMSE को 61% कम कर दिया। स्पष्ट ज्यामितीय एनकोडिंग ने मॉडल को विच्छिन्नता (discontinuity) को सटीक रूप से स्थानीयकृत करने की अनुमति दी, जबकि मानक KANs स्मूथ, गलत ट्रांजिशन उत्पन्न करते थे।
- मास्क्ड प्रोडक्ट (Masked Product): एक आयत के भीतर परिभाषित कार्यों के लिए, मल्टीप्लिकेटिव GRS-KAN ने टेस्ट RMSE को 58% और बाउंड्री RMSE को 50% कम कर दिया।
- एग्नोस्टिक प्रदर्शन (Agnostic Performance): एग्नोस्टिक वेरिएंट ने विशिष्ट कार्यों के लिए सही संरचना की पहचान सफलतापूर्वक की (जैसे, अनकन्स्ट्रेंड $xy $के लिए ज्योमेट्री ब्रोंचेस को दबाना और मास्क्ड$ xy$ के लिए मल्टीप्लिकेटिव वेट्स को प्राथमिकता देना)। हालांकि यह हमेशा विशेषीकृत टारगेटेड वेरिएंट्स से बेहतर प्रदर्शन नहीं कर सका, लेकिन इसने बिना पूर्व ज्ञान के प्रतिस्पर्धी सटीकता प्राप्त की।

महत्व और दावे
लेखक दावा करते हैं कि GRS-KAN मौजूदा KAN वेरिएंट्स से एक अलग दिशा का प्रतिनिधित्व करता है, जो मुख्य रूप से एप्रोक्सिमेशन मैकेनिज्म (जैसे बेसिस फंक्शन्स या अटेंशन) को संशोधित करने पर ध्यान केंद्रित करते हैं। इसके बजाय, GRS-KAN सीधे नेटवर्क आर्किटेक्चर में स्पष्ट विश्लेषणात्मक ज्यामिति (explicit analytical geometry) को शामिल करता है।

प्राथमिक महत्व इस क्षमता में निहित है:

सटीकता में सुधार: ज्ञात ज्यामितीय बाधाओं को स्पष्ट रूप से एनकोड करने से विच्छिन्नताओं या प्रतिबंधित डोमेन वाले समस्याओं में भविष्य कहनेवाला सटीकता (predictive accuracy) और बाउंड्री लोकलाइजेशन में उल्लेखनीय सुधार होता है।
व्याख्यात्मकता बढ़ाना (Enhance Interpretability): मॉडल सीखा गया ज्यामितीय स्ट्रक्चर का एक स्पष्ट विश्लेषणात्मक प्रतिनिधित्व प्रदान करता है, जो ब्लैक-बॉक्स एप्रोक्सिमेशन से आगे बढ़कर यह प्रकट करता है कि ज्यामिति स्मूथ बैकग्राउंड के साथ कैसे इंटरैक्ट करती है।
स्वचालित प्रायर चयन: एग्नोस्टिक वेरिएंट यह प्रदर्शित करता है कि न्यूरल नेटवर्क स्वचालित रूप से यह निर्धारित कर सकते हैं कि ज्यामितीय प्रायर की आवश्यकता है या नहीं, जो उन वैज्ञानिक समस्याओं के लिए एक मजबूत समाधान प्रदान करता है जहाँ फंक्शनल रोल ऑफ ज्योमेट्रिक कंस्ट्रेंट्स अज्ञात है।

लेखक नोट करते हैं कि हालांकि प्रयोगों में सरल आयत और वृत्त का उपयोग किया गया है, लेकिन यह ढांचा सैद्धांतिक रूप से मनमानी इम्प्लिसिट रीजन्स (implicit regions) के लिए लागू है, जिसमें नॉन-कॉन्वेक्स डोमेन और बाधाओं के बुलियन संयोजन शामिल हैं, जो इंजीनियरिंग डिज़ाइन स्पेस और प्रोसेस कंट्रोल में अनुप्रयोगों का मार्ग प्रशस्त करता है।

तकनीकी सारांश: ज्योमेट्री-अवेयर आर-स्ट्रक्चर्ड कोलोमोगा-आर्नो नेटवर्क (GRS-KAN)

इसी तरह के और पेपर