🤖 machine learning

Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

यह शोध पत्र MKAN प्रस्तुत करता है, जो एक कोलमोगोरोव-आर्नोल्ड नेटवर्क वेरिएंट है जो एक्सपोनेंशियल रीपैरामीट्राइजेशन और पॉजिटिव वेट्स के माध्यम से सभी मापदंडों के लिए हार्ड मोनोटोनिसिटी (hard monotonicity) की गारंटी देता है, जो एक सैद्धांतिक रूप से आधारित साइजिंग नियम प्रदान करता है और मौजूदा मोनोटोन न्यूरल नेटवर्क्स की तुलना में बेहतर प्रदर्शन और व्याख्यात्मकता का अनुभवजन्य प्रदर्शन करता है।

मूल लेखक: Mikhail Krasnov, Carolina Fortuna, Blaž Bertalanič

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mikhail Krasnov, Carolina Fortuna, Blaž Bertalanič

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को निर्णय लेना सिखा रहे हैं, जैसे कि यह अनुमान लगाना कि ऋण (loan) स्वीकृत किया जाना चाहिए या नहीं, या क्या कोई मेडिकल टेस्ट किसी बीमारी का संकेत देता है। वास्तविक दुनिया में, कुछ नियम स्पष्ट होते हैं: अधिक ऋण का अर्थ कभी भी कम जोखिम नहीं होना चाहिए, और उच्च खुराक का अर्थ कभी भी कम विषाक्तता नहीं होना चाहिए। यदि एक रोबोट ऐसा पैटर्न सीखता है जहाँ "अधिक ऋण = कम जोखिम" है, तो उसने कुछ गलत सीखा है, भले ही वह टेस्ट डेटा पर सही उत्तर दे रहा हो।

यह शोध पत्र एक नए प्रकार के रोबोट मस्तिष्क जिसे MKAN (मोनोटोनिक कोलोमोगोरोव-आर्नोल्ड नेटवर्क) कहा जाता है, का परिचय देता है, जिसे इन "सामान्य ज्ञान" के नियमों के साथ इसके मूल ढांचे में ही बुना गया है।

यहाँ उन्होंने जो किया है, उसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:

1. समस्या: "ब्लैक बॉक्स" बनाम "नियम तोड़ने वाला"

मानक AI (द ब्लैक बॉक्स): अधिकांश न्यूरल नेटवर्क ऊन के एक विशाल, उलझे हुए गोले की तरह होते हैं। आप एक धागा (इनपुट) खींचते हैं, और कहीं और एक गांठ हिल जाती है (आउटपुट)। आप आसानी से नहीं देख सकते कि इनपुट ने आउटपुट को कैसे बदला। कभी-कभी, वे अजीब, अतार्किक पैटर्न सीख लेते हैं (जैसे "अधिक ऋण = सुरक्षित") ताकि वे ट्रेनिंग डेटा में फिट हो सकें।
पिछला "नियम-बद्ध" AI: वैज्ञानिकों ने इन नेटवर्कों में नियमों को जबरदस्ती डालने की कोशिश की। लेकिन यह एक रस्सी में गांठ बांधने जैसा था जबकि रस्सी अभी भी हिल रही हो। उन्हें ट्रेनिंग रोकनी पड़ती थी, नियमों की जांच करनी पड़ती थी, रस्सी को ठीक करना पड़ता था, और फिर से शुरू करना पड़ता था। यह धीमा और अव्यवस्थित था।
पुराना "पारदर्शी" AI (KAN): एक नया प्रकार का AI था जिसे KAN कहा जाता है जो एक पारदर्शी कांच की नली की तरह है। आप देख सकते हैं कि हर एक इनपुट कैसे एक नली से होकर आउटपुट बनता है। लेकिन, इसमें "सामान्य ज्ञान" के नियम पहले से मौजूद नहीं थे, इसलिए यह अभी भी अतार्किक पैटर्न सीख सकता था।

2. समाधान: MKAN (द "गार्डरेल्स के साथ कांच की नली")

लेखकों ने MKAN बनाया, जो दोनों दुनियाओं के बेहतरीन गुणों को जोड़ता है:

यह पारदर्शी है: कांच की नली की तरह, आप देख सकते हैं कि प्रत्येक इनपुट कैसे आउटपुट को प्रभावित करता है।
यह हार्ड-कंस्ट्रेंट (Hard-Constraint) है: उन्होंने कांच की नली के भीतर ही "गार्डरेल्स" (सुरक्षा घेरे) बना दिए हैं। रोबोट चाहे कैसे भी सीखे, उसके लिए यह सीखना शारीरिक रूप से असंभव है कि "अधिक ऋण = कम जोखिम"।

उन्होंने यह कैसे किया?
रोबोट की सीखने की प्रक्रिया को एक शेफ द्वारा रेसिपी (नुस्खा) को एडजस्ट करने के रूप में सोचें।

पुराना तरीका: शेफ सूप चखता है, महसूस करता है कि यह बहुत नमकीन है, और उसे रुकना पड़ता है, एक नोट लिखना पड़ता है, और मैन्युअल रूप से नमक निकालना पड़ता है।
MKAN तरीका: शेफ एक विशेष मापने वाले कप का उपयोग करता है जिसमें केवल नमक की सकारात्मक मात्रा ही आ सकती है। इसमें "नेगेटिव नमक" डालना शारीरिक रूप से असंभव है। रोबोट इन विशेष कपों को एडजस्ट करके सीखता है, इसलिए वह पहली बार में ही गलती नहीं करता है। इसका मतलब है कि रोबोट तेजी से सीखता है और उसे अपने तर्क को "ठीक" करने के लिए रोकने की आवश्यकता नहीं होती है।

3. बड़ी खोज: "2x आकार" का ट्रेड-ऑफ

यह शोध पत्र एक गहरा गणितीय प्रश्न पूछता है: "यदि हम रोबोट को इन सख्त नियमों का पालन करने के लिए मजबूर करते हैं, तो क्या यह कम स्मार्ट हो जाएगा? क्या इसे समान काम करने के लिए अधिक मस्तिष्क शक्ति की आवश्यकता होगी?"

उन्होंने एक प्रमेय (एक गणितीय गारंटी) सिद्ध किया कि:

यदि आप एक सामान्य, लचीले मस्तिष्क को लेते हैं और उसे सख्ती से तार्किक (मोनोटोनिक) होने के लिए मजबूर करते हैं, तो इसे बिल्कुल वही काम करने के लिए थोड़ा बड़ा होने की आवश्यकता हो सकती है।
नियम: मस्तिष्क को अपना तर्क एकदम सटीक रखने के लिए अधिकतम दोगुने "न्यूरॉन्स" (आयामों) की आवश्यकता होगी।
उपमा: कल्पना कीजिए कि आप एक सूटकेस पैक कर रहे हैं। एक लचीला सूटकेस किसी भी आकार में दबाया जा सकता है। एक कठोर सूटकेस (मोनोटोनिक वाला) को समान कपड़े रखने के लिए थोड़ा बड़ा होने की आवश्यकता हो सकती है। यह शोध पत्र सिद्ध करता है कि सबसे खराब स्थिति में भी, आपको केवल दोगुने आकार के सूटकेस की आवश्यकता है। कई वास्तविक मामलों में, इसे इतना बड़ा होने की आवश्यकता भी नहीं होती है।

4. उन्होंने क्या परीक्षण किया

उन्होंने केवल गणित नहीं किया; उन्होंने इसे वास्तविक डेटा पर परखा:

"लोन" और "हेल्थ" टेस्ट: उन्होंने ऋण चूक (default) और हृदय रोग की भविष्यवाणी करने के लिए मानक डेटासेट पर MKAN का परीक्षण किया। इसने मौजूदा सर्वश्रेष्ठ नियम-अनुसरण करने वाले AI के समान प्रदर्शन किया, लेकिन पारदर्शिता (आप देख सकते हैं कि इसने निर्णय क्यों लिया) के अतिरिक्त लाभ के साथ।
"सिंथेटिक" टेस्ट: उन्होंने एक नकली दुनिया बनाई जहाँ नियम एकदम सटीक थे (उदाहरण के लिए, बड़े घेरे हमेशा चमकीले रंगों का अर्थ देते हैं)। इस आदर्श दुनिया में, MKAN ने अन्य AI मॉडल की तुलना में छिपे हुए नियमों को बहुत बेहतर तरीके से समझा, जिससे सिद्ध हुआ कि "गार्डरेल्स" डेटा के वास्तविक तर्क को खोजने में मदद करते हैं।
"साइज" टेस्ट: उन्होंने अंकों और बीन्स की छवियों पर "2x नियम" का परीक्षण किया। उन्होंने पाया कि जब उन्होंने मोनोटोनिक AI के आकार को दोगुना किया, तो इसने लचीले AI के प्रदर्शन की बराबरी की या उससे बेहतर प्रदर्शन किया, जिससे उनके गणितीय सिद्धांत की पुष्टि हुई।

सारांश

यह शोध पत्र MKAN प्रस्तुत करता है, जो एक नया AI आर्किटेक्चर है जो है:

तार्किक रूप से सुरक्षित: यह शारीरिक रूप से अतार्किक नियम (जैसे "अधिक है तो बुरा है") नहीं सीख सकता।
पारदर्शी: अधिकांश AI के विपरीत, आप देख सकते हैं कि यह वास्तव में कैसे काम करता है।
कुशल: यह जटिल "ठीक करने वाले" चरणों के बिना मानक, तेज़ तरीकों का उपयोग करके सीखता है।
अनुमानित: यदि आपको इसे सख्ती से तार्किक होने की आवश्यकता है, तो समान परिणाम प्राप्त करने के लिए आपको केवल एक सामान्य AI की तुलना में अधिकतम दोगुना बड़ा होने की आवश्यकता है।

संक्षेप में, उन्होंने एक ऐसा रोबोट मस्तिष्क बनाया जो ईमानदार (पारदर्शी) और समझदार (मोनोटोनिक) दोनों है, बिना बहुत अधिक गति या आकार का त्याग किए।

यहाँ "Monotonic Kolmogorov–Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

मोनोटोनिसिटी (एकदिशता) एक महत्वपूर्ण इंडक्टिव बायस (inductive bias) है, जो टैबुलर डेटा, वैज्ञानिक मॉडलिंग और अर्थशास्त्र जैसे डोमेन में अत्यंत आवश्यक है, जहाँ आउटपुट ज्ञात रूप से विशिष्ट इनपुट्स के प्रति मोनोटोनिक प्रतिक्रिया देते हैं (जैसे, अधिक ऋण का अर्थ है उच्च डिफॉल्ट जोखिम)। जबकि मौजूदा मोनोटोन न्यूरल नेटवर्क (MNNs) मौजूद हैं—जिनमें मिन-मैक्स आर्किटेक्चर से लेकर डीप लैटिस नेटवर्क और नॉर्मलाइजिंग फ्लो तक शामिल हैं—वे आमतौर पर मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs), लैटिस या ऑटोरिग्रेसिव फ्लो पर निर्भर करते हैं। इन आर्किटेक्चरों में पर-एज फंक्शनल ट्रांसपेरेंसी (per-edge functional transparency) की कमी होती है, जो कि कोलोमोगोरोव-आर्नोल्ड नेटवर्क (KANs) का एक प्रमुख लाभ है, जो यह प्रदर्शित करता है कि प्रत्येक इनपुट-आउटपुट कोऑर्डिनेट पेयर लर्न करने योग्य यूनिवेरिएट स्प्लाइन्स (univariate splines) के माध्यम से आउटपुट में कैसे योगदान देता है।

मोनोटोनिसिटी के साथ KAN को जोड़ने का एकमात्र पूर्व प्रयास, MonoKAN, केवल मापदंडों के एक प्रतिबंधित उपसमुच्चय (subset) पर ही प्रतिबंध लागू करता है और इसके लिए प्रोजेक्शन-शैली की प्रशिक्षण प्रक्रिया की आवश्यकता होती है। इसके अतिरिक्त, MonoKAN का मूल्यांकन केवल सुपरवाइज्ड सेटिंग्स में किया गया है। साहित्य में एक ऐसे KAN वेरिएंट के लिए अंतराल (gap) है जो:

सभी पैरामीटर मानों के लिए हार्ड मोनोटोनिसिटी सुनिश्चित करे।
मानक अनकन्स्ट्रेंड ग्रेडिएंट डिसेंट (unconstrained gradient descent) के माध्यम से प्रशिक्षित किया जा सके।
मोनोटोनिसिटी लागू करने की लागत के संबंध में एक रिप्रेजेंटेशन-थ्योरेटिकल गारंटी द्वारा समर्थित हो।

कार्यप्रणाली: MKAN (Methodology: MKAN)

लेखक MKAN (मोनोटोनिक कोलोमोगोरोव-आर्नोल्ड नेटवर्क) प्रस्तावित करते हैं, जो एक KAN वेरिएंट है जो तीन विशिष्ट तंत्रों के माध्यम से निर्माण द्वारा मोनोटोनिसिटी को लागू करता है:

B-spline गुणांकों का एक्सपोनेंशियल रीपैरामीट्राइजेशन (Exponential Reparameterization of B-spline Coefficients): यह सुनिश्चित करने के लिए कि प्रत्येक स्प्लाइन $\phi'_{ij}$ मोनोटोनिक रूप से बढ़ता है, लेखक B-spline गुणांकों ( $\gamma^{(1)} < \gamma^{(2)} < \dots$ ) के लिए एक सख्त क्रम लागू करते हैं। सीधे प्रतिबंधित गुणांकों को सीखने के बजाय, वे अनकन्स्ट्रेंड पैरामीटर्स $\omega$ पेश करते हैं और गुणांकों को एक एक्सपोनेंशियल मैपिंग के माध्यम से परिभाषित करते हैं: $\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$ । यह गारंटी देता है कि $\omega \in \mathbb{R}$ के लिए भी ऑर्डरिंग कंडीशन संतुष्ट रहती है।
पॉजिटिव एज वेट्स (Positive Edge Weights): स्प्लाइन आउटपुट्स और स्किप कनेक्शन के लिए स्केलिंग वेट्स को एक्सपोनेंशियेटेड ( $\exp(w)$ ) किया जाता है ताकि वे सख्ती से धनात्मक बने रहें।
मोनोटोन बेस एक्टिवेशन (Monotone Base Activation): स्किप कनेक्शन एक मोनोटोनिकली बढ़ता हुआ एक्टिवेशन फंक्शन (ReLU) उपयोग करता है।

परिणामी लेयर आउटपुट को इस प्रकार परिभाषित किया गया है:
$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$
चूंकि मोनोटोनिकली बढ़ते फलनों (functions) का संयोजन भी मोनोटोनिक रूप से बढ़ता है, इसलिए इन लेयर्स को स्टैक करने से एक ग्लोबल मोनोटोन फीचर एक्सट्रैक्टर प्राप्त होता है। महत्वपूर्ण रूप से, यह फॉर्मूलेशन प्रोजेक्शन स्टेप्स के बिना मानक अनकन्स्ट्रेंड ग्रेडिएंट डिसेंट के माध्यम से प्रशिक्षण की अनुमति देता है।

मुख्य योगदान (Key Contributions)

1. KANs में हार्ड, प्रोजेक्शन-फ्री मोनोटोनिसिटी (C1)
MKAN पहला KAN वेरिएंट प्रदान करता है जहाँ प्रत्येक पैरामीटर मान के लिए मोनोटोनिसिटी की गारंटी दी गई है। यह जटिल प्रोजेक्शन-आधारित प्रशिक्षण या प्रतिबंधित पैरामीटर उपसमुच्चयों की आवश्यकता को समाप्त करता है, जिससे MonoKAN द्वारा छोड़े गए अंतराल को भरा जा सके।

2. मोनोटोनिसिटी के लिए रिप्रेजेंटेशन-कॉस्ट थ्योरम (C2)
शोध पत्र मोनोटोनिसिटी लागू करने की "लागत" को स्पष्ट करने वाला एक सैद्धांतिक परिणाम (थ्योरम 3) प्रस्तुत करता है।

थ्योरम: कोई भी $C^K$ फीचर एक्सट्रैक्टर $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ जो एक बॉल-शेप्ड सेमेंटिक-नेबरहुड पार्टीशन को प्रेरित करता है, एक मोनोटोन रियलाइजेशन $F': [-1, 1]^N \to \mathbb{R}^{N'}$ को प्राप्त कर सकता है जो उसी पार्टीशन को प्रेरित करता है।
बाउंड (Bound): मोनोटोन एक्सट्रैक्टर का आयाम $N' = N^* + k$ है, जहाँ $k$ मूल एक्सट्रैक्टर में गैर-मोनोटोन कोऑर्डिनेट्स की संख्या है। चूंकि $0 \le k \le N^*$ है, इसलिए वर्स्ट-केस बाउंड $N' \le 2N^*$ है।
निहितार्थ (Implication): यह एक आर्किटेक्चर-अज्ञेयवादी (architecture-agnostic) साइजिंग नियम है, जो सुझाव देता है कि एक मोनोटोन एनकोडर को गैर-मोनोटोन वाले की तुलना में अधिकतम दोगुना फीचर आयाम की आवश्यकता होती है ताकि सेमेंटिक नेबरहुड संरचनाओं को संरक्षित किया जा सके।

3. अनुभवजन्य सत्यापन (Empirical Validation) (C3)
लेखक सुपरवाइज्ड और सेल्फ-सुपरवाइज्ड रिजीम में MKAN को सत्यापित करते हैं:

सुपरवाइज्ड: MKNA, SMM/ICML-2024 बेंचमार्क सुइट (वर्गीकरण और रिग्रेशन कार्यों) पर स्टेट-ऑफ-द-आर्ट मोनोटोन नेटवर्क (SMM, LMN) के प्रतिस्पर्धी है, जबकि यह अद्वितीय रूप से पर-एज फंक्शनल ट्रांसपेरेंसी प्रदान करता है।
सेल्फ-सुपरवाइज्ड:
- एक नियंत्रित सिंथेटिक "मोनोटोन-जेनरेटिव" डेटासेट (एलिप्सेस) पर, MKAN ग्राउंड-ट्रुथ फैक्टर्स को KAN, MLP और लीनियर बेसलाइन्स की तुलना में काफी उच्च स्पियरमैन अलाइनमेंट के साथ रिकवर करता है।
- चार वास्तविक दुनिया के डेटासेट्स (MNIST, Fashion MNIST, Dry Bean, MAGIC) पर, एक फीचर-साइज स्वीप थ्योरम 3 के $2N^*$ प्रेडिक्शन को मान्य करता है, जिससे पता चलता है कि $2N$ फीचर्स वाला MKAN, $N$ फीचर्स वाले KAN की तुलना में प्रदर्शन में बेहतर या उसके बराबर है।

परिणाम (Results)

फंक्शन एप्रोक्सिमेशन (Function Approximation): सिंथेटिक मोनोटोनिक मल्टीवेरिएट फंक्शन्स पर, MKAN स्मूथ मिन-मैक्स (SMM) बेसलाइन के तुलनीय मीडियन MSE प्राप्त करता है और वैनिला KAN (जो आयामीता बढ़ने के साथ कैटास्ट्रोफिक ओवरफिटिंग से ग्रस्त होता है) से काफी बेहतर प्रदर्शन करता है।
टैबुलर बेंचमार्क्स: SMM/ICML-2024 सुइट पर, MKNA शीर्ष या शीर्ष के करीब प्रदर्शन प्राप्त करता है। उदाहरण के लिए, यह COMPAS (69.6% बनाम SMM 69.5%) और LoanDefaulter (65.49% बनाम SMM-mini 65.47%) पर अग्रणी है।
सेल्फ-सुपरवाइज्ड अलाइनमेंट: सिंथेटिक एलिप्स डेटासेट पर DIP-VAE फ्रेमवर्क में, MKAN ग्राउंड-ट्रुथ फैक्टर्स के साथ 83.0 का स्पियरमैन सहसंबंध प्राप्त करता है, जो KAN (49.4) और MLP (40.1) से काफी बेहतर है। जबकि अनकन्स्ट्रेंड मॉडल (KAN) कम रिकंस्ट्रक्शन एरर प्राप्त करते हैं, वे डेटा की मोनोटोन संरचना को रिकवर करने में विफल रहते हैं।
फीचर साइज वैलिडेशन: वास्तविक डेटासेट्स पर प्रयोग पुष्टि करते हैं कि $2N$ फीचर्स वाला MKAN, $N$ फीचर्स वाले KAN की तुलना में आम तौर पर बेहतर प्रदर्शन करता है, और $N$ फीचर्स वाला MKAN अक्सर $N$ फीचर्स वाले KAN के बराबर प्रदर्शन करता है, जो थ्योरम 3 के बाउंड को मान्य करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि मोनोटोनिसिटी को एक ऐसी श्रेणीबद्ध प्रतिबंध के रूप में नहीं, बल्कि एक मापन योग्य क्वांटिफिएबल रिप्रेजेंटेशन-कॉस्ट ट्रेड-ऑफ के रूप में पुनर्गठित किया गया है जो प्रदर्शन को कम नहीं करती है। प्राथमिक महत्व निम्नलिखित में निहित है:

विशिष्टता (Uniqueness): MKAN एकमात्र ऐसा तरीका है जो हार्ड, अनकन्स्ट्रेंड मोनोटोनिसिटी (सभी पैरामीटरों के लिए गारंटीकृत) को KAN की पर-एज फंक्शनल ट्रांसपेरेंसी के साथ जोड़ता है।
सैद्धांतिक आधार (Theoretical Grounding): यह मोनोटोनिसिटी के लिए पहला रिप्रेजेंटेशन-कॉस्ट थ्योरम प्रदान करता है, जो आकार निर्धारण के लिए एक सिद्धांत आधारित दिशानिर्देश (अधिकतम 2x डायमेंशन वृद्धि) देता है।
व्यावहारिक उपयोगिता (Practical Utility): मानक ग्रेडिएंट डिसेंट को सक्षम करके, MKAN पिछले प्रोजेक्शन-आधारित दृष्टिकोणों की तुलना में मोनोटोन KAN को प्रशिक्षित करना और तैनात करना आसान बनाता है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें MKAN में एडैप्टिव ग्रिड रेंज की कमी, यह तथ्य कि थ्योरम 3 एक अस्तित्व का परिणाम (existence result) है न कि लर्निंग गारंटी, और बॉल-शेप्ड नेबरहुड्स की धारणा शामिल है। भविष्य के कार्य में पर-एज मास्क के माध्यम से आंशिक मोनोटोनिसिटी और दीर्घवृाकार (ellipsoidal) नेबरहुड्स तक विस्तार करने का सुझाव दिया गया है।