KANs need curvature: penalties for compositional smoothness

तकनीकी सारांश: KANs को वक्रता (Curvature) की आवश्यकता है: संरचनात्मक सहजता के लिए दंड (Penalties)

समस्या विवरण
कोलमोगोरोव-आर्नोल्ड नेटवर्क (KANs) पारंपरिक न्यूरल नेटवर्क के एक सम्मोहक विकल्प के रूप में उभरते हैं, जो निश्चित गैर-रैखिकता (nonlinearities) के स्थान पर किनारों (edges) पर सीखने योग्य एकचर सक्रियण फलनों (univariate activation functions) का उपयोग करते हैं, जो उच्च सटीकता और व्याख्यात्मकता दोनों का वादा करते हैं। हालाँकि, एक महत्वपूर्ण दोष उनकी व्यावहारिक उपयोगिता को सीमित करता है: फिट होने वाले KANs अक्सर अपने सक्रियण फलनों में "पैथोलॉजिकल रूप से उच्च-वक्रता वाले दोलन" (pathologically high-curvature oscillations) विकसित कर लेते हैं। जबकि ये मॉडल डेटा को सटीक रूप से फिट करते हैं, परिणामी "किंक-जैसे" (kink-like) दोलन सीखे गए फलनों को अपठनीय और व्याख्या करने में कठिन बना देते हैं। लेखक तर्क देते हैं कि KANs में उपयोग किए जाने वाले मानक नियमितीकरण दंड (विशेष रूप से Liu et al. द्वारा प्रस्तावित परिमाण और एंट्रॉपी दंड) संरचनात्मक रूप से इसे रोकने में असमर्थ हैं। ये मानक दंड केवल सक्रियणों के औसत परिमाण पर निर्भर करते हैं, जिनमें कोई अवकलज सूचना (derivative information) नहीं होती है; अतः एक अत्यधिक दोलन करने वाला फलन भी उतना ही दंड प्राप्त करता है जितना कि एक सहज फलन, यदि उनके औसत परिमाण समान हों।

कार्यप्रणाली
सहजता की कमी को दूर करने के लिए, लेखक दंडित स्प्लाइन्स (P-splines) के सिद्धांत से व्युत्पन्न एक आधार-अज्ञेय वक्रता दंड (basis-agnostic curvature penalty) का प्रस्ताव करते हैं।

1. एज-वाइज दंड का व्युत्पन्न:
   लेखक एक एकचर सक्रियण फलन $\phi_e$ की वक्रता को उसके $L_2$ बेंडिंग एनर्जी, $\int (\phi_e''(z))^2 dz$ के रूप में परिभाषित करते हैं। KAN सक्रियण रूप (एक आधार फलन, आमतौर पर SiLU और B-splines का एक रैखिक संयोजन) को प्रतिस्थापित करके, वे मॉडल गुणांकों पर सीधे कार्य करने वाला एक क्लोज्ड-फॉर्म दंड व्युत्पन्न करते हैं:
   $$R(f) = \sum_{e} \left( \|D_2(\beta_e c_e)\|^2 + K_{\text{silu}} \alpha_e^2 \right)$$
   यहाँ, $D_2$ स्प्लाइन गुणांकों $c_e$ पर कार्य करने वाला सेकंड-डिफरेंस मैट्रिक्स है, $\beta_e$ स्प्लाइन को स्केल करता है, और $\alpha_e$ बेस फंक्शन को स्केल करता है। $K_{\text{silu}}$ एक स्थिरांक है जो SiLU फलन के दूसरे अवकलज से प्राप्त होता है। यह दंड एज-वाइज (edge-wise) लागू किया जाता है और प्रशिक्षण डेटा वितरण से स्वतंत्र है।

2. संरचनात्मक वक्रता का सैद्धांतिक विश्लेषण:
   यह पहचानते हुए कि एज-वाइज सहजता स्वतः ही पूर्ण संयोजित (composed) फलन की सहजता की गारंटी नहीं देती है, लेखक एक संरचनात्मक विश्लेषण करते हैं। वे चेन रूल का उपयोग करते हुए पूरे नेटवर्क फलन के हेसियन (Hessian) को व्युत्पन्न करते हैं, जो KAN की विशिष्ट संरचना (एकचर किनारों के कारण डायगोनल लेयर हेसियन) का लाभ उठाता है।
   वे प्रमेय 1 (Theorem 1) को सिद्ध करते हैं, जो स्थापित करता है कि प्रस्तावित एज-वाइज दंड $R(f)$, वास्तविक संरचना-स्तर की वक्रता $\mathcal{R}(f)$ (जिसे इनपुट हेसियन के अपेक्षित वर्ग फ्रोबेनियस नॉर्म के रूप में परिभाषित किया गया है) के लिए एक कठोर ऊपरी सीमा (upper bound) के रूप में कार्य करता है। यह प्रमाण पथ भार (path weights), सक्रियण घनत्व और नॉट स्पेसिंग (knot spacing) के संबंध में तीन संरचनात्मक धारणाओं पर निर्भर करता है, जो यह दर्शाता है कि एज-वाइज दंड को न्यूनतम करना वैश्विक वक्रता की सीमा को न्यूनतम करने के समान है।

3. भारित विस्तार (Weighted Extension):
   लेखक एक और "समृद्ध" भारित दंड का भी प्रस्ताव करते हैं जो चेन रूल अपघटन से प्राप्त अपेक्षित पथ भार ($\bar{w}_e$) को शामिल करता है। यह संस्करण प्रत्येक किनारे के लिए दंड को उसके वैश्विक हेसियन पर अपेक्षित प्रभाव के अनुसार स्केल करता है, हालांकि यह प्रशिक्षण डेटा वितरण पर निर्भरता को पुनः पेश करता है।

प्रमुख योगदान

1. मौजूदा दंडों की संरचनात्मक सीमा: शोध पत्र प्रदर्शित करता है कि मानक KAN दंड सहजता लागू नहीं कर सकता क्योंकि इसमें अवकलज सूचना की कमी है, जिससे समान परिमाण वाले सहज और दोलनशील फलनों के बीच अंतर करना असंभव हो जाता है।
2. आधार-अज्ञेय वक्रता दंड: लेखक एक क्लोज्ड-फॉर्म, गुणांक-आधारित वक्रता दंड व्युत्पन्न करते हैं जिसे किसी भी निश्चित आधार (जैसे B-splines) के साथ लागू किया जा सकता है जिसके वर्ग-समाप्य (square-integrable) दूसरे अवकलज हों।
3. सैद्धांतिक ऊपरी सीमा: संरचनात्मक विश्लेषण के माध्यम से, शोध पत्र सिद्ध करता है कि एज-वाइज दंड पूरे नेटवर्क की वक्रता के लिए एक ऊपरी सीमा प्रदान करता है, जो स्थानीय दंडों का उपयोग करके वैश्विक सहजता को नियंत्रित करने के लिए एक सैद्धांतिक औचित्य प्रदान करता है।
4. अनुभवजन्य सत्यापन: अध्ययन दिखाता है कि वक्रता-दंडित KANs, फलन सन्निकटन (function approximation), फेनमैन सिम्बोलिक रिग्रेशन बेंचमार्क और ओवरपैरामीटराइज्ड शासन (regimes) में बिना दंडित या मानक-दंडित मॉडलों की तुलना में उच्च सटीकता बनाए रखते हुए काफी सहज सक्रियण प्राप्त करते हैं।

परिणाम

• फलन सन्निकटन (Function Approximation): $f(x, y) = \sin(x + y^2)$ और $f(x, y) = \exp(\sin(\pi x) + y^2)$ जैसे फलनों के सन्निकटन में, वक्रता-दंडित मॉडलों ने सक्रियण फलन ऐसे उत्पादित किए जो वास्तविक घटकों (जैसे सहज साइन और बहुपद वक्र) के साथ दृश्य रूप से संरेखित थे, जबकि बिना दंडित मॉडलों में उच्च-आवृत्ति वाले दोलन देखे गए।
• फेनमैन बेंचमार्क: फेनमैन सिम्बोलिक रिग्रेशन बेंचमार्क के 14 समीकरणों पर, वक्रता-दंडित KANs ने सभी 14 मामलों में सबसे कम कुल एज वक्रता प्राप्त की। सटीकता (Test RMSE) के मामले में, वे 9 में से 14 समीकरणों में मानक KAN दंड के बराबर या उससे बेहतर थे, और सभी मामलों में सर्वश्रेष्ठ सटीकता के एक कारक दो के भीतर थे।
• ओवरपैरामीटराइज्ड शासन में स्थिरता: वक्रता दंड ने ओवरपैरामीटराइज्ड KANs (उच्च ग्रिड आकार $G$) के प्रशिक्षण को महत्वपूर्ण रूप से स्थिर किया। मानक KAN दंड के विपरीत, जो जल्दी ही स्थिर हो जाता था, वक्रता-दंडित मॉडल 3000 युगों (epochs) तक सुधार जारी रखते हैं। इसके अलावा, इस दंड ने "ग्रिड विस्तार" (कम $G$ से शुरू होने वाली बहु-चरणीय प्रशिक्षण प्रक्रिया) की आवश्यकता के बिना उच्च-रिज़ॉल्यूशन ग्रिड ($G=200$) के साथ स्थिर प्रशिक्षण सक्षम किया, जिससे $\sim 10^{-3}$ का टेस्ट RMSE प्राप्त हुआ, जहाँ बिना दंडित मॉडल विफल रहे।
• ऑप्टिमाइज़र स्वतंत्रता: वक्रता दंड के लाभ Adam और L-BFGS दोनों ऑप्टिमाइज़र के साथ देखे गए।
• भारित दंड: 10-सीड तुलना ने दिखाया कि भारित वक्रता दंड (पथ भार को शामिल करते हुए) ने यूनिफॉर्म एज-वाइज दंड की तुलना में माध्य टेस्ट RMSE को 2.2 के कारक से कम कर दिया।

महत्व और दावे
शोध पत्र का दावा है कि वक्रता दंड KANs के लिए एक "एकल, सिद्धांतपूर्ण सहजता लीवर" प्रदान करता है। इसका महत्व तीन क्षेत्रों में है:

1. व्याख्यात्मकता (Interpretability): सहज सक्रियणों को लागू करके, यह दंड KANs के आंतरिक निरूपण को पठनीय बनाता है और वैज्ञानिक अंतर्ज्ञान के साथ संरेखित करता है कि भौतिक नियम आमतौर पर सहज होते हैं, जिससे वैज्ञानिक मशीन लर्निंग के उपकरण के रूप में KANs को मजबूती मिलती है।
2. प्रशिक्षण स्थिरता: यह उच्च-रिज़ॉल्यूशन KAN के प्रशिक्षण की अस्थिरता को हल करता है, जिससे जटिल बहु-चरणीय ग्रिड विस्तार प्रोटोकॉल की आवश्यकता के बिना एकल-चरणीय, एंड-टू-एंड अनुकूलन संभव होता है। यह KANs को न्यूरल आर्किटेक्चर सर्च या मेटा-लर्निंग जैसे व्यापक सिस्टम में एकीकृत करने के लिए महत्वपूर्ण है।
3. वास्तुकला संबंधी लाभ: विश्लेषण रेखांकित करता है कि KAN हेसियन की डायगोनल संरचना (एकचर किनारों का परिणाम) एक अनूठा संरचनात्मक लाभ है जो संरचनात्मक वक्रता के व्याख्यात्मक प्रति-किनारे (per-edge) एट्रिब्यूशन की अनुमति देता है, जो मानक MLPs में मौजूद नहीं है।

लेखक निष्कर्ष निकालते हैं कि सहजता केवल एक अतिरिक्त विशेषता नहीं है बल्कि एक नियंत्रणीय गुण है जो KAN आर्किटेक्चर में निहित है, और वक्रता दंड के माध्यम से इस गुण का प्रबंधन करना व्याख्यात्मक वैज्ञानिक खोज में KANs की पूर्ण क्षमता को साकार करने के लिए आवश्यक है।