Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality
यह शोध पत्र ज्योमेट्री-कंस्ट्रेंड कोल्मोगोरोव-आर्नोल्ड नेटवर्क (बनाच-केएएन) पेश करता है, जो निश्चित एज एक्टिवेशन को एक स्केलर एक्सपोनेंट द्वारा नियंत्रित बनाच डुअलिटी मैप्स से व्युत्पन्न सीखने योग्य फलनों (learnable functions) से प्रतिस्थापित करता है, जिससे सिम्बोलिक रिग्रेशन में उत्कृष्ट या प्रतिस्पर्धी प्रदर्शन प्राप्त होता है और पारंपरिक फिक्स्ड-बेसिस केएएन की तुलना में शोर (noise) और छोटे सैंपल साइज के प्रति बेहतर मजबूती प्रदर्शित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक खोज की दुनिया में, कई प्राकृतिक नियम यह वर्णन करते हैं कि एक मात्रा दूसरी के जवाब में कैसे बदलती है। एक पेंडुलम का झूलना उसके कोण पर निर्भर करता है; एक कार की गति यातायात के घनत्व पर निर्भर करती है; एक तारे की चमक उसके तापमान पर निर्भर करती है। दशकों से, वैज्ञानिकों ने इन संबंधों को पकड़ने के लिए गणितीय मॉडलों का उपयोग किया है, लेकिन एक नया दृष्टिकोण उभरा है जो स्वयं मॉडल को एक लचीली, सीखने वाली इकाई के रूप में मानता है। यह दृष्टिकोण, जिसे कोलमोगोरोव-आर्नोल्ड नेटवर्क (Kolmogorov–Arnold Network) के रूप में जाना जाता है, एक जटिल समस्या को कई छोटे, सरल टुकड़ों में तोड़कर काम करता है। पूरे सिस्टम को एक एकल, कठोर नियम सीखने के लिए मजबूर करने के बजाय, यह एक ऐसा नेटवर्क बनाता है जहाँ दो बिंदुओं के बीच का प्रत्येक संबंध अपने स्वयं के अद्वितीय, सीखने योग्य फलन (function) द्वारा नियंत्रित होता है। इन नेटवर्कों के लिए केंद्रीय चुनौती हमेशा यह तय करना रही है कि उन फलनों का आकार क्या होना चाहिए। पारंपरिक रूप से, शोधकर्ताओं को पहले से ही एक विशिष्ट आकार चुनना पड़ता था—जैसे कि एक चिकना वक्र या एक दोहराता हुआ तरंग—और पूरी समस्या के लिए उसी पर टिके रहना पड़ता था। यह एक ही प्रकार के रिंच (wrench) से टूटी हुई मशीन को ठीक करने की कोशिश करने जैसा है; यह कुछ बोल्टों के लिए तो अच्छा काम करता है लेकिन दूसरों पर बुरी तरह विफल हो जाता है।
इंपीरियल कॉलेज लंदन के एक शोधकर्ता ने इस समस्या को सोचने का एक अलग तरीका प्रस्तावित किया है। उन्होंने महसूस किया कि वास्तविक मुद्दा फलन का आकार नहीं है, बल्कि वह अंतर्निहित "ज्यामिति" (geometry) या स्थान है जिसमें वह फलन रहता है। गणित में, ज्यामिति यह निर्धारित करती है कि दूरियों को कैसे मापा जाता है और एक वक्र कितना तीक्ष्ण या चिकना हो सकता है। शोधकर्ता ने एक नए प्रकार का नेटवर्क विकसित किया जहाँ ज्यामिति सीखने की शुरुआत से पहले निश्चित नहीं होती है। इसके बजाय, नेटवर्क डेटा से सीधे प्रत्येक व्यक्तिगत कनेक्शन के लिए सर्वोत्तम ज्यामिति सीखता है। उन्होंने यह प्रत्येक कनेक्शन में एक एकल, समायोज्य संख्या पेश करके हासिल किया। यह संख्या एक डायल की तरह कार्य करती है जो कनेक्शन के व्यवहार को तीक्ष्ण और थ्रेशोल्ड-जैसे से बदलकर चिकना और रैखिक, या यहाँ तक कि सपाट और संतृप्त (saturated) बना देती है। डेटा को यह तय करने देकर कि इस डायल को कहाँ सेट करना है, नेटवर्क अपनी आंतरिक संरचना को उस विशिष्ट समस्या के अनुरूप ढाल सकता है जिसे वह हल कर रहा है।
शोधकर्ता ने इस विचार का परीक्षण पचास अलग-अलग गणितीय समस्याओं पर किया, जिनमें मानक भौतिक समीकरणों से लेकर सिस्टम की क्षमता को परखने के लिए डिज़ाइन की गई कृत्रिम चुनौतियाँ शामिल थीं। उन्होंने अपने नए, ज्यामिति-अनुकूल नेटवर्क की तुलना पुराने मॉडलों से की जो निश्चित आकारों, जैसे कि स्प्लाइन्स (splines - जो चिकने वक्र खींचने के लिए उपयोग किए जाने वाले लचीले रूलर की तरह हैं) या बहुपदों (polynomials) पर निर्भर करते हैं। परिणाम दर्शाते हैं कि निश्चित-आकार वाले मॉडल संघर्ष करते थे जब डेटा में अचानक उछाल या तीखे कोने होते थे, क्योंकि उनके कठोर आकार डेटा के अनुरूप मुड़ने के लिए पर्याप्त नहीं थे, जिससे अक्सर डगमगाते और गलत परिणाम मिलते थे। इसके विपरीत, नए नेटवर्क, जो अपनी ज्यामिति को स्वयं समायोजित कर सकते थे, ने हर निश्चित-आकार वाले बेसलाइन के प्रदर्शन की बराबरी की या उसे पीछे छोड़ दिया। अठारह कठिन समीकरणों के एक मुख्य सेट पर, नई पद्धति ने सर्वश्रेष्ठ औसत रैंकिंग प्राप्त की, और पचास के पूर्ण सेट पर, इसने सबसे मजबूत पारंपरिक तरीकों के समान प्रदर्शन किया।
शायद सबसे महत्वपूर्ण निष्कर्ष यह था कि इन नए नेटवर्कों ने शोर (noise) को कैसे संभाला। वास्तविक दुनिया में, माप शायद ही कभी पूर्ण होते हैं; उनमें अक्सर यादृच्छिक त्रुटियां या "स्टैटिक" होता है। जब शोधकर्ता ने अपने डेटा में बढ़ते हुए शोर को जोड़ा, तो पारंपरिक मॉडल जल्दी ही बिखर गए। जैसे-जैसे शोर बढ़ा, उनकी त्रुटि दर बीस से अधिक गुना बढ़ गई। नए ज्यामिति-अनुकूल नेटवर्क कहीं अधिक मजबूत थे। भले ही शोर का स्तर बढ़ा, उनकी त्रुटि दर में बहुत कम वृद्धि हुई, जो अक्सर मूल त्रुटि से चार गुना से भी कम थी। यह सुझाव देता है कि सही ज्यामिति सीखकर, नेटवर्क यादृच्छिक स्टेटिक को अनदेखा कर सकता है और वास्तविक सिग्नल पर ध्यान केंद्रित कर सकता है, जो एक ऐसी क्षमता है जो निश्चित-आकार वाले मॉडलों में नहीं होती।
अध्ययन ने यह भी खुलासा किया कि नेटवर्क केवल सब कुछ के लिए एक ही, समान ज्यामिति नहीं सीखता है। इसके बजाय, एक ही नेटवर्क के भीतर विभिन्न कनेक्शनों ने अपनी ज्यामिति डायल के लिए अलग-अलग सेटिंग्स सीखीं। कुछ कनेक्शन अचानक परिवर्तनों को संभालने के लिए बहुत तीक्ष्ण बन गए, जबकि अन्य क्रमिक रुझानों के लिए चिकने बने रहे। यह विशेषज्ञता विभिन्न प्रकार के समीकरणों और इनपुट आयामों में लगातार देखी गई। उदाहरण के लिए, जब समस्या में अधिक चर (variables) शामिल थे, तो नेटवर्क ने अधिक बार तीक्ष्ण ज्यामिति सीखने की प्रवृत्ति दिखाई। यह व्यवहार एक प्रकार की व्याख्यात्मकता (interpretability) प्रदान करता है: नेटवर्क द्वारा चुने गए सेटिंग्स को देखकर, शोधकर्ता उस समस्या की अंतर्निहित संरचना को दर्शाने वाले संकेत को देख सकते हैं। नेटवर्क अनिवार्य रूप से हमें बताता है, "इस समस्या के इस हिस्से को एक तीखे किनारे की आवश्यकता है, जबकि उस हिस्से को एक चिकने वक्र की।"
शोधकर्ता ने यह भी पता लगाया कि क्या होता है जब बहुत कम डेटा उपलब्ध होता है। इन कम-नमूना परिदृश्यों में, नए नेटवर्क ने फिर से निश्चित-आकार वाले मॉडलों को पीछे छोड़ दिया, जिन्हें प्रभावी ढंग से सीखने के लिए आमतौर पर बड़ी मात्रा में डेटा की आवश्यकता होती है। ज्यामिति को अनुकूलित करने की क्षमता ने नए नेटवर्कों को बहुत कम उदाहरणों के साथ सही उत्तरों का अनुमान लगाने में सक्षम बनाया। हालाँकि, अध्ययन ने इस दृष्टिकोण की सीमाओं को भी नोट किया। जबकि यह नया तरीका निम्न-से-मध्य-आयामी समस्याओं में उत्कृष्ट है, यह इमेज रिकग्निशन जैसे कार्यों के लिए उपयोग किए जाने वाले गहरे, विशाल न्यूरल नेटवर्क का विकल्प नहीं है। वास्तव में, इमेज डेटासेट पर परीक्षण किए जाने पर, नया तरीका मानक नेटवर्क के प्रदर्शन के बराबर तभी पहुँच सका जब इसे बीस से तीस गुना अधिक पैरामीटर दिए गए, जो यह दर्शाता है कि इसकी ताकत कच्चे पैमाने के बजाय विशिष्ट प्रकार के रि regression समस्याओं के लिए दक्षता और अनुकूलन क्षमता में निहित है।
अंततः, यह कार्य सही उपकरण चुनने से हटकर एक ऐसा उपकरण बनाने की ओर स्थानांतरित होता है जो अपना आकार स्वयं बदल सके। शोधकर्ता ने प्रदर्शित किया कि जटिल रिग्रेशन समस्याओं को हल करने की कुंजी डेटा का प्रतिनिधित्व करने के लिए उपयोग किए जाने वाले विशिष्ट गणितीय आधार में नहीं है, बल्कि उस ज्यामितीय स्थान में है जिसमें वह प्रतिनिधित्व रहता है। उस स्थान को एक सीखने योग्य पैरामीटर बनाकर, उन्होंने एक ऐसा सिस्टम बनाया जो शोर के प्रति अधिक मजबूत, छोटे डेटासेट के साथ अधिक कुशल और अपने द्वारा मॉडल किए जा रहे संबंधों की वास्तविक प्रकृति को पकड़ने में अधिक सक्षम है। ये निष्कर्ष बताते हैं कि भविष्य में, सबसे प्रभावी मॉडल वे नहीं होंगे जिनमें सबसे जटिल निश्चित आर्किटेक्चर होंगे, बल्कि वे होंगे जो उस समस्या की ज्यामिति को सीख सकते हैं जिसे वे हल कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।