🌀 nonlinear sciences

Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

यह शोध पत्र एक स्केलेबल, हार्डवेयर-नेटिव फिजिकल एनालॉग कोल्मोगोरोव-आर्नोल्ड नेटवर्क (aKAN) आर्किटेक्चर प्रस्तुत करता है जो पुनर्गठनीय नॉनलीनियर-प्रोसेसिंग यूनिट्स (RNPUs) का उपयोग करता है और एज इन्फरेंस के लिए सटीक फंक्शन एप्रोक्सिमेशन बनाए रखते हुए डिजिटल मल्टीलेयर पर्सेप्ट्रॉन्स की तुलना में ऊर्जा, लेटेंसी और क्षेत्र में महत्वपूर्ण कमी प्राप्त करता है।

मूल लेखक: Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि बिल्ली और कुत्ते के बीच अंतर करना या मौसम का पूर्वानुमान लगाना। दशकों से, इसे करने का मानक तरीका "मल्टीलेयर पर्सेप्ट्रॉन्स" (MLPs) का उपयोग करना रहा है। एक MLP को एक कारखाने में एक विशाल असेंबली लाइन की तरह समझें। पहले, श्रमिकों की एक बड़ी टीम (लीनियर लेयर्स) सरल गणित करती है—संख्याओं को जोड़ना और गुणा करना। फिर, एक अलग, कठोर सुपरवाइजर (एक फिक्स्ड एक्टिवेशन फंक्शन) परिणाम को देखता है और निर्णय लेता है, "ठीक है, यह 'हाँ' है या 'ना'।" समस्या यह है कि यह असेंबली लाइन बहुत विशाल, ऊर्जा की भूखी है, और सुपरवाइजर हर बार एक ही काम करने के लिए मजबूर है, चाहे काम कैसा भी हो।

आपके द्वारा साझा किया गया पेपर बताता है कि इन कंप्यूटरों को बनाने का एक नया, स्मार्ट तरीका क्या है, जिसे फिजिकल एनालॉग कोलोमोगोरोव-आर्नोल्ड नेटवर्क (aKANs) कहा जाता है। ये कैसे काम करते हैं, इसका सरल विवरण यहाँ दिया गया है:

1. असेंबली लाइन के बजाय "स्मार्ट पेंट"

एक लंबी असेंबली लाइन के बजाय जहाँ पहले गणित होता है और फिर निर्णय लिया जाता है, लेखकों ने एक ऐसी प्रणाली बनाई है जहाँ गणित और निर्णय एक ही समय में, सामग्री के भीतर ही होते हैं।

उन्होंने रीकॉन्फ़िगरेबल नॉनलीनियर-प्रोसेसिंग यूनिट्स (RNPUs) नामक सिलिकॉन चिप्स का उपयोग किया है।

उपमा: एक मानक लाइट स्विच की कल्पना करें। यह या तो चालू (ON) है या बंद (OFF)। अब, एक "स्मार्ट डिमर" की कल्पना करें जो न केवल चालू या बंद होता है, बल्कि इस आधार पर अपनी चमक और रंग बदलता है कि आप बटन को कितनी जोर से दबाते हैं और एक अलग डायल को कितना घुमाते हैं।
वास्तविकता: एक RNPU एक सूक्ष्म सिलिकॉन डिवाइस है। आप इसमें इनपुट वोल्टेज ( "बटन दबाना") फीड करते हैं, और आप कंट्रोल वोल्टेज ( "डायल") को समायोजित करके इसके व्यवहार को ट्यून कर सकते हैं। यह डिवाइस बिजली को सीधे सिलिकॉन के भीतर एक जटिल, घुमावदार आकार में बदल देता है। यह कर्व (वक्र) की गणना नहीं करता; यह स्वयं वह कर्व है।

2. "गिरगिट" जैसा किनारा (The "Chameleon" Edge)

पारंपरिक नेटवर्क में, "एजेस" (न्यूरॉन्स के बीच के संबंध) केवल संख्याएँ ले जाते हैं। इस नए सिस्टम में, एजेस गिरगिट (चैमेलियन) की तरह हैं।

लेखक इन "स्मार्ट डिमर्स" (RNPUs) को एक एज प्रोसेसर बनाने के लिए एक साथ जोड़ते हैं।
इन यूनिट्स को मिला-जुलाकर और व्यवस्थित करके, वे लगभग किसी भी आकार के गणितीय फंक्शन बना सकते हैं जिसकी उन्हें आवश्यकता होती है। यदि कार्य के लिए एक लहरदार रेखा की आवश्यकता है, तो सिलिकॉन लहर बनाने के लिए मुड़ जाता है। यदि इसे एक तीखे स्पाइक की आवश्यकता है, तो सिलिकॉन स्पाइक बनाने के लिए मुड़ जाता है।
यह एक ऐसे मूर्तिकार की तरह है जो किसी भी आवश्यक रूप में मिट्टी को तुरंत नया आकार दे सकता है, बजाय एक ऐसे कारखाने के जो केवल पहले से बने ईंटों का उत्पादन करता है।

3. यह एक बड़ी बात क्यों है (ऊर्जा और स्थान की बचत)

पेपर में इस नए सिस्टम का परीक्षण पुराने "असेंबली लाइन" शैली के कंप्यूटरों के विरुद्ध किया गया।

परिणाम: समान कार्य करने के लिए (जैसे वक्र का पूर्वानुमान लगाना या डेटा को छाँटना), नए सिस्टम ने 100 गुना कम ऊर्जा का उपयोग किया और कंप्यूटर चिप पर 10 गुना कम जगह ली।
रूपक: यदि पुराना कंप्यूटर एक एकल पैकेज पहुंचाने वाला विशाल, भारी ईंधन खपत करने वाला ट्रक था, तो यह नया सिस्टम एक हल्का, इलेक्ट्रिक साइकिल है जो वही पैकेज पहुंचा रहा है। यह बहुत कम ईंधन और सड़क की जगह का उपयोग करके काम पूरा कर देता है।

4. उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने केवल कंप्यूटर पर इसका सिमुलेशन नहीं किया; उन्होंने वास्तव में इसे वास्तविक सिलिकॉन डिवाइस के साथ बनाया।

उन्होंने सिलिकॉन चिप्स पर "डायल" (कंट्रोल वोल्टेज) के लिए सही सेटिंग्स का पता लगाने के लिए सॉफ्टवेयर का उपयोग करके सिस्टम को प्रशिक्षित किया।
फिर, उन्होंने वास्तविक हार्डवेयर पर इसका परीक्षण किया। उन्होंने इसका उपयोग जटिल कर्व्स (जैसे साइन वेव्स और बेसेल फंक्शन्स) को फिट करने और डेटा को सॉर्ट करने (जैसे कि स्पाइरल पैटर्न बाईं ओर घूम रहा है या दाईं ओर) के लिए किया।
मुख्य निष्कर्ष: भले ही सिलिकॉन चिप्स एक-दूसरे से थोड़े अलग थे (जैसे कि हर हाथ थोड़ा अलग होता है), सिस्टम मजबूत था। यह अभी भी सीख और अनुकूलित हो सकता था, जिससे यह साबित हुआ कि यह "फिजिकल कंप्यूटिंग" दृष्टिकोण विश्वसनीय है।

5. "प्रूनिंग" (Pruning) की ट्रिक

एक चतुर विशेषता जिसे उन्होंने प्रदर्शित किया है, वह है प्रूनिंग।

कल्पना कीजिए कि आपके पास 100 मूर्तिकारों की एक टीम है, लेकिन आपको एक मूर्ति बनाने के लिए केवल 5 की आवश्यकता है। सिस्टम स्वचालित रूप से पहचान सकता है कि कौन से मूर्तिकार बहुत कम काम कर रहे हैं और उन्हें "बंद" कर सकता है।
यह अंतिम डिवाइस को और भी छोटा और अधिक कुशल बनाता है, समस्या को हल करने की क्षमता खोए बिना अनावश्यक हिस्सों को हटा देता है।

सारांश

पेपर का दावा है कि डिजिटल गणित से हटकर, सिलिकॉन के प्राकृतिक, भौतिक गुणों का उपयोग करके भारी काम करने के लिए, हम ऐसे न्यूरल नेटवर्क बना सकते हैं जो:

छोटे हैं: वर्तमान चिप्स की तुलना में बहुत छोटे।
कुशल हैं: बैटरी की शक्ति का एक अंश उपयोग करते हैं।
लचीले हैं: नेटवर्क के "एजेस" विशिष्ट समस्या के अनुसार अपना आकार बदल सकते हैं, बजाय एक "वन-साइज-फिट्स-ऑल" दृष्टिकोण के।

यह छोटे, बैटरी से चलने वाले उपकरणों (जैसे सेंसर या पहनने योग्य उपकरणों) में सीधे शक्तिशाली AI डालने का रास्ता खोलता है, बिना सोचने के लिए किसी विशाल डेटा सेंटर की आवश्यकता के।

तकनीकी सारांश: पुनर्गठनीय गैररेखीय-प्रसंस्करण इकाइयों पर आधारित भौतिक एनालॉग कोलोमोगोरोव-आर्नोल्ड नेटवर्क

समस्या विवरण
आधुनिक डीप लर्निंग मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) पर अत्यधिक निर्भर है, जो फिक्स्ड नॉनलीनियर एक्टिवेशन फंक्शन के साथ लीनियर मैट्रिक्स-वेक्टर गुणन (linear matrix-vector multiplications) करते हैं। जबकि लीनियर ऑपरेशन्स को वर्तमान डिजिटल और मिक्स-सिग्नल हार्डवेयर (जैसे GPU, मेमरिस्टिव क्रॉसबार) में कुशलतापूर्वक त्वरित किया जा सकता है, नॉनलीनियर एक्टिवेशन फंक्शन्स हार्डवेयर-नेटिव कार्यान्वयन के लिए एक बाधा बने हुए हैं। इसके अलावा, डीप लर्निंग की कम्प्यूटेशनल लागत अस्थिर रूप से बढ़ रही है, और MLPs की "ब्लैक बॉक्स" प्रकृति व्याख्यात्मकता (interpretability) को सीमित करती है। कोलोमोगोरोव-आर्नोल्ड नेटवर्क (KANs) एक सैद्धांतिक विकल्प प्रदान करते हैं, जो कम्प्यूटेशनल भार को फिक्स्ड नोड एक्टिवेशन्स से हटाकर नेटवर्क के किनारों (edges) पर सीखने योग्य नॉनलीनियर फंक्शन्स की ओर स्थानांतरित कर देते हैं। हालांकि, डिजिटल एप्रोक्सिमेशन (जैसे लुक-अप टेबल्स) या जटिल सर्किट-स्तरीय इम्यूलेशन का उपयोग किए बिना इन सीखने योग्य नॉनलिनैरिटीज़ को हार्डवेयर में कुशलतापूर्वक लागू करना एक खुला चुनौती बना हुआ है।

कार्यप्रणाली
लेखक एक भौतिक एनालॉग KAN आर्किटेक्चर (aKAN) प्रस्तावित करते हैं जो पुनर्गठनीय नॉनलीनियर-प्रोसेसिंग यूनिट्स (RNPUs) का उपयोग करके सीधे पदार्थ (matter) में सीखने योग्य एज फंक्शन्स को साकार करता है।

RNPU डिवाइस: मुख्य प्रिमिटिव एक मल्टी-टर्मिनल नैनोस्केल सिलिकॉन डिवाइस (आठ इलेक्ट्रोड्स के साथ बोरॉन-डोप्ड सिलिकॉन स्लैब) है। इसके इलेक्ट्रोड्स पर विशिष्ट कंट्रोल वोल्टेज लागू करके, डिवाइस के स्टेडी-स्टेट इनपुट-आउटपुट ट्रांसफर कैरेक्टरिस्टिक को विभिन्न नॉनलीनियर फंक्शन्स को एप्रोक्सिमेट करने के लिए निरंतर ट्यून किया जा सकता है।
एज प्रोसेसर (EP): अभिव्यक्ति (expressivity) और सटीकता बढ़ाने के लिए, कई RNPUs को एक एज प्रोसेसर के भीतर समानांतर में संयोजित किया जाता है। EP व्यक्तिगत RNPUs के स्केल्ड आउटपुट्स को जोड़कर एक जटिल, सीखा हुआ यूनिवेरिएट एज फंक्शन बनाता है।
आर्किटेक्चर: aKAN, प्रोग्रामेबल स्विच मैट्रिसेस के माध्यम से जुड़े EPs का एक पुनर्गठनीय सरणी (array) है। इनपुट वेरिएबल्स को वोल्टेज के रूप में लीनियरली एनकोड किया जाता है, जिन्हें EPs (जो नॉनलीनियर मैप के रूप में कार्य करते हैं) के माध्यम से प्रोसेस किया जाता है, और फिर अगले लेयर्स के लिए रीस्केल किया जाता है। सिस्टम में कंट्रोल वोल्टेज और रीडआउट करंट को प्रबंधित करने के लिए मिक्स-सिग्नल इंटरफेसिंग (DACs, ADCs, ट्रांसइम्पीडेंस एम्पलीफायर्स) शामिल है।
प्रशिक्षण और सत्यापन: लेखक एक हाइब्रिड वर्कफ़्लो का उपयोग करते हैं। वे पहले सॉफ्टवेयर में सरोगेट मॉडल्स (प्रायोगिक RNPU विशेषताओं द्वारा कैलिब्रेटेड डेटा-ड्रिवन MLPs) का उपयोग करके नेटवर्क को प्रशिक्षित करते हैं ताकि इष्टतम कंट्रोल वोल्टेज और लीनियर कॉम्बिनेशन कोफिशिएंट्स की पहचान की जा सके। इन मापदंडों को फिर प्रायोगिक सत्यापन के लिए भौतिक हार्डवेयर में स्थानांतरित किया जाता है। करंट मेजरमेंट बाधाओं (सिंगल-डिवाइस सेटअप) के कारण, मल्टी-RNPU नेटवर्क का मूल्यांकन टाइम-मल्टीप्लेक्सिंग का उपयोग करके किया जाता है, जहाँ एक एकल भौतिक डिवाइस क्रमवार तरीके से प्रशिक्षित RNPUs का अनुकरण करता है।

प्रमुख योगदान

हार्डवेयर-नेटिव नॉनलिनैरिटी: यह पेपर एक स्केलेबल फिजिकल कंप्यूटिंग प्रिमिटिव प्रदर्शित करता है जहाँ नॉनलीनियर एज फंक्शन्स को डिजिटल इम्यूलेशन के बजाय ट्यूनेबल डिवाइस फिजिक्स द्वारा स्वाभाविक रूप से साकार किया जाता है।
पुनर्गठनीय एज प्रोसेसर्स: EP का परिचय, जो कई RNPUs को एकत्रित करता है, जटिल फंक्शन्स (जैसे बेसेल फंक्शन) को एप्रोक्सिमेट करने की अनुमति देता है जिन्हें अकेले एक डिवाइस प्राप्त नहीं कर सकता है।
सिस्टम-लेवल विश्लेषण: लेखक डिजिटल फिक्स्ड-पॉइंट MLPs के साथ aKANs का एक व्यापक सिस्टम-लेवल तुलना प्रदान करते हैं, जिसमें मिक्स-सिग्नल पेरिफेरल ओवरहेड को ध्यान में रखते हुए ऊर्जा, सिलिकॉन एरिया और लेटेंसी के अनुमान शामिल हैं।
प्रूनिंग और मजबूती: अध्ययन दिखाता है कि aKANs को प्रदर्शन बनाए रखते हुए हार्डवेयर उपयोगिता को कम करने के लिए (EP गेन्स पर L1 रेगुलराइजेशन के माध्यम से) स्ट्रक्चरली प्रून किया जा सकता है। यह यह भी दिखाता है कि आर्किटेक्चर डिवाइस-टू-डिवाइस वेरिएबिलिटी के प्रति मजबूत है, क्योंकि अलग-अलग भौतिक RNPUs के हेट्रोजेनियस संयोजन भी एप्रोक्सिमेशन सटीकता को कम नहीं करते हैं।

परिणाम

फंक्शन एप्रोक्सिमेशन: प्रयोगिक रूप से कैलिब्रेटेड मॉडल्स और हार्डवेयर मेजरमेंट्स का उपयोग करते हुए, aKAN सफलतापूर्वक जटिल फंक्शन्स (साइन वेव्स, बेसेल फंक्शन $J_0(20x)$ ) को एप्रोक्सिमेट करता है, जहाँ मीन स्क्वेर्ड एरर (MSE) $\sim 10^{-2}$ या उससे कम तक पहुँच जाता है। प्रदर्शन प्रति EP में RNPUs की संख्या के साथ स्केल होता है।
रिग्रेशन और क्लासिफिकेशन: रिग्रेशन कार्यों में, aKANs सॉफ्टवेयर MLP बेसलाइन्स (ReLU या tanh एक्टिवेशन्स के साथ) के समान प्रदर्शन प्राप्त करते हैं, जबकि अक्सर उन्हें कम सीखने योग्य मापदंडों (trainable parameters) की आवश्यकता होती है। बाइनरी क्लासिफिकेशन कार्यों (Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation) में, aKF/aKANs प्रतिस्पर्धी सटीकता प्राप्त करते हैं, जो कभी-कभी ReLU-MLPs की तुलना में $\sim 5\times$ कम मापदंडों के साथ होता है।
हार्डवेयर दक्षता: एक प्रतिनिधि वर्कलोड ( $e^{\sin(\pi x_1) + x_2^2}$ $e^{s i n (π x_{1}) + x_{2}^{2}}$ ) के लिए सिस्टम-लेवल अनुमान संकेत देते हैं:
- ऊर्जा: लगभग 200 pJ प्रति इन्फरेंस, जो समान त्रुटि स्तरों पर डिजिटल फिक्स्ड-पॉइंट MLP की तुलना में >100 $\times$ की कमी दर्शाता है।
- क्षेत्रफल (Area): डिजिटल बेसलाइन की तुलना में अनुमानित सिलिकॉन एरिया में >10 $\times$ की कमी।
- लेटेंसी: लगभग 0.6 $\mu$ s की एंड-टू-एंड इन्फरेंस लेटेंसी।
- नोट: लेखक स्पष्ट रूप से कहते हैं कि वर्तमान ऊर्जा खपत RNPU कोर के बजाय मिक्स-सिग्नल पेरिफेरल सर्किट्री (DACs, ADCs, TIAs) द्वारा संचालित होती है।

महत्व
यह पेपर RNPUs को स्केलेबल, हार्डवेयर-नेटिव नॉनलीनियर कंप्यूटिंग प्रिमिटिव के रूप में स्थापित करता है। यह एनालॉग KAN आर्किटेक्चर को ऊर्जा-, लेटेंसी-, और फुटप्रिंट-कुशल न्यूरल नेटवर्क हार्डवेयर के लिए एक यथार्थवादी मार्ग के रूप में पहचानता है, विशेष रूप से एज इन्फरेंस के लिए। लीनियर अलजेब्रा को त्वरित करने के बजाय एक्सप्रेसिव नॉनलीनियर मैपिंग को सीधे भौतिक सबस्ट्रेट में एम्बेड करके, यह कार्य कॉम्पैक्ट, लो-पावर इन्फरेंस के लिए एक मार्ग सुझाता है जहाँ नॉनलीनियर कंप्यूटेशन नेटिव और प्रोग्रामेबल है। लेखक इस बात पर जोर देते हैं कि हालांकि वर्तमान सिस्टम पेरिफेरल ओवरहेड द्वारा सीमित है, भविष्य में डिवाइस, सर्किट और आर्किटेक्चर का को-डिजाइन "इंटेलिजेंट मैटर" को न्यूरल कंप्यूटिंग के लिए और अधिक अनलॉक कर सकता है।